JP2008131125A - Image processing apparatus, image processing method and image processing program - Google Patents

Image processing apparatus, image processing method and image processing program Download PDF

Info

Publication number
JP2008131125A
JP2008131125A JP2006311134A JP2006311134A JP2008131125A JP 2008131125 A JP2008131125 A JP 2008131125A JP 2006311134 A JP2006311134 A JP 2006311134A JP 2006311134 A JP2006311134 A JP 2006311134A JP 2008131125 A JP2008131125 A JP 2008131125A
Authority
JP
Japan
Prior art keywords
color
color conversion
output device
conversion table
smoothing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006311134A
Other languages
Japanese (ja)
Inventor
Shigeru Tsuchiida
茂 土井田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006311134A priority Critical patent/JP2008131125A/en
Publication of JP2008131125A publication Critical patent/JP2008131125A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To execute color conversion corresponding to a color reproduceable region of an output device. <P>SOLUTION: A color conversion table creating section 104a creates a color conversion table for converting a color value in a color space of image data into a color value in a color space of an output device, smoothes the created color conversion table, and corrects a smoothed color value so that it comes within the color reproduceable region of the output device when the color value (smoothed color value) of the color space of the output device in the smoothed color conversion table is out of the color reproduceable region of the output device. A color conversion processing section 104b uses the color conversion table after correction to execute color conversion processing for the image data. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、画像を処理するための画像処理装置、画像処理方法、およびその方法を実行させるための画像処理プログラムに関する。   The present invention relates to an image processing apparatus for processing an image, an image processing method, and an image processing program for executing the method.

次のような色変換装置が知られている。この装置は、ユーザーが好みの色変換を行うための色変換テーブルを作成し、この色変換テーブルと出力デバイスを基準とした色空間に基づく色変換テーブルとを結合して、結合されたテーブルをスムージングすることにより、
好みの色変換を行うための色変換特性を滑らかにするものである(例えば、特許文献1)。
The following color conversion devices are known. This apparatus creates a color conversion table for user's favorite color conversion, combines this color conversion table and a color conversion table based on a color space based on the output device, and combines the combined table. By smoothing,
Color conversion characteristics for performing favorite color conversion are smoothed (for example, Patent Document 1).

特開2002−77659号公報Japanese Patent Laid-Open No. 2002-77659

しかしながら、従来の装置によれば、ユーザーが作成した色変換テーブルと、出力デバイスを基準とした色空間に基づく色変換テーブルとを結合しているため、あらかじめ出力デバイス基準とした色空間に基づく色変換テーブルを用意しておく必要があった。このため、色変換テーブルが用意されていない出力デバイスは、そのデバイスの色再現可能領域に合った色変換を行えない可能性があった。   However, according to the conventional apparatus, since the color conversion table created by the user is combined with the color conversion table based on the color space based on the output device, the color based on the color space based on the output device in advance is combined. It was necessary to prepare a conversion table. For this reason, an output device that does not have a color conversion table may not be able to perform color conversion that matches the color reproducible area of the device.

本発明は、入力された画像データに対して、出力デバイスの色再現可能領域に応じた色変換処理を施す画像処理装置であって、画像データの色空間の色値から出力デバイスの色空間の色値へ変換するための色変換テーブルを平滑化し、平滑化した後の色変換テーブルにおける出力デバイスの色空間の色値(平滑化後色値)が出力デバイスの色再現可能領域外である場合には、平滑化後色値が出力デバイスの色再現可能領域内に収まるように補正し、補正を行った後の色変換テーブルを用いて、画像データに対して色変換処理を施すことを特徴とする。
このとき、色変換テーブルを作成し、作成した色変換テーブルを平滑化するようにしてもよく、あらかじめ作成された色変換テーブルを読み込み、読み込んだ色変換テーブルを平滑化するようにしてもよい。
また、色変換テーブルにおける全ての平滑化後色値が出力デバイスの色再現可能領域内に収まるまで、平滑化および補正を繰り返すことが好ましく、色空間上の座標値を格子点情報として用い、画像データの色空間の色値と、出力デバイスの色空間の色値とを対応付けたルックアップテーブルを、色変換テーブルとして作成するようにしてもよい。
そして、平滑化前の色変換先の色値と、平滑化後の色変換先の色値とを同一色空間上に表示して矢印で結び、当該矢印の向きおよび長さを変更することによって、平滑化後色値が出力デバイスの色再現可能領域内に収まるように補正する、または、色変換テーブルの格子点の配置を変更することによって、平滑化後色値が出力デバイスの色再現可能領域内に収まるように補正するようにしてもよい。
さらに、補正を行った後の色変換テーブルの格子点情報を補間して、画像データの色変換後の色値を算出することによって、画像データに対して色変換処理を施すようにしてもよい。
The present invention is an image processing apparatus that performs color conversion processing on input image data in accordance with a color reproducible area of an output device, from the color value of the color space of the image data to the color space of the output device. When the color conversion table for conversion to color values is smoothed and the color value of the color space of the output device (color value after smoothing) in the color conversion table after smoothing is outside the color reproducible area of the output device Is characterized in that the color values after smoothing are corrected so that they fall within the color reproducible region of the output device, and color conversion processing is performed on the image data using the color conversion table after correction. And
At this time, a color conversion table may be created and the created color conversion table may be smoothed, or a color conversion table created in advance may be read and the read color conversion table may be smoothed.
Further, it is preferable to repeat the smoothing and correction until all the smoothed color values in the color conversion table fall within the color reproducible area of the output device, and the coordinate values in the color space are used as grid point information, and the image A lookup table in which the color value of the data color space is associated with the color value of the color space of the output device may be created as a color conversion table.
Then, the color value of the color conversion destination before smoothing and the color value of the color conversion destination after smoothing are displayed on the same color space and connected with arrows, and the direction and length of the arrows are changed. Correct the color values after smoothing to be within the color reproducible area of the output device, or change the grid point arrangement of the color conversion table so that the color values after smoothing can be reproduced by the output device. You may make it correct | amend so that it may be settled in an area | region.
Further, color conversion processing may be performed on the image data by interpolating the grid point information of the color conversion table after correction and calculating the color value after color conversion of the image data. .

本発明によれば、出力デバイスごとの色変換テーブルをあらかじめ用意しておかなくても、出力デバイスの色再現可能領域に合った色変換を行うことができる。   According to the present invention, color conversion suitable for the color reproducible region of the output device can be performed without preparing a color conversion table for each output device in advance.

図1は、本実施の形態における画像処理装置の一実施の形態の構成を示すブロック図である。画像処理装置100としては、例えばパーソナルコンピュータ(パソコン)が用いられる。画像処理装置100は、入力装置101と、画像入力用I/F(画像入力用インターフェース)102と、測色器103と、制御装置104と、HDD(ハードディスクドライブ)105と、出力デバイス接続用I/F(出力デバイス接続用インターフェース)106とを備えている。   FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus according to the present embodiment. For example, a personal computer (personal computer) is used as the image processing apparatus 100. The image processing apparatus 100 includes an input device 101, an image input I / F (image input interface) 102, a colorimeter 103, a control device 104, an HDD (hard disk drive) 105, and an output device connection I. / F (output device connection interface) 106.

入力装置101は、例えばキーボードやマウスなどの使用者によって操作される種々の入力装置を含んでいる。   The input device 101 includes various input devices operated by a user such as a keyboard and a mouse.

画像入力用I/F102は、外部の画像入力デバイス、例えばデジタルカメラや画像記憶装置を接続するための接続インターフェースであって、後述する処理対象の画像を画像入力デバイスから取り込むためのものである。画像入力用I/F102としては、例えばUSBインターフェースや無線LANインターフェースが用いられる。   The image input I / F 102 is a connection interface for connecting an external image input device, for example, a digital camera or an image storage device, and is for capturing an image to be processed, which will be described later, from the image input device. As the image input I / F 102, for example, a USB interface or a wireless LAN interface is used.

測色器103は、紙などの印刷媒体に印刷された画像を読み込んで測色する。本実施の形態では、測色器103は、測色結果として、測所値XYZデータを制御装置104へ出力する。   The colorimeter 103 reads an image printed on a print medium such as paper and measures the color. In the present embodiment, the colorimeter 103 outputs station value XYZ data to the control device 104 as a colorimetric result.

HDD105は、画像入力用I/F102を介して取り込んだ画像データや後述するように制御装置104で実行されるプログラムなど種々のデータが記録される。なお、本実施の形態では、既に処理対象の画像として、少なくとも1枚の画像が画像入力用I/F102を介して取り込まれ、その画像データがHDD105に記憶されているものとする。   The HDD 105 records various data such as image data captured via the image input I / F 102 and a program executed by the control device 104 as described later. In this embodiment, it is assumed that at least one image has already been taken in via the image input I / F 102 as an image to be processed, and that image data is stored in the HDD 105.

出力デバイス接続用I/F106は、画像データの出力先となる外部デバイス、例えばモニタやプリンタなどの出力デバイスを接続するための接続インターフェースである。出力デバイス接続用I/F106としては、例えばUSBインターフェースや無線LANインターフェースが用いられる。この出力デバイス接続用I/F106に接続される出力デバイスは、一般的に、それぞれの出力デバイス間で色再現可能領域が異なっている。このため、入出力デバイス間の色変換特性もそれぞれの出力デバイスごとに異なる。   The output device connection I / F 106 is a connection interface for connecting an external device as an output destination of image data, for example, an output device such as a monitor or a printer. For example, a USB interface or a wireless LAN interface is used as the output device connection I / F 106. The output devices connected to the output device connection I / F 106 generally have different color reproducible regions between the output devices. For this reason, the color conversion characteristics between the input / output devices also differ for each output device.

そこで、後述する制御装置104は、各出力デバイスにあった色変換特性を判定して、その色変換特性を適用して対象画像の画像データに対して色変換処理を施した後に、出力デバイスへ画像データを出力する必要がある。本実施の形態では、制御装置104は、各出力デバイスの色変換特性を表した色変換テーブル(ルックアップテーブル)を作成して、この色変換テーブルを用いて対象画像の画像データに対して色変換処理を施す。   Therefore, the control device 104, which will be described later, determines a color conversion characteristic suitable for each output device, applies the color conversion characteristic to the image data of the target image, and then performs color conversion processing on the output device. It is necessary to output image data. In the present embodiment, the control device 104 creates a color conversion table (lookup table) that represents the color conversion characteristics of each output device, and uses this color conversion table to perform color matching on the image data of the target image. Perform conversion processing.

なお、制御装置104が各出力デバイス用の色変換テーブルを作成するためには、使用者は、あらかじめ次のような準備をしておく必要がある。なお、以下の説明では、出力デバイス接続用I/F106に接続される出力デバイスはプリンタであるものとし、接続されたプリンタの色変換特性を表した色変換テーブルを作成する場合について説明する。   In order for the control device 104 to create a color conversion table for each output device, the user needs to make the following preparations in advance. In the following description, it is assumed that the output device connected to the output device connection I / F 106 is a printer, and a case where a color conversion table representing the color conversion characteristics of the connected printer is created will be described.

使用者は、まず、画像処理ソフトを用いて、Lab空間で均等に刻まれたデータを使用してR、G,およびBの各色成分で表現できるパッチ(カラーパッチ)をそれぞれ作成する。なお、画像処理ソフトは、画像処理装置100や他のパソコン等の情報機器にインストールされており、使用者は、画像処理ソフトがインストールされている機器を操作して、RGBパッチを作成する。使用者は、作成したRGBパッチを画像データとしてHDD105へ保存するとともに、RGBパッチの画像データを出力デバイス接続用I/F106に接続される出力デバイスを用いて印刷(プリント)する。   First, the user creates patches (color patches) that can be represented by R, G, and B color components using data evenly carved in the Lab space using image processing software. The image processing software is installed in the image processing apparatus 100 and other information devices such as a personal computer, and the user creates an RGB patch by operating the device in which the image processing software is installed. The user saves the created RGB patch as image data in the HDD 105 and prints (prints) the RGB patch image data using an output device connected to the output device connection I / F 106.

使用者は、この印刷したR、G、B色成分で表されるそれぞれのパッチを、測色器103を用いて測色する。その結果、測色器103は、RGBパッチの測色値XYZデータを得て、これらを制御装置104へ出力する。   The user measures the color of each patch represented by the printed R, G, and B color components using the colorimeter 103. As a result, the colorimeter 103 obtains the RGB patch colorimetric value XYZ data and outputs them to the control device 104.

制御装置104は、CPU、メモリ、およびその他の周辺回路で構成され、色変換テーブル作成部104aと、色変換処理実行部104bと、画像データ出力部104cとを機能的に備えている。   The control device 104 includes a CPU, a memory, and other peripheral circuits, and functionally includes a color conversion table creation unit 104a, a color conversion processing execution unit 104b, and an image data output unit 104c.

色変換テーブル作成部104aは、測色器103から入力された各RGBパッチの測色値XYZデータを読み込む。また、上述したように、使用者によって作成されたRGBパッチの画像データをHDD105から読み込む。そして、色変換テーブル作成部104aは、RGBパッチの画像データ、および読み込んだRGBパッチの測色値データに基づいて、RGBパッチを印刷したプリンタ(出力デバイス)の色変換特性を表したLab空間の色変換テーブル(第1の色変換テーブル)を作成する。すなわち、Lab空間におけるL、a,およびbを格子点情報とし、色空間上の座標値を用いて、画像データの色空間の色値と、出力デバイスの色空間の色値とを対応付けたルックアップテーブルを作成する。   The color conversion table creation unit 104 a reads the colorimetric value XYZ data of each RGB patch input from the colorimeter 103. Further, as described above, the RGB patch image data created by the user is read from the HDD 105. Then, the color conversion table creation unit 104a, based on the RGB patch image data and the read colorimetric value data of the RGB patch, in the Lab space representing the color conversion characteristics of the printer (output device) that printed the RGB patch. A color conversion table (first color conversion table) is created. That is, L, a, and b in the Lab space are set as grid point information, and the color value of the color space of the image data is associated with the color value of the color space of the output device using the coordinate values on the color space. Create a lookup table.

具体的には、色変換テーブル作成部104aは、RGBパッチの測色値データ(XYZデータ)をLabデータに変換し、RGBパッチの画像データ(RGBデータ)をXYZデータに変換した後、Labデータに変換する。このとき、RGBパッチの測色値データをLabデータに変換する場合、およびRGBパッチの画像データをLabデータに変換する場合のそれぞれの過程で行われるXYZデータからLabデータへの変換時には、変換に用いる白基準値を共通にしておく。これによって、RGBパッチの測色値データと、RGBパッチの画像データとをLab空間で対応付けることができる。   Specifically, the color conversion table creation unit 104a converts RGB patch colorimetric value data (XYZ data) into Lab data, converts RGB patch image data (RGB data) into XYZ data, and then converts the Lab data into Lab data. Convert to At this time, when converting the colorimetric value data of the RGB patch into Lab data and when converting the XYZ data into Lab data in the respective processes of converting the RGB patch image data into Lab data, conversion is performed. A common white reference value is used. Thereby, the colorimetric value data of the RGB patch and the image data of the RGB patch can be associated in the Lab space.

図2は、第1の色変換テーブルの具体例を示す図である。この図2においては、RGBパッチの画像データの格子点情報をL、a、bと表し、RGBパッチの測色値データの格子点情報をL´、a´、b´と表している。すなわち、この図2に示す第1の色変換テーブルは、色空間上の座標値を格子点として用い、出力デバイスであるプリンタの入力データと出力画像の測色値データとを対応付けたルックアップテーブルである。このテーブルに含まれるデータが多ければ多いほど、より精度の高い色変換特性を記録したテーブルとなる。 FIG. 2 is a diagram illustrating a specific example of the first color conversion table. In FIG. 2, the grid point information of the RGB patch image data is represented as L * , a * , b *, and the grid point information of the RGB patch colorimetric value data is L * ′, a * ′, b * ′. It expresses. That is, the first color conversion table shown in FIG. 2 uses a coordinate value in the color space as a grid point, and looks up by associating input data of a printer as an output device with colorimetric value data of an output image. It is a table. The more data contained in this table, the more accurate the color conversion characteristics are recorded.

色変換テーブル作成部104aは、この第1の色変換テーブルを最適化して、新たに第2の色変換テーブルを作成する。これは、図2に示した第1の色変換テーブルにおいては、入力データ(画像データ)に対する出力値(測色値)が、測色器103の測色誤差を含んでいることにより、出力値に生じるばらつきを補正することを目的とする。例えば、図2に示した第1の色変換テーブルの出力値を、図3に示すように縦軸をL、横軸をbで表した同一色空間で表すと、出力値にばらつきが生じていることがわかる。また、第1の色変換テーブルに基づいて色変換を行った場合に、変換後の色値が出力デバイスの色再現可能領域外となる場合も考えられることから、これを補正することも目的としている。   The color conversion table creation unit 104a optimizes the first color conversion table and newly creates a second color conversion table. This is because, in the first color conversion table shown in FIG. 2, the output value (colorimetric value) for the input data (image data) includes the colorimetric error of the colorimeter 103. The purpose of this is to correct the variation that occurs. For example, if the output values of the first color conversion table shown in FIG. 2 are expressed in the same color space with the vertical axis being L and the horizontal axis being b as shown in FIG. 3, the output values vary. I understand that. In addition, when color conversion is performed based on the first color conversion table, the color value after conversion may be outside the color reproducible area of the output device. Yes.

色変換テーブル作成部104aは、第1の色変換テーブルの出力値に対して、以下に説明する平滑化処理および補正処理を施すことによって最適化を行って、第2の色変換テーブルを作成する。まず、平滑化処理について説明する。色変換テーブル作成部104aは、第1の色変換テーブルの出力値の格子点情報を補間することによって、第1の色変換テーブルを平滑化する。具体的には、色変換テーブル作成部104aは、第1の色変換テーブルの出力値に対して、特定の色空間で色値に対するテーブルの格子点までの距離に応じた重み付け平均化処理を行うことによって、第1の色変換テーブルの格子点情報を補間する。これによって、第1の色変換テーブルの出力値の格子点のデータにばらつきがある場合であっても、出力値の格子点のデータのばらつきを補正することができる。   The color conversion table creation unit 104a optimizes the output values of the first color conversion table by performing a smoothing process and a correction process described below to create a second color conversion table. . First, the smoothing process will be described. The color conversion table creation unit 104a smoothes the first color conversion table by interpolating the grid point information of the output values of the first color conversion table. Specifically, the color conversion table creation unit 104a performs a weighted averaging process on the output value of the first color conversion table according to the distance to the grid point of the table for the color value in a specific color space. As a result, the grid point information of the first color conversion table is interpolated. Thereby, even if there is a variation in the data of the grid point of the output value of the first color conversion table, the variation of the data of the grid point of the output value can be corrected.

なお、ここでの格子点までの距離とは、Lab空間での色差ΔEに相当するものであり、色変換テーブル作成部104aは、ΔEが所定の閾値内にあるデータのみを対象として重み付け平均化処理を行う。これに対して、ΔEが所定の閾値外にあるデータについては、対象格子点に最近傍の対応点のデータを使用する。例えば、第1の色変換テーブルにおける入力データと出力データとの関係が「L ,a ,b → L ´,a ´,b ´」(はテーブルの番号)と表されるものとして説明する。この場合には、色変換テーブル作成部104aは、次式(1)で表されるガウス分布G(L,a,b)に従って重み付けを行って、次式(2)によって最終的に補間された変換量LUT(L,a,b)を算出する。

Figure 2008131125
Figure 2008131125
Here, the distance to the grid point corresponds to the color difference ΔE in the Lab space, and the color conversion table creation unit 104a performs weighted averaging only for data in which ΔE is within a predetermined threshold. Process. On the other hand, for data in which ΔE is outside a predetermined threshold, data of corresponding points closest to the target grid point is used. For example, the relationship between input data and output data in the first color conversion table is “L * n , a * n , b * n → L * n ′, a * n ′, b * n ′” ( where n is a table). This is described as being expressed as In this case, the color conversion table creation unit 104a performs weighting according to the Gaussian distribution G (L * , a * , b * ) expressed by the following equation (1), and finally by the following equation (2). The interpolated conversion amount LUT (L * , a * , b * ) is calculated.
Figure 2008131125
Figure 2008131125

図4は、Lab空間での色差ΔEがΔE≦10の領域4a内にあるデータを対象として平滑化を行った場合の具体例を示す図である。この図4では、平滑化前の色変換先の色値と平滑化後の色変換先の色値とを同一色空間(Lab空間)上に表示している。すなわち、平滑化前の色変換先の色値を点(白点および黒点)で表し、各点から延びる矢印の先が平滑化後の色変換先の色値を表している。換言すれば、平滑化前の色変換先の色値を示す座標値と平滑化後の色変換先の色値を示す座標値とを結ぶ矢印の向きおよび長さは、第1の変換テーブルを用いて色変換を行った場合の、色変換の向きおよび大きさを表している。   FIG. 4 is a diagram illustrating a specific example when smoothing is performed on data in the region 4a where the color difference ΔE in the Lab space is ΔE ≦ 10. In FIG. 4, the color value of the color conversion destination before smoothing and the color value of the color conversion destination after smoothing are displayed on the same color space (Lab space). That is, the color value of the color conversion destination before smoothing is represented by a point (white point and black point), and the tip of the arrow extending from each point represents the color value of the color conversion destination after smoothing. In other words, the direction and the length of the arrow connecting the coordinate value indicating the color value of the color conversion destination before smoothing and the coordinate value indicating the color value of the color conversion destination after smoothing are as follows. The direction and the size of the color conversion when the color conversion is performed using the data are shown.

この図4に示す例では、式(1)および(2)によって、点(白点)4bを基準として、点4b以外の各点(黒点)に対する重み付けをガウス分布に従って行い、各黒点のデータを平滑化することができる。具体的には、白点4bに近い黒点に付与する重み値を大きくし、白点4bから遠くなるにつれて、黒点に付与する重み値を小さくするように各黒点を重み付けして平滑化を行っている。この処理を、白点4b以外の点を基準として同様に行うことによって、第1の色変換テーブルを平滑化することができる。   In the example shown in FIG. 4, the points (white dots) 4b are used as a reference according to the formulas (1) and (2) to weight each point (black dot) other than the point 4b according to the Gaussian distribution, and the data of each black dot is obtained. Can be smoothed. Specifically, the weight value given to the black point close to the white point 4b is increased, and each black point is weighted and smoothed so that the weight value given to the black point decreases as the distance from the white point 4b increases. Yes. The first color conversion table can be smoothed by performing this process in the same manner with respect to points other than the white point 4b.

次に、補正処理について説明する。上述した平滑化処理によって第1の色変換テーブルの平滑化を行った場合、色変換先の色値(出力値)が出力デバイスの色再現可能領域外となってしまう可能性がある。この場合には、ガマットマッピングを考慮して平滑化後の第1の色変換テーブルの補正が必要になる。具体的には、色変換テーブル作成部104aは、図4に示した、平滑化前の色変換先の色値と、平滑化後の色変換先の色値とを同一色空間上に表示した場合の矢印の向きおよび長さを変更して、平滑化後の色変換先の色値の座標値が出力デバイスの色再現可能領域内に収まるように補正する必要がある。   Next, the correction process will be described. When the first color conversion table is smoothed by the smoothing process described above, the color value (output value) of the color conversion destination may be outside the color reproducible region of the output device. In this case, it is necessary to correct the first color conversion table after smoothing in consideration of gamut mapping. Specifically, the color conversion table creation unit 104a displays the color value of the color conversion destination before smoothing and the color value of the color conversion destination after smoothing shown in FIG. 4 in the same color space. It is necessary to change the direction and length of the arrow in this case so that the coordinate value of the color value of the color conversion destination after smoothing falls within the color reproducible region of the output device.

例えば、各矢印を構成する直線と出力デバイスの色再現可能領域の境界線との交点の座標値を補正後の色変換先の色値として算出する。そして、平滑化後の第1の色変換テーブルの該当する色変換先の色値を、補正後の色変換先の色値で更新する。または、平滑化後の第1の色変換テーブルの格子点の配置を変更することによって補正してもよい。例えば、格子点情報を(0,0,0)、(5,0,0)・・・というように、5刻みの間隔に置き換えるようにして補正してもよい。   For example, the coordinate value of the intersection of the straight line constituting each arrow and the boundary line of the color reproducible area of the output device is calculated as the color value of the color conversion destination after correction. Then, the corresponding color conversion destination color value in the first color conversion table after smoothing is updated with the corrected color conversion destination color value. Or you may correct | amend by changing arrangement | positioning of the grid point of the 1st color conversion table after smoothing. For example, the lattice point information may be corrected by replacing it with an interval of 5 increments, such as (0, 0, 0), (5, 0, 0).

テーブル作成部104aは、上述した第1の色変換テーブルの平滑化処理と、第1の色変換テーブルの補正処理とを、色変換先の色値に出力デバイスの色再現可能領域外の値がなくなるまで繰り返し行って、最終的に得られた色変換テーブルを第2の色変換テーブルとする。これによって、第1の色変換テーブルを最適化して、より自然な色変換を実現することができる第2の色変換テーブルを得ることができる。   The table creation unit 104a performs the above-described smoothing process of the first color conversion table and the correction process of the first color conversion table, and the value outside the color reproducible region of the output device is set as the color value of the color conversion destination. The process is repeated until there is no more, and the finally obtained color conversion table is used as the second color conversion table. As a result, the second color conversion table that can optimize the first color conversion table and realize more natural color conversion can be obtained.

色変換処理実行部104bは、色変換テーブル作成部104aによって作成された第2の色変換テーブルを用いて、対象画像の画像データ(入力データ)に対して色変換処理を施す。すなわち、入力データの色値を、対応する第2の色変換テーブルにおける色変換元の色値から変換先の色値に変換する。このとき、色変換処理実行部104bは、第2の色変換テーブルの格子点情報を補間することによって、入力された色値データから出力する色値データを算出する。具体的には、色変換処理実行部104bは、上述したテーブル作成部104aによる平滑化処理と同様の処理を第2の色変換テーブルに施すことによって、第2の色変換テーブルの格子点情報を補間する。   The color conversion processing execution unit 104b performs color conversion processing on the image data (input data) of the target image using the second color conversion table created by the color conversion table creation unit 104a. That is, the color value of the input data is converted from the color value of the color conversion source in the corresponding second color conversion table to the color value of the conversion destination. At this time, the color conversion processing execution unit 104b calculates color value data to be output from the input color value data by interpolating the grid point information of the second color conversion table. Specifically, the color conversion process execution unit 104b performs the same process as the smoothing process by the table creation unit 104a described above on the second color conversion table, thereby obtaining the grid point information of the second color conversion table. Interpolate.

画像データ出力部104cは、色変換処理を施した後の画像データを出力デバイス接続用I/F106を介して接続されている出力デバイス、例えばプリンタへ出力する。   The image data output unit 104c outputs the image data after the color conversion processing to an output device, for example, a printer, connected via the output device connection I / F 106.

図5は、本実施の形態における画像処理装置100の処理を示すフローチャートである。図5に示す処理は、使用者によって入力装置101が操作されることによって、対象画像の出力デバイスへの出力が指示された場合に起動するプログラムとして、制御装置104によって実行される。なお、ここでは、出力デバイス接続用I/F106にはプリンタが接続されているものとし、このプリンタの色再現可能領域に合った色変換処理を行う場合について説明する。また、対象画像は使用者によってあらかじめ選択されているものとし、RGBパッチの作成、RGBパッチの測色はあらかじめ行われているものとする。   FIG. 5 is a flowchart showing processing of the image processing apparatus 100 in the present embodiment. The processing shown in FIG. 5 is executed by the control device 104 as a program that is activated when the user operates the input device 101 to instruct the output of the target image to the output device. Here, it is assumed that a printer is connected to the output device connection I / F 106, and a case where color conversion processing suitable for the color reproducible area of the printer is performed will be described. Further, it is assumed that the target image is selected in advance by the user, and the creation of the RGB patch and the color measurement of the RGB patch are performed in advance.

ステップS10において、色変換テーブル作成部104aは、測色器103から入力されたR,G、およびBの各測色値XYZデータを読み込む。また、使用者によって作成されたRGBパッチの画像データをHDD105から読み込む。そして、色変換テーブル作成部104aは、RGBパッチの画像データ、および読み込んだRGBパッチの測色値データに基づいて、RGBパッチを印刷したプリンタの色変換特性を表したLab空間の色変換テーブル(第1の色変換テーブル)を作成する。その後、ステップS20へ進む。   In step S <b> 10, the color conversion table creation unit 104 a reads R, G, and B colorimetric values XYZ data input from the colorimeter 103. Also, the RGB patch image data created by the user is read from the HDD 105. Then, the color conversion table creation unit 104a, based on the RGB patch image data and the read colorimetric value data of the RGB patch, displays a color conversion table in the Lab space that represents the color conversion characteristics of the printer that printed the RGB patch ( A first color conversion table is created. Then, it progresses to step S20.

ステップS20では、色変換テーブル作成部104aは、第1の色変換テーブルに対して、上述した平滑化処理、および補正処理を施して最適化し、第2の色変換テーブルを作成する。その後、ステップS30へ進む。ステップS30では、色変換処理実行部104bは、色変換テーブル作成部104aによって作成された第2の色変換テーブルを用いて、対象画像の画像データ(入力データ)に対して色変換処理を施す。このとき、第2の色変換テーブルの格子点情報を補間することによって、入力された色値データから出力する色値データを算出する。   In step S20, the color conversion table creation unit 104a optimizes the first color conversion table by performing the above-described smoothing process and correction process, and creates a second color conversion table. Then, it progresses to step S30. In step S30, the color conversion processing execution unit 104b performs color conversion processing on the image data (input data) of the target image using the second color conversion table created by the color conversion table creation unit 104a. At this time, color value data to be output is calculated from the input color value data by interpolating the grid point information of the second color conversion table.

その後、ステップS40へ進み、画像データ出力部104cは、色変換処理を施した後の画像データを出力デバイス接続用I/F106を介して接続されているプリンタへ出力して、処理を終了する。   Thereafter, the process proceeds to step S40, where the image data output unit 104c outputs the image data after the color conversion process to the printer connected via the output device connection I / F 106, and ends the process.

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)画像データの色空間の色値から出力デバイスの色空間の色値へ変換するための第1の色変換テーブルを作成し、第1の色変換テーブルを平滑化し、平滑化後の色値が出力デバイスの色再現可能領域内に収まるように補正を行って第2の色変換テーブルを作成した。そして、第2の色変換テーブルを用いて、画像データに対して色変換処理を施すようにした。これによって、出力デバイスの色再現可能領域に収まるような色変換処理を行うことができる。
According to the present embodiment described above, the following operational effects can be obtained.
(1) A first color conversion table for converting the color value of the color space of the image data to the color value of the color space of the output device is created, the first color conversion table is smoothed, and the smoothed color The second color conversion table was created by performing correction so that the value was within the color reproducible region of the output device. Then, color conversion processing is performed on the image data using the second color conversion table. This makes it possible to perform color conversion processing that fits in the color reproducible area of the output device.

(2)平滑化後の第1の色変換テーブルにおける全ての変換先の色値が出力デバイスの色再現可能領域内に収まるまで、平滑化および補正を繰り返すようにした。これによって、出力デバイスの色再現可能領域に完全に収まるような色変換処理を行うことができる。 (2) The smoothing and correction are repeated until all the converted color values in the first color conversion table after smoothing fall within the color reproducible region of the output device. As a result, it is possible to perform color conversion processing that completely fits in the color reproducible region of the output device.

(3)第1および第2の色変換テーブルは、色空間上の座標値を格子点情報として用い,
画像データの色空間の色値と、出力デバイスの色空間の色値とを対応付けたものとした。これによって、入力された画像データの色空間の色値を出力デバイスの色再現可能範囲内の色値に変換することができる。
(3) The first and second color conversion tables use coordinate values in the color space as grid point information,
The color value of the color space of the image data is associated with the color value of the color space of the output device. As a result, the color value in the color space of the input image data can be converted into a color value within the color reproducible range of the output device.

(4)平滑化前の色変換先の色値と、平滑化後の色変換先の色値とを同一色空間上に表示して矢印で結び、当該矢印の向きおよび長さを変更することによって、平滑化後の色値が出力デバイスの色再現可能領域内に収まるように補正するようにした。また色変換テーブルの格子点の配置を変更することによって、平滑化後の色値が出力デバイスの色再現可能領域内に収まるように補正するようにした。これによって、確実に平滑化後の色値が出力デバイスの色再現可能領域内に収まるように補正することができる。 (4) Displaying the color value of the color conversion destination before smoothing and the color value of the color conversion destination after smoothing in the same color space, connecting them with arrows, and changing the direction and length of the arrows Thus, the smoothed color value is corrected so as to be within the color reproducible region of the output device. Further, by changing the arrangement of the grid points in the color conversion table, the color values after smoothing are corrected so as to be within the color reproducible area of the output device. Accordingly, it is possible to correct so that the color value after smoothing is surely contained within the color reproducible region of the output device.

(5)画像データに色変換処理を施す際には、第2の色変換テーブルの格子点情報を補間して、画像データの色変換後の色値を算出するようにした。これによって、より自然な色変換を行うことができる。 (5) When performing color conversion processing on image data, the grid point information of the second color conversion table is interpolated to calculate the color value after color conversion of the image data. Thereby, more natural color conversion can be performed.

―変形例―
なお、上述した実施の形態の画像処理装置は、以下のように変形することもできる。
(1)上述した実施の形態では、色変換テーブル作成部104aは、第1の色変換テーブルに対して平滑化処理、および補正処理を施して最適化することによって、第2の色変換テーブルを作成する例について説明した。しかしながら、色変換テーブル作成部104aは、第1の色変換テーブルに対して、平滑化処理のみを行って、第2の色変換テーブルを作成するようにしてもよい。
-Modification-
The image processing apparatus according to the above-described embodiment can be modified as follows.
(1) In the above-described embodiment, the color conversion table creation unit 104a optimizes the first color conversion table by performing a smoothing process and a correction process, thereby obtaining the second color conversion table. The example to create was demonstrated. However, the color conversion table creation unit 104a may perform only the smoothing process on the first color conversion table to create the second color conversion table.

(2)上述した実施の形態では、出力デバイスの色再現可能領域に合わせたルックアップテーブル(LUT)として第2の色変換テーブルを作成する例について説明した。しかしながら、ある色を所定の傾向に応じて、他の色に変換する色作りに関するルックアップテーブルを作成する場合にも適用可能である。 (2) In the above-described embodiment, the example in which the second color conversion table is created as the lookup table (LUT) according to the color reproducible region of the output device has been described. However, the present invention can also be applied to a case where a lookup table relating to color creation for converting a certain color into another color according to a predetermined tendency is created.

(3)上述した実施の形態では、色変換テーブル作成部104aは、測色器103からの入力値とRGBパッチの画像データとに基づいて、第1の色変換テーブルを作成し、作成した第1の色変換テーブルを最適化する例について説明した。しかしながら、第1の色変換テーブルはあらかじめ作成されたものを用いてもよく、この場合には、色変換テーブル作成部104aは、あらかじめ作成されている第1の色変換テーブルを読み込んで、読み込んだ第1の色変換テーブルを最適化すればよい。 (3) In the above-described embodiment, the color conversion table creation unit 104a creates the first color conversion table based on the input value from the colorimeter 103 and the RGB patch image data, and creates the first color conversion table. An example of optimizing one color conversion table has been described. However, the first color conversion table created in advance may be used. In this case, the color conversion table creation unit 104a reads and reads the first color conversion table created in advance. The first color conversion table may be optimized.

(4)また、本発明は、画像処理装置だけに限らず、図5に示すフローチャートに基づき、汎用コンピュータで実行する画像処理プログラムであってもよい。 (4) The present invention is not limited to the image processing apparatus, and may be an image processing program executed by a general-purpose computer based on the flowchart shown in FIG.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。   Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired.

画像処理装置の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of an image processing apparatus. 第1の色変換テーブルの具体例を示す図である。It is a figure which shows the specific example of a 1st color conversion table. 第1の色変換テーブルの出力値のばらつきを示す図である。It is a figure which shows the dispersion | variation in the output value of a 1st color conversion table. ΔE≦10の領域4a内にあるデータを対象として平滑化を行った場合の具体例を示す図である。It is a figure which shows the specific example at the time of smoothing for the data in the area | region 4a of (DELTA) E <= 10. 画像処理装置100の処理を示すフローチャート図である。3 is a flowchart showing processing of the image processing apparatus 100. FIG.

符号の説明Explanation of symbols

100 画像処理装置、101 操作部材、102 画像入力用I/F、104 制御装置、104a 色変換テーブル作成部、104b 色変換処理実行部、104c 画像データ出力部、105 HDD、106 出力デバイス接続用I/F DESCRIPTION OF SYMBOLS 100 Image processing apparatus, 101 Operation member, 102 Image input I / F, 104 Control apparatus, 104a Color conversion table preparation part, 104b Color conversion process execution part, 104c Image data output part, 105 HDD, 106 Output device connection I / F

Claims (9)

入力された画像データに対して、出力デバイスの色再現可能領域に応じた色変換処理を施す画像処理装置であって、
前記画像データの色空間の色値から前記出力デバイスの色空間の色値へ変換するための色変換テーブルを平滑化する平滑化手段と、
前記平滑化手段で平滑化した後の前記色変換テーブルにおける前記出力デバイスの色空間の色値(平滑化後色値)が前記出力デバイスの色再現可能領域外である場合には、前記平滑化後色値が前記出力デバイスの色再現可能領域内に収まるように補正する補正手段と、
前記補正手段で補正を行った後の前記色変換テーブルを用いて、前記画像データに対して前記色変換処理を施す色変換手段とを備えることを特徴とする画像処理装置。
An image processing apparatus that performs color conversion processing on input image data according to a color reproducible area of an output device,
Smoothing means for smoothing a color conversion table for converting the color value of the color space of the image data to the color value of the color space of the output device;
When the color value (color value after smoothing) of the output device in the color conversion table after smoothing by the smoothing means is outside the color reproducible region of the output device, the smoothing Correction means for correcting the rear color value to be within the color reproducible region of the output device;
An image processing apparatus comprising: a color conversion unit that performs the color conversion process on the image data using the color conversion table after the correction by the correction unit.
請求項1に記載の画像処理装置において、
前記色変換テーブルを作成する作成手段をさらに備え、
前記平滑化手段は、前記作成手段で作成した前記色変換テーブルを平滑化することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
Further comprising a creating means for creating the color conversion table,
The image processing apparatus characterized in that the smoothing means smoothes the color conversion table created by the creating means.
請求項1に記載の画像処理装置において、
あらかじめ作成された前記色変換テーブルを読み込む読み込み手段をさらに備え、
前記平滑化手段は、前記読み込み手段で読み込んだ前記色変換テーブルを平滑化することを特徴とする画像処理装置。
The image processing apparatus according to claim 1.
It further comprises reading means for reading the color conversion table created in advance,
The image processing apparatus characterized in that the smoothing means smoothes the color conversion table read by the reading means.
請求項1〜3のいずれか一項に記載の画像処理装置において、
前記平滑化手段および前記補正手段は、前記色変換テーブルにおける全ての前記平滑化後色値が前記出力デバイスの色再現可能領域内に収まるまで、前記平滑化および前記補正を繰り返すことを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 3,
The smoothing means and the correction means repeat the smoothing and correction until all the smoothed color values in the color conversion table fall within the color reproducible region of the output device. Image processing device.
請求項1〜4のいずれか一項に記載の画像処理装置において、
前記色変換テーブルは、色空間上の座標値を格子点情報として用い、前記画像データの色空間の色値と、前記出力デバイスの色空間の色値とを対応付けたルックアップテーブルであることを特徴とする画像処理装置。
In the image processing device according to any one of claims 1 to 4,
The color conversion table is a lookup table that uses coordinate values in a color space as grid point information and associates color values in the color space of the image data with color values in the color space of the output device. An image processing apparatus.
請求項5に記載の画像処理装置において、
前記補正手段は、平滑化前の色変換先の色値と、平滑化後の色変換先の色値とを同一色空間上に表示して矢印で結び、当該矢印の向きおよび長さを変更することによって、前記平滑化後色値が前記出力デバイスの色再現可能領域内に収まるように補正する、または、前記色変換テーブルの前記格子点の配置を変更することによって、前記平滑化後色値が前記出力デバイスの色再現可能領域内に収まるように補正することを特徴とする画像処理装置。
The image processing apparatus according to claim 5.
The correction means displays the color value of the color conversion destination before smoothing and the color value of the color conversion destination after smoothing in the same color space and connects them with arrows, and changes the direction and length of the arrows The post-smoothing color value is corrected so as to be within the color reproducible region of the output device, or the arrangement of the grid points in the color conversion table is changed, thereby An image processing apparatus, wherein a value is corrected so as to be within a color reproducible region of the output device.
請求項5または6に記載の画像処理装置において、
前記色変換手段は、前記補正手段で補正を行った後の前記色変換テーブルの前記格子点情報を補間して、前記画像データの色変換後の色値を算出することによって、前記画像データに対して前記色変換処理を施すことを特徴とする画像処理装置。
The image processing apparatus according to claim 5 or 6,
The color conversion unit interpolates the lattice point information of the color conversion table after correction by the correction unit, and calculates a color value after color conversion of the image data, thereby obtaining the image data. An image processing apparatus that performs the color conversion process on the image processing apparatus.
入力された画像データに対して、出力デバイスの色再現可能領域に応じた色変換処理を施すための画像処理方法であって、
前記画像データの色空間の色値から前記出力デバイスの色空間の色値へ変換するための色変換テーブルを平滑化し、
平滑化した後の前記色変換テーブルにおける前記出力デバイスの色空間の色値(平滑化後色値)が前記出力デバイスの色再現可能領域外である場合には、前記平滑化後色値が前記出力デバイスの色再現可能領域内に収まるように補正し、
補正を行った後の前記色変換テーブルを用いて、前記画像データに対して前記色変換処理を施すことを特徴とする画像処理方法。
An image processing method for performing color conversion processing according to a color reproducible area of an output device for input image data,
Smoothing a color conversion table for converting from a color value of the color space of the image data to a color value of the color space of the output device;
When the color value (smoothed color value) of the output device in the color conversion table after smoothing is outside the color reproducible region of the output device, the smoothed color value is Correct it to be within the color reproducible area of the output device,
An image processing method, wherein the color conversion process is performed on the image data using the color conversion table after correction.
入力された画像データに対して、出力デバイスの色再現可能領域に応じた色変換処理を施す画像処理プログラムであって、
コンピュータに、
前記画像データの色空間の色値から前記出力デバイスの色空間の色値へ変換するための色変換テーブルを平滑化する平滑化手順と、
前記平滑化手順で平滑化した後の前記色変換テーブルにおける前記出力デバイスの色空間の色値(平滑化後色値)が前記出力デバイスの色再現可能領域外である場合には、前記平滑化後色値が前記出力デバイスの色再現可能領域内に収まるように補正する補正手順と、
前記補正手順で補正を行った後の前記色変換テーブルを用いて、前記画像データに対して前記色変換処理を施す色変換手順とを実行させるための画像処理プログラム。
An image processing program for performing color conversion processing according to the color reproducible area of the output device for input image data,
On the computer,
A smoothing procedure for smoothing a color conversion table for converting from a color value of the color space of the image data to a color value of the color space of the output device;
When the color value (color value after smoothing) of the output device in the color conversion table after smoothing by the smoothing procedure is outside the color reproducible region of the output device, the smoothing A correction procedure for correcting the rear color value so as to be within the color reproducible region of the output device;
An image processing program for executing a color conversion procedure for performing the color conversion processing on the image data using the color conversion table after correction is performed in the correction procedure.
JP2006311134A 2006-11-17 2006-11-17 Image processing apparatus, image processing method and image processing program Pending JP2008131125A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006311134A JP2008131125A (en) 2006-11-17 2006-11-17 Image processing apparatus, image processing method and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006311134A JP2008131125A (en) 2006-11-17 2006-11-17 Image processing apparatus, image processing method and image processing program

Publications (1)

Publication Number Publication Date
JP2008131125A true JP2008131125A (en) 2008-06-05

Family

ID=39556583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006311134A Pending JP2008131125A (en) 2006-11-17 2006-11-17 Image processing apparatus, image processing method and image processing program

Country Status (1)

Country Link
JP (1) JP2008131125A (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181870A (en) * 1990-11-16 1992-06-29 Canon Inc Color picture processing unit
JP2006197080A (en) * 2005-01-12 2006-07-27 Seiko Epson Corp Smoothing of lattice point arrangement
JP2006217150A (en) * 2005-02-02 2006-08-17 Seiko Epson Corp Smoothing of lattice point arrangement
JP2006238335A (en) * 2005-02-28 2006-09-07 Canon Inc Information processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04181870A (en) * 1990-11-16 1992-06-29 Canon Inc Color picture processing unit
JP2006197080A (en) * 2005-01-12 2006-07-27 Seiko Epson Corp Smoothing of lattice point arrangement
JP2006217150A (en) * 2005-02-02 2006-08-17 Seiko Epson Corp Smoothing of lattice point arrangement
JP2006238335A (en) * 2005-02-28 2006-09-07 Canon Inc Information processing method

Similar Documents

Publication Publication Date Title
JP5269042B2 (en) Image processing apparatus, image processing method, and lookup table generation method
JP4623137B2 (en) Color processing apparatus, method and program
US7944583B2 (en) Image processing apparatus and method
JP2004135312A (en) Image processor, image processing system, image forming apparatus, image processing method, and program
JP2012080486A (en) Color conversion device, image formation device and color conversion program
JP4715639B2 (en) Image formation control device and program
JP2009049839A (en) Color conversion device and program
JP5299232B2 (en) Color conversion table creation program, color conversion table creation device, and color conversion table creation method
JP2007329737A (en) Device and program for creating color conversion definition
JP4838699B2 (en) Color processing apparatus and method
JP5610687B2 (en) Information processing apparatus, method, and program
JP2009004862A (en) Image processing apparatus
JP4645666B2 (en) Color processing apparatus and program
JP2008131125A (en) Image processing apparatus, image processing method and image processing program
JP2009278264A (en) Color processing apparatus, and program
JP2006048420A (en) Method for preparing color conversion table, and image processor
JP2010161693A (en) Color processing apparatus and program
JP6541387B2 (en) PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM
JP2011130087A (en) Image processing apparatus and image processing method
JP2007110651A (en) Image processing device, image processing method, and program
JP4721419B2 (en) Image processing apparatus, control method therefor, and computer program
JP2006005449A (en) Method, apparatus, and program for generating gradation correction curve
JP2006101169A (en) Color correction apparatus and color correction program
JP2024044200A (en) Image processing device, image processing method and program
JP4970419B2 (en) Image processing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111003

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120416

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120911