JP2009260474A - 色処理装置および方法 - Google Patents

色処理装置および方法 Download PDF

Info

Publication number
JP2009260474A
JP2009260474A JP2008104649A JP2008104649A JP2009260474A JP 2009260474 A JP2009260474 A JP 2009260474A JP 2008104649 A JP2008104649 A JP 2008104649A JP 2008104649 A JP2008104649 A JP 2008104649A JP 2009260474 A JP2009260474 A JP 2009260474A
Authority
JP
Japan
Prior art keywords
color
volume
color signal
output
gradation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008104649A
Other languages
English (en)
Other versions
JP5078719B2 (ja
Inventor
Takahiro Matsuura
貴洋 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008104649A priority Critical patent/JP5078719B2/ja
Priority to US12/422,463 priority patent/US8115827B2/en
Publication of JP2009260474A publication Critical patent/JP2009260474A/ja
Application granted granted Critical
Publication of JP5078719B2 publication Critical patent/JP5078719B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/603Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals

Abstract

【課題】 上記の課題を解決するために、色変換テーブルの階調特性評価を可能とする。
【解決手段】 上記目的を達成するために、本発明にかかる色処理装置は、以下の構成を有する。すなわち、入力色信号を出力色信号に色変換する色変換テーブルを取得する取得手段と、前記出力色信号の色空間において、前記入力色信号の色空間における格子点に対応する前記出力色信号の格子点により形成される四面体の体積を算出する算出手段と、前記体積に基づき前記色変換テーブルの階調特性を評価する評価手段とを有することを特徴とする。
【選択図】 図1

Description

本発明は、色変換テーブルの階調特性の評価に関する。
従来のデジタルカメラにおいては、デジタルカメラ内部にあらかじめモードに応じた複数の色処理条件を保持し、その中から選択した1つのモードに応じた色処理条件を使用して、撮影した画像データの色処理を行っていた。
しかしながら、従来のデジタルカメラにおいては、あらかじめ用意されている色処理条件のみしか設定できず、ユーザの好みの色再現を実現することが出来ない。
そこで、特許文献1では、デジタルカメラの色再現をユーザの好みによって自由に設定できるような装置を提供することを目的として、色処理条件の編集方法が提案されている。この方法では、肌色や空・草の色、原色などを含むカラーチャートをデジタルカメラで撮影したときの撮影データを、カラーチャートの本来の色、または上記の肌色などを自分が好ましいと思う色(以後目標色と称す)に近づくような色処理条件を生成することが出来る。
特開2004−341923号公報
しかしながら、従来技術では、好ましいと思う色に近づくような色処理条件をユーザが任意に設定できる反面、単にユーザが生成した色処理条件に応じた色変換テーブルを生成している。最終的に出力する色変換テーブルの階調性などの評価を行っていないため、生成された色変換テーブルの階調性に着目したとき、階調の反転が起こってしまうという問題があった。その結果、この階調反転により、最終的に出力される階調が損なわれてしまう場合があった。
本発明は、上記の課題を解決するために、色変換テーブルの階調特性の評価を可能とすることを目的とする。
上記目的を達成するために、本発明にかかる色処理装置は、以下の構成を有する。すなわち、入力色信号を出力色信号に色変換する色変換テーブルを取得する取得手段と、前記出力色信号の色空間において、前記入力色信号の色空間における格子点に対応する前記出力色信号の格子点により形成される四面体の体積を算出する算出手段と、前記体積に基づき前記色変換テーブルの階調特性を評価する評価手段とを有することを特徴とする。
また、本発明にかかる色処理方法は、以下の構成を有する。すなわち、入力色信号を出力色信号に色変換する色変換テーブルを取得する取得工程と、前記出力色信号の色空間において、前記入力色信号の色空間における格子点に対応する前記出力色信号の格子点により形成される四面体の体積を算出する算出工程と、前記体積に基づき前記色変換テーブルの階調特性を評価する評価工程とを有することを特徴とする。
本発明により、色変換テーブルの階調特性の評価を可能とすることできる。
(実施形態1)
<構成>
本実施形態の構成を図1に示す。
図1において、1はデジタルカメラ、2はプロファイル作成装置、3は色票である。101は撮像部であり、撮影レンズと例えばCCD等の画像センサとを有する。102はデータ入出力部であり、画像データおよび色処理パラメータに対する外部とのインターフェイスである。103は画像処理部であり、撮像部101で取得した被写体像に対し、色処理パラメータ保持部104に格納された色処理パラメータを用いて、例えば色、明るさなどに関する処理を行う。処理された画像データは、データ入出力部102を介してプロファイル作成装置2に出力される。このとき、ケーブルなどを介してプロファイル作成装置に直接データを出力しても良いし、例えばコンパクトフラッシュ(登録商標)などの記録媒体に出力しても良い。
104は色処理パラメータ保持部であり、色処理パラメータを保持する。105は表示部であり、撮像部101により取得した撮影中の画像を表示する液晶ディスプレイ等である。201はデータ入出力部であり、画像データおよび色処理パラメータ、ターゲットデータの外部とのインターフェイスである。202は目標色設定部であり、取得した被写体像の目標とする色を設定する。203は色データ取得部であり、取得した画像データの各パッチにおけるRGB平均値を算出する。204は色処理条件生成部であり、色処理パラメータを例えば公知の減衰最小二乗法(Dumped Least Square Method:DLS法)などを用いて最適化し、色処理条件を生成する。205はプロファイル生成部であり、色処理条件生成部204で生成された色処理条件を用いてプロファイルを生成する。206は形状評価部であり、プロファイル生成部205で生成されたプロファイルの形状を評価する。207は表示部であり、生成したプロファイル、および形状評価結果を表示する。
図2に色票3の例を示す。
図2において、色票3は色設計に用いるためのチャートであり、複数の色それぞれに対応するパッチを有する。
図3にプロファイル作成装置2における処理の流れを示す。
ステップS1において、色処理条件生成部204は、色データ取得部203で取得した画像データに対して、目標色設定部202で取得した被写体像の目標とする色を設定するための色処理条件を生成し、プロファイルを生成する。ステップS1の動作の詳細は、図4を用いて後述する。ステップS2において、ステップS1により生成したプロファイルをデータ入出力部201に出力、デジタルカメラ1にアップロードする。
<色処理条件生成方法>
図4は、図3のステップS1における色処理条件の生成方法を詳細に示したものである。
ステップS11において、画像入出力部201は、画像の画像データ、例えばRGB値(以降、RGBを例に説明する)を入力する。入力先は、ケーブルなどを介してデジタルカメラから直接入力しても良いし、コンパクトフラッシュ(登録商標)などの記録媒体から入力するようにしても良い。ここで、入力する画像データの被写体は色票3である。
ステップS12において、目標色設定部202は、目標色を設定する。目標色は、ステップS11で入力した画像データの被写体である色票3の各パッチに対して、図示しない測定器を用いて測色することで得られる測色値とする。
ステップS13において、色データ取得部203は、ステップS11で入力したRGB値に対して、パッチ毎のRGB平均値を取得する。
ステップS14において、色処理条件生成部204は、色処理条件を生成する。色処理条件は、たとえば3x3のマトリックスや、3x9のマトリックスなどで表わし、ステップS11で入力した入力データとステップS12で設定した目標色との色差が小さくなるようなマトリックス値を、公知のDLSなどの最適化手法を用いて生成される。具体的には、入力データは、ステップS13で取得したRGB平均値にマトリックス演算し(R’G’B’とする)、IEC61966−2−1で規定されるsRGBと仮定してCIELAB色空間上の値に変換される(L*i、a*i、b*iとする)。また、ステップS12において設定された目標色は、測定したXYZ表色系のXYZ値をCIELABに変換する公知の変換式(L*Ti、a*Ti、b*Ti)を用いることで得られる。そして、各パッチの評価関数をEi、重み値をwi、全体の評価関数をEとし、
Figure 2009260474
を最小とするようなマトリックス値を算出するように最適化する。
ここで、ステップS14におけるR’G’B’値の算出方法、およびRGB→CIEXYZ、CIEXYZ→CIELABへの変換式を以下に示す。
<R’G’B’値の算出方法>
まず、入力RGB値を正規化する。正規化は入力RGB値が10ビットの場合には各値を1023(=210−1)で割る。次に、以下の式(2)から式(4)のいずれかの式を用いてR’G’B’を算出する。
Figure 2009260474
Figure 2009260474
Figure 2009260474
ただし、M1:3x3マトリックス、M2:3x9マトリックス、M3:3x19マトリックスである。
<RGB→CIEXYZへの変換式>
Figure 2009260474
Figure 2009260474
Figure 2009260474
Figure 2009260474
<CIEXYZ→CIELABへの変換式>
Figure 2009260474
Figure 2009260474
Figure 2009260474
Figure 2009260474
Figure 2009260474
Figure 2009260474
ステップS15において、プロファイル生成部205は、ステップS14により生成された色処理条件を用いてプロファイルを生成する。プロファイルは、入力色信号の色空間において格子状に配置される格子点に、各入力色信号を対応させた、例えば3次元のルックアップテーブルで表される3DLUT形式がある。3DLUT形式について、デジタルカメラの入力RGBデータが10ビット(0−1023)であり、スライス数(色空間における各入力色信号の刻み数)が17であると仮定した場合の作成方法を以下に示す。プロファイル生成部205は、
(R,G,B)=
(0,0,0)、(0,0,64)、(0,0,128)、‥‥、
(0,0,1023)、(0,64,0)、(0,64,64)、‥‥、
(0,64,1023)、(0,128,0)、(0,128,64)、‥‥、(1023,1023,1023)
の4913個(=17x17x17個)のデータを順番に入力し、先に求めた色処理条件を用いてR’G’B’値を算出する。これを国際電気標準会議(IEC)が定めたIEC61966−2−1で規定されるsRGBと仮定して、CIELABに変換したL*a*b*値を算出する。そして算出した4913組の(R、G、B)と出力色信号である(L*、a*、b*)との対応関係を表す組を3DLUTとする。
ステップS16において、形状評価部206は、ステップS15により生成した3DLUTの形状を評価する。形状は、たとえば3DLUTの出力値の色空間において、出力値が形成する立体を形成する各四面体の体積で評価する。
3DLUTの体積は、図5に示すように3DLUTの立体を形成する四面体に分割し、個々の分割された四面体の体積Vを、四面体の頂点を表すベクトルの内積と外積を用いて算出する。図5において、xはベクトルの外積、・はベクトルの内積である。任意の3辺のベクトルをa、b、cとしたとき、
V=(axb)・c/6‥‥(16)
(ただし、xはベクトルの外積、・はベクトルの内積とする。)
で求める。
階調反転率Rは、3DLUTを形成する個々の四面体の体積を求める際、図5の計算式のように四面体の体積を算出すると、階調が反転していないときには算出結果は正の数、階調が反転しているときには算出結果は負の数となる。そして、結果が正、0、負になった四面体の個数をそれぞれP、Z、Mとしたとき、
R=M/(P+Z+M)‥‥(18)
で求める。
ステップS17において、表示部207は、図6に示すように生成した3DLUTおよび階調評価結果を表示する。また、階調評価結果が、(16)で求めたVの値が0以下になった場合、もしくは(18)で求めたRが所定の値以上になった場合に警告が報知される。
ステップS18において、色処理条件生成部204は、色処理条件生成を終了するか否かを判断し、終了する場合には処理を終了し、継続する際にはステップS14に進む。
本実施形態においては、プロファイルを例に説明したが、入力色信号を出力色信号に変換する色変換テーブルであれば、本実施形態と同様に適用可能である。
(実施形態2)
実施形態1においては、評価関数として式(1)で表される式を使用したが、公知の下記の式で表される△E94を使用しても良い。
Figure 2009260474
(実施形態3)
上述の実施形態では、立体の形状は、たとえば3DLUTの出力値の色空間において、この立体を形成する各四面体における階調反転率で評価したが、出力値が形成する立体の表面の凹凸度合いに基づいて評価しても良い。
表面の凹凸度合いは、生成した3DLUTの体積と同じ体積を示す球の表面積と、生成した3DLUTの表面積の比を算出することで得られる。3DLUTの体積は、図5に示すように3DLUTの立体を形成する四面体に分割し、個々の分割された四面体の体積を、四面体の頂点を表すベクトルの内積と外積を用いて算出する。図5において、xはベクトルの外積、・はベクトルの内積である。3DLUTの表面積Stは、最外郭を形成する三角形の面積をS、任意の2辺のベクトルをa、bとしたとき、
St=ΣS・・・・(15)
S=|axb|/2‥‥(16)
(ただし、||はベクトルの大きさ、xはベクトルの外積とする。)
で求める。
また、体積Vの球の表面積Scは
Figure 2009260474
で求める。
また、階調評価結果は、(15)−(17)で求めたSt、Scを用いてSt/Scの値が所定の値以上になった場合、もしくは(18)で求めたRが所定の値以上になった場合に警告を報知すればよい。
(他の実施の形態)
本発明は、複数の機器(例えばコンピュータ、インターフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置、制御装置など)に適用してもよい。
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU)が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
以上の実施形態により、色変換テーブルの階調特性の評価を可能とすることできる。
実施形態1の構成を示す図である。 色票3の例を示す図である。 色処理パラメータ編集装置2における処理の流れを示す図である。 色処理条件生成と形状評価値算出の流れを示す図である。 各四面体の体積を算出する方法の模式図を示す図である。 3DLUTおよび警告表示の例を示す図である。

Claims (8)

  1. 入力色信号を出力色信号に色変換する色変換テーブルを取得する取得手段と、
    前記出力色信号の色空間において、前記入力色信号の色空間における格子点に対応する前記出力色信号の格子点により形成される四面体の体積を算出する算出手段と、
    前記体積に基づき前記色変換テーブルの階調特性を評価する評価手段と
    を有することを特徴とする色処理装置。
  2. さらに、前記評価手段による評価結果をユーザに報知する報知手段とを有することを特徴とする請求項1に記載の色処理装置。
  3. 前記四面体は、前記出力色信号の格子点が形成する立体を分割して生成されることを特徴とする請求項1又は2に記載の色処理装置。
  4. 前記算出手段は、前記体積を、前記階調特性が階調反転していないときに正の数となるように、前記頂点を表すベクトルの外積と内積とを用いて算出することを特徴とする請求項3に記載の色処理装置。
  5. 前記評価手段は、前記体積が正の数の値である場合に前記階調特性を正常と評価し、前記体積が0の値の場合に前記階調特性がつぶれていると評価し、前記体積が負の数の場合に前記階調特性が階調反転していると評価することを特徴とする請求項1乃至4に記載の色処理装置。
  6. 入力色信号を出力色信号に色変換する色変換テーブルを取得する取得工程と、
    前記出力色信号の色空間において、前記入力色信号の色空間における格子点に対応する前記出力色信号の格子点により形成される四面体の体積を算出する算出工程と、
    前記体積に基づき前記色変換テーブルの階調特性を評価する評価工程と
    を有することを特徴とする色処理方法。
  7. コンピュータ装置を制御して、請求項1乃至5の何れか一項に記載された色処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
  8. 請求項7に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
JP2008104649A 2008-04-14 2008-04-14 色処理装置および方法 Expired - Fee Related JP5078719B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008104649A JP5078719B2 (ja) 2008-04-14 2008-04-14 色処理装置および方法
US12/422,463 US8115827B2 (en) 2008-04-14 2009-04-13 Color processing apparatus and color processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008104649A JP5078719B2 (ja) 2008-04-14 2008-04-14 色処理装置および方法

Publications (2)

Publication Number Publication Date
JP2009260474A true JP2009260474A (ja) 2009-11-05
JP5078719B2 JP5078719B2 (ja) 2012-11-21

Family

ID=41163660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008104649A Expired - Fee Related JP5078719B2 (ja) 2008-04-14 2008-04-14 色処理装置および方法

Country Status (2)

Country Link
US (1) US8115827B2 (ja)
JP (1) JP5078719B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5901113B2 (ja) * 2010-01-29 2016-04-06 キヤノン株式会社 インク、インクカートリッジ、インクジェット記録方法、インクセット、及びインクの調色方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341923A (ja) * 2003-05-16 2004-12-02 Canon Inc 画像処理方法および装置
JP2009260473A (ja) * 2008-04-14 2009-11-05 Canon Inc 色処理方法及び装置、プログラム、記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6137494A (en) * 1995-08-18 2000-10-24 International Business Machines Corporation Method and means for evaluating a tetrahedral linear interpolation function
JP3436851B2 (ja) * 1995-12-11 2003-08-18 大日本スクリーン製造株式会社 データ変換テーブル変更方法
US6873432B1 (en) * 1999-11-30 2005-03-29 Xerox Corporation Method and apparatus for representing color space transformations with a piecewise homeomorphism
US8478027B2 (en) * 2006-11-06 2013-07-02 Fuji Xerox Co., Ltd. Image processing apparatus, image reproducing system and computer-readable medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004341923A (ja) * 2003-05-16 2004-12-02 Canon Inc 画像処理方法および装置
JP2009260473A (ja) * 2008-04-14 2009-11-05 Canon Inc 色処理方法及び装置、プログラム、記録媒体

Also Published As

Publication number Publication date
US8115827B2 (en) 2012-02-14
JP5078719B2 (ja) 2012-11-21
US20090256930A1 (en) 2009-10-15

Similar Documents

Publication Publication Date Title
JP6316074B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4290136B2 (ja) 色処理装置およびその方法
JP4533287B2 (ja) 色処理方法およびその装置
JP2020074501A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010062672A (ja) 画像処理装置およびその方法
JP2008141237A (ja) 色処理装置およびその方法
JP6376767B2 (ja) 画像処理装置及び画像処理方法
US8421817B2 (en) Color processing apparatus and method thereof
JP5950756B2 (ja) 画像処理装置および画像処理方法
JP5078719B2 (ja) 色処理装置および方法
JP2011097523A (ja) 画像処理装置及び画像処理方法
JP5031442B2 (ja) 色処理方法および装置
US20100302596A1 (en) Color look up table adjusting apparatus, recording medium on which a color look up table adjusting program is recorded and color look up table adjusting system
JP2004297438A (ja) 画像補正方法、装置及びプログラム
JP2006254369A (ja) 色処理方法およびその装置
JP2004341923A (ja) 画像処理方法および装置
JP2010103625A (ja) 色処理装置および方法
US20230032948A1 (en) Information processing apparatus, information processing method, and storage medium
US11700346B2 (en) Image processing apparatus, image processing method, and storage medium for generating preview image data to be displayed on a display
JP2005295444A (ja) 画像処理装置およびその方法
JP2018133668A (ja) 画像処理装置と色変換テーブルの調整方法、及びそのプログラム
JP2010251940A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4996320B2 (ja) 色処理装置およびその方法
JP2024006474A (ja) 画像処理装置、画像処理方法
JP2008288982A (ja) 色処理装置および方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120828

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5078719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150907

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees