JP2003333617A - 色補正回路と撮像装置 - Google Patents

色補正回路と撮像装置

Info

Publication number
JP2003333617A
JP2003333617A JP2002134145A JP2002134145A JP2003333617A JP 2003333617 A JP2003333617 A JP 2003333617A JP 2002134145 A JP2002134145 A JP 2002134145A JP 2002134145 A JP2002134145 A JP 2002134145A JP 2003333617 A JP2003333617 A JP 2003333617A
Authority
JP
Japan
Prior art keywords
matrix
color
color correction
integrated
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002134145A
Other languages
English (en)
Other versions
JP4004849B2 (ja
Inventor
Masaya Tamaru
雅也 田丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002134145A priority Critical patent/JP4004849B2/ja
Publication of JP2003333617A publication Critical patent/JP2003333617A/ja
Application granted granted Critical
Publication of JP4004849B2 publication Critical patent/JP4004849B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 複数種類の色補正を行ったときの色相や彩度
の劣化を防止する。 【解決手段】 撮像素子から出力される色信号に対しマ
トリクス係数を乗算して色補正を行う色補正回路におい
て、複数種類の色補正を行う場合に各種類の色補正に対
応したマトリクス係数同士を乗算して統合マトリクス係
数を求め前記色信号に対して該統合マトリクス係数を乗
算して複数種類の色補正を一括して行う統合マトリクス
演算処理手段51を設ける。これにより、マトリクス演
算処理が一回で済み、クリップ処理も1回で済むことに
なる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、デジタルスチルカ
メラやデジタルビデオカメラ等の撮像装置で用いられる
色補正回路に係り、特に、R(赤)G(緑)B(青)な
どの各色信号のホワイトバランス,色相,彩度を補正す
る色補正回路と撮像装置に関する。
【0002】
【従来の技術】撮像装置には、CCD等の撮像素子から
出力されるRGBの各色信号に対して、各種の色補正を
自動的に行う補正回路が搭載されている。図5は、従来
の色補正回路の構成図であり、この例では、ゲイン補正
回路1と、リニアマトリクス回路2の2つの色補正回路
が設けられている。ゲイン補正回路1は、ホワイトバラ
ンスを補正する回路であり、撮像素子から出力されてく
るRGBの色信号3に対し、光源種類に対応した3行3
列のマトリクス係数4を乗算し、光源種類に関わらず白
色が白く見えるように補正している。
【0003】また、リニアマトリクス回路2は、撮像素
子から出力されてくる色信号3に対し、3行3列のマト
リクス係数5を乗算し、肉眼に近い自然な色調が得られ
る様に補正している。
【0004】この図5に示す従来の色補正回路は、ゲイ
ン補正回路1とリニアマトリクス回路2とを独立に設
け、ゲイン補正回路1でゲイン補正のみを行い、リニア
マトリクス回路2でリニア補正のみを行う構成となって
いる。
【0005】
【発明が解決しようとする課題】図5に示すゲイン補正
回路1に入力する色信号のうち、例えばG(緑)信号の
値が“2500”であったとする。そして、ゲイン補正
回路1がG信号に対してゲインとして“2”を乗算する
ことになっていた場合、ゲインの掛けられたG信号の値
は“5000”となる。
【0006】しかし、図5に示すデジタル信号処理系は
12ビットデータ系であるため、その上限値は“409
5”であり、“5000”を表現することはできない。
このため、図5に示す色補正回路には、実際はA点(ゲ
イン補正回路1の出力段)にクリップ処理回路が設けら
れ、G信号の値を“4095”にクリップする様になっ
ている。
【0007】更に、リニアマトリクス回路2で、例え
ば、R’=0.9R−0.1Gという演算を行うと、本
来であればG=5000であるため、この演算はR’=
0.9R−500となるべきところ、ゲイン補正回路1
におけるクリップ処理の影響を受けてR’=0.9R−
409.5となり、色相や彩度が変わってしまうという
現象が起きる。また同様に、実際にはリニアマトリクス
回路2の出力段にもクリップ処理回路が設けられるた
め、ゲイン補正回路1とリニアマトリクス回路2とが独
立に設けられた従来の色補正回路では、クリップ処理が
複数回実行され、色が飽和し易く、色の再現性が劣化し
てしまうという問題もある。
【0008】本発明の目的は、色補正が良好に行われ、
クリップ処理の悪影響を低減した色補正回路とこの色補
正回路を搭載した撮像装置を提供することにある。
【0009】
【課題を解決するための手段】上記目的は、撮像素子か
ら出力される色信号に対しマトリクス係数を乗算して色
補正を行う色補正回路において、複数種類の色補正を行
う場合に各種類の色補正に対応したマトリクス係数同士
を乗算して統合マトリクス係数を求め前記色信号に対し
て該統合マトリクス係数を乗算して複数種類の色補正を
一括して行う統合マトリクス演算処理手段を設けること
で、達成される。
【0010】この構成により、各マトリクス係数を色信
号に乗算する度に必要となるクリップ処理が省略され、
クリップ処理が多数回実行されることにより色再現の影
響を低減可能となる。
【0011】好適には、上記において、前記マトリクス
係数のうち少なくとも1つはユーザ指定の色空間マトリ
クス係数であることを特徴とする。この構成により、ユ
ーザは任意の色空間を指定可能となり、ユーザの嗜好に
合わせた色補正回路が提供でき、しかも、ユーザが色空
間を指定したことによるクリップ処理回数の増加が防止
される。
【0012】上記目的を達成する撮像装置は、上述した
色補正回路を搭載することで、達成される。この撮像装
置によれば、複数種類の色補正が実行されることで良好
な色再現性が高まり、しかもユーザのニーズに合った撮
像画像を得ることが可能となる。
【0013】
【発明の実施の形態】以下、本発明の一実施形態につい
て、図面を参照して説明する。
【0014】図1は、本発明の一実施形態に係る色補正
回路を搭載したデジタルスチルカメラの構成図である。
尚、この例ではデジタルスチルカメラに本実施形態の色
補正回路を搭載しているが、デジタルビデオカメラ等の
他の種類の撮像装置に本実施形態の色補正回路を同様に
搭載可能である。
【0015】このデジタルスチルカメラは、撮影レンズ
10と、CCD等の固体撮像素子11と、この両者の間
に設けられた絞り12と、赤外線カットフィルタ13
と、光学ローパスフィルタ14とを備える。デジタルス
チルカメラの全体を制御するCPU15は、赤外線発光
部16及び赤外線受光部17を制御して得た被写体まで
の距離情報に基づき、レンズ駆動部18を制御して撮影
レンズ10の位置をフォーカス位置に調整し、絞り駆動
部19を介し絞り12の開口量を制御して露光量が適正
露光量となるように調整する。
【0016】また、CPU15は、撮像素子駆動部20
を介して固体撮像素子11を駆動し、撮影レンズ10を
通して撮像した被写体画像を色信号として出力させる。
また、CPU15には、操作部21を通してユーザの指
示信号が入力され、CPU15はこの指示に従って各種
制御を行う。
【0017】デジタルスチルカメラの電気制御系は、固
体撮像素子11の出力に接続されたアナログ信号処理部
22と、このアナログ信号処理部22から出力された色
信号をデジタル信号に変換するA/D変換回路23とを
備え、CPU15によって制御される。
【0018】更に、このデジタルスチルカメラの電気制
御系は、メインメモリ24に接続されたメモリ制御部2
5と、詳細は後述するデジタル信号処理部26と、撮像
画像をJPEG画像に圧縮したり圧縮画像を伸張したり
する圧縮伸張処理部27と、測光データを積算してホワ
イトバランスのゲインを調整させる積算部28と、着脱
自在の記録媒体29が接続される外部メモリ制御部30
と、カメラ背面等に搭載された液晶表示部31が接続さ
れる表示制御部32とを備え、これらは、制御バス33
及びデータバス34によって相互に接続され、CPU1
5からの指令によって制御される。
【0019】図2は、図1に示すデジタル信号処理部2
6の詳細構成図である。このデジタル信号処理部26
は、A/D変換回路23から出力されるデジタルのRG
B色信号を取り込んでオフセット処理を行うオフセット
補正回路41と、オフセット補正後のRGB色信号に対
して統合リニアマトリクス処理を施して色補正を統合的
に行う本実施形態の特徴に係る統合リニアマトリクス回
路42とを備える。
【0020】本実施形態のデジタル信号処理部26は更
に、色補正後の色信号に対してガンマ補正を行うガンマ
補正回路43と、ガンマ補正後のRGB色信号を補間演
算して各画素位置におけるRGB3色の信号を求めるR
GB補間演算部44と、RGB信号から輝度信号Yと色
差信号Cとを求めるRGB/YC変換回路45と、輝度
信号Yと色差信号Cからノイズを低減するノイズ低減回
路46と、ノイズ低減後の輝度信号Yに対して輪郭補正
を行う輪郭補正回路47と、ノイズ低減後の色差信号C
に対して色差マトリクスを乗算して色調補正を行う色差
マトリクス回路48とを備える。
【0021】図3は、図2に示す統合リニアマトリクス
回路42の詳細構成図である。この統合リニアマトリク
ス回路42は、入力してくるRGB色信号3に対して3
行3列の統合マトリクス〔uij〕を乗算するマトリクス
演算処理部51と、統合マトリクス演算処理後のデータ
が12ビットデータ系の上限値,下限値を超える場合に
クリップ処理を行うクリップ処理回路52とから成る。
【0022】マトリクス演算処理部51で用いる3行3
列の統合マトリクス係数〔uij〕は、本実施形態では、
次の数1に従って予め演算して求め、統合マトリクス演
算処理部51に設定される。
【0023】
【数1】
【0024】即ち、本実施形態の統合リニアマトリクス
回路42は、図4に示す様に、3つの色補正回路(リニ
アマトリクス回路55,ゲイン補正回路56,リニアマ
トリクス回路57)を予め乗算して統合し求めた3行3
列の統合マトリクス係数〔u ij〕を使用して色補正のマ
トリクス演算処理を行うことを特徴とする。
【0025】仮に、図4に示すリニアマトリクス回路5
5のマトリクス〔aij〕をRGB信号に乗算し、次に、
ゲイン補正回路56のマトリクス〔gainij〕を乗算
し、最後にリニアマトリクス回路57のマトリクス〔b
ij〕を乗算する構成であると、マトリクス〔aij〕の乗
算後にクリップ処理が必要となり、マトリクス〔gai
ij〕の乗算後にもクリップ処理が必要となり、従来技
術で述べた様に色補正後の色相等が歪んでしまうという
問題が発生する。
【0026】しかし、本実施形態では、複数の色補正回
路を統合したマトリクス〔uij〕の各係数値uijを予め
求めておき、入力信号に対して統合マトリクス〔uij
を乗算する構成のため、クリップ処理は最後の出力段で
行うだけで済む。即ち、本実施形態では、クリップ処理
が1回で済むため色が飽和しにくくなり、更に、色補正
に伴う色相などの歪みを最小限に抑えることが可能とな
る。
【0027】本実施形態では、統合マトリクス〔uij
を、2つのリニアマトリクス〔aij〕,〔bij〕とホワ
イトバランスのマトリクス〔gainij〕から求めてい
る。リニアマトリクス〔aij〕は、図5で説明したリニ
アマトリクスと同じであり、色信号が肉眼に近い自然な
色調となる様にするものである。これに対し、リニアマ
トリクス〔bij〕は、別の目的で設けたものである。
【0028】近年では、ユーザが、パソコンなどを用い
て撮像画像を自分の好みに応じて調整したいという要望
が高く、そのためのソフトウェアが各種普及している。
しかし、デジタルスチルカメラで撮像され記録媒体29
に格納された画像データそのものが既に統合リニアマト
リクス回路42で補正され、クリップ処理されてしまう
ため、クリップされてしまった部分は復元することがで
きない。
【0029】このため、本実施形態では、図4に示すリ
ニアマトリクス回路57として、ユーザが指定した色空
間(例えば、アドビRGB空間,SRGB空間,NTS
Cなどがあり、夫々、色の再現域が異なる。)のマトリ
クスを操作部21で選択でき、このデジタルスチルカメ
ラはユーザが選択した色空間のマトリクス〔bij〕を用
いて統合マトリクス〔uij〕を求め、この統合マトリク
ス〔uij〕を用いて撮像画像の色信号を色補正する様に
なっている。
【0030】この様に、本実施形態によれば、複数種類
の色補正を行う複数のマトリクスを予め統合し、統合し
たマトリクスを色信号に対して乗算し、複数種類の色補
正を一括して行う構成としたため、何種類もの色補正を
行ってもクリップ処理回数が1回で済み、クリップ処理
に起因する色相や彩度の変化が生じ難く、色の再現性が
良好になるという効果を奏する。
【0031】上述した数1の統合マトリクス係数
〔uij〕を用いて演算処理を行う場合、各係数値uij
小数点の値になると処理が面倒となり演算処理手段の処
理負荷が大きくなるため、マトリクス演算は整数演算で
実行するのが好ましい。
【0032】即ち、図4で、任意の値“lmtx1#denomi”
をマトリクス〔aij〕の各係数値に乗算して各係数値を
整数にしておき、同様に、値“gain#denomi”をマトリ
クス〔gainij〕に乗算しておき、値“lmtx2#denom
i”をマトリクス〔bij〕に乗算しておき、各係数値が
整数値となったマトリクスから統合マトリクス〔uij
を求め、この統合マトリクス〔uij〕で色信号を補正処
理する。
【0033】このとき、統合マトリクスの統合係数値u
ijの値が大きくなりオーバーフローする可能性があるた
め、統合係数値uijの分母と分子を所定の値Kで除算し
た上で、3行3列のリニアマトリクス演算処理を実行す
る。このとき用いる数式を数2に例示する。
【0034】
【数2】
【0035】この本実施形態によれば、演算負荷が少な
くなって色補正を高速処理することができ、被写体の撮
像から記録媒体29への格納までの処理時間が短縮され
る。
【0036】上述した各実施形態に係る色補正回路は、
色空間をユーザが任意に選択できる形式の撮像装置に適
用するのが好適である。動画を撮影する撮像装置の場
合、製品規格によって色空間が例えばNTSCなどに限
定されてしまうため、ユーザが任意に色空間を選択する
ことはできない。
【0037】しかし、静止画を撮像するデジタルスチル
カメラや静止画を撮像可能なデジタルビデオカメラ等で
は、撮像した静止画のデータを撮像装置から読み出し、
この静止画像をパソコンで調整してプリントアウトする
ことが多いため、ユーザが好みの色空間を撮像装置で選
択できれば、ユーザの自由度が増し、製品価値が高くな
るためである。
【0038】
【発明の効果】本発明によれば、色補正でクリップ処理
が複数回入ることに起因する色相や彩度の変化をなくす
ことができ、色の再現性が良好になる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る色補正回路を搭載し
たデジタルスチルカメラの構成図である。
【図2】図1に示すデジタル信号処理部の詳細構成図で
ある。
【図3】図2に示す統合リニアマトリクス回路の詳細構
成図である。
【図4】図3に示す統合マトリクス回路の説明図であ
る。
【図5】従来の色補正回路の説明図である。
【符号の説明】 11 固体撮像素子 15 CPU 22 アナログ信号処理回路 23 A/D変換回路 26 デジタル信号処理部 42 統合リニアマトリクス回路 51 統合マトリクス演算処理部 52 クリップ処理部 55,57 リニアマトリクス回路 56 ゲイン補正回路(ホワイトバランス)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/07 H04N 9/64 R 9/64 1/40 D 1/46 Z Fターム(参考) 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE17 CE18 CH09 5C065 AA01 BB02 BB12 CC01 CC04 CC09 DD02 GG15 GG18 5C066 AA01 BA02 CA17 DD07 EA14 EA19 EB01 EC01 EC02 EC05 GA01 HA02 KE04 KE19 KM02 5C077 LL01 MM03 MP08 PP15 PP32 PP34 PP68 PQ12 TT09 5C079 HB01 HB04 HB11 JA23 LA02 LA12 LA23 LB01 MA11 NA03 PA00

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 撮像素子から出力される色信号に対しマ
    トリクス係数を乗算して色補正を行う色補正回路におい
    て、複数種類の色補正を行う場合に各種類の色補正に対
    応したマトリクス係数同士を乗算して統合マトリクス係
    数を求め前記色信号に対して該統合マトリクス係数を乗
    算して複数種類の色補正を一括して行う統合マトリクス
    演算処理手段を設けたことを特徴とする色補正回路。
  2. 【請求項2】 前記マトリクス係数のうち少なくとも1
    つはユーザ指定の色空間マトリクス係数であることを特
    徴とする請求項1に記載の色補正回路。
  3. 【請求項3】 請求項1または請求項2に記載の色補正
    回路を搭載したことを特徴とする撮像装置。
JP2002134145A 2002-05-09 2002-05-09 色補正回路と撮像装置 Expired - Fee Related JP4004849B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002134145A JP4004849B2 (ja) 2002-05-09 2002-05-09 色補正回路と撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002134145A JP4004849B2 (ja) 2002-05-09 2002-05-09 色補正回路と撮像装置

Publications (2)

Publication Number Publication Date
JP2003333617A true JP2003333617A (ja) 2003-11-21
JP4004849B2 JP4004849B2 (ja) 2007-11-07

Family

ID=29696885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002134145A Expired - Fee Related JP4004849B2 (ja) 2002-05-09 2002-05-09 色補正回路と撮像装置

Country Status (1)

Country Link
JP (1) JP4004849B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341551A (ja) * 2004-04-27 2005-12-08 Canon Inc 画像処理装置及び画像処理方法、及びそのプログラムと記録媒体
JP2007195087A (ja) * 2006-01-23 2007-08-02 Sony Corp 撮像装置および画像処理方法
JP2008005127A (ja) * 2006-06-21 2008-01-10 Sharp Corp 映像信号処理回路
JP2009194721A (ja) * 2008-02-15 2009-08-27 Fujitsu Microelectronics Ltd 画像信号処理装置、画像信号処理方法、及び撮像装置
JP2010219797A (ja) * 2009-03-16 2010-09-30 Fujitsu Semiconductor Ltd エッジ強調画像処理装置
US7809186B2 (en) 2004-04-27 2010-10-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program thereof, and recording medium
KR101009367B1 (ko) * 2009-08-06 2011-01-19 주식회사 아이닉스 영상의 색상 신호 처리 시스템 및 방법
KR20110071904A (ko) * 2009-12-22 2011-06-29 엘지전자 주식회사 컬러 신호의 색상 및 채도 조절 장치 및 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341551A (ja) * 2004-04-27 2005-12-08 Canon Inc 画像処理装置及び画像処理方法、及びそのプログラムと記録媒体
US7809186B2 (en) 2004-04-27 2010-10-05 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program thereof, and recording medium
JP4599216B2 (ja) * 2004-04-27 2010-12-15 キヤノン株式会社 画像処理装置及び画像処理方法、及びそのプログラムと記録媒体
JP2007195087A (ja) * 2006-01-23 2007-08-02 Sony Corp 撮像装置および画像処理方法
JP4670654B2 (ja) * 2006-01-23 2011-04-13 ソニー株式会社 撮像装置および画像処理方法
JP2008005127A (ja) * 2006-06-21 2008-01-10 Sharp Corp 映像信号処理回路
JP2009194721A (ja) * 2008-02-15 2009-08-27 Fujitsu Microelectronics Ltd 画像信号処理装置、画像信号処理方法、及び撮像装置
JP2010219797A (ja) * 2009-03-16 2010-09-30 Fujitsu Semiconductor Ltd エッジ強調画像処理装置
KR101009367B1 (ko) * 2009-08-06 2011-01-19 주식회사 아이닉스 영상의 색상 신호 처리 시스템 및 방법
KR20110071904A (ko) * 2009-12-22 2011-06-29 엘지전자 주식회사 컬러 신호의 색상 및 채도 조절 장치 및 방법
KR101632991B1 (ko) 2009-12-22 2016-06-23 엘지전자 주식회사 컬러 신호의 색상 및 채도 조절 장치 및 방법

Also Published As

Publication number Publication date
JP4004849B2 (ja) 2007-11-07

Similar Documents

Publication Publication Date Title
KR100580911B1 (ko) 화상합성방법 및 촬상장치
US8743233B2 (en) Sensitivity-settable image capture apparatus
US7479991B2 (en) Digital camera, and signal processing method and signal processing apparatus for the same
US6201530B1 (en) Method and system of optimizing a digital imaging processing chain
JP4433883B2 (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
US7409151B2 (en) Photographing apparatus, image processing method, and recording medium for recording image processing program, capable of improving contrast characteristics in high zooming magnification
US7327876B2 (en) Image processing device
KR101003681B1 (ko) 화소보간회로, 화소보간방법 및 기록매체
JP2003333617A (ja) 色補正回路と撮像装置
JP4235408B2 (ja) ノイズ低減回路及び撮像装置
JP4960597B2 (ja) ホワイトバランス補正装置及び方法、及び撮像装置
JP3327614B2 (ja) 撮像装置
US7411619B2 (en) Signal processing method, a signal processor circuit, and imaging apparatus
JP2007104267A (ja) 色補正処理プログラムおよび電子カメラ
JP3995524B2 (ja) ニー補正回路及び撮像装置
JP2004048563A (ja) 撮像装置および画像処理方法
JP2004228675A (ja) 固体撮像装置及びデジタルカメラ並びに色信号処理方法
JP2004096444A (ja) 画像処理装置およびその方法
JP2004023347A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2003324746A (ja) デジタルカメラ
JP4691309B2 (ja) 信号処理方法及びその装置
JP2017112421A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2003264735A (ja) 画像処理システム、画像処理方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体
JP2004222162A (ja) 画像合成方法及びデジタルカメラ
JP5968021B2 (ja) 撮像装置及び撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050201

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070822

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110831

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120831

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130831

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees