JP2003069857A - データ補正回路 - Google Patents

データ補正回路

Info

Publication number
JP2003069857A
JP2003069857A JP2001253825A JP2001253825A JP2003069857A JP 2003069857 A JP2003069857 A JP 2003069857A JP 2001253825 A JP2001253825 A JP 2001253825A JP 2001253825 A JP2001253825 A JP 2001253825A JP 2003069857 A JP2003069857 A JP 2003069857A
Authority
JP
Japan
Prior art keywords
data
value
correction
values
bit number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001253825A
Other languages
English (en)
Other versions
JP3806624B2 (ja
Inventor
Hideshi Okada
秀史 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2001253825A priority Critical patent/JP3806624B2/ja
Publication of JP2003069857A publication Critical patent/JP2003069857A/ja
Application granted granted Critical
Publication of JP3806624B2 publication Critical patent/JP3806624B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【構成】 14ビットの入力画素データにガンマ補正の
ような非線形補正を施して補正画素データを出力するた
めに、10ビットで表される複数の数値に割り当てられ
た複数のガンマ補正値がEvenLUT20cおよびO
ddLUT20gに格納される。メモリコントローラ2
0bおよび20fはそれぞれ、入力画素データの上位に
存在する10ビットのデータ値に基づいて、EvenL
UT20cおよびOddLUT20gからガンマ補正値
を読み出す。補正画素データは、読み出されたガンマ補
正値と入力画素データの下位に存在する4ビット数のデ
ータ値とに基づいて、掛け算器20eおよび20h,加
算器20jならびに割り算器20kによって生成され
る。 【効果】 LUTの容量を抑えつつ、多ビットデータに
ガンマ補正を施すことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、データ補正回路
に関し、特にたとえばディジタルガンマ補正回路に適用
され、入力データに非線形補正を施す、データ補正回路
に関する。
【0002】
【従来技術】ガンマ特性は非線形であるため、ディジタ
ルガンマ補正回路では、複数の画素データ値に複数のガ
ンマ補正値が個別に割り当てられたLUT(Look Up Ta
ble)が用いられる。画素データが入力されると、この
画素データ値に対応するガンマ補正値がLUTから読み
出され、これによってガンマ補正が施された補正画素デ
ータが得られる。
【0003】
【発明が解決しようとする課題】しかし、画素データの
ビット数が増えると、LUTに格納すべきガンマ補正値
の数が多くなる。このため、画素データの多ビット化が
進むにつれて、LUTのメモリ容量が大きくなってしま
う。
【0004】それゆえに、この発明の主たる目的は、メ
モリ容量を抑えつつ、多ビットデータに非線形補正を施
すことができる、データ補正回路を提供することであ
る。
【0005】
【課題を解決するための手段】この発明は、第1ビット
数の入力データに非線形補正を施して補正データを出力
するデータ補正回路において、第1ビット数よりも少な
い第2ビット数で表される複数の数値に割り当てられた
複数の補正値を格納するメモリ、入力データの上位に存
在する第2ビット数のデータ値に基づいてメモリから少
なくとも2つの補正値を読み出す読み出し手段、および
読み出し手段によって読み出された補正値と入力データ
の下位に存在する第3ビット数のデータ値とに基づいて
補正データを生成する生成手段を備えることを特徴とす
る、データ補正回路。である。
【0006】
【作用】第1ビット数の入力データに非線形補正を施し
て補正データを出力するために、メモリには、第1ビッ
ト数よりも少ない第2ビット数で表される複数の数値に
割り当てられた複数の補正値が格納される。読み出し手
段は、入力データの上位に存在する第2ビット数のデー
タ値に基づいてメモリから少なくとも2つの補正値を読
み出す。補正データは、読み出された補正値と入力デー
タの下位に存在する第3ビット数のデータ値とに基づい
て、生成手段によって生成される。
【0007】つまり、メモリから読み出す少なくとも2
つの補正値は、入力データの上位に存在する第2ビット
数のデータ値に基づいて特定される。また、補正データ
の生成は、読み出された補正値と入力データの下位に存
在する第3ビット数のデータ値とに基づいて行なわれ
る。
【0008】好ましくは、第2ビット数および第3ビッ
ト数の和は第1ビット数に等しく、読み出し手段によっ
て読み出される補正値は2つである。このとき、生成手
段は、読み出された2つの補正値に第3ビット数のデー
タ値に従う重み付けを施す。
【0009】メモリは、好ましくは、複数の数値に割り
当てられた複数の第1補正値を格納する第1テーブル
と、複数の数値に割り当てられた複数の第2補正値を格
納する第2テーブルとを含む。読み出し手段は、第2ビ
ット数のデータ値に等しい数値に割り当てられた第1補
正値を第1テーブルから読み出し、第2ビット数のデー
タ値に所定値を加算した加算値に等しい数値に割り当て
られた第2補正値を第2テーブルから読み出す。所定値
は、好ましくは、入力データ値のうち第2ビット数より
も1つ下位に存在するデータ値とされる。
【0010】
【発明の効果】この発明によれば、入力データの上位に
存在する第2ビット数のデータ値に基づいてメモリから
補正値を読み出すようにしたため、メモリ容量を抑える
ことができる。また、メモリから読み出された補正値と
入力データの下位に存在する第3ビット数のデータ値と
に基づいて補正データを生成するようにしたため、多ビ
ットデータに非線形補正を施すことができる。
【0011】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
【0012】
【実施例】図1を参照して、この実施例のディジタルカ
メラ10は、イメージセンサ12を含む。イメージセン
サ12は被写体の光学像を取り込み、光電変換によって
画像信号を生成する。イメージセンサ12の受光面はた
とえば原色ベイヤ配列の色フィルタによって覆われ、画
像信号を形成する各々の画素信号はR,GおよびBのい
ずれか1つの色情報を有する。画像信号はラスタスキャ
ン方式でイメージセンサ12から読み出され、CDS/
AGC回路14は、読み出された画像信号に周知のノイ
ズ除去およびレベル調整を施す。このような調整を施さ
れた画像信号は、A/D変換器16によってディジタル
信号である画像データに変換され、変換された画像デー
タが信号処理回路18に与えられる。
【0013】信号処理回路18は、与えられた画像デー
タに色分離,白バランス調整,ガンマ補正,YUV変換
などの処理を施し、YUV形式の画像データを出力す
る。これらの処理のうち、ガンマ補正は、ガンマ補正回
路20によって行なわれる。信号処理回路18から出力
された画像信号はビデオエンコーダ22によってコンポ
ジット画像信号に変換され、変換されたコンポジット画
像信号がディスプレイ24に供給される。この結果、被
写体のリアルタイム動画像が画面に表示される。
【0014】ガンマ補正回路20は、具体的には図2に
示すように構成される。画像データを形成する各々の画
素データは14ビットであり、IN[13:0]と定義
される。この14ビットのうち第3ビットつまりIN
[3]は加算器20aの一方入力端子ならびにセレクタ
20nおよび20pの制御端子に与えられ、下位3ビッ
トつまりIN[2:0]は減算器20mの一方入力端
子,セレクタ20nの0側入力端子およびセレクタ20
pの1側入力端子に与えられる。減算器20mの他方入
力端子には16進数で“8”を示す3ビットの数値デー
タつまり“0x8”が与えられ、減算器20mは“0x
08”からIN[2:0]が示す数値を減算する。減算
値は、セレクタ20nの1側入力端子およびセレクタ2
0pの0側入力端子に与えられる。
【0015】セレクタ20nおよび20pは、制御端子
の入力が“1”を示すとき1側入力端子を選択し、制御
端子の入力が“0”を示すとき0側入力端子を選択す
る。したがって、IN[3]が“1”を示すときは、減
算値がセレクタ20nから出力され、IN[2:0]が
セレクタ20pから出力される。これに対して、画素デ
ータのIN[3]が“0”を示すときは、画素データの
IN[2:0]がセレクタ20nから出力され、減算値
がセレクタ20pから出力される。セレクタ20pの出
力はcoef1[2:0]と定義され、セレクタ20n
の出力はcoef2[2:0]と定義される。
【0016】画素データの上位10ビットつまりIN
[13:4]は、加算器20aの他方入力端子およびメ
モリコントローラ20fに与えられる。加算器20aは
IN[13:4]が示す数値にIN[3]が示す数値を
加算し、11ビットの加算値を出力する。加算値の最上
位ビットつまりADD[10]はセレクタ20dの制御
端子に与えられ、加算値の下位10ビットつまりADD
[9:0]はメモリコントローラ20bに与えられる。
メモリコントローラ20bに与えられるADD[9:
0]はadrs1と定義され、メモリコントローラ20
fに与えられるIN[13:4]はadrs2と定義さ
れ、そしてADD[10]はadrovfと定義され
る。
【0017】メモリコントローラ20bは、ADD
[9:0]に対応する12ビットのガンマ補正値をEv
enLUT20cから読み出し、読み出したガンマ補正
値をセレクタ20dの0側入力端子に与える。セレクタ
20dの1側入力端子には、16進数で“fff”を示
す12ビットの数値データつまり“0xfff”が与え
られる。セレクタ20dは、adrovfが“1”を示
すとき“0xfff”を出力し、adrvofが“0”
を示すときガンマ補正値を出力する。セレクタ20dの
出力は、m1out[11:0]と定義される。一方、
メモリコントローラ20fは、adrs2に対応する1
2ビットのガンマ補正値をOddLUT20gから読み
出す。読み出されたガンマ補正値は、m2out[1
1:0]と定義される。
【0018】掛け算器20eはm1out[11:0]
にcoef1[2:0]を掛け算し、掛け算器20eは
m2out[11:0]にcoef2[2:0]を掛け
算する。掛け算器20eおよび20hから出力された掛
け算値は加算器20jで互いに加算される。割り算器2
0kは加算器20jから出力された加算値を“0x8”
で割り算し、割り算値をOUT[11:0]として出力
する。この割り算値が、補正画素データである。
【0019】EvenLUT20cおよびOddLUT
20gはいずれも、10ビットで表現される複数のアド
レス値に個別に割り当てられた複数のガンマ補正値を格
納するテーブルである。各々のガンマ補正値は、上述の
通り12ビットで表現される。アドレス値を横軸とし、
ガンマ補正値を縦軸とすると、各々のガンマ補正値を線
で結ぶことによって、図3に示すようなガンマ補正曲線
が描かれる。図3から分かるように、横軸方向において
偶数番目に存在するガンマ補正値がEvenLUT20
cに格納され、横軸方向において奇数番目に存在するガ
ンマ補正値がOddLUT20gに格納される。このと
き、EvenLUT20cにおいてアドレスmが割り当
てられたガンマ補正値と、OddLUT20gにおいて
アドレスmに割り当てられたガンマ補正値とは、互いに
隣接する。つまり、ガンマ補正曲線上に存在するガンマ
補正値に割り当てられたアドレス値は、m→m→m+1
→m+1→m+2→…の要領で2つ毎にインクリメント
される。
【0020】IN[13:0]とadrs1,adrs
2,coef1[2:0],coef2[2:0]およ
びadrovfとの関係を表1に示す。
【0021】
【表1】
【0022】表1を横方向に眺めると、IN[13:
4]であるadrs2は、IN[13:0]の下位4ビ
ットが“1111”から“0000”に戻るときにイン
クリメントされる。一方、IN[13:4]とIN
[3]との加算値であるadrs1は、adrs2がイ
ンクリメントされることなく下位3ビットが“111”
から“000”に戻るときインクリメントされる。した
がって、adrs1は、adrs2の更新タイミングの
中間地点で更新される。
【0023】coef1[2:0]は、IN[3]が
“0”のとき“0x8”からIN[2:0]を減算した
減算値に等しく、IN[13:0]の第3ビットが
“1”のときIN[2:0]に等しい。これに対して、
coef2[2:0]は、IN[3]が“0”のときI
N[2:0]に等しく、IN[3]が“1”のとき“0
x8”からIN[2:0]を減算した減算値に等しい。
したがって、coef1[2:0]およびcoef2
[2:0]は互いに相補的な値をとり、coef1
[2:0]およびcoef2[2:0]の合計値は常に
“8”を示す。
【0024】adrovfは、IN[13:4]にIN
[3]を加算した加算値の最上位ビットである。このた
め、adrovfは、IN[13:0]が“1637
6”〜“16383”をとるときに“1”を示し、これ
以外の値をとるときは“0”を示す。
【0025】adrs1およびadrs2が同じ値をと
るのはIN[3]が“0”のときであり、このときは、
EvenLUT20cおよびOddLUT20gの同じ
アドレスからガンマ補正値が読み出される。読み出し先
アドレスがmであれば、図4に示す黒丸で示す2つのガ
ンマ補正値がEvenLUT20cおよびOddLUT
20gから読み出される。EvenLUT20cから読
み出されたガンマ補正値は掛け算器20eによってco
ef1[2:0]と掛け算され、OddLUT20gか
ら読み出されたガンマ補正値は掛け算器20hによって
coef2[2:0]と掛け算される。
【0026】IN[3]が“0”のとき、coef1
[2:0]は“0x8”からIN[2:0]を減算した
減算値に等しく、coef2[2:0]はIN[2:
0]に等しい。このため、IN[2:0]が小さいほど
coef1[2:0]が大きくなり、EvenLUT2
0cから読み出されたガンマ補正値に対する重み付け量
が大きくなる。掛け器20eおよび20hで求められた
掛け算値を加算器20jで互いに加算し、加算値を“0
x8”で割り算することによって、図4に四角で示す補
正値が求められる。この補正値が、補正画素データとな
る。
【0027】一方、IN[3]が“1”をとるときは、
EvenLUT20cおよびOddLUT20gの異な
るアドレスからガンマ補正値が読み出される。OddL
UT20gの読み出し先アドレスが“m”であれば、E
venLUT20cの読み出し先アドレスは“m+1”
であり、図5に黒丸で示すガンマ補正値がEvenLU
T20cおよびOddLUT20gから読み出される。
IN[3]が“1”のとき、coef1[2:0]はI
N[2:0]に等しく、coef2[2:0]は“0x
8”からIN[2:0]を減算した減算値に等しい。こ
のため、IN[2:0]が小さいほどcoef2[2:
0]が大きくなり、OddLUT20cから読み出され
たガンマ補正値に対する重み付け量が大きくなる。掛け
器20eおよび20hから出力された掛け算値を加算器
20jで互いに加算し、加算値を“0x8”で割り算す
ることによって、図5に四角で示す補正画素データが得
られる。
【0028】この実施例によれば、14ビットの入力画
素データにガンマ補正のような非線形補正を施して補正
画素データを出力するために、10ビットで表される複
数の数値に割り当てられた複数のガンマ補正値がEve
nLUT20cおよびOddLUT20gに格納され
る。メモリコントローラ20bおよび20fはそれぞ
れ、入力画素データの上位に存在する10ビットのデー
タ値に基づいて、EvenLUT20cおよびOddL
UT20gからガンマ補正値を読み出す。補正画素デー
タは、読み出されたガンマ補正値と入力画素データの下
位に存在する4ビット数のデータ値とに基づいて、掛け
算器20eおよび20h,加算器20jならびに割り算
器20kによって生成される。
【0029】このように、EvenLUT20cおよび
OddLUT20gから読み出す2つのガンマ補正値
は、入力画素データの上位に存在する10ビットのデー
タ値に基づいて特定される。このため、LUTの容量を
抑えることができる。また、補正画素データの生成は、
読み出されたガンマ補正値と入力画素データの下位に存
在する4ビットのデータ値とに基づいて行なわれる。こ
のため、多ビットの画素データに適切にガンマ補正を施
すことができる。
【0030】なお、この実施例ではガンマ補正回路を用
いて説明したが、この発明は、入力データに非線形補正
を施すあらゆるデータ補正回路に適用できる。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】ガンマ補正回路を示すブロック図である。
【図3】図1実施例の動作の一部を示す図解図である。
【図4】図1実施例の動作の他の一部を示すフロー図で
ある。
【図5】図1実施例の動作のその他の一部を示すフロー
図である。
【符号の説明】
10…ディジタルカメラ 20…ガンマ補正回路 20a,20j…加算器 20b,20f…メモリコントローラ 20c…EvenLUT 20g…OddLUT 20m…減算器 20e,20h…掛け算器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/407 H04N 1/40 101E Fターム(参考) 5B057 BA02 CA02 CA08 CA12 CA16 CB02 CB08 CB12 CB16 CC01 CE11 CH07 CH08 5C021 PA62 PA66 PA67 PA80 PA82 XA34 5C077 LL04 MP01 PP15 PP48 PQ12 PQ23 SS01 TT09 5C082 AA27 BA20 BA34 BB51 CA11 MM10

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】第1ビット数の入力データに非線形補正を
    施して補正データを出力するデータ補正回路において、 前記第1ビット数よりも少ない第2ビット数で表される
    複数の数値に割り当てられた複数の補正値を格納するメ
    モリ、 前記入力データの上位に存在する前記第2ビット数のデ
    ータ値に基づいて前記メモリから少なくとも2つの補正
    値を読み出す読み出し手段、および前記読み出し手段に
    よって読み出された前記補正値と前記入力データの下位
    に存在する第3ビット数のデータ値とに基づいて前記補
    正データを生成する生成手段を備えることを特徴とす
    る、データ補正回路。
  2. 【請求項2】前記第2ビット数および前記第3ビット数
    の和は前記第1ビット数に等しく、 前記読み出し手段によって読み出される補正値は2つで
    あり、 前記生成手段は読み出された2つの補正値に前記第3ビ
    ット数のデータ値に従う重み付けを施す、請求項1記載
    のデータ補正装置。
  3. 【請求項3】前記メモリは、前記複数の数値に割り当て
    られた複数の第1補正値を格納する第1テーブル、およ
    び前記複数の数値に割り当てられた複数の第2補正値を
    格納する第2テーブルを含み、 前記読み出し手段は、前記第2ビット数のデータ値に等
    しい数値に割り当てられた第1補正値を前記第1テーブ
    ルから読み出す第1読み出し手段、および前記第2ビッ
    ト数のデータ値に所定値を加算した加算値に等しい数値
    に割り当てられた第2補正値を前記第2テーブルから読
    み出す第2読み出し手段を含む、請求項1または2記載
    のデータ補正回路。
  4. 【請求項4】前記所定値は前記入力データ値のうち前記
    第2ビット数よりも1つ下位に存在するデータ値であ
    る、請求項3記載のデータ補正回路。
  5. 【請求項5】前記入力データは画素データであり、前記
    非線形補正はガンマ補正である、請求項1ないし4のい
    ずれかに記載のデータ補正回路。
  6. 【請求項6】請求項1ないし5のいずれかに記載のデー
    タ補正装置を備える、ディジタルカメラ。
JP2001253825A 2001-08-24 2001-08-24 データ補正回路 Expired - Fee Related JP3806624B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001253825A JP3806624B2 (ja) 2001-08-24 2001-08-24 データ補正回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001253825A JP3806624B2 (ja) 2001-08-24 2001-08-24 データ補正回路

Publications (2)

Publication Number Publication Date
JP2003069857A true JP2003069857A (ja) 2003-03-07
JP3806624B2 JP3806624B2 (ja) 2006-08-09

Family

ID=19082088

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001253825A Expired - Fee Related JP3806624B2 (ja) 2001-08-24 2001-08-24 データ補正回路

Country Status (1)

Country Link
JP (1) JP3806624B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094947A (ja) * 2007-10-11 2009-04-30 Sanyo Electric Co Ltd 補正演算回路
JP2012505614A (ja) * 2008-10-14 2012-03-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 非線形レスポンス曲線を有する装置用の駆動信号の効率的な計算

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094947A (ja) * 2007-10-11 2009-04-30 Sanyo Electric Co Ltd 補正演算回路
US8089490B2 (en) 2007-10-11 2012-01-03 Sanyo Electric Co., Ltd. Correction arithmetic circuit
JP2012505614A (ja) * 2008-10-14 2012-03-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 非線形レスポンス曲線を有する装置用の駆動信号の効率的な計算
US9020998B2 (en) 2008-10-14 2015-04-28 Dolby Laboratories Licensing Corporation Efficient computation of driving signals for devices with non-linear response curves

Also Published As

Publication number Publication date
JP3806624B2 (ja) 2006-08-09

Similar Documents

Publication Publication Date Title
KR101051604B1 (ko) 화상 처리 장치 및 방법
JP3532781B2 (ja) 画像入力装置の画像処理回路
CN100366052C (zh) 图像处理设备和方法
JP3071131B2 (ja) ガンマ補正装置
JPH06237399A (ja) デジタルガンマ補正器において利得を制限するための装置及び方法
JPH0865546A (ja) シェーディング補正係数生成回路およびシェーディング補正係数生成方法
JPH0418865A (ja) ガンマ補正回路
JP2006080942A (ja) 画像処理装置、画像処理プログラム、画像処理方法及び撮像装置
US10387999B2 (en) Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method
US8537076B2 (en) Video circuit
JP2003069857A (ja) データ補正回路
JP6784643B2 (ja) 映像信号変換装置およびそのプログラム、ならびに、映像表示装置
JP4645466B2 (ja) 撮像装置
JP3024568B2 (ja) デジタルx線画像処理装置
US7463286B2 (en) Image data processing apparatus
JP3722740B2 (ja) 映像処理装置及び映像処理方法
JP2000350054A (ja) ガンマ処理装置
JP2004120366A (ja) 画像処理装置、および画像処理方法
JP3788997B2 (ja) 画像信号処理装置
JP3045245B2 (ja) ガンマ補正回路
JP2003348442A (ja) テレビジョンカメラ装置
JP3091563B2 (ja) 非線形変換装置
JP2022109140A (ja) 画像処理装置、画像表示システム、画像処理方法、プログラム、記憶媒体
JP3846655B2 (ja) ビデオカメラ装置
JPH0668250A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060515

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090519

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100519

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110519

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120519

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130519

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees