JP2002523931A - 色信号行列調整 - Google Patents

色信号行列調整

Info

Publication number
JP2002523931A
JP2002523931A JP2000565674A JP2000565674A JP2002523931A JP 2002523931 A JP2002523931 A JP 2002523931A JP 2000565674 A JP2000565674 A JP 2000565674A JP 2000565674 A JP2000565674 A JP 2000565674A JP 2002523931 A JP2002523931 A JP 2002523931A
Authority
JP
Japan
Prior art keywords
color
color signal
signal matrix
matrix
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000565674A
Other languages
English (en)
Other versions
JP4257033B2 (ja
Inventor
コーネリス エー エム ヤスパース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002523931A publication Critical patent/JP2002523931A/ja
Application granted granted Critical
Publication of JP4257033B2 publication Critical patent/JP4257033B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 色信号行列調整方法において、色信号行列調整を得るために第1色信号行列に関する1つの値が調整される(VAC)。前記色信号行列パラメータ調整に依存して、前記第1色信号行列に関する前記1つの値以外の少なくとも2つの色信号行列パラメータが自動的に適応される(AAC)。

Description

【発明の詳細な説明】
【0001】 本発明は、色信号行列調整方法及び装置並びにそのような色信号行列調整装置
を有するカラーカメラに関する。
【0002】 あらゆるカラーセンサは、ワールドワイドなテレビ受像器及びPCモニタにおい
て一般的なようにEBU(European Broadcasting Union)の赤-緑-青の原色に向かっ
て、その与えられた色の補正を必要とする。色補正のために、9つの変数をもつ
行列が適用される。RGBカラー行列は、以下の方程式の中で利用できる:
【数1】 ここで、Ri、Gi、Biは、イメージセンサの入力RGB信号であり、Ro、Go、Boは、E
BU原色に近い出力RGB信号であるか、あるいは、(例えばピクチャがより良く見え
るという点で)入力RGB信号よりも望ましい別のものである。a11…a33は、色信号
行列パラメータであり、すなわちa11…a13が赤に関係し、a21…a23が緑に関係し
、a31…a33が青に関係する。
【0003】 1つの出力カラーの所望の変更を得るために色信号行列パラメータa11…a33の
うちの1つを変更すると、望ましくない副次的作用として白色再現も変更されて
しまう。このため出力カラーの手動調整は非常に困難であり時間もかかる。
【0004】 RGBカラーの所望の補正のほかに、一般には、センサによって生成される画像
の白色点を補正する必要もある。白色再現は、センサ自身と背景照度の色温度と
のRGBスペクトルパワー分布に依存する。この白色再現は、EBU表示規格の白色D6
5又はD65付近に合わせて調整する必要がある。色信号行列を経た白色再現は、各
カラーの行列変数の和によって表現される。 ΣR = a11 + a12 + a13 ΣG = a21 + a22 + a23 ΣB = a31 + a32 + a33
【0005】 しかし、所望の白色点を達成するために1つのカラーの選択された3つの行列
パラメータを比例関係を保ちつつ変更することはほとんど不可能である。
【0006】 米国特許第5,402,182号の明細書には、マイクロコンピュータによる上下する
計数結果に従って色信号レベルを制御することにより画像スクリーンのホワイト
バランスを制御する自動ホワイトバランス制御装置が開示されている。
【0007】 本発明の目的は特に、非常に簡単な行列調整を提供することである。このため
に、本発明の第1の側面は、請求項1及び請求項5によって規定される方法及び
装置を提供する。請求項6によって規定される本発明の第2の側面は、そのよう
な行列調整装置を備えるカラーカメラを提供する。従属項では有利な実施例を規
定する。
【0008】 本発明の主要な側面に従う色信号行列調整方法では、所望の色信号行列調整を
得るために第1色信号行列に関する1つの値のみが調整され、前記色信号行列パ
ラメータの調整に依存して、前記第1色信号行列に関する前記1つの値以外の少
なくとも2つの色信号行列パラメータを自動的に適応させる。
【0009】 本発明の上述の及び他の側面は、以下に記述する実施例を参照することにより
明らかになるであろう。
【0010】
【発明の実施の形態】
本発明の好ましい実施例によれば、所望の白色及びRGBカラー調整は、カメラ
内のRISCコア(又は他の種類の計算能力)及び上記の色信号行列式を用いて非常に
簡単に達成することができる。
【0011】 本発明の主な応用例は、RISCコアを用いる色信号行列調整に関連する。行列を
所望のカラーに合わせて調整するための4つの可能な手法(possibilities、以後
単に手法と呼ぶ)がある。ユーザによる調整及び微調整の方法に依存してある手
法を選択したり、一方から他方に切り替えたり戻したりする。 1.1度に1つの行列パラメータを変更することによる従来の方法。 2.1度に1つの行列パラメータを変更するが、本発明の第1の側面に従って白
色再現を広い範囲まで維持する。 3.白色調整のため、3つの行列パラメータを同時に変更する。 4.白色振幅の適応のため、相互の比例関係を保ちつつすべての9つの行列パラ
メータを変更する。
【0012】 第1の手法は当然ながら更なる説明を必要としない。選択されるカラーと白色
再現とが変更される。
【0013】 第2の手法は、最初にブール(Boolean)B1を選択することにより白色再現を広
い範囲で維持するものであり、第1の手法とは区別される。この第2の手法は、
RISCコアの計算能力を使用する。カラーXの1つの行列パラメータが値±δだけ
変更される場合、選択されるカラーXに属さないすべての6つの行列パラメータ(
すなわち他の2つの行の中にあるもの)に(ΣX±δ)/ΣXが乗算される。ここで、
ΣXは、選択された赤、緑又は青の行列の行の和に相当する。その後、新しいΣR
、ΣG及びΣBの値が計算される。これらは調整する以前の値に比例するので、白
色再現は広い範囲で維持される。ΣR、ΣG及びΣB値が1に等しい場合、白は完
全に維持される。ΣR、ΣG及びΣBの値が1とは異なる場合、わずかな白色シフ
トが生じる。しかし、このわずかな白色シフトは以下に述べる第3の手法に従っ
て簡単に補正することができる。
【0014】 第3及び第4の手法に従って、白色再現は、各カラーの行列パラメータの比率
を維持しつつ変更される。
【0015】 第2のブールB2によって示される第3の手法は、1つのパラメータのみを用い
る白色再現の調整に関係し、再びRISCコアを使用する。白色再現を変更する必要
がある場合、ΣR、ΣG又はΣBの行列の行の和のうちの1つが選択され変更され
る。RISCコアは、比例関係を保ちつつ対応する行列パラメータを変更することに
注意する。例えば、ΣRが±δだけ増やされる場合、それぞれの行列パラメータa
11、a12及びa13に(ΣR±δ)/ΣRを乗算して、それによって所望の白色シフトを
生じさせる。赤に関する色ベクトルの方向は、白色シフトの量によってのみ決定
される小さなずれを得る。
【0016】 第4の手法は、RISCコアを再び使用するものであり、マトリクス回路の信号振
幅をより統一した値に適応させるため、相互の比例関係を保ちつつすべての行列
パラメータを調整することに着目する。まずブールB3を選択して、比例関係を保
ちつつすべてのパラメータを変更する必要があることを明らかにする。その後Σ
R、ΣG又はΣBの行列の行の和の1つを選択する。この行列の行の和を±δだけ
変更する。次にすべての行列パラメータに(ΣX±δ)/ΣXが乗算される。ここで
、ΣXは、選択されたΣR、ΣG又はΣBの行列の行の和に相当する。その後、新し
いΣR、ΣG及びΣBの行列の行の和を再び計算する。カラー及び白色再現が維持
され、信号振幅のみが変更される。
【0017】 以下の結論を導くことができる。提案したすべての手法を使用することにより
、第1の手法のみを使用するときよりも非常に簡単に行列を調整することが可能
になる。上述した調整のすべての手法は、PCを使用し、且つ、行列パラメータa1
1ないしa33と、ΣR、ΣG又はΣBと、一方が白色維持に関し他方が振幅調整に関
する2つのブールとに関する選択のメニューを用いて実現された。
【0018】 本発明の主要な側面は次のように概要を述べることができる。色補正のための
行列の理論的な計算に加えて、更なる微調整の為あるいは幾つかのピクチャを用
いるチェックとして手動調整も必要である。しかし、カメラのカラー行列を所望
の色再現に合わせるには9つのパラメータを調整する必要がある。このような行
列に関する特定の問題は、例えば赤の行列の中の1つのパラメータが変更される
場合、赤のほかに白色再現も変更されてしまうという点である。カメラのRISCコ
ア(縮小命令セットコンピュータ)の計算能力を用いて白色再現を維持することに
より、行列を所望の色再現に合わせることが非常に容易になる。さらに、白色再
現を直接変更することもできる。色再現のずれは、白色再現のずれによってのみ
決定される。
【0019】 以下の特徴は特に注目すべきである。選択された行列パラメータa11ないしa33
の1つを変更する際に白色再現を維持する手法を示す。各カラーの行列の比率を
維持しながら、且つ、白色シフトの量によってのみ決定されるカラーシフトを用
いて、ΣR、ΣGまたはΣBを選択することにより白色再現を変更する。振幅のブ
ール及びΣR、ΣG又はΣBを選択し、相互の比例関係を保ちつつすべての行列パ
ラメータを変更することにより、比例関係を保ちつつ信号振幅を適応させる。す
でに上述した特徴についてRISCコアのような計算プロセッサが使用される。
【0020】 図面は、本発明によるカラーカメラの実施例を示す。センサSは、3つの入力
色信号Ri、Bi、Giを供給する。これらの入力色信号Ri、Bi及びGiを受信する行列
調整装置(VAC、CC、AAC)は、9つの行列パラメータa11..a33のうちの1つあるい
は3つの行列の行の和ΣR、ΣG又はΣBのうちの1つであるカラー行列に関する
値を調整する数値調整回路VACを備える。制御回路CCは、上述した3つのブールB
1、B2又はB3をオン又はオフするための3つのボタンB1、B2、B3を有する。自動
適応回路AACは、上述した4つの手法に関連して上述したように行列パラメータ
を適応させ、出力色信号Ro、Go及びBoを供給する。
【0021】 上記の実施例は本発明を制限するものではなく、当業者であれば、請求項の範
囲から逸脱することなく多くの代替の実施例を設計することができるであろう。
請求項の中の括弧内の参照符号は、請求項を制限するものとして解釈されるべき
ではない。「含む、備える」という用語は、請求項に示すもの以外の素子または
ステップの存在を排除しない。本発明は、いくつかの個々の素子を有するハード
ウェアと、適切にプログラムされたコンピュータとによって実現することができ
る。いくつかの手段を列挙した装置の請求項では、これらの手段のいくつかを1
つの同一のハードウェア・アイテムによって具体化することができる。
【図面の簡単な説明】
【図1】本発明によるカラーカメラの実施例を示す図。
【符号の説明】
AAC 自動適応回路 CC 制御回路 VAC 数値調整回路
───────────────────────────────────────────────────── フロントページの続き (71)出願人 Groenewoudseweg 1, 5621 BA Eindhoven, Th e Netherlands Fターム(参考) 5C066 AA01 CA13 EA15 GA01 KE02 KE03 KE04 KE17 KP02 5C079 HA01 HB01 LA23 LB04 MA11 MA17 NA27 PA05

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 色信号行列調整方法であって、 色信号行列調整を得るために第1色信号行列に関する1つの値を調整するステ
    ップと、 前記色信号行列パラメータ調整に依存して、前記第1色信号行列に関する前記
    1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させるス
    テップと、 を含む方法。
  2. 【請求項2】 前記第1色信号行列に関する前記1つの値は、第1のカラー
    に対応する第1色信号行列パラメータであり、前記色信号行列調整は、前記第1
    のカラーの再現を変更するために前記第1色信号行列パラメータをδの量だけ増
    加させることを含み、前記自動的に適応させるステップは、白色再現を広い範囲
    で維持するために、前記第1のカラー以外のカラーに対応するすべてのカラー行
    列パラメータに係数(ΣX+δ)/ΣXを乗算することを含み、前記ΣXは、前記第1
    のカラーに対応する色信号行列パラメータの和である、請求項1に記載の方法。
  3. 【請求項3】 前記第1色信号行列に関する前記1つの値は、第1のカラー
    に対応する色信号行列パラメータの和ΣXであり、前記色信号行列調整は、前記
    第1のカラー及び白の両方の再現を変更するために、前記色信号行列パラメータ
    の和ΣXをδの量だけ増加させることを含み、前記自動的に適応させるステップ
    は、前記第1のカラーに対応する前記カラー行列パラメータの間の比率を維持す
    るために、前記第1のカラーに対応するすべてのカラー行列パラメータに係数(
    ΣX+δ)/ΣXを乗算することを含む、請求項1に記載の方法。
  4. 【請求項4】 前記第1色信号行列に関する前記1つの値は、第1のカラー
    に対応する色信号行列パラメータの和ΣXであり、前記色信号行列調整は、色信
    号振幅を変更するために、前記色信号行列パラメータの和ΣXをδの量だけ増加
    させることを含み、前記自動的に適応させるステップは、前記第1のカラー及び
    白の両方の再現を維持するために、すべてのカラー行列パラメータに係数(ΣX+
    δ)/ΣXを乗算することを含む、請求項1に記載の方法。
  5. 【請求項5】 色信号行列調整装置であって、 色信号行列調整を得るために第1色信号行列に関する1つの値を調整する手段
    と、 前記色信号行列パラメータ調整に依存して、前記第1色信号行列に関する前記
    1つの値以外の少なくとも2つの色信号行列パラメータを自動的に適応させる手
    段と、 を備える装置。
  6. 【請求項6】 カラーカメラであって、 入力色信号を生成するカラーセンサと、 出力色信号を得るために前記入力色信号を調整する請求項5に記載の色信号行
    列調整装置と、 を備えるカラーカメラ。
JP2000565674A 1998-08-14 1999-08-03 色信号行列調整 Expired - Fee Related JP4257033B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP98202727.8 1998-08-14
EP98202727 1998-08-14
PCT/EP1999/005595 WO2000010331A1 (en) 1998-08-14 1999-08-03 Color signal matrix adjustment

Publications (2)

Publication Number Publication Date
JP2002523931A true JP2002523931A (ja) 2002-07-30
JP4257033B2 JP4257033B2 (ja) 2009-04-22

Family

ID=8234038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000565674A Expired - Fee Related JP4257033B2 (ja) 1998-08-14 1999-08-03 色信号行列調整

Country Status (5)

Country Link
US (1) US7639283B1 (ja)
EP (1) EP1046308A1 (ja)
JP (1) JP4257033B2 (ja)
KR (1) KR100719638B1 (ja)
WO (1) WO2000010331A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004513580A (ja) 2000-11-01 2004-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ カラーカメラにおけるカラー信号の処理
US6982752B2 (en) 2001-08-23 2006-01-03 Motorola, Inc Circuit and method for correcting a digital color sampled signal

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1300781A (en) * 1969-03-07 1972-12-20 Philips Electronic Associated Circuit arrangement for colour point adjustment
US3652787A (en) * 1970-11-12 1972-03-28 Katarina Tkacenko Television signal color corrector
US4553141A (en) * 1982-09-21 1985-11-12 Zenith Electronics Corporation Picture control for RGB monitor
DE3315616A1 (de) * 1983-04-29 1984-10-31 Agfa-Gevaert Ag, 5090 Leverkusen Verfahren zur einstellung der farbsaettigung von farbsignalen
JPH0657066B2 (ja) * 1984-12-20 1994-07-27 キヤノン株式会社 カラ−調整装置
US4706108A (en) * 1985-04-12 1987-11-10 Sony Corporation Automatic setup system for controlling color gain, hue and white balance of TV monitor
US4788586A (en) * 1987-09-24 1988-11-29 Eastman Kodak Company Controller for adjusting color hue and saturation of images generated from signals in a non-broadcasting video system
JPH033497A (ja) * 1989-05-31 1991-01-09 Hitachi Ltd ビデオカメラの信号処理方式
US5237400A (en) * 1990-02-05 1993-08-17 Konica Corporation Compact color image processing apparatus with enhanced density conversion
US5402182A (en) 1990-07-17 1995-03-28 Mitsubishi Denki Kabushiki Kaisha Automatic white-balance controlling apparatus
JP3048180B2 (ja) 1991-02-27 2000-06-05 キヤノン株式会社 撮像装置及び撮像信号処理装置
JPH04291591A (ja) * 1991-03-19 1992-10-15 Sony Corp カラーディスプレイ装置
CA2078161C (en) 1991-09-19 1996-01-30 Yoshinori Satoh Image sensing apparatus having two image sensing portions and one signal processing portion and allowing improved white balance control
JPH0638221A (ja) 1992-07-17 1994-02-10 Hitachi Denshi Ltd テレビジョンカメラの自動調整方法
US5345275A (en) * 1993-02-04 1994-09-06 Thomson Consumer Electronics, Inc. Color temperature selection circuitry having color matrix correction
BE1007006A3 (nl) * 1993-04-16 1995-02-14 Koninkl Philips Electronics Nv Tintdetectieschakeling.
JPH06351038A (ja) * 1993-06-10 1994-12-22 Matsushita Electric Ind Co Ltd オートホワイトバランス装置
EP0674430A1 (en) * 1994-03-24 1995-09-27 Eastman Kodak Company Method and apparatus for interactive color transformation of color values between color spaces
JPH0816129A (ja) * 1994-04-27 1996-01-19 Canon Inc 画像処理装置
US5499059A (en) * 1994-06-22 1996-03-12 Philips Electronics North America Corporation Method and apparatus for effecting dynamic color shift in a television receiver
DE19506595C1 (de) * 1995-02-24 1996-02-01 Schneider Rundfunkwerke Ag Verfahren zur Farbtransformation und ein Farbvideosystem
US5654809A (en) * 1996-01-31 1997-08-05 Hewlett-Packard Co. Method and apparatus for dynamic white point adjustment
EP0800318B1 (en) * 1996-04-02 2003-01-08 Sony Corporation White balance control apparatus
JP2830871B2 (ja) * 1996-11-18 1998-12-02 日本電気株式会社 画像の色補正装置及び色補正プログラムを記録した記録媒体
JPH113419A (ja) * 1997-06-12 1999-01-06 Asahi Optical Co Ltd 色調調整装置および画像読取装置
US6552751B1 (en) * 1999-04-28 2003-04-22 Pioneer Corporation Video signal processing circuit and color adjusting circuit for color video signal

Also Published As

Publication number Publication date
KR20010015738A (ko) 2001-02-26
EP1046308A1 (en) 2000-10-25
JP4257033B2 (ja) 2009-04-22
US7639283B1 (en) 2009-12-29
KR100719638B1 (ko) 2007-05-17
WO2000010331A1 (en) 2000-02-24

Similar Documents

Publication Publication Date Title
CN100551078C (zh) 图像显示设备
KR100802000B1 (ko) 플라즈마 디스플레이의 표시 방법
US20050219420A1 (en) Video display device and color temperature correction method for the same
US4788586A (en) Controller for adjusting color hue and saturation of images generated from signals in a non-broadcasting video system
JPH0657066B2 (ja) カラ−調整装置
JP2006325201A (ja) 色相、彩度および輝度方向における検出、補正フェーディングおよび処理
KR20010113722A (ko) 디지탈 비디오 영상의 컬러를 선택적으로 조절하는 방법
US4630101A (en) Chromakey signal producing apparatus
JP2008505523A (ja) カメラの色ノイズ低減方法及び回路
EP0497412B1 (en) Colour picture display device and colour camera
JP4257033B2 (ja) 色信号行列調整
JP2004080402A (ja) ダイナミックホワイトバランス調整回路及びマルチ画面表示装置
JP2001128189A (ja) 色補正回路
EP1895781B1 (en) Method of and apparatus for adjusting colour saturation
JPH0998443A (ja) 色補正装置
KR100463831B1 (ko) 인간 시각 특성을 이용한 최적화 화질 추출장치 및 방법
US5428402A (en) Tint detection circuit for automatically selecting a desired tint in a video signal
JPH0651734A (ja) 色信号の輝度調整方法及び装置
JP2000515350A (ja) 白バランス制御
US6753908B1 (en) Linear matrix circuit
JP3714877B2 (ja) 画像表示装置、及びプログラム
KR100464323B1 (ko) 영상의 밝기 변경 방법 및 장치
KR20050046544A (ko) 색상별 색보정 처리회로
US6987583B1 (en) Color difference hue control system
EP1232653B1 (en) Method and apparatus for enhancing green contrast of a color video signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080905

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081204

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20081204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130206

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140206

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees