JP2000232612A - 固体撮像装置 - Google Patents

固体撮像装置

Info

Publication number
JP2000232612A
JP2000232612A JP11030377A JP3037799A JP2000232612A JP 2000232612 A JP2000232612 A JP 2000232612A JP 11030377 A JP11030377 A JP 11030377A JP 3037799 A JP3037799 A JP 3037799A JP 2000232612 A JP2000232612 A JP 2000232612A
Authority
JP
Japan
Prior art keywords
exposure
information
exposure information
image signal
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11030377A
Other languages
English (en)
Other versions
JP4169415B2 (ja
Inventor
Toshiaki Nakakuki
俊朗 中莖
Tomomichi Nakai
智通 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP03037799A priority Critical patent/JP4169415B2/ja
Priority to US09/499,229 priority patent/US6995801B1/en
Publication of JP2000232612A publication Critical patent/JP2000232612A/ja
Application granted granted Critical
Publication of JP4169415B2 publication Critical patent/JP4169415B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【課題】 露光制御動作を安定にする。 【解決手段】 CCD1の露光時間Lを1水平走査期間
単位で伸縮制御する第1の露光情報D1と、直接決定す
る第2の露光情報D2とを生成する。CCD1の露光状
態が、適正範囲から外れているときに第1の露光情報D
1を選択し、適正範囲にあるときに第2の露光情報D2
を選択してタイミング制御回路3に供給する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、露光制御機能を有
する固体撮像装置に関する。
【0002】
【従来の技術】図3は、CCDイメージセンサを用いた
撮像装置の構成を示すブロック図であり、図4は、その
動作を説明するタイミング図である。
【0003】CCDイメージセンサ1は、複数の受光画
素、複数の垂直転送レジスタ及び通常1つの水平シフト
レジスタを有している。複数の受光画素は、受光面に一
定の間隔で行列配置され、それぞれ受光した被写体画像
に対応して情報電荷を発生して蓄積する。複数の垂直シ
フトレジスタは、受光画素の各列に対応して配置され、
各受光画素に蓄積された情報電荷を取り込んで、順次垂
直方向へ転送する。そして、水平シフトレジスタは、垂
直シフトレジスタの出力側に配置され、複数の垂直シフ
トレジスタから転送出力される情報電荷を受け取り、1
行単位で転送出力する。これにより、各受光画素に蓄積
された情報電荷量に応じて電圧値を変化させる画像信号
Yが出力される。
【0004】駆動回路2は、後述するタイミング制御回
路3からの各種同期信号VD、HDに応答し、CCD1
の各シフトレジスタに対して各種の転送クロックを供給
する。例えば、垂直同期信号VDに応答してフレーム転
送クロックφFを生成し、このクロックφFを垂直シフト
レジスタに供給することにより、垂直走査期間毎に、複
数の受光画素に蓄積される情報電荷を垂直シフトレジス
タに取り込む。また、水平同期信号HDに応答して蓄積
転送クロックφS及び水平転送クロックφHを生成し、垂
直シフトレジスタ及び水平シフトレジスタに供給するこ
とにより、垂直シフトレジスタに取り込まれた情報電荷
を1行単位で水平シフトレジスタを介して転送出力す
る。また、駆動回路2は、タイミング制御回路3からの
シャッタタイミング信号STに応答して排出クロックφ
Dを生成し、CCD1の不要電荷排出用のドレイン領域
に供給する。これにより、CCD1の受光画素に蓄積さ
れた情報電荷を全てドレイン領域へ排出することができ
る。この排出クロックφDの終わりのタイミングからフ
レーム転送クロックφFの始まりのタイミングまでの時
間Lが、CCD1における情報電荷の蓄積期間、いわゆ
る露光時間となる。
【0005】タイミング制御回路3は、一定周期の基準
クロックCKを分周することにより、CCD1の垂直走
査のタイミングを決定する垂直同期信号VDと水平走査
のタイミングを決定する水平同期信号HDとを生成す
る。例えば、NTSC方式に準拠する場合、14.32
MHzの基準クロックCKを910分周することで水平
同期信号HDを生成し、その水平同期信号HDをさらに
252.5分周することで垂直同期信号を生成するよう
に構成される。
【0006】積分回路4は、垂直同期信号VDに応答し
てリセットされ、CCD1から出力される画像信号Yを
垂直走査期間単位で積分することにより、画像信号Yの
平均レベルに比例した積分情報Iを生成する。露光判定
回路5は、積分回路4から入力される積分情報Iを、適
正露光範囲に対応して設定される上限値及び下限値と各
垂直走査期間において比較し、比較結果に応じて露光抑
制信号CLまたは露光促進信号OPを立ち上げる。即
ち、積分情報Iが上限値を超えたときには露光抑制信号
CLを立ち上げ、逆に、積分情報Iが下限値に達しない
ときには露光促進信号OPを立ち上げるように構成され
る。アップダウンカウンタ6は、シャッタタイミング信
号STの立ち上がりのタイミングを水平走査線番号で記
憶するものであり、露光抑制信号CLの立ち上がりでア
ップカウントされ、露光促進信号OPの立ち上がりでダ
ウンカウントされる。即ち、垂直走査期間Vの間には、
複数の水平走査期間が設定されており、アップダウンカ
ウンタ6のカウント値によって指定される数の水平走査
期間が経過した時点でシャッタタイミング信号STを立
ち上げるように設定される。ラッチ7は、垂直同期信号
VDに従い、各垂直走査期間毎にアップダウンカウンタ
6のカウント値をラッチし、タイミング制御回路3に対
して露光情報Dとして供給する。
【0007】以上の固体撮像装置においては、画像信号
Yの1画面毎の積分値Iの大小に応じてアップダウンカ
ウンタ6がアップカウントまたはダウンカウントされる
ため、各垂直走査期間に1水平走査期間を1ステップと
して露光時間Lが伸縮制御される。
【0008】
【発明が解決しようとする課題】露光制御において、画
像信号のレベルが適正露光範囲内にあるとき、露光時間
Lの伸縮が行われないため、僅かな被写体の輝度の変化
には制御系回路が応答せず、被写体輝度の変化が、その
まま画像信号のレベルの変化となって現れる。従って、
照明の明るさが安定していないような場合、その照明の
明暗がそのまま再生画面上に現れることになる。また、
周期発光する光源を用いるとき、光源の発光周期と撮像
周期とが一致している場合でも、光源の発光周期に多少
のジッタが含まれていると、そのジッタの影響によって
画像信号の平均レベルにうねりが生じる。このような画
像信号の平均レベルのうねりは、再生画面において、長
い周期のフリッカとなって現れることになる。
【0009】そこで本発明は、照明の影響を受けること
なく、安定した露光動作を行うようにすることを目的と
する。
【0010】
【課題を解決するための手段】本発明は、上述の課題を
解決するために成されたもので、その特徴とするところ
は、複数の受光画素が行列配置され、受光した被写体画
像に応じた情報電荷を蓄積する固体撮像素子と、上記固
体撮像素子の各受光画素に蓄積される情報電荷を一旦排
出した後、所定の期間を経過して再度蓄積される情報電
荷を転送出力して情報電荷に従う画像信号を得る駆動回
路と、上記画像信号のレベルを一定の周期で判定し、そ
の判定結果に応答して増減する第1の露光情報を生成す
る第1の露光情報生成回路と、上記画像信号のレベルに
基づいて第2の露光情報を算出する第2の露光情報生成
回路と、上記画像信号のレベルが、所定の範囲から外れ
ているときに上記第1の露光情報を選択し、所定の範囲
内にあるときに上記第2の露光情報を選択して取り出す
選択回路と、上記選択回路で取り出された露光情報に基
づいて、上記駆動回路の情報電荷の排出タイミング及び
読み出しタイミングを設定するタイミング制御回路と、
を備えたことにある。
【0011】本発明によれば、2種類の露光情報を選択
してタイミング制御回路に供給するようにしたことで、
撮像素子の露光状態が、適正範囲外にあるとき、一定の
ステップで徐々に適正範囲に近づけられ、適正範囲内で
は、直接最適状態に設定される。従って、撮像素子の露
光状態が適正範囲に入った後でも、常に露光状態の制御
が行われることになり、画像信号の平均レベルを安定さ
せることができる。
【0012】
【発明の実施の形態】図1は、本発明の固体撮像装置の
構成を示すブロック図であり、図2は、露光制御の様子
を説明するための露光時間と積分値との関係を示す図で
ある。
【0013】この図において、CCD1、駆動回路2及
びタイミング制御回路3の構成は、図3と同一であり、
タイミング制御回路3の出力に応答して動作する駆動回
路2によってCCD1がパルス駆動され、画像信号Yが
出力される。
【0014】本発明の特徴とするところは、一定のステ
ップでCCD1の露光時間Lを伸縮制御する第1の露光
情報D1と、最適な露光状態となる露光時間Lを直接指
定する第2の露光情報とを切り換えてタイミング制御回
路3に与えるようにしたところにある。即ち、CCD1
の露光状態が適正範囲から外れているときには、露光第
1の露光情報D1を選択してタイミング制御回路3に与
え、第1の露光情報D1に基づく露光時間Lの伸縮制御
が成されてCCD1が適正な露光状態となった後には、
第2の露光情報D2を選択してタイミング制御回路3に
与えるように構成している。
【0015】積分回路11は、垂直同期信号CCD1か
ら出力される画像信号Yを垂直走査期間単位で積分し、
画像信号Yの平均レベルに比例した積分情報Iを生成す
る。この積分回路11は、図3に示す積分回路4と同一
のものである。露光判定回路12は、積分回路11から
入力される積分情報Iを、適正露光範囲に対応して設定
される上限値及び下限値と比較し、その比較結果に応じ
て露光抑制信号CL、露光促進信号OP、露光固定信号
HLDの何れかを立ち上げる。即ち、積分情報Iが上限
値を超えたときには露光抑制信号CLを立ち上げ、逆
に、積分情報Iが下限値に達しないときには露光促進信
号OPを立ち上げる。そして、積分情報Iが、下限値か
ら上限値までの間にあるときには、露光固定信号HLD
を立ち上げるように構成される。アップダウンカウンタ
13は、露光抑制信号CLの立ち上がりでアップカウン
トし、露光促進信号OPの立ち上がりでダウンカウント
することで、シャッタタイミング信号STの立ち上がり
のタイミングを水平走査線番号で指定する第1の露光情
報D1を出力する。この第1の露光情報D1は、垂直走
査期間毎に更新されるものであり、各垂直走査期間に
「1」ずつ増減することにより、CCD1の露光時間L
を1垂直走査期間に1水平走査期間単位で伸縮する。以
上の判定回路12及びアップダウンカウンタ13によっ
て第1の露光情報生成回路が構成される。
【0016】タイミング算出回路14は、現時点のCC
D1の露光時間Lに対応する露光情報Dを保持し、この
露光情報Dに対する積分値Iの比と最適露光状態に対応
して設定される最適値R0とに基づいて、最適露光時間
を指定する第2の露光情報D2を算出する。即ち、最適
露光時間を指定する第2の露光情報D2は、 D2=R0・D/I として算出される。この第2の露光情報D2は、積分値
Iと、そのときの露光時間Lを示す露光情報Dとが特定
された時点で算出され、タイミング制御回路3における
シャッタタイミングSTの立ち下がりのタイミングを直
接決定する。このタイミング算出回路14が、第2の露
光情報生成回路となる。
【0017】選択回路15は、アップダウンカウンタ1
3及びタイミング算出回路14に接続され、露光固定信
号HLDに応答して、第1の露光情報D1または第2の
露光情報D2の何れかを選択して出力する。即ち、CC
D1の露光状態が適正範囲から外れており、露光固定信
号HLDが立ち上がっていないときには、第1の露光情
報D1を選択することで、露光時間Lを各垂直走査期間
毎に1水平走査期間単位で伸縮制御する。そして、CC
D1の露光状態が適正範囲にあり、露光固定信号HLD
が立ち上がっているときには、第2の露光情報D2を選
択することにより、露光時間Lを直接指定する。ラッチ
16は、選択回路15で選択して取り出される露光情報
を垂直同期信号VDに従うタイミングで取り込み、露光
情報Dとしてタイミング制御回路3及びタイミング算出
回路14に供給する。
【0018】以上の撮像装置においては、露光状態が適
正範囲に収まるまでは図3に示す従来の撮像装置と同じ
方法によって露光時間Lが伸縮制御され、露光状態が適
正範囲に収まった後には、1ステップで露光時間Lが指
定される。例えば、図2に示すように、露光時間L(l
1)のA点において積分値I(i1)が適正範囲の下限値
Lに達していないとき、露光情報D1が選択され、露
光期間Lは、1水平走査期間単位で伸長される。この露
光期間Lの伸長は、積分値Iが適正範囲の下限値RL
越えるまで繰り返される。そして、積分値Iが下限値R
Lに達した時点で第1の露光情報D1から第2の露光情
報D2に切り換えられると、露光時間Lは、1ステップ
で、上限値RHと下限値RLとの中間に設定される最適値
2に対応する値l2となる。これにより、露光状態はB
点に収束する。
【0019】
【発明の効果】本発明によれば、撮像素子の動作タイミ
ングについて、露光時間の伸縮制御を常に働かせること
ができ、露光状態を適正範囲内に設定される最適値に収
束させることができる。このとき、露光状態が適正範囲
に収まるまでは、一定の短い変化幅で露光時間を変化す
るようにしているため、露光時間の急な変化による画像
信号レベルの変化を防止できる。従って、照明の明るさ
の変化や、周期発光の影響を受けることなく、常に安定
した撮像動作を維持することができる。
【図面の簡単な説明】
【図1】本発明の固体撮像装置の構成を示すブロック図
である。
【図2】露光時間と積分値との関係を示す図である。
【図3】従来の固体撮像装置の構成を示すブロック図で
ある。
【図4】従来の固体撮像装置の動作を説明するタイミン
グ図である。
【符号の説明】
1 CCDイメージセンサ 2 駆動回路 3 タイミング制御回路 4、11 積分回路 5、12 露光判定回路 6、13 アップダウンカウンタ 7、16 ラッチ 14 タイミング算出回路 15 選択回路

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の受光画素が行列配置され、受光し
    た被写体画像に応じた情報電荷を蓄積する固体撮像素子
    と、上記固体撮像素子の各受光画素に蓄積される情報電
    荷を一旦排出した後、所定の期間を経過して再度蓄積さ
    れる情報電荷を転送出力して情報電荷に従う画像信号を
    得る駆動回路と、上記画像信号のレベルを一定の周期で
    判定し、その判定結果に応答して増減する第1の露光情
    報を生成する第1の露光情報生成回路と、上記画像信号
    のレベルに基づいて第2の露光情報を算出する第2の露
    光情報生成回路と、上記画像信号のレベルが、所定の範
    囲から外れているときに上記第1の露光情報を選択し、
    所定の範囲内にあるときに上記第2の露光情報を選択し
    て取り出す選択回路と、上記選択回路で取り出された露
    光情報に基づいて、上記駆動回路の情報電荷の排出タイ
    ミング及び読み出しタイミングを設定するタイミング制
    御回路と、を備えたことを特徴とする固体撮像装置。
  2. 【請求項2】 上記第1の露光情報生成回路は、上記画
    像信号のレベルを適正露光範囲の上限及び下限に対応し
    て設定される上限値及び下限値と比較し、上記画像信号
    のレベルが上限値を超えたとき及び下限値に達しなかっ
    たときに上記第1の露光情報を一定の割合で増減するこ
    とを特徴とする請求項1に記載の固体撮像装置。
  3. 【請求項3】 上記第2の露光情報生成回路は、上記タ
    イミング制御回路に与えられる露光情報と上記画像信号
    のレベルとの比に基づいて、基準露光状態に対応して設
    定される基準値から上記第2の露光情報を算出すること
    を特徴とする請求項2に記載の固体撮像装置。
JP03037799A 1999-02-08 1999-02-08 固体撮像装置 Expired - Fee Related JP4169415B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03037799A JP4169415B2 (ja) 1999-02-08 1999-02-08 固体撮像装置
US09/499,229 US6995801B1 (en) 1999-02-08 2000-02-07 Method and apparatus for controlling an exposure period of a solid-state imaging apparatus based upon an image signal output

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03037799A JP4169415B2 (ja) 1999-02-08 1999-02-08 固体撮像装置

Publications (2)

Publication Number Publication Date
JP2000232612A true JP2000232612A (ja) 2000-08-22
JP4169415B2 JP4169415B2 (ja) 2008-10-22

Family

ID=12302201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03037799A Expired - Fee Related JP4169415B2 (ja) 1999-02-08 1999-02-08 固体撮像装置

Country Status (2)

Country Link
US (1) US6995801B1 (ja)
JP (1) JP4169415B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351500A (zh) * 2019-07-09 2019-10-18 西安微电子技术研究所 一种兼容两种曝光模式的cmos图像传感器读出电路

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4576658B2 (ja) * 2000-02-29 2010-11-10 ソニー株式会社 撮像装置、撮像方法及び撮像プログラム
US7589782B2 (en) * 2003-02-06 2009-09-15 Ricoh Company, Ltd. Imaging apparatus and imaging method for reducing release time lag
KR100578647B1 (ko) * 2004-04-27 2006-05-11 매그나칩 반도체 유한회사 이미지센서의 인티그레이션 방법
JP4453648B2 (ja) * 2005-06-13 2010-04-21 ソニー株式会社 画像処理装置および撮像装置
GB201016773D0 (en) 2010-10-06 2010-11-17 Univ Leuven Kath Dynamic range enhancement through prediction of pixel integration time
JP2013089980A (ja) * 2011-10-13 2013-05-13 Sony Corp 駆動装置、駆動方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01221986A (ja) 1988-03-01 1989-09-05 Canon Inc 露光制御装置
JP2528368B2 (ja) * 1989-11-13 1996-08-28 富士写真フイルム株式会社 カメラ
JP2899031B2 (ja) 1989-12-28 1999-06-02 キヤノン株式会社 自動露出制御装置
US5194960A (en) 1990-03-05 1993-03-16 Konica Corporation Optical image signal control device
EP0470769B1 (en) 1990-08-08 1996-04-10 Canon Kabushiki Kaisha Electronic still video camera
JPH03101384A (ja) * 1990-08-09 1991-04-26 Sanyo Electric Co Ltd Ccd固体撮像素子の露出制御回路
EP0583143B1 (en) * 1992-08-10 2001-04-18 Sony Corporation Improved control of the electronic shutter time in a video camera
JP3666900B2 (ja) 1994-04-25 2005-06-29 キヤノン株式会社 撮像装置および撮像方法
US5751354A (en) 1994-04-28 1998-05-12 Canon Kabushiki Kaisha Image sensing apparatus and method with exposure performed based on focus evaluation values
JPH09284784A (ja) * 1996-04-12 1997-10-31 Sony Corp カラー撮像装置
US5606392A (en) 1996-06-28 1997-02-25 Eastman Kodak Company Camera using calibrated aperture settings for exposure control
US5734426A (en) * 1996-11-15 1998-03-31 Omnivision Technologies, Inc. Method of automatic exposure control in a MOS imaging array
JP3107760B2 (ja) * 1996-12-25 2000-11-13 松下電器産業株式会社 露光量制御装置
US6486915B2 (en) 1999-04-20 2002-11-26 Intel Corporation Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110351500A (zh) * 2019-07-09 2019-10-18 西安微电子技术研究所 一种兼容两种曝光模式的cmos图像传感器读出电路
CN110351500B (zh) * 2019-07-09 2021-08-31 西安微电子技术研究所 一种兼容两种曝光模式的cmos图像传感器读出电路

Also Published As

Publication number Publication date
US6995801B1 (en) 2006-02-07
JP4169415B2 (ja) 2008-10-22

Similar Documents

Publication Publication Date Title
EP0777381B1 (en) Image sensing system comprising a image sensing unit and a computer
JP4049603B2 (ja) 撮像装置
JP4948090B2 (ja) 撮像装置及び駆動制御方法
KR970003032B1 (ko) 고체 촬상 장치
EP0748111B1 (en) Solid image pickup unit and video camera employing same
JP5105843B2 (ja) 撮像装置及び判定方法
JP2002209146A (ja) 固体撮像素子の駆動方法
KR100347493B1 (ko) 촬상 장치
JP4675204B2 (ja) 撮像素子の駆動方法および撮像装置
KR100479403B1 (ko) 촬상 장치
JP4169415B2 (ja) 固体撮像装置
JP3913388B2 (ja) 固体撮像装置
JP2000253321A (ja) 固体撮像装置
JP4908939B2 (ja) 撮像装置
JP3162206B2 (ja) システムクロック可変形ディジタル電子スチルカメラ
JP2007228433A (ja) 撮像装置及び撮像装置の制御方法
JP2004159252A (ja) 画像信号処理回路及びこれを用いた撮像装置
JP4974497B2 (ja) 撮影装置
JP2000032353A (ja) 撮像装置
JP3988207B2 (ja) 固体撮像装置およびその撮像方法
JPH01212083A (ja) 固体撮像装置
JP2000078481A (ja) 撮像装置
JP2000224491A (ja) 固体撮像装置
JP4730530B2 (ja) 撮影装置
JP3970069B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041005

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110815

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120815

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130815

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees