JP2003092708A - 固体撮像装置およびその駆動方法 - Google Patents
固体撮像装置およびその駆動方法Info
- Publication number
- JP2003092708A JP2003092708A JP2001282776A JP2001282776A JP2003092708A JP 2003092708 A JP2003092708 A JP 2003092708A JP 2001282776 A JP2001282776 A JP 2001282776A JP 2001282776 A JP2001282776 A JP 2001282776A JP 2003092708 A JP2003092708 A JP 2003092708A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- line
- exposure
- image
- charge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 97
- 230000004044 response Effects 0.000 claims abstract description 8
- 238000012546 transfer Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 22
- 239000000758 substrate Substances 0.000 claims description 17
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 2
- 230000015654 memory Effects 0.000 description 16
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000002411 adverse Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Landscapes
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
ながら良好な画像を得ることができる固体撮像装置およ
びその駆動方法の提供。 【解決手段】 ディジタルカメラ10は、システム制御部
20で厳密な露出時間の制御を優先させて、制御信号20b
をタイミング信号生成部22に供給してタイミング信号22
0を生成する。ドライバ16では、供給されるタイミング
信号220に応じて不要電荷掃出し期間のOFD信号164を直
流制御で生成し、基板に生じるゆがみを防ぐ。信号処理
部24では、この制御により画質劣化の生じるラインの画
像データを隣接するラインの画像データで置換させてラ
イン補間を行う。
Description
びその駆動方法に関し、たとえば電子シャッタを用いて
露出時間を調節するディジタルカメラ、より具体的には
ビデオカメラ、電子スチルカメラおよび画像入力装置等
に適用して好適な固体撮像装置に関するものであり、さ
らにこの固体撮像装置に適用した好適な駆動方法に関す
るものである。
体撮像装置に示されるように、露出時間を所望の値にす
ることおよびこの露出時間制御に要する電力消費を抑え
ることのためにこの固体撮像装置を適用したCCD(Charg
e Coupled Device)型の画像センサにおいて、画像セン
サは、電子シャッタパルスを水平ブランキング(HBLK:H
orizontal BLanKing)期間に印加して動作させている。
これにより、得られる画像には、電子シャッタパルスを
映像期間内に印加することで生じていた横線やムラの発
生が避けられる。
た条件での電子シャッタパルスの印加は、最小の露出時
間が1Hになり、画像センサはこの1H単位で露出制御が行
われることになる。このことは、露出制御は露出時間が
1H期間の整数倍でしか制御できないことを意味する。し
たがって、この条件を用いる画像センサは、厳密なシャ
ッタ速度で露出制御ができない。さらに画像センサに一
層の高画素化が施されると、画像センサの水平方向の画
素数も高画素化にともない増加する。この増加は、出力
する撮像信号の1H期間が長くなることを意味し、結果的
に露出時間の制御単位がますます長くなってしまう。
し、動画モードにおける露出時間を正確に制御しながら
良好な画像を得ることができる固体撮像装置およびその
駆動方法を提供することを目的とする。
決するために、被写界からの入射光を信号電荷に変換す
る受光素子がアレイ状に基板上に配され、この受光素子
のそれぞれに入射光を変換して得られる信号電荷を蓄積
する露出とこの露出前に蓄積した信号電荷を基板に廃棄
する電荷除去処理の期間中に印加する電子シャッタパル
スとにより露出制御を行って、露出の間に蓄積した信号
電荷を受光素子から読み出す撮像手段と、読み出して得
られる画像信号に信号処理を施す信号処理手段とを備
え、信号処理手段は、画像信号のうち、電子シャッタパ
ルスの印加されたラインに対応する画像信号をこのライ
ンに対して相前後するラインまたは水平ラインの上に位
置するラインの画像信号を用いて補間するライン補間手
段を含むことを特徴とする。
供給される画像信号のうち、電子シャッタパルスの印加
されたラインの信号を使わずに、ライン補間手段でこの
ラインに対して相前後するラインまたは水平ラインの上
に位置するラインの画像信号を用い、電子シャッタパル
スの印加されたラインの信号を補間することにより、横
線やムラ等の発生を回避させている。
に、被写界からの入射光を信号電荷に変換する受光素子
がアレイ状に基板上に配され、この受光素子のそれぞれ
に入射光を変換して得られる信号電荷を蓄積する露出と
この露出前に蓄積した信号電荷を基板に廃棄する電荷除
去処理とにより露出制御を行って、露出の間に蓄積した
信号電荷を受光素子から読み出し、この信号電荷を電圧
信号にして出力し、この電圧信号を画像信号とし、この
画像信号に信号処理を施す固体撮像装置の駆動方法にお
いて、信号処理からの露出に関する情報を基に電荷除去
処理の期間と露出の期間を求める第1の工程と、この得
られたこれらの期間に応じた制御信号を生成する第2の
工程と、この制御信号を基に電荷除去処理の期間および
露出の期間のタイミング信号を生成する中で、電荷除去
処理の期間に蓄積した信号電荷を廃棄させる廃棄信号の
タイミング信号を生成する第3の工程と、廃棄信号の印
加に際して露出で印加される電圧レベルより高く、信号
電荷を廃棄させる直流電圧レベルを出力し、露出の期間
では信号電荷の蓄積を行う電圧レベルを出力する第4の
工程と、露出にともない得られた信号電荷を読み出し
て、この信号電荷から画像信号を生成する第5の工程
と、この画像信号のうち、電荷除去処理と露出との境界
にある水平ラインに対して相前後するラインまたは水平
ラインの上に位置するラインの画像信号を用いて補間す
る第6の工程とを含むことを特徴とする。
処理からの露出に関する情報を基に電荷除去処理の期間
と露出の期間を求め、この得られたこれらの期間に応じ
た制御信号を生成し、タイミング信号を生成する中で廃
棄信号のタイミング信号も生成し、廃棄信号の印加に際
して露出で印加される電圧レベルより高く、信号電荷を
廃棄させる直流電圧レベルで出力し、露出の期間では信
号電荷の蓄積を行う電圧レベルで出力し、露出により得
られた信号電荷を読み出して、この信号電荷から画像信
号を生成し、この画像信号のうち、電荷除去処理と露出
との境界にある水平ラインに対して相前後するラインま
たは水平ラインの上に位置するラインの画像信号を用い
て補間することにより、電荷除去処理の期間をこれまで
のパルス制御でなく、直流制御で行い、基板に生じるゆ
がみを防ぎ、上述した境界の水平ラインを補間して横線
やムラ等の発生を回避させている。
写界からの入射光を信号電荷に変換する受光素子がアレ
イ状に基板上に配され、この受光素子のそれぞれに前記
入射光を変換して得られる信号電荷を蓄積する露出とこ
の露出前に蓄積した信号電荷を基板に廃棄する電荷除去
処理の期間中に印加する電子シャッタパルスとにより露
出制御を行って、露出の間に蓄積した信号電荷を受光素
子から読み出す撮像手段と、この読み出して得られる画
像信号に信号処理を施す信号処理手段とを含み、撮像手
段の出力のうち、電子シャッタパルスの印加されるライ
ンに対して水平同期信号の入力が禁止されていることを
特徴とする。
シャッタパルスの印加されるラインに対して水平同期信
号を入れないように駆動され、信号処理手段では電子シ
ャッタパルスの印加されたラインの採込みが行われな
い。これにより、固体撮像装置の出力画像には、電子シ
ャッタパルスの印加されたラインが出力されないので、
これまで電子シャッタの印加にともなって生じていた悪
影響を現れないようにすることができる。
めに、被写界からの入射光を信号電荷に変換する受光素
子がアレイ状に基板上に配され、この受光素子のそれぞ
れに前記入射光を変換して得られる信号電荷を蓄積する
露出とこの露出前に蓄積した信号電荷を基板に廃棄する
電荷除去処理の期間中に印加する電子シャッタパルスと
により露出制御を行って、露出の間に蓄積した信号電荷
を受光素子から読み出す撮像手段と、この読み出して得
られる画像信号に信号処理を施す信号処理手段とを含
み、撮像手段は、電子シャッタパルスの印加に応じて信
号電荷の転送を停止し、これにより得られた撮像出力を
出力し、信号処理手段は、供給される画像信号に対して
転送の停止に対応するタイミング調整を行うことを特徴
とする。
シャッタパルスの印加に応じて信号電荷の転送を停止
し、電子シャッタパルスによる影響が画像信号に含まれ
ないようにした撮像出力信号を出力し、画像信号に信号
処理手段で供給される画像信号に転送の停止に対応した
タイミング調整を施すことにより、画像には、電子シャ
ッタパルスの悪影響が現れないようにすることができ
る。
よる固体撮像装置の実施例を詳細に説明する。
ジタルカメラ10に適用した場合である。本発明と直接関
係のない部分について図示および説明を省略する。ここ
で、信号の参照符号はその現れる接続線の参照番号で表
す。
に、光学レンズ系12、撮像部14、ドライバ16、前処理部
18、システム制御部20、タイミング信号生成部22、信号
処理部24、ストレージ部26、モニタ28およびレリーズシ
ャッタボタン30が備えられている。
学レンズを組み合わせて構成されて図示しない絞り機構
でつくるアイリスを介して入射光束が撮像部14に焦点を
結ぶように結像させる。光学レンズ系12は、本撮像の前
に行う予備の撮像から被写体とカメラ10との距離を求
め、得られた距離に応じてピント調節する、AF(Automa
tic Focus:自動焦点)調節機構および入射光量を調節
するAE(Automatic Exposure)調節機構を含んでいる。
図示しないこれらの調節機構は、ドライバ16から供給さ
れる駆動信号160に応動する。絞り機構は、図示しない
絞り駆動回路からの駆動信号に応じてリング部を回転さ
せる。リング部は羽根を部分的に重ならせてアイリスの
形状を丸く形成し、アイリスの口径を変えている。絞り
機構は、メカニカルシャッタ(図示せず)をレンズシャ
ッタとして組み込んでもよい。
a、色フィルタ14bおよび固体撮像素子14cが含まれてい
る。光学ローパスフィルタ14aは入射光の空間周波数を
ナイキスト周波数以下にするフィルタである。色フィル
タ14bは三原色RGBの色フィルタセグメントが固体撮像素
子14cの個々の受光素子と一対一に所定の位置関係に配
されたフィルタである。したがって、色フィルタ14bは
固体撮像素子14cの受光素子の配置に依存する。色フィ
ルタ14bは三原色RGBに限定するものでなく、補色系の色
フィルタセグメントであってもよい。ただし、この場
合、後段の信号処理には補色を原色に変換する処理が追
加される。
撮像素子14cは光学レンズ系12、絞り機構のアイリスを
通った入射光を光電変換して信号電荷を生成している。
固体撮像素子14cは、図示しないが受光素子、フィール
ドシフトゲート、垂直転送CCD、水平転送CCDを含み、得
られた信号電荷をドライバ16から供給される駆動信号16
2, 164に応動してアナログ信号にして読み出している。
このアナログ信号が画像信号14dである。駆動信号162は
フィールドシフトパルス、垂直駆動信号および水平駆動
信号を表し、駆動信号164はオーバーフロードレイン(O
ver Flow Drain: 以下、OFDという)信号である。
で、入射光を信号電荷に変換する機能を有している。受
光素子には、たとえばホトダイオードが用いられる。受
光素子は入射光の強さに応じて信号電荷に変換し、この
信号電荷を時間とともに蓄積させていく。
号電荷が垂直転送CCDに漏れないように閉状態にして遮
蔽し、信号電荷を垂直転送CCDに読み出す際にゲートを
開状態にして信号電荷を垂直転送CCDに移動させる機能
を有するゲートである。すなわち、フィールドシフトゲ
ートは、ドライバ16から駆動信号162に含まれるフィー
ルドシフトパルスがゲートをオン状態にするように印加
された際にゲートを開放し、これ以外のときにゲートを
閉じる。
してCCDが垂直方向に形成されている。各CCDには電極が
形成されて、それぞれ駆動信号162に含まれる垂直駆動
信号φVが供給されている。垂直転送CCDには、ドライバ
16から位相の異なる垂直駆動信号φVが供給されてい
る。水平転送CCDは、垂直転送CCDから供給された信号電
荷をドライバ16からの駆動信号162に含まれる水平転送
駆動信号φHに応じて水平転送する。水平転送CCDは、信
号電荷を出力アンプ(図示せず)に向かって転送させて
いる。
から電子シャッタとしてOFD信号164が印加されている。
本実施例のOFD信号164は、これまでのOFD信号のように2
0〜30Vの電圧を一瞬に印加するパルス制御でなく、直流
(Direct Current:以下、DCという)制御により変化さ
せたDCレベルの電圧を印加する。
説明する。DC制御は、図2に示すように水平同期信号HD
におけるブランキング期間内にOFD信号164の立下りエッ
ジおよび立上りエッジが含まれるように行われる。この
ように制御することにより、図2(b)に示すOFD信号164
は、従来のOFD信号と逆位相の関係で基板に印加され
る。このようにOFD信号164を印加すると、OFD信号164の
レベル変動を水平ブランキング内で行い、不要電荷の排
出において基板の電位変動を抑えることで横線やムラ等
の発生を防止している。
め、不要電荷掃出し時間OFFと露出時間EXとを求めて、
ドライバ16は不要電荷掃出し時間OFFの期間を高電位のO
FD信号164を固体撮像素子14cに印加する(図3(c)を参
照)。このとき、ドライバ16は、図3(a)に示すように垂
直同期信号VDのブランキング期間内にて正極のフィール
ドシフトパルス(図3(b)を参照)を印加して読み出した
信号電荷が図示しないドレインに掃き出されるようにOF
D信号164の立上りタイミングを調整している。不要電荷
掃出し時間OFFと露出時間EXとの境界、すなわち露出開
始に対応する水平ラインは後段の信号処理において読み
出した信号電荷が影響を受けるので、この水平ラインに
隣接する上下のラインまたは上のラインの画像データで
補間する。この補間については後段でさらに説明する。
くすことにより、電子シャッタの印加をこれまでの水平
ブランキング期間に限定することなく、電子シャッタを
自由に印加させることができる。このような電子シャッ
タの印加は、動画(ムービ)撮像やモニタ28へのスルー
画表示を行う場合、有効である。
画撮像(スチル)において画素すべてを読み出すように
駆動して撮像信号14dを生成する。また、固体撮像素子1
4cは、動画(ムービ)撮像やモニタ28へのスルー画表示
を行う場合、間引きを行った撮像信号14dを出力する。
撮像信号14dは、撮像部14の図示しない出力アンプにお
いて信号電荷(Q)を電圧信号(V)に変換して得られたア
ナログ信号である。撮像部14は、得られた撮像信号14d
を前処理部18に出力する。
御信号20bと、タイミング信号生成部22からのタイミン
グ信号220とを基に駆動信号160, 162およびOFD信号(駆
動信号)164を生成する。駆動信号160は、前述した光学
レンズ系12のAF, AEを行うように各調節機構に供給され
る。駆動信号162は、垂直駆動信号、水平駆動信号およ
び撮像に関与する同期信号等を固体撮像素子14cに供給
する。そして、ドライバ16は、OFD信号164を固体撮像素
子14cに印加している。OFD信号164は前述したようにこ
れまでのOFD信号とブランキング期間の位相が逆相であ
り、ブランキング外の不要電荷掃出し時間OFFの期間が
高電位に継続している。
せるためには、高電位を維持させるドライバが用いられ
る。しかしながら、市販のドライバには、このような仕
様を満足するものがなく、専用のドライバを用いること
が望ましい。新たに専用ドライバを製作すると、製品を
コストアップさせることが想到される。市販のドライバ
を用いてこの高電位の維持が難しい場合、市販のドライ
バで高電位状態を満足する時間と電荷除去処理の時間と
を考慮し、電荷除去処理の時間内にて複数回間欠的にOF
D信号164を印加させるようにすることが好ましい。電荷
除去処理は、最終回のOFD信号164の印加を支配的にして
調整する。これにより、信号電荷の廃棄を行う電圧を維
持し、この後の露出を正確に制御することができる。
サンプリング回路(CDS:Correlated Double Samplin
g)、自動ゲインコントロール(AGC:Automatic Gain C
ontrol)アンプ、および A/D変換部(ADC:Analog to D
igital Converter)が含まれている。前処理部18は、シ
ステム制御部20からの制御信号20aを受け、タイミング
信号生成部22から供給される各種のタイミング信号222,
224に応じて動作する。
撮像信号14dが含む低周波のノイズ成分をタイミング信
号生成部22から供給されるCDSパルス222に応動して除去
する。ノイズ除去された信号は、AGCアンプで制御信号2
0aに応じて増幅することにより波形整形される。A/D変
換部は、供給されるアナログ信号をタイミング信号生成
部22から供給されるADクロック224に応じてディジタル
信号18aに変換して信号処理部24に出力する。
(Reduced Instruction Set Computer:縮小命令セット
コンピュータ)チップである。このチップ内には、図示
しない信号発生回路、メモリ、ガンマ補正回路、評価値
算出部、画素補間処理回路、色差マトリクス処理回路、
および圧縮/伸長処理回路に加えてライン補間回路240
が含まれている。
の制御信号20cが供給される。信号処理部24の図示しな
い信号発生回路は制御信号20cに応動して動作する。信
号発生回路は、複数の周波数を生成することができるPL
L(Phase Locked Loop)回路を有している。信号処理部
24には、タイミング信号生成部22からタイミング信号22
6が供給されている。タイミング信号226は、水平同期信
号HD、垂直同期信号VDおよび後述する各部の動作クロッ
ク等を含んでいる。信号発生回路は、源発の発振周波数
を基準クロックとして逓倍して複数種類のクロック信号
24aを生成し、システム制御部20およびタイミング信号
生成部22に出力する。
および選択スイッチ244を含んでいる。1Hラインメモリ2
42は、ディジタルデータに変換した画像データ18aの1H
分を入力し、一時記憶する。選択スイッチ244は、その
ままの画像データ18aが供給される入力端子244aと、1H
ラインメモリ242から読み出した画像データ246の入力端
子244bとを制御信号20dに応じて切り換えている。制御
信号20dは、システム制御部20から出力される。制御信
号20dは、露出開始位置の画像データおよびOFD信号164
が入力された画像データのいずれかの画像データに対応
して選択スイッチ244を入力端子244b側に切り換える。
画像データで行う。システム制御部20は、これ以外の場
合、入力端子244a側を選択するよう制御信号20dを生成
する。切換タイミングは、補間される対象のラインに隣
接したラインの画像データを用いるように切り換える。
このとき、システム制御部20は、プログレッシブスキャ
ンまたはインタレーススキャンかを考慮して切換タイミ
ングを選ぶ。このように切り換えてライン補間の施され
た画像データ180をメモリ(図示せず)に出力する。た
とえば、ムービー(動画)のように一枚の画像処理の時
間が規定され、リアルタイム性が求められている場合、
この構成は有効である。
されるものでなく、メモリに全画像データを記憶させた
後、ライン補間の要求される画像データに対して隣接す
る相前後する画像データを読み出し、画素ごとに加算平
均を行って得られた画素データを用いて補間する。ただ
し、相前後する画像データは、単に対象の画像データに
対する直前および直後の画像データでもよいが、対象の
画像データの色が同じパターンにある画像データを用い
てもよい。この場合、1Hラインメモリ242は画像データ
の選択信号を受けて取り込むとよい。
データ180を入力し、一時的に記憶する。ライン補間処
理は、処理時間が許す場合このメモリを用いて上述した
ように行ってもよい。メモリからは補間済みの画像デー
タがガンマ補正回路に供給される。また、メモリは、繰
り返し読出しを行う場合、不揮発性メモリを用いること
が好ましい。ガンマ補正回路には、たとえばガンマ補正
用のルックアップテーブルが含まれている。ガンマ補正
回路は、画像処理における前処理の一つとして供給され
る画像データをテーブルのデータを用いてガンマ補正す
る。ガンマ補正回路は、ガンマ補正した画像データをそ
れぞれ評価値算出部および画素補間処理回路に供給す
る。
度、ホワイトバランス(White Balance:以下、WBとい
う)調整値および階調補正値を算出する演算回路が含ま
れている。評価値算出部は、上述した回路にて、供給さ
れる画像データを基に適切な各パラメータを演算処理に
より算出する。これらの算出結果は、パラメータ24bと
してシステム制御部20に供給される。
配設に限定することなく、システム制御部20に配設する
ようにしてもよい。この場合、信号処理部24は、ガンマ
補正した画像データをシステム制御部20に供給する。
成して算出する機能を有している。撮像部14は単板の色
フィルタ14bを用いているため、実際の色フィルタセグ
メントの色以外の色が撮像素子から得られない。そこ
で、画素補間処理回路は、この得られない色の画素デー
タを補間により生成する。画素補間処理回路は、プレー
ンな画像データを色差マトリクス処理回路に供給する。
データを広帯域化する機能を含んでもよい。また、画素
補間処理回路は、いわゆるハニカムタイプの固体撮像素
子14cを撮像部14に用いている場合、このガンマ補正し
た画像データを用いて実際に画素の存在する位置(実画
素)や画素の存在しない位置(仮想画素)に三原色RGB
の画素データを補間処理により生成する。
回路から供給される画像データと所定の係数を用いて輝
度データYと色データCb, Crを生成する。生成した画像
データは、圧縮/伸長処理回路に供給される。
ービ)モードにおいて供給される画像データ(Y/C)にJ
PEG(Joint Photographic coding Experts Group)等の
規格で圧縮処理を施す。圧縮/伸長処理回路は、圧縮処
理した画像データ24cをストレージ部26に送って記録す
る。圧縮/伸長処理部は、ストレージ部26に記録した画
像データ24cを読み出して伸長処理を施す。この伸長処
理は、圧縮処理の逆処理である。
タや再生にともなって伸長した画像データ(Y/C)24cに
対してRGB変換を行い、このRGB変換した画像データをア
ナログ信号に変換する。信号処理部24は、アナログ信号
に変換した画像信号24dをモニタ28に出力する。信号処
理部24は、画像データを外部の機器と入出力する場合、
図示しないが外部I/F回路を配するとよい。外部I/F回路
としては、たとえば、PIO (Programmed Input/Outpu
t)、UART (Universal Asynchronous Receive-Transceiv
er:非同期シリアル通信用送受信回路)、USB(Universa
l Serial Bus)、IEEE1394規格(the Institute of Elec
trical and Electronics Engineers:米国電気電子技術
者協会)に基づくインタフェース等がある。
とのできるインタフェース部である。UARTは、シリアル
・インタフェースに用いられるデバイスである。このデ
バイスは、供給されるパラレル信号をシリアル信号に変
換したり、シリアル・デバイスから送られるシリアル信
号をパラレル信号に変換する機能を有している。IEEE13
94規格のI/Fは、たとえば400Mbpsまでのデータ転送をサ
ポートしている。
部分やディジタル処理を行う部分を制御するマイクロコ
ンピュータまたはCPU(Central Processing Unit)であ
る。システム制御部20には、キー操作部の一つであるレ
リーズシャッタボタン30から操作信号300が供給され
る。システム制御部20は、撮像モードでレリーズシャッ
タボタン30の半押し(S1)や全押し(S2)を示す操作信号
300を受けて、信号処理部24に制御信号20dを生成する。
システム制御部20は信号処理部24内におけるライン補間
や信号発生回路に対する制御、および信号処理を行う上
での制御をも考慮して制御信号20dを生成する。
ム制御部20は、タイミング信号生成部22から供給される
水平同期信号HDとOFD信号の印加するタイミング信号と
をタイミング信号228として入力する。システム制御部2
0は、たとえば、水平同期信号HDをカウントし、OFD(電
子シャッタ)を印加するタイミング信号が入力された際
のカウント値を記憶する。また、システム制御部20は、
この水平同期信号HDをカウントのクロックに用いてライ
ン補間回路240に入力する画像データのライン数が記憶
したカウント値と同じになったならば、対象の画像デー
タと判断してメモリ242側からのデータを選択するよう
に制御信号20dを生成する。システム制御部20は、前述
したようにドライバ16および前処理部18を制御する他、
ストレージ部26も制御している。
24aを基準にシステム制御部20から供給される制御信号2
0bに応じてタイミング信号を生成する。タイミング信号
は、垂直同期信号、水平同期信号、フィールドシフトパ
ルス、垂直転送信号および水平転送信号等がある。タイ
ミング信号生成部22は、これら生成したタイミング信号
220, 222および224, 226ならびに228を動作に応じてそ
れぞれ、ドライバ16、前処理部18、信号処理部24および
システム制御部20に供給している。
に市販のドライバを用いても電圧降下が生じないよう
に、複数回のOFD信号を印加するタイミング信号を生成
する。生成したタイミング信号は、タイミング信号220
に含めてドライバ16に供給する。
媒体として用いて、供給される画像データ24cを記録す
る。記録媒体には、光ディスクや光磁気ディスクを用い
てもよい。ストレージ部26は、各記録媒体に適したピッ
クアップやピックアップと磁気ヘッドを組み合わせて記
録再生用ヘッドを用いてデータの書込み/読出しを行
う。データの書込み/読出しは、図示しないがシステム
制御部20の制御に応じて行われる。
画像信号24dを表示させる。モニタ28には、一般的に液
晶モニタが用いられる。モニタ28は、液晶モニタに限定
されず、小型、画像の確認および電力の消費が抑えられ
る表示機器であれば十分に用いることができることは言
うまでもない。
画(ムービ)モードでのタイミングチャートを用いて説
明する(図5および図6を参照)。
不要電荷掃出し時間OFFと露出時間EXに関するパラメー
タ24bがシステム制御部20に供給される。システム制御
部20では供給されたパラメータ24bに基づいてタイミン
グ信号生成部22に出力する制御信号20bを生成する。
期間中にOFD信号164として出力させるタイミング信号の
制御情報を含んでいる。制御情報は、このタイミング信
号を一定期間ごとに生成させる情報である。この一定期
間としては、水平方向のラインを数本または数十本ごと
にするとよい。図5(b), (c)からOFD信号164は、たとえ
ば垂直駆動信号φVの3本間隔ごとに供給している。
イミング信号は、制御信号20bの制御情報を基に生成さ
れ、ドライバ16に供給される。ドライバ16はOFD信号164
を生成する。この生成は、OFD信号164の開始を図5(a)の
垂直ブランキング内で行う。また、OFD信号164は、前述
したDC制御にともないレベル変化するエッジ部分をブラ
ンキング期間内で行っている(図2(b)を参照)。ドライ
バ16は、安価に構成することを目的に市販のドライバを
用いる。さらに、不要電荷掃出し時間OFFの期間中に信
号電荷を掃き出す直流電圧レベルが維持できる期間を考
慮してこの期間を分けて、ドライバ16は、固体撮像素子
14cに対して複数回OFD信号164を印加させている。ドラ
イバ16は、露出期間EXに信号電荷の蓄積を行うように基
準レベルにしている。
出された露出時間を優先させる露出制御を行う。このた
め、不要電荷掃出しと露出との境界、すなわち露出開始
が時間拡大した図5(d), (e)からわかるように映像期間
内で行う場合がある。システム制御部20では、OFD信号1
64の印加する水平ライン(映像読出し期間における画像
信号の位置)および露出開始の水平ラインを記憶する。
dを前処理部18に出力する。前処理部18は、ディジタル
信号に変換した画像データ18aを信号処理部24に送る。
信号処理部24のライン補間回路240で上述したように記
憶された水平ラインの画像データに対して一つ上の水平
ラインの画像データで置換する。この置換は、システム
制御部20からの制御信号20dにより制御される。また、
スキャン方式を考慮すると、相前後する水平ラインを用
いてもよい。これにより、OFD信号164の印加および露出
開始で生じる画像劣化した水平ラインの画像が補間され
るので、画像に横線やムラ等の発生を防ぐことができ
る。
号VDに同期させ、信号電荷を垂直駆動信号φVにより垂
直転送駆動をさせながら(図6(a), (b)を参照)、OFD信
号をパルス制御により不要電荷掃出し期間にパルスを印
加している(図6(c)を参照)。このOFD信号の印加タイ
ミングは、図6(d), (e)に示すように時間拡大して表す
と、水平ブランキング期間内に印加させている。このよ
うに映像信号に影響が現れないようにタイミングを選ぶ
ことにより画像劣化を防いでいる。しかしながら、この
タイミングでOFD信号が印加されると、露出時間が1H単
位に限定され、固体撮像素子の画素数が増加した際に1H
期間も延びてしまう。
号164の印加する制御をDC制御にして、パルス制御に比
べて格段に印加する回数を少なくし、厳密な露出時間の
制御を行うことを優先させて、映像期間であってもOFD
信号164を固体撮像素子14cに印加する。このように厳密
に露出して適正な露出による画像が得られる。ただし、
OFD信号164の印加により画像の一部にたとえば横線等が
生じる。この横線等の生じる水平ラインに対しては、こ
の水平ラインの上に位置するライン等の画像データによ
ってライン補間することにより画像劣化を防ぎ、かつ正
確な露出を行って画像を得ることができる。
ジタルカメラ10の他の実施例を説明する。ディジタルカ
メラ10は、図1と同じ構成を用いていることから、構成
の説明を省略する。この構成のうち、本実施例の撮像部
14は、電子シャッタパルス(OFD信号164)の印加される
ラインに対して水平同期信号のない画像信号を出力する
ように動作する。これは、動作対象が撮像部14である
が、実際にシステム制御部20、タイミング信号生成部22
およびドライバ16も関与している。
して、システム制御部20は、タイミング信号生成部22に
制御信号20bを供給する。タイミング信号生成部22は、O
FD信号164の生成タイミング信号および駆動信号162に含
まれる水平同期信号HDの供給停止を行う。ドライバ16
は、OFD信号164を撮像部14に供給した際に水平同期信号
HDが入力されない。撮像部14は、電子シャッタパルスの
印加されたラインに水平同期信号がないことになる。こ
のため、信号処理部24は、水平同期信号のないラインを
採り込めない。
加されたライン以外の画像信号に対して信号処理を施
す。電子シャッタパルスの印加されたラインについて何
も考慮しなければそのまま処理した信号を出力する。ま
た、電子シャッタパルスの印加されたライン位置に対し
て補間処理を施すとき、ライン補間部を用いて電子シャ
ッタパルスの印加されるラインと相前後するラインまた
はこの印加されるラインの上に位置するラインの画像信
号を用いて補間するとよい。
像には、電子シャッタパルスの印加されたラインが出力
されないので、これまで電子シャッタの印加にともなっ
て生じていた悪影響を現れないようにすることができ
る。
こでも、ディジタルカメラ10は、図1と同じ構成を用い
ていることから、構成の説明を省略する。この構成のう
ち、本実施例の撮像部14は、電子シャッタパルスの印加
に応じて信号電荷の転送を停止する。転送を停止するた
めには、少なくとも、垂直駆動信号および水平駆動信号
のいずれか一方の転送駆動信号の供給を停止させるとよ
い。また、前述したように転送の停止に対応するライン
に水平同期信号の供給を停止させてもよい。
停止には、電子シャッタパルスの印加されるタイミング
がわかることを利用して、システム制御部20、タイミン
グ信号生成部22およびドライバ16が、前述した実施例と
同様に、駆動信号の供給の仕方が大きく関与する。
ルスによる影響が含まれない撮像信号を画像信号として
出力することができる。撮像部14は、得られた撮像出力
14dを前処理部18を介して信号処理部24に出力する。信
号処理部24は、図示していないが、供給される画像信号
18aに対して転送の停止に対応して出力するタイミング
調整を行う出力タイミング調整部を含む。本実施例で
は、このようにタイミングにずれがあることから、出力
タイミング調整部にたとえばフレームメモリ等を配設し
て供給される画像信号を一旦格納する。そして、出力タ
イミング調整部は、適切なタイミングで信号処理部24か
ら出力させる。このため、本実施例は、リアルタイムな
処理に向かないことは言うまでもない。
出力させるようにしてもよい。この場合、信号処理部24
は、前述した実施例におけるライン補間回路240のよう
に、電子シャッタパルスの印加されるラインと相前後す
るラインまたはこの印加されるラインの上に位置するラ
インの画像信号を用いて補間する。ライン補間に用いる
メモリは、1個用いた場合を例示したが、相前後するラ
インに対応させるため複数用い、平均化演算を行う回路
を配設させてもよい。このように構成しても出力画像に
は、電子シャッタパルスの悪影響が現れないようにする
ことができる。
キング期間に限定してOFD信号を印加しないで済ませる
ことができるので、露出時間を正確に制御することがで
きる。この制御により画質劣化の生じるラインには隣接
するラインの画像データを置換させてライン補間を行う
ことにより、良好な画像を得ることができる。
その駆動方法によれば、信号処理手段に供給される画像
信号のうち、電子シャッタパルスの印加されたラインの
信号を使わずに、ライン補間手段でこのラインに対して
相前後するラインまたは水平ラインの上に位置するライ
ンの画像信号を用い、電子シャッタパルスの印加された
ラインの信号を補間することにより、横線やムラ等の発
生を防止して、従来であればブランキング期間に限定さ
れていた廃棄信号の印加を避けることができ、露出時間
を正確に制御することができ、良好な画像を得ることが
できる。
メラの概略的なブロック図である。
下りエッジおよび立上りエッジのタイミング関係を説明
するタイミングチャートである。
し時間と露出時間との関係を説明するタイミングチャー
トである。
構成を示すブロック図である。
加タイミングを説明するタイミングチャートである。
加タイミングを説明するタイミングチャートである。
Claims (22)
- 【請求項1】 被写界からの入射光を信号電荷に変換す
る受光素子がアレイ状に基板上に配され、該受光素子の
それぞれに前記入射光を変換して得られる信号電荷を蓄
積する露出と該露出前に蓄積した信号電荷を前記基板に
廃棄する電荷除去処理の期間中に印加する電子シャッタ
パルスとにより露出制御を行って、前記露出の間に蓄積
した信号電荷を前記受光素子から読み出す撮像手段と、 読み出して得られる画像信号に信号処理を施す信号処理
手段とを含み、 該信号処理手段は、前記画像信号のうち、前記電子シャ
ッタパルスの印加されたラインに対応する画像信号を該
ラインに対して相前後するラインまたは前記水平ライン
の上に位置するラインの前記画像信号を用いて補間する
ライン補間手段を含むことを特徴とする固体撮像装置。 - 【請求項2】 請求項1に記載の装置において、前記電
子シャッタパルスは、少なくとも該電子シャッタパルス
の印加開始が垂直方向および水平方向のいずれか一方の
同期検出に用いる信号のブランキング期間内に設定され
ていることを特徴とする固体撮像装置。 - 【請求項3】 請求項1または2に記載の装置におい
て、前記電子シャッタパルスは、前記電荷除去処理の期
間中において一定期間ごとに生成することを特徴とする
固体撮像装置。 - 【請求項4】 請求項3に記載の装置において、前記電
子シャッタパルスは、前記一定期間として前記画像信号
が表す水平方向のラインを数本または数十本ごとに生成
することを特徴とする固体撮像装置。 - 【請求項5】 請求項1ないし4のいずれか一項に記載
の装置において、前記電子シャッタパルスは、前記電荷
除去処理の期間に前記蓄積した信号電荷を廃棄させる所
定の直流電圧レベルで前記撮像手段に印加することを特
徴とする固体撮像装置。 - 【請求項6】 請求項1ないし5のいずれか一項に記載
の装置において、前記電子シャッタパルスは、該電子シ
ャッタパルスのレベル変化するエッジ部分を前記ブラン
キング期間内にすることを特徴とする固体撮像装置。 - 【請求項7】 請求項1に記載の装置において、前記信
号処理手段は、前記画像信号のうち、前記電子シャッタ
パルスが印加されたラインに対して一つ前のラインの前
記画像信号で補間することを特徴とする固体撮像装置。 - 【請求項8】 請求項7に記載の装置において、前記信
号処理手段は、前記画像信号のうち、前記電荷除去処理
と前記露出との境界にあるラインに対して相前後するラ
インまたは前記水平ラインの上に位置するラインの前記
画像信号を用いて補間することを特徴とする固体撮像装
置。 - 【請求項9】 請求項1ないし8のいずれか一項に記載
の装置において、該装置は、所定の期間中に複数の画像
を連続的に出力する動画モードで撮像および信号処理を
行うことを特徴とする固体撮像装置。 - 【請求項10】 請求項9に記載の装置において、該装
置は、前記信号電荷の読み出しにおいて所定の間隔ごと
に信号電荷を読み出す間引き読出しを行うことを特徴と
する固体撮像装置。 - 【請求項11】 被写界からの入射光を信号電荷に変換
する受光素子がアレイ状に基板上に配され、該受光素子
のそれぞれに前記入射光を変換して得られる信号電荷を
蓄積する露出と該露出前に蓄積した信号電荷を前記基板
に廃棄する電荷除去処理とにより露出制御を行って、前
記露出の間に蓄積した信号電荷を前記受光素子から読み
出し、該信号電荷を電圧信号にして出力し、該電圧信号
を画像信号とし、該画像信号に信号処理を施す固体撮像
装置の駆動方法において、該方法は、 前記信号処理からの露出に関する情報を基に前記電荷除
去処理の期間と前記露出の期間を求める第1の工程と、 該得られたこれらの期間に応じた制御信号を生成する第
2の工程と、 該制御信号を基に前記電荷除去処理の期間および前記露
出の期間のタイミング信号を生成する中で、前記電荷除
去処理の期間に前記蓄積した信号電荷を廃棄させる廃棄
信号のタイミング信号を生成する第3の工程と、 前記廃棄信号の印加に際して前記露出で印加される電圧
レベルより高く、前記信号電荷を廃棄させる直流電圧レ
ベルを出力し、前記露出の期間では前記信号電荷の蓄積
を行う電圧レベルを出力する第4の工程と、 前記露出にともない得られた信号電荷を読み出して、該
信号電荷から前記画像信号を生成する第5の工程と、 該画像信号のうち、前記電荷除去処理と前記露出との境
界にある水平ラインに対して相前後するラインまたは前
記水平ラインの上に位置するラインの前記画像信号を用
いて補間する第6の工程とを含むことを特徴とする固体
撮像装置の駆動方法。 - 【請求項12】 請求項11に記載の方法において、第3
の工程は、少なくとも前記電荷除去処理の期間における
開始を垂直方向および水平方向のいずれか一方の同期検
出に用いる信号のブランキング期間内に設定することを
特徴とする固体撮像装置の駆動方法。 - 【請求項13】 請求項11または12に記載の方法におい
て、第3の工程は、前記電荷除去処理の期間中に前記廃
棄信号のタイミング信号を一定期間ごとに生成すること
を特徴とする固体撮像装置の駆動方法。 - 【請求項14】 請求項13に記載の方法において、第3
の工程は、前記一定期間として前記画像信号が表す水平
方向のラインを数本または数十本ごとに前記廃棄信号を
生成することを特徴とする固体撮像装置の駆動方法。 - 【請求項15】 請求項11ないし14のいずれか一項に記
載の方法において、第3の工程は、前記廃棄信号のレベ
ル変化するエッジ部分を前記ブランキング期間内にする
ことを特徴とする固体撮像装置の駆動方法。 - 【請求項16】 請求項11に記載の方法において、第6
の工程は、前記画像信号のうち、前記廃棄信号が印加さ
れたラインに対して一つ前のラインの前記画像信号で補
間することを特徴とする固体撮像装置の駆動方法。 - 【請求項17】 被写界からの入射光を信号電荷に変換
する受光素子がアレイ状に基板上に配され、該受光素子
のそれぞれに前記入射光を変換して得られる信号電荷を
蓄積する露出と該露出前に蓄積した信号電荷を前記基板
に廃棄する電荷除去処理の期間中に印加する電子シャッ
タパルスとにより露出制御を行って、前記露出の間に蓄
積した信号電荷を前記受光素子から読み出す撮像手段
と、 該読み出して得られる画像信号に信号処理を施す信号処
理手段とを含み、 前記撮像手段の出力のうち、前記電子シャッタパルスの
印加されるラインに対して水平同期信号の入力が禁止さ
れていることを特徴とする固体撮像装置。 - 【請求項18】 請求項17に記載した装置において、前
記信号処理手段は、前記電子シャッタパルスの印加され
るラインと相前後するラインまたは前記印加されるライ
ンの上に位置するラインの前記画像信号を用いて補間す
るライン補間手段を含むことを特徴とする固体撮像装
置。 - 【請求項19】 被写界からの入射光を信号電荷に変換
する受光素子がアレイ状に基板上に配され、該受光素子
のそれぞれに前記入射光を変換して得られる信号電荷を
蓄積する露出と該露出前に蓄積した信号電荷を前記基板
に廃棄する電荷除去処理の期間中に印加する電子シャッ
タパルスとにより露出制御を行って、前記露出の間に蓄
積した信号電荷を前記受光素子から読み出す撮像手段
と、 該読み出して得られる画像信号に信号処理を施す信号処
理手段とを含み、 前記撮像手段は、前記電子シャッタパルスの印加に応じ
て前記信号電荷の転送を停止し、これにより得られた撮
像出力信号を出力し、 前記信号処理手段は、供給される画像信号に対して前記
転送の停止に対応するタイミング調整を行うことを特徴
とする固体撮像装置。 - 【請求項20】 請求項19に記載の装置において、前記
撮像手段は、前記転送の停止に対応するラインに水平同
期信号の入力を禁止することを特徴とする固体撮像装
置。 - 【請求項21】 請求項19または20に記載の装置におい
て、前記転送の停止は、少なくとも、垂直方向および水
平方向のいずれか一方の転送の停止を示すことを特徴と
する固体撮像装置。 - 【請求項22】 請求項21に記載の装置において、前記
信号処理手段は、前記電子シャッタパルスの印加される
ラインと相前後するラインまたは前記印加されるライン
の上に位置するラインの前記画像信号を用いて補間する
ライン補間手段を含むことを特徴とする固体撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001282776A JP4125502B2 (ja) | 2001-09-18 | 2001-09-18 | 固体撮像装置およびその駆動方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001282776A JP4125502B2 (ja) | 2001-09-18 | 2001-09-18 | 固体撮像装置およびその駆動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003092708A true JP2003092708A (ja) | 2003-03-28 |
JP4125502B2 JP4125502B2 (ja) | 2008-07-30 |
Family
ID=19106380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001282776A Expired - Fee Related JP4125502B2 (ja) | 2001-09-18 | 2001-09-18 | 固体撮像装置およびその駆動方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4125502B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028811A (ja) * | 2006-07-24 | 2008-02-07 | Matsushita Electric Ind Co Ltd | アナログフロントエンド装置および撮像装置 |
-
2001
- 2001-09-18 JP JP2001282776A patent/JP4125502B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028811A (ja) * | 2006-07-24 | 2008-02-07 | Matsushita Electric Ind Co Ltd | アナログフロントエンド装置および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4125502B2 (ja) | 2008-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100666290B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP5715436B2 (ja) | 撮像装置、及びその制御方法 | |
JP2005130045A (ja) | 撮像装置及びこれに用いる撮像素子 | |
JP2004304706A (ja) | 固体撮像装置およびその補間処理方法 | |
JP2007300368A (ja) | 固体撮像装置 | |
JP2007288131A (ja) | 固体撮像素子、固体撮像装置およびその駆動方法 | |
US20060197854A1 (en) | Image capturing apparatus and computer software product | |
JP2007027845A (ja) | 撮像装置 | |
JP4616429B2 (ja) | 画像処理装置 | |
JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
JP2006261929A (ja) | 撮像装置 | |
US9420223B2 (en) | Image recording device that records moving image, method of controlling the same, and storage medium | |
JP3999693B2 (ja) | 固体撮像装置 | |
JP4053858B2 (ja) | 固体撮像装置の信号読出し方法 | |
JP4455709B2 (ja) | 固体撮像装置および撮像方法 | |
JP2007134806A (ja) | 固体撮像素子 | |
JP4279562B2 (ja) | 固体撮像装置の制御方法 | |
JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
JP2000295535A (ja) | 固体撮像装置および撮影制御方法 | |
JP2004007048A (ja) | 撮像装置 | |
JP4125502B2 (ja) | 固体撮像装置およびその駆動方法 | |
JP2007074363A (ja) | 撮像装置 | |
JP2000299810A (ja) | 撮像装置 | |
JP4434556B2 (ja) | 固体撮像装置および固体撮像素子 | |
JP4243084B2 (ja) | 固体撮像装置およびその信号処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080508 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |