JP2003304543A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2003304543A
JP2003304543A JP2002105488A JP2002105488A JP2003304543A JP 2003304543 A JP2003304543 A JP 2003304543A JP 2002105488 A JP2002105488 A JP 2002105488A JP 2002105488 A JP2002105488 A JP 2002105488A JP 2003304543 A JP2003304543 A JP 2003304543A
Authority
JP
Japan
Prior art keywords
reference signal
image
color reference
white balance
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002105488A
Other languages
English (en)
Other versions
JP4001501B2 (ja
Inventor
Keiichi Ikebe
慶一 池辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2002105488A priority Critical patent/JP4001501B2/ja
Publication of JP2003304543A publication Critical patent/JP2003304543A/ja
Application granted granted Critical
Publication of JP4001501B2 publication Critical patent/JP4001501B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 色基準信号と撮像された画像データをともに
白バランス補正処理し、白バランス補正処理された色基
準信号を画像の一部に重畳することで、操作者または撮
像された画像を見る人に、撮像装置の白バランス補正が
どのように行われたかを視認できるようにした撮像装置
を得る。 【解決手段】 光学系により撮像素子14に像を結像
し、撮像素子14で撮像された画像を電気信号に変換し
記録することができる撮像装置において、色基準信号を
生成してこの生成された色基準信号を白バランス補正処
理よりも前に入力する色基準信号生成手段30を持ち、
撮像された画像の一部に白バランス処理された色基準信
号を重畳し記録する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、静止画像や動画像
を記録することのできる撮像装置に関するもので、例え
ば、デジタルカメラ、デジタルビデオテープレコーダ、
その他、一般的なカメラ、ビデオテープレコーダに適用
可能なものである。
【0002】
【従来の技術】ここでは、図9を参照しながら、一般的
なデジタルカメラの構成例について説明する。図9にお
いて、被写体からレンズ10に入射した光は、撮像素子
14上に被写体像を形成する。撮像素子14では受光し
た光をその光電変換作用により、電気的な信号に変換す
る。レンズ10と撮像素子14との間にはシャッタ12
があり、シャッタ駆動回路26がシャッタ12を制御し
て、撮像素子12に入射する光の量・タイミングを制御
している。このシャッタ駆動回路26の制御はシステム
コントローラ22により行われる。
【0003】撮像素子14で光電変換された電気的な信
号は、サンプルホールド回路(以下「S/H回路」とい
う)16に入力される。S/H回路16は被写体像に対
応した上記電気的な信号をサンプルホールドし、各画素
に対応した信号レベルを得る。ここでサンプルホールド
された信号は、次にアナログ・デジタル変換回路(以下
「A/D回路」という)18に入力されデジタルデータ
に変換される。このデジタルデータは画像データコント
ローラ20で補間処理や色処理、エッジ強調等の処理が
行われるとともに符号化される。この処理作業のための
データの一時的な記憶場所として、DRAMが用いられ
ることが多い。システムコントローラ22は、システム
を最適に動作させるために必要なデータをEEPROM
(電気的に消去可能なプログラマブルROM)38に保
持しており、必要に応じてEEPROM38から読出
し、演算等に用いられる。操作スイッチ46はこの撮像
装置の操作者によって操作されるもので、レリーズスイ
ッチや電源スイッチ、記録・再生動作の切換スイッチも
このスイッチに含まれる。
【0004】上記画像データコントローラ20で処理さ
れ符号化されたデータは、次に圧縮・伸張回路34でデ
ータを符号化・圧縮され、磁気テープなどの画像記録メ
ディア36に保存される。撮像素子14、S/H回路1
6、A/D回路18、画像データコントローラ20はそ
れぞれが同期して動作する必要があるので、それらを同
期させるための信号がタイミングパルス発生回路28で
生成され、それぞれに供給される。また、撮像中の画像
データや撮像して保存された画像データは、表示用イン
タフェース40に送られ、表示装置42で表示するため
の信号形式に変換されるとともに、表示装置42で画像
が表示される。
【0005】図10は、図9の画像データコントローラ
20の一部を示す。図9中のA/D回路18から出力さ
れるデジタル画像データには、白バランス補正回路50
で白バランス補正処理が施される。白バランスは、撮像
する被写体を照射する光源の色温度や分光特性が様々で
あり、光源の色温度によって、被写体を目で見た色と記
録された画像の色とが変わってしまうことがあるため、
目で見た色に近くなるよう補正している。白バランス補
正後の画像データは、γ補正回路52により階調を圧縮
され、圧縮・伸長回路54で所定のフォーマットに圧縮
された後、記録メディア36に記録される。
【0006】記録された画像は、パソコンやテレビに接
続して再生することにより画像を見ることができるが、
前に述べたように撮像時の被写体を照射する光源の色温
度が様々であることから、必ずしも白バランスが正確に
合っているとは限らない。特に屋外で撮像したような場
合は、色温度の異なる光源が複数ある場合も少なくない
ため、目で見た印象と、白バランス補正されて記録され
た画像との間に違和感がある場合もある。また、白バラ
ンス補正が適正に行われたとしても、画像の印象には見
る人の個人差があるので、パソコン上のアプリケーショ
ンソフトで、好みに合せて補正を行う場合もある。
【0007】
【発明が解決しようとする課題】しかしながら、白バラ
ンス補正が行われた場合、記録された画像を時間が経っ
てから見ると、実物の色がどのような色であったかあい
まいな場合もある。記録された画像は、撮像装置により
白バランス補正が既になされた後であるため、撮像装置
の白バランス処理がどのように行われたかも、見る人に
はわかりにくいという問題もある。
【0008】本発明は以上のような従来技術の問題点を
解消するためになされたもので、さまざまな環境で撮像
に使用される撮像装置において、色基準信号と撮像され
た画像データをともに白バランス補正処理し、白バラン
ス補正処理された色基準信号を画像の一部に重畳するこ
とで、操作者または撮像された画像を見る人に、撮像装
置の白バランス補正がどのように行われたかを視認でき
るようにした撮像装置を提供することを目的とする。
【0009】なお、カラー画像表示装置の画面上に色を
精度よく表示させることができるように、表示画面の所
定位置に基準色見本画像を表示させるとともに、その近
傍に基準色見本部材を配置し、上記基準色見本画像と基
準色見本部材とを対比させてこれらの色が相互に一致す
るように、表示色調整操作装置を設けてなる技術が知ら
れている。特開平11−19050号、特開平11−1
9051号公報記載の発明がそれである。しかし、これ
らの従来例は、本願発明のように、白バランス補正がど
のように行われたかを視認できるようにするというもの
とは、目的が異なり、以下に述べるように目的を達成す
るための手段も異なる。
【0010】
【課題を解決するための手段】請求項1記載の発明は、
光学系により撮像素子に像を結像し、撮像素子で撮像さ
れた画像を電気信号に変換し記録することができる撮像
装置において、色基準信号を生成してこの生成された色
基準信号を白バランス補正処理よりも前に入力する色基
準信号生成手段を持ち、撮像された画像の一部に白バラ
ンス処理された色基準信号を重畳し記録することを特徴
とする。
【0011】請求項2記載の発明は、請求項1記載の発
明において、色基準信号生成手段は、生成した色基準信
号を白バランス補正処理よりも前に入力するとともに白
バランス処理よりも後にも入力することを特徴とする。
【0012】請求項3記載の発明は、請求項2記載の発
明において、撮像された画像の一部に、白バランス補正
処理よりも前に入力し白バランス処理された色基準信号
と白バランス処理よりも後に入力された色基準信号とを
重畳し記録することを特徴とする。
【0013】請求項4記載の発明は、請求項1記載の発
明において、色基準信号を入力するか否かを選択する選
択スイッチを有することを特徴とする。
【0014】
【発明の実施の形態】以下、図面を参照しながら本発明
にかかる撮像装置の実施の形態について説明する。図9
に示す従来例の構成部分と同じ構成部分には共通の符号
を付している図1において、レンズ10は撮像光学系を
構成しており、撮像素子14の撮像面に被写体像を結像
するようになっている。撮像素子14は受光した光をそ
の光電変換作用により電気的な信号に変換するもので、
被写体像に対応した電気信号を出力する。レンズ10と
撮像素子14との間にはシャッタ12が配置されてい
る。シャッタ12はシャッタ駆動回路26によって駆動
され、シャッタ駆動回路26はシステムコントローラ2
2で制御されて、撮像素子14に入射する光の量・タイ
ミングが制御されるようになっている。
【0015】撮像素子14で光電変換された電気的な信
号は、S/H回路16に入力される。上記信号はS/H
回路16でサンプルホールドされ、撮像素子14の各画
素に対応した信号レベルを得る。ここでサンプルホール
ドされた信号は、次にA/D回路18に入力され、デジ
タルデータに変換される。このデジタルデータは画像デ
ータコントローラ20で補完処理や色処理、エッジ強調
等の処理が行われるとともに、符号化される。このデー
タ処理や符号化処理作業を行うためのデータの一時的な
記憶場所として、通常はDRAMが用いられる。システ
ムコントローラ22は、システムを最適に動作させるた
めに必要なデータをEEPROM38に保持し、必要に
応じてEEPROM38から読出し、演算等に用いられ
る。操作スイッチ46は、この撮像装置を操作者が操作
するためのもので、レリーズスイッチや電源スイッチ、
記録・再生動作の切換スイッチなどもこのスイッチに含
まれている。
【0016】画像データコントローラ20で各種の処理
が行われた画像データは、次に圧縮・伸張回路34で符
号化と圧縮が行われ、磁気テープ、ディスク、メモリな
どの適宜の画像記録メディア36に保存される。撮像素
子14、S/H回路16、A/D回路18、画像データ
コントローラ20はそれぞれが同期して動作する必要が
あり、それらを同期させるための信号はタイミングパル
ス発生回路28で生成され、それぞれに供給される。
【0017】また、撮像中の画像データや撮像して保存
された画像データは、表示用インタフェース40に送ら
れ、表示装置42で表示するための信号形式に変換され
るとともに、表示装置42で画像が表示される。システ
ムコントローラ22は、レンズ駆動回路24の動作も制
御するようになっている。レンズ駆動回路24はその動
作がシステムコントローラ22で制御されることによ
り、レンズ10を含む撮像光学系を駆動し、被写体への
ピント合わせ、ズーミングなどを行う。
【0018】図2は、図1に示す実施形態中の画像デー
タコントローラ20の一部を示している。図2におい
て、色基準信号生成回路30は、任意の色基準信号を生
成するもので、生成された色基準信号は白バランス補正
処理よりも前に入力されるようになっている。色基準信
号が画像データコントローラ20に入力されると、色基
準信号は、白バランス補正回路50で、撮像された画像
と同じ補正処理を施される。この撮像された画像データ
は、色基準信号とともにγ補正回路52でγ補正処理さ
れ、さらに圧縮伸長回路54で圧縮処理され、画像記録
メディア36に記録される。
【0019】図2は色基準信号入力位置の一例で、白バ
ランス補正回路の入力側に、色基準信号を入力するよう
になっている。ここで、撮像された画像データの一部を
色基準信号に置き換えてもよいし、画像データと色基準
信号を別々に白バランス補正処理し、γ補正回路52ま
たは圧縮伸長回路54で両者を合成してもよい。
【0020】圧縮伸長回路54で圧縮処理された画像デ
ータは、画像記録メディア36に記録されるため、これ
をパソコンやテレビ等で再生すると、図7に示すよう
に、画像の一部に色基準信号60が記録されていること
を確認できる。
【0021】図3は色基準信号入力位置の別の例を示
す。この例では、色基準信号生成回路30の出力を白バ
ランス補正回路50の入力側と出力側の両方に接続し
て、白バランス補正回路50の入力側と出力側の両方に
色基準信号を入力するようにしている。ここで、撮像さ
れた画像データの一部を色基準信号に置き換えてもよい
し、画像データと、白バランス補正回路50の入力側に
入力した色基準信号とを別々に白バランス補正を行い、
後で白バランス補正回路50の出力側に入力した色基準
信号を加えた3者を合成してもよい。図8は色基準信号
を合成して記録された画像の例を表したもので、左下は
白バランス補正前に合成した色基準信号62、右下は白
バランス補正後に合成した色基準信号60を示してい
る。この両者の色基準信号60、62を比較すること
で、撮像装置の白バランス補正回路50によって色がど
のように補正されているかが一目で分かる。
【0022】色基準信号を入力するか否かは、撮像装置
の操作者が任意に選択することができるようにするとよ
い。図1に示す選択スイッチ44はそのためのスイッチ
である。選択スイッチ44で色基準信号を入力する方を
選択する場合、図2に示す例のように、色基準信号を白
バランス補正処理よりも前に入力するようにしてもよい
し、図3に示す例のように、色基準信号を白バランス補
正処理よりも前と白バランス補正処理した後にも入力す
るようにしてもよい。なお、図6は色基準信号が重畳さ
れていない場合の画像を模式的に表している。図7、図
8は、前に説明したとおり、色基準信号が重畳された場
合の画像の例を模式的に表している。
【0023】以上説明した撮像装置の実施形態の動作例
を、図9にフローチャートで表している。まず、レリー
ズスイッチがオンされたことを確認すると(S1)、前
処理を行い(S2)、レンズを駆動して焦点調節を行い
(S3)、さらに露光動作を行って(S4)、撮像素子
に被写体像を取り込み、電気信号に変換する。次に、色
基準信号を入力するか否かを選択する上記選択スイッチ
44の状態すなわちオンかまたはオフかを確認する(S
5)。選択スイッチ44が色基準信号を入力する方を選
択していれば、色基準信号を生成して(S6)白バラン
ス補正回路に入力し、撮像された画像データを読み出し
(S7)、この画像データと上記色基準信号とを合成し
(S8)、この合成した信号に白バランス補正を施す
(S10)。すなわち、この場合は画像データと色基準
信号とともに白バランス補正が施されることになる。上
記選択スイッチ44が色基準信号を入力する方でない方
を選択していれば、色基準信号は生成せず、撮像された
画像を読み出し(S9)、この画像データのみに白バラ
ンス補正を行う(S10)。あとはγ補正を施し(S1
1)、圧縮・伸張回路により圧縮を行い(S12)、適
宜の記録媒体に記録して一連の撮像走査を終了する。
【0024】図5(a)(b)(c)は色基準信号生成
回路で生成された色基準信号の各種例を示す。この例か
らわかるように、一般的な色を並べたものや、グレース
ケール等を並べるものが考えられる。これらは用途や好
みに応じて操作者が選択できるようにしてもよい。
【0025】
【発明の効果】請求項1記載の発明によれば、色基準信
号を白バランス処理の前に入力し、撮影画像と同じ白バ
ランス処理を行うことで、記録された画像に含まれる色
基準信号により、白バランス処理がどのように行われた
かを操作者が知ることができる。
【0026】請求項2および3記載の発明によれば、請
求項1記載の発明において、色基準信号を白バランス処
理の前に入力し、撮影画像と同じ白バランス処理を行う
とともに、白バランス処理の後にも色基準信号を入力す
ることで、白バランス処理がどのように行われたかを操
作者が知ることができ、かつ白バランス処理が行われた
場合と行われない場合の色を対比して観察することがで
きる。
【0027】請求項4記載の発明によれば、記録される
画像に色基準信号を記録するか否かを選択できる。
【図面の簡単な説明】
【図1】本発明にかかる撮像装置の実施形態を示すブロ
ック図である。
【図2】上記実施形態中の画像データコントローラの具
体的構成例を示すブロック図である。
【図3】画像データコントローラの別の具体的構成例を
示すブロック図である。
【図4】上記実施形態の動作を示すフローチャートであ
る。
【図5】本発明に用いることができる色基準信号の各種
例を示すチャートである。
【図6】色基準信号が重畳されていない場合の画像の例
を示す模式図である。
【図7】色基準信号が重畳されている画像の一例を示す
模式図である。
【図8】色基準信号が重畳されている画像の別の例を示
す模式図である。
【図9】従来の撮像装置の例を示すブロック図である。
【図10】上記従来例中の画像データコントローラの具
体的構成例を示すブロック図である。
【符号の説明】
10 光学系を構成するレンズ 14 撮像素子 30 色基準信号生成手段 44 選択スイッチ 50 白バランス補正回路

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 光学系により撮像素子に像を結像し、撮
    像素子で撮像された画像を電気信号に変換し記録するこ
    とができる撮像装置において、色基準信号を生成してこ
    の生成された色基準信号を白バランス補正処理よりも前
    に入力する色基準信号生成手段を持ち、撮像された画像
    の一部に白バランス処理された色基準信号を重畳し記録
    することを特徴とする撮像装置。
  2. 【請求項2】 請求項1記載の撮像装置において、色基
    準信号生成手段は、生成した色基準信号を白バランス補
    正処理よりも前に入力するとともに白バランス処理より
    も後にも入力することを特徴とする撮像装置。
  3. 【請求項3】 請求項2記載の撮像装置において、撮像
    された画像の一部に、白バランス補正処理よりも前に入
    力し白バランス処理された色基準信号と白バランス処理
    よりも後に入力された色基準信号とを重畳し記録するこ
    とを特徴とする撮像装置。
  4. 【請求項4】 請求項1記載の撮像装置において、色基
    準信号を入力するか否かを選択する選択スイッチを有す
    ることを特徴とする撮像装置。
JP2002105488A 2002-04-08 2002-04-08 撮像装置 Expired - Fee Related JP4001501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002105488A JP4001501B2 (ja) 2002-04-08 2002-04-08 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002105488A JP4001501B2 (ja) 2002-04-08 2002-04-08 撮像装置

Publications (2)

Publication Number Publication Date
JP2003304543A true JP2003304543A (ja) 2003-10-24
JP4001501B2 JP4001501B2 (ja) 2007-10-31

Family

ID=29390168

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002105488A Expired - Fee Related JP4001501B2 (ja) 2002-04-08 2002-04-08 撮像装置

Country Status (1)

Country Link
JP (1) JP4001501B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019835A (ja) * 2004-06-30 2006-01-19 Sony Corp 映像信号処理装置、映像表示装置、プログラムおよび色調整方法
JP2006080695A (ja) * 2004-09-07 2006-03-23 Toshiba Corp 映像再生装置及び映像再生方法
JP2010028452A (ja) * 2008-07-18 2010-02-04 Nikon Corp 画像処理装置および電子カメラ
JP2018163204A (ja) * 2017-03-24 2018-10-18 ヤンマー株式会社 色診断用頭部装着型表示装置、及び色診断用表示装置
JP2020129000A (ja) * 2020-05-08 2020-08-27 ヤンマーパワーテクノロジー株式会社 色診断用表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006019835A (ja) * 2004-06-30 2006-01-19 Sony Corp 映像信号処理装置、映像表示装置、プログラムおよび色調整方法
JP4552532B2 (ja) * 2004-06-30 2010-09-29 ソニー株式会社 映像表示装置、プログラムおよび色調整方法
JP2006080695A (ja) * 2004-09-07 2006-03-23 Toshiba Corp 映像再生装置及び映像再生方法
JP2010028452A (ja) * 2008-07-18 2010-02-04 Nikon Corp 画像処理装置および電子カメラ
JP2018163204A (ja) * 2017-03-24 2018-10-18 ヤンマー株式会社 色診断用頭部装着型表示装置、及び色診断用表示装置
JP2020129000A (ja) * 2020-05-08 2020-08-27 ヤンマーパワーテクノロジー株式会社 色診断用表示装置
JP7025476B2 (ja) 2020-05-08 2022-02-24 ヤンマーパワーテクノロジー株式会社 色診断用表示装置

Also Published As

Publication number Publication date
JP4001501B2 (ja) 2007-10-31

Similar Documents

Publication Publication Date Title
JP4443735B2 (ja) 撮像装置およびその動作制御方法
JP3980782B2 (ja) 撮像制御装置および撮像制御方法
JP4569389B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2017175319A (ja) 画像処理装置、画像処理方法及びプログラム
JP2001045364A (ja) ディジタル・カメラおよびその動作制御方法
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
JP6351212B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP2001285703A (ja) 電子カメラ
JP4584544B2 (ja) 画像再生装置および固体撮像装置
JP4439173B2 (ja) デジタルカメラ及び情報端末
JPH11168745A (ja) デジタルカメラ
JP4001501B2 (ja) 撮像装置
JP4985180B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置
JP2006319524A (ja) 撮像装置
JP2005117399A (ja) 画像処理装置
JP2001309212A (ja) デジタルカメラ
JP6602425B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
JP6351213B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP6594485B2 (ja) 撮像装置、撮像装置の制御方法及びシステム
JP2003241071A (ja) 撮像装置及びその自動合焦方法
JP4524066B2 (ja) デジタルカメラ
JP2003061103A (ja) 撮像装置およびホワイトバランス調整方法およびその動作処理プログラム
JP4654677B2 (ja) 撮像装置、画像パラメータ設定方法及びプログラム
JP4300043B2 (ja) 撮像装置、撮像方法、撮像プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070814

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070814

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100824

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110824

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120824

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130824

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees