JP2002232918A - カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法 - Google Patents

カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法

Info

Publication number
JP2002232918A
JP2002232918A JP2001020833A JP2001020833A JP2002232918A JP 2002232918 A JP2002232918 A JP 2002232918A JP 2001020833 A JP2001020833 A JP 2001020833A JP 2001020833 A JP2001020833 A JP 2001020833A JP 2002232918 A JP2002232918 A JP 2002232918A
Authority
JP
Japan
Prior art keywords
camera module
personal computer
interrupt
image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001020833A
Other languages
English (en)
Other versions
JP3585166B2 (ja
Inventor
Yoshinao Ikeuchi
義直 池内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001020833A priority Critical patent/JP3585166B2/ja
Publication of JP2002232918A publication Critical patent/JP2002232918A/ja
Application granted granted Critical
Publication of JP3585166B2 publication Critical patent/JP3585166B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 カメラモジュールの画像検査時間を短縮化
し、検査精度を向上させる。 【解決手段】 パーソナルコンピュータ3と外部周辺機
器を接続するPCIバスのデータ線をbit幅方向に分
割し、分割bit毎に検査対象である複数のカメラモジ
ュール1を接続する。また、PCIバスの割り込み監視
信号線をN本設け、各カメラモジュールから出力される
割り込み信号を接続する。各カメラモジュールから出力
される割り込み信号を割り込み監視信号線により順番に
監視し、割り込み信号が検出されたときにそのカメラモ
ジュールの1画面分のデータをメインメモリに転送し、
最後のカメラモジュールのデータをメインメモリに転送
した後、一度にビデオメモリに転送して、モニターに複
数の画像を表示させる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、携帯電話等に搭載
されている小型カメラモジュールの画像検査を行う際
に、複数のカメラモジュールからのデジタル信号を同時
にパーソナルコンピュータのPCIボードを介して1台
のパーソナルコンピュータへ取り込み、動画像をリアル
タイムでカメラモジュールの数だけパーソナルコンピュ
ータのディスプレイに表示し、各々の相関を取りながら
画像の検査を行うことができるカメラモジュールの画像
検査装置およびカメラモジュールの画像検査方法に関す
る。
【0002】
【従来の技術】従来の小型カメラモジュールの画像検査
方法について、図4を参照しながら説明する。従来にお
いては、カメラモジュール11からのデジタル信号をP
CIボード12を介してパーソナルコンピュータ13に
取り込み、モニター14により動画像のリアルタイム表
示を行っていた。
【0003】さらに、この画像表示と同時に、輝度レベ
ルや色位相等をグラフ化して表示し、予め設定された閾
値をパーソナルコンピュータが判断し、それを元にカメ
ラモジュールの画像の良否を判定していた。
【0004】
【発明が解決しようとする課題】しかしながら、上述し
た従来の方法では、パーソナルコンピュータ1台につい
てカメラモジュール1台しか接続できず、検査の効率を
向上させるためにはその分だけ多くのパーソナルコンピ
ュータと検査者を必要とし、その分だけ検査時間も長く
かかっていた。
【0005】さらに、画像の良否の判定は、そのときに
検査対象となっている1台のカメラモジュールに限った
絶対評価であるため、相対的な評価を行うことが困難で
あった。
【0006】本発明は、このような従来技術の課題を解
決するためになされたものであり、複数のカメラモジュ
ールからのデジタル信号をパーソナルコンピュータのP
CIボードを介して1台のパーソナルコンピュータへ取
り込み、動画像をリアルタイムでカメラモジュールの数
だけパーソナルコンピュータのディスプレイに表示し、
各々の相関を取りながら画像の検査を行うことができる
カメラモジュールの画像検査装置およびカメラモジュー
ルの画像検査方法を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明のカメラモジュー
ルの画像検査装置は、カメラモジュールのバッファメモ
リからパーソナルコンピュータに画像データを取り込
み、該パーソナルコンピュータのディスプレイ上に表示
することにより該カメラモジュールの画像検査を行う画
像検査装置において、該パーソナルコンピュータと外部
周辺機器とを接続しているPCIバスのデータ線をbi
t幅方向にN(Nは2以上の整数)分割して、分割した
bit毎に検査対象である複数のカメラモジュールの1
つずつを割り当てて接続すると共に、PCIバスの割り
込み監視信号線をN本設けて、各カメラモジュールのバ
ッファメモリがフルになった時点でカメラモジュールか
ら出力される割り込み信号を、各割り込み監視信号線に
1本ずつ接続しており、そのことにより上記目的が達成
される。
【0008】本発明のカメラモジュールの画像検査方法
は、本発明のカメラモジュールの画像検査装置を用い
て、第1のカメラモジュールから出力された割り込み信
号を前記割り込み監視信号線により監視し、該割り込み
信号が検出されたときに、PCIバスのデータ線のう
ち、第1のカメラモジュールが接続されたbit線を介
して、第1のカメラモジュールのバッファメモリからパ
ーソナルコンピュータのメインメモリに画像データを取
り込む第1のステップから、第Nのカメラモジュールか
ら出力された割り込み信号を前記割り込み監視信号線に
より監視し、該割り込み信号が検出されたときに、PC
Iバスのデータ線のうち、第Nのカメラモジュールが接
続されたbit線を介して、第Nのカメラモジュールの
バッファメモリからパーソナルコンピュータのメインメ
モリに画像データを取り込む第Nのステップまで行った
後、取り込んだN台のカメラモジュールの画像データを
パーソナルコンピュータのディスプレイ上に表示させて
画像の検査を行い、そのことにより上記目的が達成され
る。
【0009】以下に、本発明の作用について説明する。
【0010】本発明にあっては、小型のカメラモジュー
ルの画像検査を行う際に、複数のカメラモジュールから
のデジタル信号をパーソナルコンピュータのPCIボー
ドを介して1台のパーソナルコンピュータへ取り込み、
動画像をリアルタイムでカメラモジュールの数だけパー
ソナルコンピュータのディスプレイに表示することによ
り、作業効率を向上させ、相関を取りながら画像の検査
を行うことが可能である。
【0011】
【発明の実施の形態】以下に、本発明の実施の形態につ
いて、図面を参照しながら説明する。
【0012】図1は、本発明の一実施形態であるカメラ
モジュールの画像検査装置の概略構成を説明するための
図である。本実施形態では、4台のカメラモジュール1
をパーソナルコンピュータ3のPCIボード2に接続さ
れている治具に設置する。各カメラモジュールには、全
く同じ被写体が、全く同じ条件(照度、大きさ、被写体
までの距離、画角)で設置されている。
【0013】上記カメラモジュールとパーソナルコンピ
ュータの電源がオンになると、各々が動作し始め、カメ
ラモジュール側からは8bit、RGBのデジタル映像
信号が連続的に出力される。各カメラモジュールには、
処理速度向上のために1画面分のバッファメモリが設け
られ、そのバッファメモリがフルになると割り込み信号
(垂直同期信号に相当)を出力する。そして、次のデー
タのバッファメモリへの入力が開始されるまでの間、こ
のバッファメモリのデータは更新されない。なお、各カ
メラモジュールでは特に同期をとっていないので、各カ
メラモジュールからの割り込み信号はランダムに出力さ
れる。
【0014】一方、パーソナルコンピュータ側では、こ
の時間を利用して、割り込み信号を検出したときに素早
くカメラモジュールのバッファメモリからデータを取り
込み、メインメモリやビデオメモリを介してディスプレ
イ(モニター)上に表示を行う。上記動作を繰り返し
て、パーソナルコンピュータは動画像をモニターにリア
ルタイムに表示する。
【0015】図2(a)は本実施形態におけるカメラモ
ジュールとPCIボードの接続について説明するための
図である。パーソナルコンピュータのPCIボードに
は、パーソナルコンピュータと外部周辺機器とを接続す
るPCIバスを有している。本実施形態では、図2
(a)に示すように、PCIバスは32bit幅のデー
タ線と、4本の割り込み監視用信号線を有している。こ
の32bit幅のデータ線を4分割して、分割したbi
t(8bit)毎に4台のカメラモジュールのデータ出
力をパラレルに接続する。また、PCIバスの4本の割
り込み監視用信号線には、各カメラモジュールの割り込
み信号を接続する。ここでは、各カメラモジュールをC
amA、CamB、CamC、CamDとし、各割り込
み信号をINTA、INTB、INTC、INTDとす
る。
【0016】図2(b)はこの画像検査装置の動作の一
例を説明するための図である。パーソナルコンピュータ
側がPCIボードを通してカメラモジュール(例えばC
amA)から画像をメインメモリに取り込む際に、Ca
mAはパーソナルコンピュータの動作に関係なく動画を
取り込み続け、CamA自身が有するラインメモリに順
次上書きしていく。そして、1画面分のデータの上書き
が終了した時点で、割り込み信号INTAを発生する。
パーソナルコンピュータはこの割り込み信号INTAを
監視して検出したときにカメラモジュールCamAに対
してそのラインメモリのアドレスを発行し、そのアドレ
スに格納されているラインメモリ上の値(画像データ)
を読み出していく。この動作を1画面分繰り返す。ライ
ンメモリからの読み出しタイミングは、CamAが別の
コントロール信号を発行し、そのタイミングに同期して
行うことができる。
【0017】図3は上記画像検査装置の動作を説明する
ためのフローチャートである。パーソナルコンピュータ
側は、始めにカメラモジュールCamAからの割り込み
信号INTAのみを監視し(ステップ1)、それが検出
されたときに(ステップ2)、データ線を介してカメラ
モジュールCamAの1画面分のデータ(DATA[3
1:24]A)をパーソナルコンピュータのメインメモ
リに転送する(ステップ3)。
【0018】それが終了すると、次にカメラモジュール
CamBからの割り込み信号INTBのみを監視し(ス
テップ4)、それが検出されたときに(ステップ5)、
データ線を介してカメラモジュールCamBの1画面分
のデータ(DATA[23:16]B)をパーソナルコ
ンピュータのメインメモリに転送する(ステップ6)。
それが終了すると、次にカメラモジュールCamCから
の割り込み信号INTCのみを監視し(ステップ7)、そ
れが検出されたときに(ステップ8)、データ線を介し
てカメラモジュールCamCの1画面分のデータ(DA
TA[15:8]C)をパーソナルコンピュータのメイ
ンメモリに転送する(ステップ9)。それが終了する
と、次にカメラモジュールCamDからの割り込み信号
INTDのみを監視し(ステップ10)、それが検出され
たときに(ステップ11)、データ線を介してカメラモ
ジュールCamDの1画面分のデータ(DATA[7:
0]D)をパーソナルコンピュータのメインメモリに転
送する(ステップ12)。その後、これらのデータを一
度にビデオメモリに転送し(ステップ13)、パーソナ
ルコンピュータのディスプレイ(モニター)に4つのカ
メラモジュールの画像を表示させる(ステップ14)。
この動作を繰り返すことにより、4台のカメラモジュー
ルの動画像(検査の内容によっては静止画の場合もあ
る)が、リアルタイムに同じディスプレイに表示され
る。
【0019】よって、表示の際に、パーソナルコンピュ
ータ内部のソフトウェアによる画像処理を行うことによ
り、4画像の相関をとり、各々の輝度レベルや色合い等
の差分を検出して、その値をカメラモジュールの良否の
判定に用いることが可能である。
【0020】一般に、カメラモジュール等の出荷検査に
おいては、輝度レベル、色位相、画像解像度、ゴミの有
無等の検査が行われる。この検査の際に、1台のカメラ
モジュールからのみパーソナルコンピュータに画像を取
り込んで検査を行う場合には、その画像のみを絶対評価
する必要がある。例えば、輝度レベルを検査する場合、
1台だけ不良品が混じっていたとすると、1台ずつ検査
を行う場合には、その輝度レベルを絶対評価して判断す
る必要があり、不良であるか否かを判断するためには、
その前後で検査済みのデータを元にして判断を行う。
【0021】これに対して、本発明では、複数台のカメ
ラモジュールから同時に複数の画像を取り込んで、それ
らの画像の相関を取りながら検査を行うことができるの
で、検査の精度向上および検査時間の短縮化を図ること
が可能となる。上記実施形態では、4台のカメラモジュ
ールから同時にパーソナルコンピュータへの取り込みを
可能とすることにより、4台の輝度レベルを同時に算出
することができるので、同時に4台の比較をパーソナル
コンピュータ等で自動的に行うことができる。この場
合、1台だけ不良品が混じっていたとすると、その比較
データから容易に不良であることを判別することが可能
となる。このことは、色位相、画像解像度、ゴミの有無
等の検査項目についても、同様である。
【0022】なお、上記実施形態では4台のカメラモジ
ュールをPCIバスに接続した場合について説明した
が、カメラモジュールが1台のみ(例えばCamAの
み)の場合、図2(c)に示すように、PCIバスの3
2bit幅のデータ線のうち、8bit分しか使用しな
い。
【0023】上記実施形態のように、カメラモジュール
のバスが8bitで、PCIバスを1つしか使用しない
構成の場合には、4台のカメラモジュールの検査を行う
ことができる。また、例えばカメラモジュールのバスが
4bitで、PCIバスを同時に3つ使用する構成の場
合には、32/4(バス幅)×3(PCIバスの数)=
24台のカメラモジュールの検査を行うことができる。
【0024】
【発明の効果】以上詳述したように、本発明によれば、
小型のカメラモジュールの画像検査を行う際に、複数の
カメラモジュールからのデジタル信号をパーソナルコン
ピュータのPCIボードを介して1台のパーソナルコン
ピュータへ取り込み、動画像(または静止画像)をリア
ルタイムでカメラモジュールの数だけパーソナルコンピ
ュータのディスプレイに表示して、相関を取りながら画
像検査を行うことができる。これにより、複数のカメラ
モジュールの検査を1台のパーソナルコンピュータで行
うことができ、複数のカメラモジュールの相関検査も行
うことができるので、作業効率を大幅に向上させると共
に検査精度も向上させることができる。
【図面の簡単な説明】
【図1】本発明の一実施形態であるカメラモジュールの
画像検査装置の構成について説明するための図である。
【図2】(a)は本発明の一実施形態におけるカメラモ
ジュールとPCIボードの接続について説明するための
図であり、(b)および(c)は実施形態のカメラモジ
ュールの画像検査装置の動作を説明するための図であ
る。
【図3】実施形態のカメラモジュールの画像検査装置の
動作を説明するためのフローチャートである。
【図4】従来のカメラモジュールの画像検査装置の構成
について説明するための図である。
【符号の説明】
1、11 カメラモジュール 2、12 PCIボード 3、13 パーソナルコンピュータ 4、14 モニター CamA、CamB、CamC、CamD カメラモジ
ュール INTA、INTB、INTC、INTD 割り込み信

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 カメラモジュールのバッファメモリから
    パーソナルコンピュータに画像データを取り込み、該パ
    ーソナルコンピュータのディスプレイ上に表示すること
    により該カメラモジュールの画像検査を行う画像検査装
    置において、 該パーソナルコンピュータと外部周辺機器とを接続する
    PCIバスのデータ線をbit幅方向にN(Nは2以上
    の整数)分割して、分割したbit毎に検査対象である
    複数のカメラモジュールの1つずつを割り当てて接続し
    ていると共に、 PCIバスの割り込み監視信号線をN本設けて、各カメ
    ラモジュールのバッファメモリがフルになった時点でカ
    メラモジュールから出力される割り込み信号を、各割り
    込み監視信号線に1本ずつ接続していることを特徴とす
    るカメラモジュールの画像検査装置。
  2. 【請求項2】 請求項1に記載のカメラモジュールの画
    像検査装置を用いて、 第1のカメラモジュールから出力された割り込み信号を
    前記割り込み監視信号線により監視し、該割り込み信号
    が検出されたときに、PCIバスのデータ線のうち、第
    1のカメラモジュールが接続されたbit線を介して、
    第1のカメラモジュールのバッファメモリからパーソナ
    ルコンピュータのメインメモリに画像データを取り込む
    第1のステップから、 第Nのカメラモジュールから出力された割り込み信号を
    前記割り込み監視信号線により監視し、該割り込み信号
    が検出されたときに、PCIバスのデータ線のうち、第
    Nのカメラモジュールが接続されたbit線を介して、
    第Nのカメラモジュールのバッファメモリからパーソナ
    ルコンピュータのメインメモリに画像データを取り込む
    第Nのステップまで行った後、 取り込んだN台のカメラモジュールの画像データをパー
    ソナルコンピュータのディスプレイ上に表示させて画像
    の検査を行うことを特徴とするカメラモジュールの画像
    検査方法。
JP2001020833A 2001-01-29 2001-01-29 カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法 Expired - Fee Related JP3585166B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001020833A JP3585166B2 (ja) 2001-01-29 2001-01-29 カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001020833A JP3585166B2 (ja) 2001-01-29 2001-01-29 カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法

Publications (2)

Publication Number Publication Date
JP2002232918A true JP2002232918A (ja) 2002-08-16
JP3585166B2 JP3585166B2 (ja) 2004-11-04

Family

ID=18886485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001020833A Expired - Fee Related JP3585166B2 (ja) 2001-01-29 2001-01-29 カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法

Country Status (1)

Country Link
JP (1) JP3585166B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155119B2 (en) 2004-08-17 2006-12-26 Dialog Imaging Systems Gmbh Multi-processing of a picture to speed up mathematics and calculation for one picture
KR100670601B1 (ko) 2005-06-08 2007-01-17 동양반도체 주식회사 카메라 모듈의 오픈 쇼트 테스트 장치
US7248347B2 (en) 2004-08-17 2007-07-24 Dialog Imaging Systems Gmbh Focus processing with the distance of different target wheels
US7403229B2 (en) 2004-08-17 2008-07-22 Digital Imaging Systems Gmbh Testing of miniaturized digital camera modules with electrical and/or optical zoom functions
US7486309B2 (en) 2004-08-17 2009-02-03 Digital Imaging Systems Gmbh Digital camera module test system
US7505064B2 (en) 2004-08-17 2009-03-17 Digital Imaging Systems Gmbh Camera handling system
US7567273B2 (en) 2004-10-12 2009-07-28 Digital Imaging Systems Gmbh Multiple frame grabber
CN100584044C (zh) * 2004-08-27 2010-01-20 鸿富锦精密工业(深圳)有限公司 数码图像分辨率测试图制作方法
US7697031B2 (en) 2004-08-17 2010-04-13 Digital Imaging Systems Gmbh Intelligent light source with synchronization with a digital camera
CN105007481A (zh) * 2015-06-30 2015-10-28 中国民航科学技术研究院 测试卡的生成方法及装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7948519B2 (en) 2004-08-17 2011-05-24 Digital Imaging Systems Gmbh Intelligent light source with synchronization with a digital camera
US7248347B2 (en) 2004-08-17 2007-07-24 Dialog Imaging Systems Gmbh Focus processing with the distance of different target wheels
US7403229B2 (en) 2004-08-17 2008-07-22 Digital Imaging Systems Gmbh Testing of miniaturized digital camera modules with electrical and/or optical zoom functions
US7486309B2 (en) 2004-08-17 2009-02-03 Digital Imaging Systems Gmbh Digital camera module test system
US7505064B2 (en) 2004-08-17 2009-03-17 Digital Imaging Systems Gmbh Camera handling system
US7697031B2 (en) 2004-08-17 2010-04-13 Digital Imaging Systems Gmbh Intelligent light source with synchronization with a digital camera
US7155119B2 (en) 2004-08-17 2006-12-26 Dialog Imaging Systems Gmbh Multi-processing of a picture to speed up mathematics and calculation for one picture
US7965316B2 (en) 2004-08-17 2011-06-21 Digital Imaging Systems Gmbh Intelligent light source with synchronization with a digital camera
CN100584044C (zh) * 2004-08-27 2010-01-20 鸿富锦精密工业(深圳)有限公司 数码图像分辨率测试图制作方法
US7567273B2 (en) 2004-10-12 2009-07-28 Digital Imaging Systems Gmbh Multiple frame grabber
US8068182B2 (en) 2004-10-12 2011-11-29 Youliza, Gehts B.V. Limited Liability Company Multiple frame grabber
KR100670601B1 (ko) 2005-06-08 2007-01-17 동양반도체 주식회사 카메라 모듈의 오픈 쇼트 테스트 장치
CN105007481A (zh) * 2015-06-30 2015-10-28 中国民航科学技术研究院 测试卡的生成方法及装置

Also Published As

Publication number Publication date
JP3585166B2 (ja) 2004-11-04

Similar Documents

Publication Publication Date Title
US6674896B1 (en) Device for applying accurate color thresholds in real time
JP3585166B2 (ja) カメラモジュールの画像検査装置およびカメラモジュールの画像検査方法
KR20080055598A (ko) 디스플레이의 그레이 레벨 대 휘도 곡선을 신속히 생성하는방법 및 장치
KR20120048748A (ko) 디스플레이 검사용 패턴 이미지 전송 장치 및 이를 이용한 디스플레이 검사방법.
EP1080447B1 (en) Image processing inspection apparatus
JPH06222012A (ja) 画像処理装置及び画像処理方法及び半導体パッケージ外観検査装置
US7155119B2 (en) Multi-processing of a picture to speed up mathematics and calculation for one picture
JP2002024802A (ja) 画像処理システム
JPH04305774A (ja) 部品検査用高分解能視覚装置
JPH06229941A (ja) 画像検査装置
JP4122072B2 (ja) 製品検査のための映像処理システム
US8213739B2 (en) Method and system of performing detection on an imaging device
TWI418816B (zh) 高解析度高頻之影像處理晶片的驗證系統
JP3548835B2 (ja) 欠陥検査装置及び方法
JP2004045052A (ja) 画像データ検査装置および画像データ検査方法
CN115638960A (zh) 一种基于摄像头的便携式显示模组检测装置及方法
JP2992007B2 (ja) ビデオボード検査方法及び検査装置
KR100464253B1 (ko) 모니터링기기의영상경계치검출장치
JP2000162089A (ja) 画面検査方法と装置
JP2000078620A (ja) ディジタルカメラ評価方法及びコンピュータシステム
KR100286103B1 (ko) 영상 데이터 처리방법
JPH08318619A (ja) 印刷物検査装置
JP2007178312A (ja) 外観検査装置
KR100189894B1 (ko) 비젼 응용 검사 시스템의 제어방법
JPH063284A (ja) イメージ入力装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Effective date: 20040727

Free format text: JAPANESE INTERMEDIATE CODE: A971007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Effective date: 20040730

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Effective date: 20040730

Free format text: JAPANESE INTERMEDIATE CODE: A61

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 3

Free format text: PAYMENT UNTIL: 20070813

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080813

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 4

Free format text: PAYMENT UNTIL: 20080813

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090813

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 5

Free format text: PAYMENT UNTIL: 20090813

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100813

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 7

Free format text: PAYMENT UNTIL: 20110813

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110813

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120813

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120813

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Year of fee payment: 9

Free format text: PAYMENT UNTIL: 20130813

LAPS Cancellation because of no payment of annual fees