JP4121628B2 - Screen inspection method and apparatus - Google Patents

Screen inspection method and apparatus Download PDF

Info

Publication number
JP4121628B2
JP4121628B2 JP24887098A JP24887098A JP4121628B2 JP 4121628 B2 JP4121628 B2 JP 4121628B2 JP 24887098 A JP24887098 A JP 24887098A JP 24887098 A JP24887098 A JP 24887098A JP 4121628 B2 JP4121628 B2 JP 4121628B2
Authority
JP
Japan
Prior art keywords
label
area
screen
distance
labels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24887098A
Other languages
Japanese (ja)
Other versions
JP2000076445A (en
Inventor
典昭 湯川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP24887098A priority Critical patent/JP4121628B2/en
Publication of JP2000076445A publication Critical patent/JP2000076445A/en
Application granted granted Critical
Publication of JP4121628B2 publication Critical patent/JP4121628B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、電子機器分野等で使用される液晶パネル等の表示素子およびCCD等の受光素子の製造工程において、それらの素子に現れる欠陥などを検査するための画面検査方法及びその装置に関するものである。
【0002】
【従来の技術】
従来から、電子機器分野等で使用される液晶パネル、CRTパネル、PDPパネル等の表示素子およびCCD等の受光素子の製造工程において、画面検査方法の1つとして、それら表示素子および受光素子の画面に現れる欠陥を検査するために、被検査体である表示素子および受光素子を画像としてとらえ、その画像中の背景部分に比較して欠陥部分の凝集程度を評価し、その評価結果に基づいて画面における欠陥検出を行うための欠陥検出装置による欠陥検出方法などがあり、上記の製造工程において広く利用されている。なお、以下では、上記の欠陥検出方法をも含めて画面検査と総称するものとする。
【0003】
このような画面検査は、従来では、人手で目視検査をするか、あるいは画面検査用の自動機で画像処理を行うかのいずれかで実施されていた。人手で目視検査をする場合には、被検査体の機種が変換されても容易に対応可能であり、その対応検査の立ち上がりが早いが、欠陥の詳細位置を特定するには時間がかかり、スループットが悪いという欠点があった。また、検査感度の維持・統一という点で問題があり、それらが課題となっている。
【0004】
一方、自動機で画像処理を行う場合には、被検査体の機種が変換されると、その機種に対応させて自動機の再調整が必要であり、その調整に多くの時間を要するという欠点はあるが、欠陥位置の特定情報を素早く認識するという利点があった。また、目視検査の場合に問題となっていた検査感度の維持・統一が容易にはかれる。
【0005】
しかし、近年の部品の高精細化・高性能化にともない、画面検査において、目視検査に関しては、ますますスループットが悪いことが顕著化してきた。一方、自動機が検査するにあたって困難な点の1つとして、背景部に比較して微弱欠陥部分が凝集しており、目視検査では画面むらとして判定される欠陥が存在する場合に、その微弱欠陥部分が凝集した部分に対して、目視検査の場合と同様に画面むらとして判定することである。これは、背景部分に比べて比較的コントラストがはっきりしている点欠陥と呼ばれるものとは異なり、点欠陥よりも背景部分に比べてコントラストが低い微弱点欠陥と呼ばれるものである。この微弱点欠陥は、単独で存在する場合は欠陥として判定されないが、凝集している場合には画面むらとして判定される。
【0006】
ここでは、背景部分に比べて明るい微弱点欠陥について説明する。背景部分に比べて暗いものも同様に扱うことが可能である。
近年、品質への要求に対して、自動化への要望が高まっているが、上記のような欠陥を正確に検出できる処理方法は存在しない。例えば、図11に示すように、濃度プロファイルが画面の背景部分50に比べて微妙に変動している画像に対して、これを検出するために、濃度プロファイルチェックライン52を想定し、更にこの濃度プロファイルチェックライン52上で濃度しきい値51を設定し、この濃度しきい値51以上の画素の塊(以下、ラベルと呼ぶ)を検出する。図11では、白点53、54が、濃度プロファイルチェックライン52上で対象とする画素の塊であり、ラベルである。なお、この処理をラベル処理と呼び、ラベル処理を施した画像をラベル画像と呼ぶ。
【0007】
【発明が解決しようとする課題】
しかしながら上記のような従来の画面検査方法及びその装置では、ラベル画像内のラベル数あるいはすべてのラベルの総面積を画面むらの評価値として使用する場合、目視検査で判定された画面むらの程度とは、その評価値が一致しないことが多かった。例えば、図12(a)および図12(b)に示す画面に対して、目視検査では、図12(a)の方が図12(b)に比べて、微弱点欠陥の凝集度合いの観点から画面むらの程度が大きいという検査結果となるが、上記のラベル処理を施した画像における評価値ではその差がでない。
【0008】
つまり、図12(a)における10個のラベルの総面積(以下、面積比較により検討するので、特に単位は付すことはせず、省略する)は以下のようになる。
【0009】
【数1】

Figure 0004121628
【0010】
一方、図12(b)における11個のラベルの総面積は以下のようになる。
【0011】
【数2】
Figure 0004121628
【0012】
以上のように、ラベル数は、図12(a)では10であり、図12(b)では11であり、そのラベル総面積は、図12(a)では56となり、図12(b)でも56となって、図12(a)の場合でも図12(b)の場合でも、それらの画面むらに対する評価値は同一となる。
【0013】
従って、画面内における背景部分50に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性が低下するため、液晶パネル等の表示素子およびCCD等の受光素子(場合によって撮像素子とも記す)に現れる微弱点欠陥の凝集した部分に対して、そのラベル画像による画面むらの評価値を目視検査の場合に対応させることができず、ラベル画像による検査精度も低下してしまうという問題点を有していた。
【0014】
本発明は、上記従来の問題点を解決するもので、液晶パネル等の表示素子およびCCD等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる画面検査方法及びその装置を提供する。
【0015】
【課題を解決するための手段】
上記の課題を解決するために本発明の画面検査方法及びその装置は、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くすることを特徴とする。
【0016】
以上により、液晶パネル等の表示素子およびCCD等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる。
【0017】
【発明の実施の形態】
本発明の請求項1記載の画面検査方法は、表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出する画面検査方法であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定工程と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定工程と、前記ラベル間距離判定工程で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換工程と、前記ラベル面積変換工程をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定工程とを有する方法とする。
【0018】
請求項2記載の画面検査方法は、請求項1記載のラベル間距離判定工程で検出されたラベルに対して計算される評価値を、2つのラベルの面積をS1およびS2としそれらの間の距離をLとして、S1・S2/Lで表される式により求める方法とする。
【0019】
請求項3記載の画面検査方法は、請求項1記載のラベル面積変換工程と画面むら判定工程との間に、前記ラベル面積変換工程による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定工程を追加する方法とする。
【0020】
請求項4記載の画面検査方法は、請求項1記載の画面検査方法であって、請求項2記載の処理工程および請求項3記載の処理工程を有し、請求項2および請求項3の処理を同時に行う方法とする。
【0021】
請求項5記載の画面検査装置は、表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出するよう構成した画面検査装置であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部と、前記ラベル間距離判定部で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部と、前記ラベル面積変換部による面積変換をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定部とを備えた構成とする。
【0022】
請求項6記載の画面検査装置は、請求項5記載のラベル間距離判定工程で検出されたラベルに対して計算される評価値を、2つのラベルの面積をS1およびS2としそれらの間の距離をLとして、S1・S2/Lで表される式により求めるよう構成する。
【0023】
請求項7記載の画面検査装置は、請求項5記載のラベル面積変換部と画面むら判定部との間に、前記ラベル面積変換部による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去するよう構成した変換ラベル面積判定部を追加する構成とする。
【0024】
請求項8記載の画面検査装置は、請求項5記載の画面検査装置であって、請求項6記載の処理を行う構成と請求項7記載の処理を行う構成とを備え、請求項6および請求項7記載の処理を同時に行うよう構成する。
【0025】
以上の方法及びその装置によると、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くする。
【0026】
以下、本発明の実施の形態を示す画面検査方法及びその装置について、図面を参照しながら具体的に説明する。
図1は本実施の形態の画面検査方法を実現するための画面検査装置の1つである画面欠陥検出装置の概略構成を示したものである。図1において、CCD撮像素子1に対して光源2からの光が照射されると、CCD撮像素子1の受光面における各画素毎の濃淡信号が得られ、この濃淡信号はデジタル化された形でコンピュータ4に送り込まれる。コンピュータ4の中では、画像メモリ3が存在し、CCD撮像素子1のマトリックス状に構成された画素の行と列に対応した状態で、各画素毎の濃淡信号に基づいてデジタル化された例えば8bit(濃淡レベルとして0〜255)の濃淡データが格納される。なお、コンピュータ4には、下記の画面検査処理を実行するためのプログラムが格納されたプログラムメモリ5が設けられている。
【0027】
次に本実施の形態の画面検査方法について説明する。
図2は本実施の形態の画面検査方法における処理を示す構成図およびフローチャートである。この処理を説明するための画面検査装置の構成ブロック図を図2(a)に示し、その処理手順を示すフローチャートを図2(b)に示す。
【0028】
図2(a)において、200は、ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部、201は、ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部、202は、ラベル間距離判定部201で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部、203は、ラベル面積変換部202による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定部、204は、ラベル面積変換部202による面積変換をしたラベルに対して、変換ラベル面積判定部203による除去処理を施し、その処理後のすべてのラベルについて面積を求め、それらの最終的な面積の合計を画面むらの評価値として判定する画面むら判定部である。
【0029】
以上のように構成された画面検査装置について、その処理手順を説明する。
この画面検査装置は、図2(b)に示すように、ステップ#1は、被検査体であるCCD撮像素子1への光源2による照射を行う工程である。ステップ#2は、CCD撮像素子1より各画素データからなる画像データを取り込む工程である。ステップ#3は、ラベル面積判定部200により、濃度データが周辺に比べて異なる部分をラベリングしたラベルデータの面積を求め、それらの面積のうち予め設定された所定値より小さい面積のラベルを除去するラベル面積判定工程である。ステップ#4は、ラベル間距離判定部201によりラベル同士の距離を求めその距離が最小のラベルを検出し、ラベル面積変換部202により、各ラベルの面積とそれらの距離とからなる評価値を求め、その評価値に応じてラベルの面積を変換するラベル面積変換工程である。ステップ#5は、変換ラベル面積判定部203により、変換ラベル面積のうち予め設定された所定値より小さいラベル面積を除去する変換ラベル面積判定工程である。ステップ#6は、画面むら判定部204により、変換ラベルの面積の合計を画面むらの評価値とする画面むら判定工程である。
【0030】
以下、本実施の形態の画面検査方法をその具体例に基いて説明する。
ステップ#2で取込んだ画像に対して、何らかの処理を施し画面全体あるいは大局的な画面むらを取る。(以下、濃淡シェーディング除去と呼ぶ)例えば、背景部256階調の中央である128階調とする。よく用いられる処理方法として、近傍画素の濃度データを画素間で減算する2次元微分処理がある。図3に示すように、取込んだ対象画像領域6に対して、中央が4、一定のサイズを経て−1を配した演算エレメント10を各画素7に対して行う。サイズが1で、5個の画素に対しては、以下の計算を行う。
【0031】
【数3】
Figure 0004121628
【0032】
これを、画像空間全体に対して行う。これにより、濃淡シェーディング除去がなされる。図4(a)に濃淡シェーディング処理前の濃度プロファイルチェックライン11による濃淡プロファイルを示し、図4(b)に濃淡シェーディング処理後の濃度プロファイルチェックライン11による濃淡プロファイルを示す。
【0033】
なお、サイズは1に限定しない。また、取込んだ画像に濃淡シェーディングがない場合は、上記のような処理は必要としない。
画面内の背景部12よりも高い濃度で現れる点欠陥を白点とし、背景よりも低い濃度で現れる点欠陥を黒点としているが、ここでは、白点13を対象とする。
【0034】
ステップ#3のラベル面積判定工程について説明する。
背景部12における128階調に対するプリオフセット濃度(pre-offset)を加えた以下のオフセット濃度(offset)以上の濃度をもつ画素の塊を求める。
【0035】
【数4】
Figure 0004121628
【0036】
(pre−offset)が5の場合、上記計算で(offset)は133であり、画像空間に対して、133濃度以上のデータ点列が抽出され、各ラベルが抽出される。便宜的に、上記の濃度シェーディング処理除去の有無に関わらず、ラベル画像は同様の図12(a)になるとする、ここで、面積しきい値以下のラベルを削除する処理を行う。面積しきい値が3の場合、ラベルの面積が3以下のものは削除される。図5に削除後の画像空間を示す。削除されたラベルの面積は、ラベル20が面積3、ラベル21が面積2、ラベル22および23が面積1であった。なお、図5では除去されたラベルを破線で示している。
【0037】
次に、ステップ#4のラベル面積変換工程について説明する。
図6に示す近傍ラベル25、26を例に説明する。2つのラベル面積がAREA1およびAREA2で、それらの間の距離がLの場合、評価値αは以下の計算により求められる。
【0038】
【数5】
Figure 0004121628
【0039】
この評価値αは、ラベル間距離Lが小さければ小さいほど、ラベル面積が大きければ大きいほど、値が大きくなる。ラベル25の面積が20、ラベル26の面積が5、距離が10の場合、以下の結果を得る。
【0040】
【数6】
Figure 0004121628
【0041】
この値に応じて、ラベルの大きさを変換する。乗数をβとすると、ラベル面積変換は、以下のように行う。
【0042】
【数7】
Figure 0004121628
【0043】
βが1/5の場合、ラベル25および26は、以下のようになる。
【0044】
【数8】
Figure 0004121628
【0045】
上記に従い、ラベルを周辺に膨張させる。このように膨張した結果を図7に示す。なお、周辺に均等に膨張させるなら、その方法及びその装置については限定しない。
【0046】
次に、ステップ#5の変換ラベル面積判定工程について説明する。
ステップ#4で変換されたラベルの面積のうち、一定面積以下のものを削除する。面積しきい値が5の場合、ラベルの面積が5以下のものは削除される。図8に削除後の画像空間を示す。なお、図8でも除去されたラベルを破線で示している。削除されたラベルの面積は、図12において、ラベル30が面積5、ラベル31が面積4であった。
【0047】
次に、ステップ#6の画面むら判定工程について説明する。ここでは、画面全体のラベルの総数を最初に求める。図8には、4つのラベル25、26、32、33が残されており、各々のラベル面積は、40、30、20、10である。これらから、画面むらの評価値である総面積は以下のようになる。
【0048】
【数9】
Figure 0004121628
【0049】
この総面積が大きいほど、画面むらが大きいとする。ここでは、一方、図12(b)を処理した図9は本発明の実施の形態の方法によると、総面積は以下のようになる。
【0050】
【数10】
Figure 0004121628
【0051】
従来法で、充分判別できなかった微弱点欠陥が凝集した濃度むらが、図12(a)では100、図12(b)では50のようになり、判別可能となる。
なお、ここでは、白点を対象としたが、黒点も同様に扱える。また、ラベルの評価値として面積を例にしたが、それに限定しない。例えば、ラベルのデータ点列の背景との画素濃度差をすべて加える濃度総和も考えられる。図10(a)、(b)は、白点40を構成する画素の塊を示し、図10(a)は濃度しきい値以上の画素を斜線で描画し、図10(b)はもともとの背景との濃度差を示している。1マス41は画素1である。画素数いわゆる面積は5であり、濃度総和は以下のように計算される。
【0052】
【数11】
Figure 0004121628
【0053】
【発明の効果】
以上のように本発明によれば、微弱欠陥を検出し、この凝集程度を判定できる評価値を提供することを可能とし、画面内における背景部分に比較して微弱点欠陥の凝集により画面むらとして判定される欠陥部分に対して、ラベル画像による画面むらの評価値と目視検査による画面むらの評価値との相関性を高くすることができる。
【0054】
そのため、液晶パネル等の表示素子およびCCD等の受光素子に現れる微弱点欠陥の凝集した部分に対しても、その画面むらを目視検査の場合に対応させて精度よく検査することができる。
【0055】
また、構成を複雑化することなく、表示素子または撮像素子の画面に存在する微弱点欠陥の凝集している画面むらを、高速にかつ高精度に検査することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態の画面検査方法を用いた画面検査装置の概略構成図
【図2】同実施の形態における処理を示す構成図およびフローチャート
【図3】同実施の形態における濃度シェーディング除去を示す説明図
【図4】同実施の形態における濃度シェーディング処理前および処理後の濃度プロファイルを示す説明図
【図5】同実施の形態における削除後の画像空間を示す説明図
【図6】同実施の形態における近傍ラベルを示す説明図
【図7】同実施の形態におけるラベル膨張した結果を示す説明図
【図8】同実施の形態における削除後の画像空間を示す説明図
【図9】同実施の形態における膨張処理後のラベル画像を示す説明図
【図10】同実施の形態における白点ラベルの画素構成を示す説明図
【図11】従来の画面検査方法におけるラベル処理前の画像を示す説明図
【図12】同従来例のラベル画像を示す説明図
【符号の説明】
11、52 濃度プロファイルチェックライン
200 ラベル面積判定部
201 ラベル間距離判定部
202 ラベル面積変換部
203 変換ラベル面積判定部
204 画面むら判定部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a screen inspection method and apparatus for inspecting defects appearing in display elements such as liquid crystal panels and light receiving elements such as CCDs used in the field of electronic equipment and the like. is there.
[0002]
[Prior art]
Conventionally, in the manufacturing process of display elements such as liquid crystal panels, CRT panels, and PDP panels and light receiving elements such as CCDs used in the field of electronic equipment, as one of screen inspection methods, the screens of these display elements and light receiving elements In order to inspect defects appearing in the image, the display element and the light receiving element, which are inspected objects, are captured as images, the degree of aggregation of the defect portions is evaluated compared to the background portion in the image, and the screen is based on the evaluation result There is a defect detection method using a defect detection apparatus for performing defect detection in the above-mentioned and widely used in the above manufacturing process. Hereinafter, the screen inspection including the above-described defect detection method will be collectively referred to.
[0003]
Conventionally, such screen inspection has been carried out either by visual inspection manually or by image processing by an automatic screen inspection machine. When visual inspection is performed manually, it can be easily handled even if the model of the object to be inspected is converted, and the corresponding inspection starts quickly, but it takes time to identify the detailed position of the defect, and throughput There was a fault that it was bad. In addition, there are problems in maintaining and unifying inspection sensitivity, which are problems.
[0004]
On the other hand, in the case of performing image processing with an automatic machine, if the model of the object to be inspected is converted, it is necessary to readjust the automatic machine corresponding to the model, and it takes a lot of time for the adjustment. However, there is an advantage that the specific information of the defect position can be recognized quickly. In addition, it is easy to maintain and unify inspection sensitivity, which has been a problem in visual inspection.
[0005]
However, along with recent high-definition and high-performance parts, it has become more prominent that the throughput of visual inspection is poorer in screen inspection. On the other hand, as one of the difficult points when the automatic machine inspects, the weak defect portion is agglomerated as compared with the background portion, and there is a defect that is judged as screen unevenness in the visual inspection, the weak defect is present. For the part where the part is aggregated, it is determined that the screen is uneven as in the case of the visual inspection. This is different from what is called a point defect that has a relatively clear contrast compared to the background portion, and is called a weak point defect that has a lower contrast than the background portion. This weak spot defect is not determined as a defect when it exists alone, but is determined as screen unevenness when it is agglomerated.
[0006]
Here, a weak spot defect that is brighter than the background portion will be described. It is possible to handle dark things in the same way as the background.
In recent years, there is a growing demand for automation in response to demands for quality, but there is no processing method that can accurately detect such defects. For example, as shown in FIG. 11, a density profile check line 52 is assumed in order to detect an image in which the density profile is slightly changed compared to the background portion 50 of the screen. A density threshold value 51 is set on the profile check line 52, and a block of pixels (hereinafter referred to as a label) having the density threshold value 51 or more is detected. In FIG. 11, white dots 53 and 54 are a group of target pixels on the density profile check line 52 and are labels. This processing is called label processing, and an image subjected to label processing is called a label image.
[0007]
[Problems to be solved by the invention]
However, in the conventional screen inspection method and apparatus as described above, when the number of labels in the label image or the total area of all the labels is used as an evaluation value of screen unevenness, the degree of screen unevenness determined by visual inspection Often, the evaluation values did not match. For example, in the visual inspection on the screens shown in FIGS. 12A and 12B, in FIG. 12A, the degree of aggregation of weak point defects is higher in FIG. 12A than in FIG. 12B. Although the inspection result indicates that the degree of screen unevenness is large, there is no difference between the evaluation values in the image subjected to the label processing.
[0008]
In other words, the total area of the 10 labels in FIG. 12A (hereinafter, since it will be examined by area comparison, a unit is not given and is omitted) is as follows.
[0009]
[Expression 1]
Figure 0004121628
[0010]
On the other hand, the total area of 11 labels in FIG. 12B is as follows.
[0011]
[Expression 2]
Figure 0004121628
[0012]
As described above, the number of labels is 10 in FIG. 12A, 11 in FIG. 12B, the total label area is 56 in FIG. 12A, and FIG. 12B also. 56, and the evaluation values for the screen unevenness are the same both in the case of FIG. 12A and the case of FIG. 12B.
[0013]
Accordingly, the correlation between the evaluation value of the screen unevenness by the label image and the evaluation value of the screen unevenness by the visual inspection with respect to the defective portion determined as the screen unevenness due to the aggregation of the weak point defects as compared with the background portion 50 in the screen. As a result, the evaluation value of the screen unevenness based on the label image is visually observed on the agglomerated portion of weak spot defects appearing on a display element such as a liquid crystal panel and a light receiving element such as a CCD (sometimes referred to as an imaging element). In the case of inspection, it cannot be handled, and there is a problem that the inspection accuracy by the label image is also lowered.
[0014]
The present invention solves the above-mentioned conventional problems. In the case of visual inspection, the screen unevenness is also observed in a portion where weak point defects aggregated in a display element such as a liquid crystal panel and a light receiving element such as a CCD. A screen inspection method and apparatus capable of accurately inspecting corresponding to the above are provided.
[0015]
[Means for Solving the Problems]
In order to solve the above problems, the screen inspection method and apparatus of the present invention can detect weak defects and provide an evaluation value capable of determining the degree of aggregation, compared with the background portion in the screen. It is characterized in that the correlation between the evaluation value of the screen unevenness by the label image and the evaluation value of the screen unevenness by the visual inspection is made high for the defective portion determined as the screen unevenness due to the aggregation of the weak point defects.
[0016]
As described above, it is possible to accurately inspect the screen unevenness corresponding to the case of the visual inspection even for the portion where the weak spot defects appear in the display element such as the liquid crystal panel and the light receiving element such as the CCD.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
According to the first aspect of the present invention, in the manufacturing process of the display element or the light receiving element, the density data of each pixel of the grayscale image obtained by imaging the screen on which the defect in the display element or the light receiving element appears. A screen inspection method for detecting screen unevenness based on a label image obtained by label processing on a portion where weak defect defects that change in density data compared to the peripheral portion thereof are based on the label processing. A label area determination step for removing a label whose area is smaller than a predetermined value, a label area determination step for determining a distance between the labels, and detecting a label having the smallest distance. The area of each label is converted into a large size by the evaluation value calculated from the area of the label detected in the inter-label distance determination step and the distance thereof. And a label area conversion step of, performs the label area conversion process for all the labels, the sum of the final label area and a method and a determining screen nonuniformity judging process as an evaluation value of the screen non-uniformity.
[0018]
The screen inspection method according to claim 2 is based on the evaluation value calculated for the label detected in the inter-label distance determination step according to claim 1, and the area between the two labels is S1 and S2, and the distance between them. Where L is L and a method of obtaining by an expression represented by S1 · S2 / L.
[0019]
The screen inspection method according to claim 3 has a predetermined constant area with respect to the label after the area conversion by the label area conversion step between the label area conversion step and the screen unevenness determination step according to claim 1. A conversion label area determining step for removing a label that does not reach is added.
[0020]
The screen inspection method according to claim 4 is the screen inspection method according to claim 1, comprising the processing step according to claim 2 and the processing step according to claim 3, and the processing according to claim 2 and claim 3. Is a method of performing the above simultaneously.
[0021]
The screen inspection apparatus according to claim 5 is based on density data of each pixel of a grayscale image obtained by imaging a screen on which a defect appears in the display element or the light receiving element in the manufacturing process of the display element or the light receiving element. A screen inspection apparatus configured to detect screen unevenness based on a label image obtained by label processing with respect to a portion where weak point defects are aggregated, the density data of which changes compared to the peripheral portion thereof, wherein the label processing A label area determination unit for removing a label whose area is smaller than a predetermined value, a label area determination unit for determining a distance between the labels, and detecting a label having the smallest distance. The label area detected by the inter-label distance determination unit and the evaluation value calculated from the distances are used to convert and increase the area of each label. A label area conversion unit, and a screen unevenness determination unit that performs area conversion on all labels by the label area conversion unit and determines a total of the final label areas as an evaluation value of the screen unevenness And
[0022]
The screen inspection apparatus according to claim 6 uses the evaluation value calculated for the label detected in the inter-label distance determination step according to claim 5 as the distance between the areas of two labels, S1 and S2. Where L is L and is obtained by an expression represented by S1 · S2 / L.
[0023]
The screen inspection apparatus according to claim 7 has a predetermined constant area between the label area conversion unit according to claim 5 and the screen unevenness determination unit with respect to the label after the area conversion by the label area conversion unit. A conversion label area determination unit configured to remove labels that do not reach is added.
[0024]
The screen inspection device according to claim 8 is the screen inspection device according to claim 5, and includes a configuration for performing the processing according to claim 6 and a configuration for performing the processing according to claim 7. The processing according to Item 7 is performed simultaneously.
[0025]
According to the above method and its apparatus, it is possible to detect weak defects and provide an evaluation value capable of determining the degree of aggregation, and determine screen unevenness by aggregation of weak point defects compared to the background portion in the screen. Correlation between the evaluation value of the screen unevenness by the label image and the evaluation value of the screen unevenness by the visual inspection is increased for the defective portion.
[0026]
Hereinafter, a screen inspection method and apparatus showing an embodiment of the present invention will be specifically described with reference to the drawings.
FIG. 1 shows a schematic configuration of a screen defect detection device which is one of screen inspection devices for realizing the screen inspection method of the present embodiment. In FIG. 1, when light from a light source 2 is irradiated to a CCD image pickup device 1, a light / dark signal for each pixel on the light receiving surface of the CCD image pickup device 1 is obtained, and this light / dark signal is digitized. It is sent to the computer 4. In the computer 4, there is an image memory 3, which is digitized based on a grayscale signal for each pixel, for example, in a state corresponding to the row and column of pixels arranged in a matrix of the CCD image sensor 1. The grayscale data (0 to 255 as the grayscale level) is stored. The computer 4 is provided with a program memory 5 in which a program for executing the following screen inspection process is stored.
[0027]
Next, the screen inspection method of this embodiment will be described.
FIG. 2 is a configuration diagram and a flowchart showing processing in the screen inspection method of the present embodiment. FIG. 2A shows a configuration block diagram of the screen inspection apparatus for explaining this processing, and FIG. 2B shows a flowchart showing the processing procedure.
[0028]
In FIG. 2A, reference numeral 200 denotes an area of a label obtained by label processing, and a label area determination unit that removes a label whose area is smaller than a predetermined value. 201 obtains a distance between labels, and the distance. The inter-label distance determining unit 202 that detects the smallest label converts the area of each label according to the evaluation value calculated from the area of the label detected by the inter-label distance determining unit 201 and their distance. A label area conversion unit 203 to be enlarged, a conversion label area determination unit 203 that removes a label that does not reach a predetermined fixed area from a label that has been subjected to area conversion by the label area conversion unit 202, and 204 is a label area conversion unit The label subjected to the area conversion by 202 is subjected to the removal process by the conversion label area determination unit 203, and the areas are obtained for all the labels after the process. A determining screen nonuniformity judging section the sum of their final area as an evaluation value of the screen non-uniformity.
[0029]
A processing procedure for the screen inspection apparatus configured as described above will be described.
In this screen inspection apparatus, as shown in FIG. 2B, step # 1 is a step of irradiating the CCD image pickup device 1, which is an object to be inspected, with the light source 2. Step # 2 is a step of capturing image data composed of each pixel data from the CCD image pickup device 1. In step # 3, the label area determination unit 200 obtains the area of the label data obtained by labeling the portion where the density data is different from the surrounding area, and removes the label having an area smaller than a predetermined value from the areas. It is a label area determination step. In step # 4, the distance between labels is obtained by the inter-label distance determining unit 201, the label having the smallest distance is detected, and the evaluation value including the area of each label and the distance is obtained by the label area converting unit 202. This is a label area conversion step for converting the area of the label according to the evaluation value. Step # 5 is a conversion label area determination step in which the conversion label area determination unit 203 removes a label area smaller than a predetermined value from the conversion label area. Step # 6 is a screen unevenness determination step in which the screen unevenness determination unit 204 uses the total area of the conversion labels as an evaluation value of the screen unevenness.
[0030]
Hereinafter, the screen inspection method of the present embodiment will be described based on specific examples.
The image captured in step # 2 is subjected to some processing, and the entire screen or general screen unevenness is obtained. (Hereinafter referred to as “shading shading removal”) For example, 128 gradations, which is the center of 256 gradations in the background portion. As a frequently used processing method, there is a two-dimensional differentiation process in which density data of neighboring pixels is subtracted between pixels. As shown in FIG. 3, an arithmetic element 10 in which the center is 4 and −1 is arranged after a certain size is performed on each pixel 7 with respect to the captured target image region 6. For a size of 1 and 5 pixels, the following calculation is performed.
[0031]
[Equation 3]
Figure 0004121628
[0032]
This is done for the entire image space. As a result, shading removal is performed. FIG. 4A shows a density profile by the density profile check line 11 before the density shading process, and FIG. 4B shows a density profile by the density profile check line 11 after the density shading process.
[0033]
The size is not limited to 1. If the captured image has no shading, the above processing is not necessary.
A point defect that appears at a higher density than the background portion 12 in the screen is a white point and a point defect that appears at a density lower than the background is a black point.
[0034]
The label area determination process in step # 3 will be described.
A block of pixels having a density equal to or higher than the following offset density (offset) obtained by adding the pre-offset density (pre-offset) for 128 gradations in the background portion 12 is obtained.
[0035]
[Expression 4]
Figure 0004121628
[0036]
When (pre-offset) is 5, (offset) is 133 in the above calculation, and a data point sequence of 133 density or higher is extracted from the image space, and each label is extracted. For convenience, it is assumed that the label image is the same as in FIG. 12A regardless of whether or not the above-described density shading process is removed. Here, the process of deleting the label below the area threshold value is performed. When the area threshold is 3, labels having an area of 3 or less are deleted. FIG. 5 shows the image space after deletion. The area of the deleted label was area 3 for label 20, area 2 for label 21, and area 1 for labels 22 and 23. In FIG. 5, the removed label is indicated by a broken line.
[0037]
Next, the label area conversion process of step # 4 will be described.
The neighborhood labels 25 and 26 shown in FIG. 6 will be described as an example. When the two label areas are AREA1 and AREA2 and the distance between them is L, the evaluation value α is obtained by the following calculation.
[0038]
[Equation 5]
Figure 0004121628
[0039]
The evaluation value α increases as the inter-label distance L decreases and the label area increases. When the area of the label 25 is 20, the area of the label 26 is 5, and the distance is 10, the following result is obtained.
[0040]
[Formula 6]
Figure 0004121628
[0041]
The size of the label is converted according to this value. When the multiplier is β, the label area conversion is performed as follows.
[0042]
[Expression 7]
Figure 0004121628
[0043]
When β is 1/5, labels 25 and 26 are as follows.
[0044]
[Equation 8]
Figure 0004121628
[0045]
In accordance with the above, the label is inflated to the periphery. The result of the expansion is shown in FIG. Note that the method and the device thereof are not limited as long as they are inflated uniformly around the periphery.
[0046]
Next, the conversion label area determination process in step # 5 will be described.
Of the label areas converted in step # 4, those below a certain area are deleted. When the area threshold is 5, the label having an area of 5 or less is deleted. FIG. 8 shows the image space after deletion. In FIG. 8, the removed label is indicated by a broken line. Regarding the area of the deleted label, the label 30 has an area 5 and the label 31 has an area 4 in FIG.
[0047]
Next, the screen unevenness determination process in step # 6 will be described. Here, the total number of labels on the entire screen is obtained first. In FIG. 8, four labels 25, 26, 32, and 33 are left, and the label areas are 40, 30, 20, and 10, respectively. From these, the total area which is the evaluation value of the screen unevenness is as follows.
[0048]
[Equation 9]
Figure 0004121628
[0049]
It is assumed that the larger the total area, the larger the screen unevenness. Here, on the other hand, FIG. 9 obtained by processing FIG. 12B is as follows according to the method of the embodiment of the present invention.
[0050]
[Expression 10]
Figure 0004121628
[0051]
The density unevenness in which weak point defects that could not be sufficiently discriminated by the conventional method are 100 in FIG. 12A and 50 in FIG. 12B, and can be discriminated.
Although the white spot is targeted here, the black spot can be handled in the same manner. Moreover, although the area was taken as an example as the evaluation value of the label, it is not limited to this. For example, a total density that adds all pixel density differences from the background of the label data point sequence is also conceivable. FIGS. 10A and 10B show a cluster of pixels constituting the white point 40. FIG. 10A shows pixels that are equal to or higher than the density threshold value with diagonal lines, and FIG. The density difference from the background is shown. One square 41 is a pixel 1. The number of pixels, the so-called area, is 5, and the total density is calculated as follows.
[0052]
[Expression 11]
Figure 0004121628
[0053]
【The invention's effect】
As described above, according to the present invention, it is possible to detect a weak defect and provide an evaluation value that can determine the degree of aggregation. As a result, the screen unevenness is caused by aggregation of weak point defects as compared with the background portion in the screen. It is possible to increase the correlation between the evaluation value of the screen unevenness based on the label image and the evaluation value of the screen unevenness based on the visual inspection with respect to the determined defective portion.
[0054]
Therefore, even for a portion where weak point defects that appear in a display element such as a liquid crystal panel and a light receiving element such as a CCD are aggregated, the screen unevenness can be inspected with high accuracy corresponding to the case of visual inspection.
[0055]
In addition, it is possible to inspect screen irregularities in which weak defect defects present on the screen of the display element or the imaging element are aggregated at high speed and with high accuracy without complicating the configuration.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a screen inspection apparatus using a screen inspection method according to an embodiment of the present invention. FIG. 2 is a configuration diagram and a flowchart showing processing in the embodiment. FIG. FIG. 4 is an explanatory diagram showing density profiles before and after density shading processing in the embodiment. FIG. 5 is an explanatory diagram showing image space after deletion in the embodiment. FIG. 7 is an explanatory view showing a label in the vicinity according to the embodiment. FIG. 7 is an explanatory view showing a result of label expansion in the embodiment. FIG. 8 is an explanatory view showing an image space after deletion in the embodiment. FIG. 10 is an explanatory diagram showing a pixel configuration of a white point label in the same embodiment. FIG. 11 is a diagram showing a conventional screen inspection method. Kicking explanatory view showing a diagram 12 shows the conventional example of a label image representing the image before label processing EXPLANATION OF REFERENCE NUMERALS
11, 52 Density profile check line 200 Label area determination unit 201 Label distance determination unit 202 Label area conversion unit 203 Conversion label area determination unit 204 Screen unevenness determination unit

Claims (8)

表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出する画面検査方法であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定工程と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定工程と、前記ラベル間距離判定工程で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換工程と、前記ラベル面積変換工程をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定工程とを有することを特徴とする画面検査方法。In the manufacturing process of the display element or the light receiving element, based on the density data of each pixel of the grayscale image obtained by imaging the screen on which the defect in the display element or the light receiving element appears, the density data is compared with its peripheral part. A screen inspection method for detecting screen unevenness by means of a label image obtained by label processing on a portion where weak point defects that have been changed are aggregated, and determining the area of the label obtained by the label processing, the area being A label area determination step for removing labels smaller than a predetermined value, a distance between the labels, a label distance determination step for detecting a label having the smallest distance, and a label detected in the inter-label distance determination step. A label area conversion step for converting and increasing the area of each label according to an evaluation value calculated from the area and the distance between them, and the label Perform product conversion step for all labels, screen inspection method characterized by the sum of the final label area and a determining screen nonuniformity judging process as an evaluation value of the screen non-uniformity. ラベル間距離判定工程で検出されたラベルに対して計算される評価値を、2つのラベルの面積をS1およびS2としそれらの間の距離をLとして、S1・S2/Lで表される式により求める請求項1記載の画面検査方法。The evaluation value calculated for the label detected in the inter-label distance determination step is expressed by S1 · S2 / L, where S1 and S2 are the areas of the two labels, and L is the distance between them. The screen inspection method according to claim 1 to be obtained. ラベル面積変換工程と画面むら判定工程との間に、前記ラベル面積変換工程による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去する変換ラベル面積判定工程を追加する請求項1記載の画面検査方法。A conversion label area determination step is added between the label area conversion step and the screen unevenness determination step to remove a label that does not reach a predetermined constant area with respect to a label that has undergone area conversion in the label area conversion step. Item 1. The screen inspection method according to Item 1. 請求項2記載の処理工程および請求項3記載の処理工程を有し、請求項2および請求項3の処理を同時に行う請求項1記載の画面検査方法。The screen inspection method according to claim 1, comprising the processing step according to claim 2 and the processing step according to claim 3, wherein the processing according to claim 2 and claim 3 is performed simultaneously. 表示素子あるいは受光素子の製造工程において、前記表示素子あるいは受光素子における欠陥が現れた画面を撮像して得られる濃淡画像の各画素の濃度データに基づいて、前記濃度データがその周辺部に比較して変化している微弱点欠陥の凝集している部分に対するラベル処理によるラベル画像により、画面むらを検出するよう構成した画面検査装置であって、前記ラベル処理により得られたラベルの面積を求め、その面積が所定値より小さいラベルを除去するラベル面積判定部と、前記ラベル同士の距離を求め、その距離が最小のラベルを検出するラベル間距離判定部と、前記ラベル間距離判定部で検出されたラベルの面積とそれらの距離とから計算される評価値により、各ラベルの面積を変換して大きくするラベル面積変換部と、前記ラベル面積変換部による面積変換をすべてのラベルに対して行い、最終的なラベル面積の合計を前記画面むらの評価値として判定する画面むら判定部とを備えたことを特徴とする画面検査装置。In the manufacturing process of the display element or the light receiving element, based on the density data of each pixel of the grayscale image obtained by imaging the screen on which the defect in the display element or the light receiving element appears, the density data is compared with its peripheral part. A screen inspection device configured to detect screen unevenness by a label image by label processing on a part where the weak point defects that have changed are aggregated, and obtain an area of the label obtained by the label processing, Detected by a label area determination unit that removes a label whose area is smaller than a predetermined value, a distance between the labels, a distance determination unit between labels that detects a label with the smallest distance, and a distance determination unit between the labels. A label area conversion unit that converts and enlarges the area of each label according to an evaluation value calculated from the area of the label and the distance between the label area and the label. It performs area conversion by Le area conversion section for all labels, the final determining the total label area as an evaluation value of the screen uneven screen nonuniformity judging unit and the screen inspection device characterized by comprising a. ラベル間距離判定工程で検出されたラベルに対して計算される評価値を、2つのラベルの面積をS1およびS2としそれらの間の距離をLとして、S1・S2/Lで表される式により求めるよう構成した請求項5記載の画面検査装置。The evaluation value calculated for the label detected in the inter-label distance determination step is expressed by S1 · S2 / L, where S1 and S2 are the areas of the two labels, and L is the distance between them. The screen inspection device according to claim 5, wherein the screen inspection device is configured to be obtained. ラベル面積変換部と画面むら判定部との間に、前記ラベル面積変換部による面積変換を終えたラベルに対して、所定の一定面積に達しないラベルを除去するよう構成した変換ラベル面積判定部を追加する請求項5記載の画面検査装置。Between the label area conversion unit and the screen unevenness determination unit, a conversion label area determination unit configured to remove a label that does not reach a predetermined constant area with respect to the label after the area conversion by the label area conversion unit. The screen inspection apparatus according to claim 5 to be added. 請求項6記載の処理を行う構成と請求項7記載の処理を行う構成とを備え、請求項6および請求項7記載の処理を同時に行うよう構成した請求項5記載の画面検査装置。6. A screen inspection apparatus according to claim 5, comprising a configuration for performing the processing according to claim 6 and a configuration for performing the processing according to claim 7, wherein the processing according to claim 6 and 7 is performed simultaneously.
JP24887098A 1998-09-03 1998-09-03 Screen inspection method and apparatus Expired - Fee Related JP4121628B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24887098A JP4121628B2 (en) 1998-09-03 1998-09-03 Screen inspection method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24887098A JP4121628B2 (en) 1998-09-03 1998-09-03 Screen inspection method and apparatus

Publications (2)

Publication Number Publication Date
JP2000076445A JP2000076445A (en) 2000-03-14
JP4121628B2 true JP4121628B2 (en) 2008-07-23

Family

ID=17184657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24887098A Expired - Fee Related JP4121628B2 (en) 1998-09-03 1998-09-03 Screen inspection method and apparatus

Country Status (1)

Country Link
JP (1) JP4121628B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018841B (en) * 2022-08-08 2022-11-04 海的电子科技(苏州)有限公司 Target picture generation method, display screen maintenance pixel point identification method and device

Also Published As

Publication number Publication date
JP2000076445A (en) 2000-03-14

Similar Documents

Publication Publication Date Title
JP2005172559A (en) Method and device for detecting line defect on panel
JP3907874B2 (en) Defect inspection method
JP4244046B2 (en) Image processing method and image processing apparatus
JP2009036582A (en) Inspection method, inspection device and inspection program of plane display panel
JP2004212311A (en) Method and apparatus for detecting unevenness defect
KR100754969B1 (en) Image inspecting apparatus, image inspecting method, and computer-readable storage medium
JP3695120B2 (en) Defect inspection method
JP2000199745A (en) Method and apparatus for inspection of color nonuniformity
JP4121628B2 (en) Screen inspection method and apparatus
JP2001028059A (en) Method and device for color unevenness inspection
JP2007081513A (en) Blot defect detecting method for solid-state imaging element
JPH08145907A (en) Inspection equipment of defect
JP3127598B2 (en) Method for extracting density-varying constituent pixels in image and method for determining density-fluctuation block
JP2004219176A (en) Method and apparatus for detecting pixel irregulality failing
JP2005140655A (en) Method of detecting stain flaw, and stain flaw detector
JP2004286708A (en) Defect detection apparatus, method, and program
JP3015325B2 (en) Streak inspection method and device
JP2021064215A (en) Surface property inspection device and surface property inspection method
JP2009074828A (en) Flaw detection method and flaw detector
JP2000329699A (en) Method and apparatus for inspection of defect
JP5846100B2 (en) Display device defect inspection method
KR101076478B1 (en) Method of detecting the picture defect of flat display panel using stretching technique and recording medium
JP3941403B2 (en) Image density unevenness detection method and inspection apparatus
JP2000121495A (en) Screen inspection method
JP2638121B2 (en) Surface defect inspection equipment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080401

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080430

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110509

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120509

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130509

Year of fee payment: 5

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees