JPH07301609A - Defect inspection method - Google Patents

Defect inspection method

Info

Publication number
JPH07301609A
JPH07301609A JP6117407A JP11740794A JPH07301609A JP H07301609 A JPH07301609 A JP H07301609A JP 6117407 A JP6117407 A JP 6117407A JP 11740794 A JP11740794 A JP 11740794A JP H07301609 A JPH07301609 A JP H07301609A
Authority
JP
Japan
Prior art keywords
image data
defect
inspection
area
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6117407A
Other languages
Japanese (ja)
Other versions
JP3433333B2 (en
Inventor
Minoru Nakanishi
稔 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP11740794A priority Critical patent/JP3433333B2/en
Publication of JPH07301609A publication Critical patent/JPH07301609A/en
Application granted granted Critical
Publication of JP3433333B2 publication Critical patent/JP3433333B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE:To provide an inspection method which enhances selectivity of a defective shape without complicating a hardware, and can conduct a process at a boundary part at a high speed even when a contrast between an uninspected area and an inspected area is large. CONSTITUTION:Image data in which a neighbourhood averaging process is convolution integration processed by a space filter in relation to picked up image data is division-processed in each corresponding picture element by image data in which masking image data expressed by a binarized image wherein every picture element in an inspected area is defined as 1 while every picture element in an uninspected area is defined as 0 is convolution integration processed. Accordingly, inspection including the outer peripheral part can be conducted at a high speed without changing a process for every change of an outer peripheral shape. Particularly, in the case where a brightness difference between the inspected area and the uninspected area of a sample is small, by applying a division-process with a specified constant for each picture element to neighbourhood averaging processed picked up image data, further simplification of a process can be achieved.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は,CCD素子等を用いた
撮像手段により、試料を撮像することにより得られた画
像データに対し画像処理を施して欠陥を検出する検査方
法に関するもので、具体的には、ブラウン管のシヤドウ
マスク、LCD用カラーフイルター等を透過光等で観察
した場合に発見される、部分的に黒っぽいまたは白っぽ
いシミ状の欠陥の検出に適した欠陥検査方法に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an inspection method for detecting defects by performing image processing on image data obtained by imaging a sample with an imaging means using a CCD element or the like. More specifically, the present invention relates to a defect inspection method suitable for detecting a partially blackish or whitish spot-like defect that is found when observing a cathode ray tube shear mask, an LCD color filter, or the like with transmitted light or the like.

【0002】[0002]

【従来の技術】従来より、ブラウン管のシヤドウマス
ク、LCD用カラーフイルターを透過光で観察した場合
にみられる、部分的に黒っぽいまたは白っぽいシミ状の
欠陥を検出するための自動的な検出方法としては、CC
Dエリアセンサ、CCDラインセンサ等の多数の画素に
分割されている素子により撮像された画像データについ
て、欠陥と同じ形状サイズの画素領域で平滑処理を行っ
た後に、図8a〜cのような形状の空間フイルターで微
分処理を施す手法が一般的であった。この手法の場合、
欠陥と周囲の境界部で欠陥を検出するものであり、欠陥
形状がどのようなものかを選択(判別)できない欠陥検
出方法であった。この意味で欠陥形状の選択性が低いも
のであった。又、別に、欠陥形状の選択性を向上させる
ために、図9のような形状のフイルターパターンを用い
る手法も提案されている。この手法は、各種形状、各種
サイズの図9のようなフイルターパターンを用いるもの
で、その畳み込み積分をハードウエアで実現するもので
あり、形状の選択性は向上するが、畳み込み積分をハー
ドウエアで実現する際、フイルターの要素に負の値を用
いる場合にはハードウエアが複雑になるという問題があ
った。
2. Description of the Related Art Conventionally, as an automatic detection method for detecting a partially blackish or whitish spot-like defect, which is observed when a cathode ray tube sheave mask and an LCD color filter are observed with transmitted light, CC
8A to 8C after the smoothing processing is performed on the pixel area having the same shape size as the defect with respect to the image data picked up by an element divided into a large number of pixels such as a D area sensor and a CCD line sensor. The method of differentiating with the spatial filter of was common. With this approach,
The defect is detected at the boundary between the defect and the surroundings, and the defect detection method cannot select (determine) what the defect shape is. In this sense, the defect shape selectivity was low. In addition, in order to improve the defect shape selectivity, a method using a filter pattern having a shape as shown in FIG. 9 has also been proposed. This method uses a filter pattern of various shapes and sizes as shown in FIG. 9, and realizes the convolution integral by hardware. Although the shape selectivity is improved, the convolution integration is performed by hardware. At the time of realization, there was a problem that the hardware becomes complicated when a negative value is used for the filter element.

【0003】[0003]

【発明が解決しようとする課題】本発明は、このような
状況のもと、ブラウン管のシヤドウマスク、LCD用カ
ラーフイルター等の欠陥検査において、ハードウエアを
複雑にしないで、欠陥形状の選択性を向上させることが
できる検査方法を提供しようとするものであり、且つ、
非検査領域と検査領域との明暗差が大の場合においても
境界部における処理を高速にできる検査方法を提供しよ
うとするものである。
Under the circumstances, the present invention improves defect shape selectivity in defect inspection of cathode ray tube shear masks, LCD color filters, etc. without complicating hardware. The present invention is intended to provide an inspection method that can
An object of the present invention is to provide an inspection method capable of speeding up processing at the boundary even when the difference in brightness between the non-inspection area and the inspection area is large.

【0004】[0004]

【課題を解決するための手段】本発明の欠陥検査方法
は、CCD素子等を用いた撮像手段により、試料を撮像
することにより得られた撮像画像データに画像処理を施
して、シミ状の欠陥を検出する検査方法であって、少な
くとも、撮像手段により得られた撮像画像データに対
し、欠陥の形状に沿った形状の第一の空間フイルターで
の畳み込み積分処理を伴う近傍平均化処理を行った画像
データと、前記撮像画像データに対し、欠陥形状に沿っ
た形状で第一の空間フイルターよりさらに大きな形状の
第二の空間フイルターでの畳み込み積分処理を伴う近傍
平均化処理を行った画像データとの間で、対応する画素
毎に減算処理を行って、欠陥部が強調された画像データ
を得て、これをスライス処理することにより欠陥検出す
る工程を有するものである。そして、上記における近傍
平均化処理が、撮像画像データに対し、検査領域以外の
領域の画素データ値を0とした画像データに対し、空間
フイルターで、畳み込み積分処理した画像データを、撮
像画像データに対して検査領域の全画素データ値を1、
非検査領域の全画素データ値を0とし2値化して表した
マスキング画像データを前記空間フイルターで畳み込み
積分処理した画像データで、対応する画素毎に、除算す
る処理であることを特徴とするものである。又、上記に
おける近傍平均化処理が、特に、試料の検査領域と非検
査領域の透過光の輝度差が小の場合には、撮像画像デー
タに対し、空間フイルターで、畳み込み積分処理した画
像データに対して所定の一定数で、画素毎に、除算する
処理であることを特徴とするものである。
According to the defect inspection method of the present invention, a spot-like defect is obtained by performing image processing on picked-up image data obtained by picking up an image of a sample by an image pickup means using a CCD element or the like. In the inspection method for detecting, at least, the captured image data obtained by the image capturing means is subjected to neighborhood averaging processing involving convolution integration processing in the first spatial filter having a shape along the shape of the defect. Image data, and image data obtained by subjecting the captured image data to neighborhood averaging processing with convolution integration processing in a second spatial filter having a shape along the defect shape and larger than the first spatial filter, In between, a subtraction process is performed for each corresponding pixel to obtain image data in which a defective portion is emphasized, and the slice data is sliced to detect a defect. That. Then, in the neighborhood averaging process described above, the image data in which the pixel data value of the region other than the inspection region is set to 0 with respect to the captured image data, the image data subjected to the convolution integration process with the spatial filter is converted into the captured image data. In contrast, all pixel data values in the inspection area are 1,
Image data obtained by performing convolution integration processing on the masking image data represented by binarizing all pixel data values in the non-inspection area as 0, and performing a division process for each corresponding pixel. Is. Further, the neighborhood averaging process described above is performed on the image data obtained by the convolution integration processing with the spatial filter with respect to the captured image data, especially when the difference in the brightness of the transmitted light between the inspection region and the non-inspection region of the sample is small. On the other hand, it is characterized in that it is a process of dividing each pixel by a predetermined constant.

【0005】本発明の欠陥検出原理について以下、説明
する。簡単の為、欠陥の周囲は広い範囲で、試料からの
光の輝度差がきわめて小さい場合、即ち、検査領域と非
検査領域とが同時に撮像されるが、検査領域と非検査領
域との透過光の輝度差が特に問題とならないような場合
について述べる。図4は欠陥のある試料をCCDエリア
センサ等を用いた撮像手段により、透過光にて撮像した
撮像画像データの一部を表示したものである。図4中、
1は周囲よりも明るい欠陥で、2は周囲よりも暗い欠陥
である。図4に示される画像データを画像データとす
る。図5(a)は画像データの、図4中の3で示した
ライン上の画素の値をグラフ化して表したものであり、
光源のシエーデイング、カメラの感度分布、試料の透過
率分布等による大きな変動と、光源のちらつき、カメラ
等の電気系統に混入するノイズ等による細かな変動イが
含まれている。この撮像された画像データから欠陥を
以下のようにして検出される。
The principle of defect detection of the present invention will be described below. For the sake of simplicity, when the difference in the brightness of the light from the sample is very small over a wide range around the defect, that is, the inspection area and the non-inspection area are imaged at the same time, the transmitted light between the inspection area and the non-inspection area A case will be described in which the difference in luminance of 1 does not cause any particular problem. FIG. 4 shows a part of picked-up image data of a defective sample picked up by transmitted light by an image pickup means using a CCD area sensor or the like. In FIG.
1 is a defect brighter than the surroundings, and 2 is a defect darker than the surroundings. The image data shown in FIG. 4 will be referred to as image data. FIG. 5A is a graph showing the values of the pixels on the line indicated by 3 in FIG. 4 in the image data.
It includes large fluctuations due to light source shading, camera sensitivity distribution, sample transmittance distribution, etc., and small fluctuations due to light source flicker, noise mixed into the electrical system of the camera, etc. Defects are detected from the imaged image data as follows.

【0006】先ず、画像データに対して、図3に示す
Aで表される、抽出したい欠陥のサイズ、形状にそった
形状Aの空間フイルター(イ)で近傍平均を計算する処
理を施し、画像データを得る。この処理は、図3
(b)に示すように、Aの形状(配置)で各要素に1が
入った空間フイルターで、畳み込み積分を行い、結果を
要素中に1が入った要素の個数で割るものである。ここ
での、畳み込み積分については、画像処理においては一
般的な手法であり、その説明は省略する。画像データ
に対し、図5(a)と同一位置の、画像データの図4
中3で示したライン上に相当する画素値をグラフ化して
表したものが図5(b)である。近傍平均を計算する処
理による、平滑化効果により、画像データの図5
(a)と比較し、画像データの画像データに対応す
る図5(b)のグラフは細かな変動が抑制され、欠陥形
状にそった形で計算することにより、図5(b)のロの
ように欠陥部の値は残っている。
First, the image data is subjected to a process of calculating a neighborhood average with a spatial filter (a) having a shape A represented by A shown in FIG. Get the data. This process is shown in FIG.
As shown in (b), convolution integration is performed with a space filter in which each element has 1 in the shape (arrangement) of A, and the result is divided by the number of elements having 1 in each element. The convolution integral here is a general method in image processing, and a description thereof will be omitted. FIG. 4 of the image data at the same position as that of FIG.
FIG. 5B is a graph showing the pixel values corresponding to the line indicated by middle 3. The image data shown in FIG.
Compared to (a), the graph of FIG. 5 (b) corresponding to the image data of the image data has small fluctuations suppressed, and by calculating along the defect shape, the graph of FIG. Thus, the value of the defective portion remains.

【0007】次いで、画像に対し、図3に示す形状A
よりも大きな、欠陥にそった形状Bの空間フイルター
(ロ)で、近傍平均を計算する処理を施し、画像データ
を得る。画像データに対し、図5(a)と同一位置
の、画像データの図4中3で示したライン上に相当す
る画素値をグラフ化して表したものが図5(c)であ
る。画像データに対し、画像データを得る際よりも
大きな形状Bからなる空間フイルターにて、近傍平均を
計算する処理を施すことにより、図5(c)のグラフは
図5(b)のグラフに比べ、欠陥部の変動が抑制され、
欠陥部位置を見分けることはできない。近傍平均を計算
する処理による、平滑化効果により、画像データの図
5(a)と比較し、画像データの画像データに対応
する図5(c)のグラフは細かな変動も抑制されてい
る。
Then, the shape A shown in FIG. 3 is applied to the image.
The image data is obtained by performing a process of calculating a neighborhood average with a larger spatial filter (B) having a shape B along the defect. FIG. 5C is a graph showing the pixel value corresponding to the line indicated by 3 in FIG. 4 of the image data at the same position as the image data in FIG. 5A. The graph of FIG. 5 (c) is compared with the graph of FIG. 5 (b) by subjecting the image data to the process of calculating the neighborhood average in a spatial filter having a shape B larger than that in obtaining the image data. , The fluctuation of the defective part is suppressed,
The position of the defective portion cannot be discerned. Due to the smoothing effect of the process of calculating the neighborhood average, the graph of FIG. 5C corresponding to the image data of the image data is also suppressed from a fine variation compared with FIG. 5A of the image data.

【0008】次に、画像間演算により、画像データか
ら画像データを対応する画素毎に減算し、この結果、画
像データを得る。画像データに対し、図5(a)と
同一位置の、画像データの図4中3で示したライン上
に相当する画素値をグラフ化して表したものが図5
(d)である。このグラフより、欠陥部以外の画素のデ
ータは0に近く、欠陥部の画素のデータのみが顕著に表
れていることが分かる。したがって、この処理後、2値
化処理等で、あるスライスレベルよりも突出した画素の
データを検索することにより、欠陥部画素を検出するこ
とができる。
Next, the image data is subtracted from the image data for each corresponding pixel by inter-image calculation, and as a result, the image data is obtained. FIG. 5 shows a graph of pixel values corresponding to the line indicated by 3 in FIG. 4 of the image data at the same position as FIG. 5A with respect to the image data.
It is (d). From this graph, it can be seen that the data of pixels other than the defective portion is close to 0, and only the data of the pixel of the defective portion is prominent. Therefore, after this processing, the defective pixel can be detected by searching for the data of the pixel protruding from a certain slice level by the binarization processing or the like.

【0009】上記説明は画像データの欠陥のうち、周
囲よりも明るい、図4の欠陥1に対する処理を説明した
ものであるが、周囲よりも暗い、図4の欠陥2に対する
処理については、上記スライスレベルをマイナス方向に
とることにより、同様にして欠陥検出ができる。尚、上
記欠陥検出処理において、画像間減算は画像データか
ら、画像データを減算してもよく、その場合は暗い欠
陥と明るい欠陥でスライスレベルの符号が逆になる。
Although the above description has described the process for defect 1 in FIG. 4 which is brighter than the surroundings among the defects in the image data, the slice for the defect 2 in FIG. 4 which is darker than the surroundings is the slice. Defects can be similarly detected by setting the level in the negative direction. In the defect detection process, the image data may be subtracted from the image data in the inter-image subtraction. In that case, the sign of the slice level is reversed between the dark defect and the bright defect.

【0010】欠陥検出の基本的な考え方は上記の通りで
あるが、欠陥の周囲は広い範囲で、試料の輝度差がきわ
めて小さくない場合、即ち、検査領域と非検査領域とが
同時に撮像されるが、検査領域と非検査領域との輝度差
が問題となるような場合については、実施例にて挙げる
ような、これに対応するような処理が必要である。
The basic idea of defect detection is as described above, but when the defect difference is not extremely small in a wide range around the defect, that is, the inspection region and the non-inspection region are simultaneously imaged. However, in the case where the brightness difference between the inspection area and the non-inspection area poses a problem, it is necessary to perform a process corresponding to this as described in the embodiment.

【0011】又、本発明の検査方法は上記のように,C
CD素子等を用いた撮像手段により、試料を撮像するこ
とにより得られた撮像画像データに対し画像処理を施し
て欠陥を検出する検査方法であるため、撮像手段で撮像
した場合に、検査領域内の画像レベルが大局的に見てほ
ぼ均一で、抽出したい欠陥が、撮像した画像データ上
で、ある程度の画素データ(面積)を持ち、欠陥の無い
箇所と画像レベルの高低で区別できる、工業製品等なら
ば、特に検査対象は限定されないもので、試料からえら
れる撮像信号が透過光によるか、反射光によるか等にも
限定されない。又、検査対象となる試料がシヤドウマス
ク加工用板材のようなベタ状のものも検査可能であるこ
とは言うまでもない。
Further, the inspection method of the present invention, as described above, uses C
Since this is an inspection method for detecting defects by performing image processing on the captured image data obtained by capturing an image of the sample by the image capturing means using a CD element or the like, when the image is captured by the image capturing means, The image level of is generally uniform, and the defect to be extracted has a certain amount of pixel data (area) in the captured image data, and it can be distinguished from a defect-free location by the level of the image level. If so, the inspection target is not particularly limited, and is not limited to whether the image pickup signal obtained from the sample is due to transmitted light or reflected light. Further, it goes without saying that the sample to be inspected can also be inspected for a solid material such as a plate material for processing a shed mask.

【0012】更に、本発明の欠陥検査における欠陥形状
の選択性について以下簡単にふれておく。図3の形状A
領域の画素数をP1、畳み込み積分の結果をC1とし、
形状B領域の画素数をP2、畳み込み積分の結果をC2
とし、画像データの値をIとすると、 I=C1/P1−C2/P2 =1/P1P2(P2C1−P1C2) (1) ここでA領域とB領域の差をCとし、Cの画素数をP
3、畳み込み積分の結果C3とすると、 P2=P1+P3 (2) C2=C1+C3 (3) (2)、(3)を(1)に代入して変形すると、以下の
式(4)になる。 I=1/P1(P1+P3)((P1+P3)C1 −P1(C1+C3)) =1/P1(P1+P3)((P3C1−P1C3) =P3/P1(P1+P3)(C1/P1−C3/P3) ここでP3/(P1+P3)は定数項のためkとおく
と、 I=k(C1/P1−C3/P3) (4) となる。これより、領域Aの部分の平均とその周囲領域
Cの部分の差分をとる演算と等価なことが分かる。外周
部では図3A領域とC領域で差分をとっていることにな
る。この差分処理は微分処理に相当するものである。こ
のことは、差分が欠陥の形状にそって行われることを意
味し、本欠陥検出方法が形状の選択性において優れてい
ることを意味する。
Further, the defect shape selectivity in the defect inspection of the present invention will be briefly described below. Shape A in FIG.
Let P1 be the number of pixels in the region and C1 be the result of convolution integration,
The number of pixels in the shape B area is P2, and the result of convolution integration is C2
And the image data value is I, I = C1 / P1-C2 / P2 = 1 / P1P2 (P2C1-P1C2) (1) Here, the difference between the A area and the B area is C, and the number of pixels of C is P
3. If the result of convolution integration is C3, then P2 = P1 + P3 (2) C2 = C1 + C3 (3) (2) When (2) and (3) are substituted into (1) and transformed, the following equation (4) is obtained. I = 1 / P1 (P1 + P3) ((P1 + P3) C1-P1 (C1 + C3)) = 1 / P1 (P1 + P3) ((P3C1-P1C3) = P3 / P1 (P1 + P3) (C1 / P1-C3 / P3) where Since P3 / (P1 + P3) is a constant term and is set to k, I = k (C1 / P1-C3 / P3) (4) From this, the average of the area A and its surrounding area C It can be seen that it is equivalent to the operation of taking the difference.In the outer peripheral portion, the difference is taken between the area A and the area C in Fig. 3. This difference processing corresponds to the differential processing. That is, the defect detection method is excellent in shape selectivity.

【0013】[0013]

【作用】本発明の欠陥検査方法は、上記のような構成に
することにより、空間フイルターとしては、近傍平均化
処理ができるものであれば良く、欠陥の形状に沿った、
空間フイルターには数値1を入れれば良い為、従来の欠
陥検査のように微分処理のための空間フイルターを必要
とせず、−1の値を用いない為、検査処理するためのハ
ードウエアを複雑にすることなく、欠陥の形状の選択性
を高めたものである。そして、又、本発明の欠陥検査方
法は、試料を撮影した画像中の検査領域と非検査領域の
間に画像レベルの差がある場合においても、近傍平均化
処理を、撮像画像データに対して検査領域以外の領域の
画素データ値を0とした画像データに対して前記空間フ
イルターで、畳み込み積分処理した画像データを、検査
領域の全画素を1、非検査領域の全画素を0とした2値
化画像で表したマスキング画像データを前記空間フイル
ターで畳み込み積分処理した画像データで、対応する画
素毎に、除算する処理とすることにより、外周部のため
に特別な処理を施すこと無く、また、外周形状の変化の
たびに処理を変更すること無く、高速に外周部を含めた
検査を行うことを可能としている。又、本発明の欠陥検
査方法は、特に、試料の検査領域と非検査領域の輝度差
が小の場合においては、近傍平均化処理を、撮像画像デ
ータに対し、所定の一定数で、画素毎に、除算する処理
とすることにより、一層処理の簡略化を可能としてい
る。
According to the defect inspection method of the present invention, the spatial filter having the above-mentioned structure can be used as long as it can perform the neighborhood averaging process.
Since it is sufficient to enter the numerical value 1 into the space filter, the space filter for differential processing is not required unlike the conventional defect inspection, and the value of -1 is not used, so the hardware for the inspection processing is complicated. Without increasing the defect shape selectivity. Further, the defect inspection method of the present invention performs the neighborhood averaging process on the captured image data even when there is a difference in image level between the inspection region and the non-inspection region in the image captured of the sample. Image data obtained by performing convolution integration processing on the image data having a pixel data value of 0 in regions other than the inspection region with the spatial filter is set to 1 for all pixels in the inspection region and 0 for all pixels in the non-inspection region. Image data obtained by performing convolution integration processing on the masking image data represented by a binarized image with the spatial filter, for each corresponding pixel, by dividing the processing, without performing special processing for the outer peripheral portion, and The inspection including the outer peripheral portion can be performed at high speed without changing the process each time the outer peripheral shape changes. Further, in the defect inspection method of the present invention, in particular, when the difference in brightness between the inspection region and the non-inspection region of the sample is small, the neighborhood averaging process is performed on the captured image data with a predetermined constant for each pixel. In addition, the division processing makes it possible to further simplify the processing.

【0014】[0014]

【実施例】本発明欠陥検査方法の実施例を以下、図にそ
って説明する。実施例の欠陥検査方法は、図6(イ)、
(ロ)に示すように被検査物に輝度差の大きな検査領域
と非検査領域が存在する場合にも対応できる処理方法で
ある。図4は欠陥のある試料ビユーファインダー用フイ
ルターをCCDエリアセンサを用いた撮像手段により、
透過光にて撮像した撮像画像データの一部を表示した
ものである。図4中、1は周囲よりも明るい欠陥で、2
は周囲よりも暗い欠陥である。図3(a)は撮像画像デ
ータの欠陥部Dと画像データの画素と、処理に用いる空
間フイルターの形状の関係を表したものである。Aは、
欠陥の形状に沿った形状の第一の空間フイルターの形状
で、Bは、欠陥形状に沿った形状で前記欠陥形状Aより
さらに大きな形状の第二の空間フイルターの形状を表す
もので、図3(b)、図3(c)に示すように、その形
状配置における数値を1としたもの4、5を空間フイル
ターとしてそれぞれ使用する。
Embodiments of the defect inspection method according to the present invention will be described below with reference to the drawings. The defect inspection method of the embodiment is shown in FIG.
As shown in (b), this processing method can be applied even when the inspection object has an inspection area and a non-inspection area with a large luminance difference. FIG. 4 shows a defective sample viewfinder filter by an image pickup means using a CCD area sensor.
This is a display of a part of the captured image data captured by transmitted light. In FIG. 4, 1 is a defect brighter than the surroundings and 2
Is a defect that is darker than the surroundings. FIG. 3A shows the relationship between the defective portion D of the captured image data, the pixel of the image data, and the shape of the spatial filter used for the processing. A is
3 is a shape of the first space filter having a shape according to the shape of the defect, and B is a shape of the second space filter having a shape along the defect shape and larger than the shape A of the defect. As shown in (b) and FIG. 3 (c), the numerical values 1 and 4 in the shape arrangement are used as space filters, respectively.

【0015】本実施例の欠陥検査方法について、図1を
もとに説明する。図1は、本実施例の処理を示す工程図
である。先ず、撮像画像データに対して、マスキング
処理をおこない、検査領域以外の領域の画素値を0とし
た画像データAを得る。この画像データAの作り方
を図2を用いて簡単に説明する。図2(a)は撮像画像
のY方向1画素ラインの画素値データを表したもので、
このデータに対し、2値化処理により、2値化データ
(b)を得る。次いで画素データ(a)と2値化データ
(b)とを画素毎にAND処理をおこなって画素ライン
データ(c)を得る。画素ラインデータ(c)は検査領
域部では画素ラインデータ(a)と同じく、撮像データ
値を示し、検査領域部外(非検査領域内)では画素値0
を示すものである。この処理を撮像画像データの全ライ
ンについて行うことにより、画像データAを得ること
ができる。試料ビユーファインダー用フイルターの場
合、一般に撮像領域は図6(イ)に示すように、検査領
域61と遮光部62、外周ガラス部63の非検査領域6
4からなり、透過光による画像信号レベルは、それぞれ
の領域で異なる為、ライン1上に相当する撮像画素値の
2値化は、図に示すように、異なるレベルの2つのスラ
イスレベルを用いて行う。図6(ロ)に示すような検査
領域61A、非検査領域64Aの2領域からなる試料の
場合は、図に示すように、ライン2上に相当する画素値
の2値化は1つのスライスレベルを用いて2値化を行
う。画像Aデータは以降の処理に対して、非検査領域
の影響を無くすため非検査領域の画素データ値を0とし
たものである。画像データAに対し、抽出したい欠陥
のサイズ、形状にそった形状Aのフイルターを用い畳み
込み積分処理を行い画像データを得る。次いで、後述
する画像データを用い、画像データの各画素毎に、
所定の数にて近傍平均を計算する処理を施し、画像デー
タ/を得る。同様に、画像データAに対し、前記
形状Aよりも大きな、欠陥にそった形状Bのフイルター
を用い、近傍平均を計算する処理を施し、画像データ
を得、この画像データに対し、後述する画像データ
を用い、各画素毎に、所定の数にて、近傍平均を計算す
る処理を施し、画像データ/を得る。次に、画像デ
ータ間演算により、画像データ/から画像データ
/を対応する画素毎に減算し、この結果、画像データ
10を得る。この画像データ10に対し、2値化処理によ
り、あるスライスレベルよりも突出した画素のデータを
検索することにより、欠陥部画素を検出する。
The defect inspection method of this embodiment will be described with reference to FIG. FIG. 1 is a process diagram showing the processing of this embodiment. First, masking processing is performed on the captured image data to obtain image data A in which the pixel value of the area other than the inspection area is 0. How to make the image data A will be briefly described with reference to FIG. FIG. 2A shows pixel value data of one pixel line in the Y direction of the captured image,
Binarized data (b) is obtained by binarizing the data. Next, the pixel data (a) and the binarized data (b) are AND-processed for each pixel to obtain pixel line data (c). The pixel line data (c) shows the imaged data value in the inspection area portion, like the pixel line data (a), and the pixel value 0 outside the inspection area portion (in the non-inspection area).
Is shown. Image data A can be obtained by performing this process for all the lines of the captured image data. In the case of a sample viewfinder filter, generally, the imaging area is an inspection area 61, a light shielding portion 62, and a non-inspection area 6 of the outer peripheral glass portion 63, as shown in FIG.
Since the image signal level due to transmitted light is different in each area, the binarization of the imaging pixel value corresponding to the line 1 is performed by using two slice levels of different levels as shown in the figure. To do. In the case of a sample having two regions, an inspection region 61A and a non-inspection region 64A as shown in FIG. 6B, as shown in the figure, binarization of the pixel value corresponding to line 2 is one slice level. Is used to perform binarization. In the image A data, the pixel data value of the non-inspection area is set to 0 in order to eliminate the influence of the non-inspection area on the subsequent processing. Convolution integration processing is performed on the image data A using a filter having a shape A that matches the size and shape of the defect to be extracted, and image data is obtained. Then, using the image data described below, for each pixel of the image data,
Image data / is obtained by performing a process of calculating a neighborhood average with a predetermined number. Similarly, the image data A is subjected to a process of calculating a neighborhood average by using a filter having a shape B which is larger than the shape A and conforms to a defect, and image data is obtained. Using the data, a process of calculating a neighborhood average is performed for each pixel with a predetermined number to obtain image data /. Next, the image data / is subtracted from the image data / for each corresponding pixel by the calculation between the image data.
Get 10. The defective pixel is detected by searching the image data 10 for the data of the pixel protruding from a certain slice level by the binarization process.

【0016】次に、上記近傍平均を計算する処理につい
て、更に具体的にのべる。図4に示す被検査物に輝度差
の大きな検査領域イと非検査領域ロが存在する場合、得
られた画像データをそのまま処理すると領域の境界の演
算結果が領域の明るさの差により非常に大きな値になっ
てしまい、本来の欠陥の検出の妨げとなる。これを回避
するために、本実施例においては、以下のような近傍平
均化処理を行う。
Next, the process for calculating the neighborhood average will be described more specifically. When the inspection object shown in FIG. 4 has an inspection area B and a non-inspection area B having a large brightness difference, if the obtained image data is processed as it is, the calculation result of the boundary of the area becomes very large due to the difference in brightness of the area. It becomes a large value, which hinders the detection of the original defect. In order to avoid this, in the present embodiment, the following neighborhood averaging processing is performed.

【0017】先ず、前述のようにして得られる、検査領
域以外の領域の値を0にした画像Aデータに対し、図
3に示す形状A、形状Bの空間フイルターで畳み込み積
分のみを行い、それぞれに対応する画像データと画像
データを得る。得られた画像データと画像データ
の各画素データについて、平均化の為に画素データ値を
画素毎に区別せずに、それぞれ一律の値で割ってしまう
と、境界付近の画素は演算範囲に非検査領域の0が含ま
れるため小さな値になってしまうので、非検査領域に影
響されずに近傍平均化処理を行う為には、各画素毎に計
算領域の画素数から非検査領域の画素数を除いた、検査
領域の画素数で割らなければならない。そこで、本実施
例においては、非検査領域に影響されずに、撮像画像
Aに対し、図3のA領域、B領域の空間フイルターに対
応した近傍平均化処理を行う為に、次のようにして、画
素毎に計算領域に含まれる検査領域の画素数を求め、画
像データ、の各画素毎に、これで割って、近傍平均
化処理されたデータを得る。先ず、検査領域内のデータ
値を1、非検査領域のデータ値を0としたマスキング画
像データBを得る。前述したように、図2(a)の撮
像画像信号aを所定のスライスレベルで2値化して、図
2(b)に示す2値化画像データbを得るが、これを全
ラインについて行うことにより、マスキング画像データ
Bは得られる。このマスキング画像データBに対
し、図3のA形状、B形状の空間フイルターで畳み込み
積分を行い、それぞれ画像データ、画像データを得
るが、画像データ、画像データは、画像データB
が1もしくは0の2値画像であるので、画像データ中の
各画素ごとの値が、畳み込み積分計算領域に含まれる、
値が1の画素の数を表していることになる。即ち、画像
データ中の各画素ごとの値が、計算領域の画素数から非
検査領域の画素数を除いた、検査領域の画素数を示して
いる。
First, only convolution integration is performed on the image A data obtained in the above-described manner, in which the value of the area other than the inspection area is set to 0, by the spatial filters of shape A and shape B shown in FIG. 3, respectively. To obtain image data and image data corresponding to. For the obtained image data and each pixel data of the image data, if the pixel data value is divided by a uniform value without being distinguished for each pixel for averaging, the pixels near the boundary are not within the calculation range. Since 0 in the inspection area is included, it becomes a small value. Therefore, in order to perform neighborhood averaging processing without being affected by the non-inspection area, the number of pixels in the non-inspection area is calculated from the number of pixels in the calculation area for each pixel. It must be divided by the number of pixels in the inspection area, excluding. Therefore, in the present embodiment, in order to perform the neighborhood averaging processing corresponding to the spatial filters of the regions A and B of FIG. 3 on the captured image A without being affected by the non-inspection region, the following process is performed. Then, the number of pixels in the inspection region included in the calculation region is obtained for each pixel, and is divided by this for each pixel of the image data to obtain the data subjected to the neighborhood averaging process. First, masking image data B in which the data value in the inspection area is 1 and the data value in the non-inspection area is 0 is obtained. As described above, the picked-up image signal a of FIG. 2A is binarized at a predetermined slice level to obtain the binarized image data b shown in FIG. 2B, but this should be performed for all lines. Thus, the masking image data B is obtained. Concerning the masking image data B, convolution integration is performed by using the A-shaped and B-shaped spatial filters of FIG. 3 to obtain image data and image data, respectively.
Is a binary image of 1 or 0, the value of each pixel in the image data is included in the convolution integral calculation area.
This means that the number of pixels whose value is 1 is represented. That is, the value for each pixel in the image data indicates the number of pixels in the inspection area, which is obtained by subtracting the number of pixels in the non-inspection area from the number of pixels in the calculation area.

【0018】したがって、画像データ、の各画素を
それぞれ対応する画像データ、の画素値で割ること
により、非検査領域に影響されず、検査領域について、
各データのA形状、B形状の空間フイルターに対応した
近傍平均ができる。簡単の為、図3のA形状、B形状に
対応する計算領域を図7(a)のような4×4画素の長
方形とし、撮像画像に対応する元の画像が図7(b)の
ようであったとして説明すると、図7(b)の画像を畳
み込み積分した結果、図7(c)に示される画像データ
となり、各画素ごと、場所に応じた4×4の領域に含ま
れる1の画素の個数が入った画像となる。本実施例にお
いては、このようにして近傍平均化を行うことにより、
検査領域イと非検査領域ロとで輝度差が大きな場合で
も、非検査領域に影響されず、即ち、非検査領域の形状
にも影響されず、近傍平均化処理ができるものである。
又、非検査領域境界ぎりぎりまで近傍平均計算を行った
画像が作成でき、検査領域全域で欠陥を抽出することが
できる。
Therefore, by dividing each pixel of the image data by the pixel value of the corresponding image data, the inspection area is not affected by the non-inspection area.
The neighborhood average corresponding to the A-shaped and B-shaped spatial filters of each data can be obtained. For simplicity, the calculation areas corresponding to the shapes A and B in FIG. 3 are rectangular with 4 × 4 pixels as shown in FIG. 7A, and the original image corresponding to the captured image is as shown in FIG. 7B. 7B, the image data shown in FIG. 7C is obtained as a result of convolution integration of the image shown in FIG. 7B, and each pixel includes 1 of 1 included in the 4 × 4 area corresponding to the location. The image contains the number of pixels. In this embodiment, by performing neighborhood averaging in this way,
Even if the luminance difference between the inspection area B and the non-inspection area B is large, the neighborhood averaging process can be performed without being influenced by the non-inspection area, that is, by the shape of the non-inspection area.
Further, an image in which the neighborhood average is calculated up to the border of the non-inspection region can be created, and defects can be extracted in the entire inspection region.

【0019】従来の図8、図9のようなフイルターを用
いる手法では、撮像した画像データについて、検査領域
と非検査領域の間に大きなレベルの差がある場合、検査
領域の外周部分に著しく値の異なる部位が生じるため、
検査領域の外周部は検査不能として、検査領域から除く
か、外周部検出用の特別な処理を別途施すかしていた。
そのため、外周部の欠陥は見逃すか、外周処理のために
多くの検査時間を要していた。又、従来の外周処理は、
検査領域の境界の形状によって処理をかえなければなら
ず、境界の形状が単純な形状でない場合、実用的な時間
内で外周処理を行うことは困難であった。本手法によれ
ば、外周部のために特別な処理を施すこと無く、また、
外周形状の変化のたびに処理を変更すること無く、高速
に外周部を含めた検査を行うことができる。
In the conventional method using a filter as shown in FIGS. 8 and 9, when there is a large level difference between the inspection area and the non-inspection area in the captured image data, the value is remarkably increased in the outer peripheral portion of the inspection area. Because different parts of
The outer peripheral portion of the inspection area is not inspected, and it is either removed from the inspection area or a special process for detecting the outer peripheral portion is separately performed.
Therefore, a defect in the outer peripheral portion is overlooked, or much inspection time is required for the outer peripheral processing. In addition, the conventional peripheral treatment is
The processing must be changed depending on the shape of the boundary of the inspection region, and when the shape of the boundary is not a simple shape, it is difficult to perform the outer peripheral processing within a practical time. According to this method, without performing any special processing for the outer peripheral portion,
The inspection including the outer peripheral portion can be performed at high speed without changing the process each time the outer peripheral shape changes.

【0020】[0020]

【発明の効果】本発明の欠陥検査方法によれば、上記の
ように、従来の欠陥検査のように微分処理のための空間
フイルターを必要とせず、−1の値を用いない為、検査
処理するためのハードウエアを複雑にすることなく、欠
陥の形状の選択性を高めたものである。又、試料を撮像
した撮像画像データについては、検査領域と非検査領域
の間に大きなレベルの差がある場合にも、そして、検査
領域と非検査領域との境界の形状が単純な形状でない場
合にも、外周部のために特別な処理を施すこと無く、ま
た、外周形状実用的な時間内で高速に外周部を含めた検
査を行うことができる検査方法を提供している。
As described above, according to the defect inspection method of the present invention, the space filter for the differential processing is not required unlike the conventional defect inspection, and the value of -1 is not used. The defect shape selectivity is improved without complicating the hardware for performing the process. Regarding the captured image data of the sample, when there is a large level difference between the inspection area and the non-inspection area, and the shape of the boundary between the inspection area and the non-inspection area is not a simple shape. Also, the present invention provides an inspection method capable of performing an inspection including the outer peripheral portion at high speed within a practical time of the outer peripheral shape without performing any special processing for the outer peripheral portion.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明実施例の欠陥検出の工程図FIG. 1 is a process diagram of defect detection according to an embodiment of the present invention.

【図2】本発明実施例におけるマスキング処理を説明す
るための図
FIG. 2 is a diagram for explaining masking processing in the embodiment of the present invention.

【図3】実施例における欠陥とフイルターの関係を説明
する図
FIG. 3 is a diagram illustrating a relationship between a defect and a filter in an example.

【図4】試料の欠陥を説明するための図FIG. 4 is a diagram for explaining defects in a sample.

【図5】本発明の欠陥検出を説明するための図FIG. 5 is a diagram for explaining defect detection according to the present invention.

【図6】実施例における試料の検査領域と非検査領域の
輝度レベルを説明するための図
FIG. 6 is a diagram for explaining the brightness levels of the inspection area and the non-inspection area of the sample in the example.

【図7】近傍平均化処理の為のマスキング画像データと
フイルターの関係を説明するための図
FIG. 7 is a diagram for explaining the relationship between masking image data for neighborhood averaging processing and a filter.

【図8】従来の微分処理における空間フイルターの図FIG. 8 is a diagram of a spatial filter in conventional differential processing.

【図9】従来の欠陥検出方法におけるフイルター図FIG. 9 is a filter diagram in a conventional defect detection method.

【符号の説明】[Explanation of symbols]

1 白シミ欠陥 2 黒シミ欠陥 3 (画素)ライン A 欠陥に沿った形状 B 欠陥に沿った形状 C 形状Aと形状Bとの間の領域 4 形状Aの空間フイルター 5 形状Bの空間フイルター 61、61A 検査領域 62 遮光部 63 外周ガラス部 64、64A 非検査領域 1 White spot defect 2 Black spot defect 3 (Pixel) line A Shape along defect B Shape along defect C Area between shape A and shape 4 Space filter of shape A 5 Space filter of shape B 61, 61A inspection area 62 light-shielding portion 63 outer peripheral glass portion 64, 64A non-inspection area

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G06T 5/20 ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI technical display location G06T 5/20

Claims (3)

【特許請求の範囲】[Claims] 【請求項1】 CCD素子等を用いた撮像手段により、
試料を撮像することにより得られた撮像画像データに画
像処理を施して、シミ状の欠陥を検出する検査方法であ
って、少なくとも、撮像手段により得られた撮像画像デ
ータに対し、欠陥の形状に沿った形状の第一の空間フイ
ルターでの畳み込み積分処理を伴う近傍平均化処理を行
った画像データと、前記撮像画像データに対し、欠陥形
状に沿った形状で第一の空間フイルターよりさらに大き
な形状の第二の空間フイルターでの畳み込み積分処理を
伴う近傍平均化処理を行った画像データとの間で、対応
する画素毎に減算処理を行って、欠陥部が強調された画
像データを得て、これをスライス処理することにより欠
陥検出する工程を有することを特徴とする欠陥検査方
法。
1. An image pickup means using a CCD element or the like,
An inspection method for performing image processing on captured image data obtained by capturing an image of a sample to detect spot-like defects, wherein at least the captured image data obtained by the image capturing means has a defect shape. Image data that has been subjected to neighborhood averaging processing accompanied by convolution integration processing in a first spatial filter having a shape along with the imaged image data, and a shape that is along the defect shape and is larger than the first spatial filter. Of the image data subjected to the neighborhood averaging process with the convolution integration process in the second spatial filter, the subtraction process is performed for each corresponding pixel to obtain the image data in which the defect portion is emphasized, A defect inspection method comprising a step of detecting a defect by slicing this.
【請求項2】 請求項1における近傍平均化処理が、撮
像画像データに対し、検査領域以外の領域の画素データ
値を0とした画像データに対し、空間フイルターで、畳
み込み積分処理した画像データを、撮像画像データに対
して検査領域の全画素データ値を1、非検査領域の全画
素データ値を0とし2値化して表したマスキング画像デ
ータを前記空間フイルターで、畳み込み積分処理した画
像データで、対応する画素毎に、除算する処理であるこ
とを特徴とする欠陥検査方法。
2. The neighborhood averaging process according to claim 1, wherein the image data in which the pixel data value of an area other than the inspection area is set to 0 in the captured image data is subjected to convolution integration processing by a spatial filter. The image data obtained by binarizing the masking image data obtained by binarizing the picked-up image data with all-pixel data values in the inspection region being 1 and all-pixel data values in the non-inspection region being 0 by the spatial filter, A defect inspection method, characterized in that it is a process of dividing each corresponding pixel.
【請求項3】 請求項1における近傍平均化処理が、撮
像画像データに対し、空間フイルターで、畳み込み積分
処理した画像データに対して所定の一定数で、画素毎
に、除算する処理であることを特徴とする欠陥検査方
法。
3. The neighborhood averaging process according to claim 1, wherein the captured image data is divided by each pixel by a predetermined constant with respect to the image data subjected to the convolution integration processing with a spatial filter. Defect inspection method characterized by.
JP11740794A 1994-05-09 1994-05-09 Defect inspection method Expired - Fee Related JP3433333B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11740794A JP3433333B2 (en) 1994-05-09 1994-05-09 Defect inspection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11740794A JP3433333B2 (en) 1994-05-09 1994-05-09 Defect inspection method

Publications (2)

Publication Number Publication Date
JPH07301609A true JPH07301609A (en) 1995-11-14
JP3433333B2 JP3433333B2 (en) 2003-08-04

Family

ID=14710887

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11740794A Expired - Fee Related JP3433333B2 (en) 1994-05-09 1994-05-09 Defect inspection method

Country Status (1)

Country Link
JP (1) JP3433333B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537217A (en) * 2007-08-31 2010-12-02 イコス・ビジョン・システムズ・エヌブイ Apparatus and method for detecting defects in a semiconductor substrate
JP2017003274A (en) * 2015-06-04 2017-01-05 リコーエレメックス株式会社 Image inspection device
JP2017227473A (en) * 2016-06-20 2017-12-28 タカノ株式会社 Image checkup device, and program
JP2018155695A (en) * 2017-03-21 2018-10-04 ファナック株式会社 Device for calculating region used as test object for inspection system, and method for calculating region other than test object

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537217A (en) * 2007-08-31 2010-12-02 イコス・ビジョン・システムズ・エヌブイ Apparatus and method for detecting defects in a semiconductor substrate
US8379964B2 (en) 2007-08-31 2013-02-19 Kla-Tencor Corporation Detecting semiconductor substrate anomalies
JP2017003274A (en) * 2015-06-04 2017-01-05 リコーエレメックス株式会社 Image inspection device
JP2017227473A (en) * 2016-06-20 2017-12-28 タカノ株式会社 Image checkup device, and program
JP2018155695A (en) * 2017-03-21 2018-10-04 ファナック株式会社 Device for calculating region used as test object for inspection system, and method for calculating region other than test object
US10724963B2 (en) 2017-03-21 2020-07-28 Fanuc Corporation Device and method for calculating area to be out of inspection target of inspection system

Also Published As

Publication number Publication date
JP3433333B2 (en) 2003-08-04

Similar Documents

Publication Publication Date Title
KR100265875B1 (en) Method of and apparatus for processing an image
JP2008180696A (en) Defect detector, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer readable recording medium
JP2009229197A (en) Linear defect detecting method and device
JP2002148195A (en) Surface inspection apparatus and surface inspection method
JP4244046B2 (en) Image processing method and image processing apparatus
US7668344B2 (en) Stain inspection method and apparatus
JP3695120B2 (en) Defect inspection method
JP3433333B2 (en) Defect inspection method
JPH06207909A (en) Inspection apparatus for surface defect
JP5257063B2 (en) Defect detection method and defect detection apparatus
JP2008171142A (en) Spot defect detection method and device
JP3870208B2 (en) Image processing method and inspection apparatus
JP3584507B2 (en) Pattern unevenness inspection equipment
JP2005140655A (en) Method of detecting stain flaw, and stain flaw detector
US20200211199A1 (en) Image inspection method
JPH11175727A (en) Inspection method and device therefor
JP2007198850A (en) Irregularity inspection method and apparatus
JP3941403B2 (en) Image density unevenness detection method and inspection apparatus
JP3912063B2 (en) Detection method of image shading unevenness
JPH0643968B2 (en) Shade mask defect inspection method
JPH0735699A (en) Method and apparatus for detecting surface defect
JP3243703B2 (en) Defect detection method for color filter for viewfinder
JPH0777495A (en) Pattern inspection method
JP2006322757A (en) Stain inspection method and stain inspection device
JPH06229737A (en) Method for inspecting surface defect of periodic pattern

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20021126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080530

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090530

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100530

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110530

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees