JP2003187222A - Image defect detector and image defect detection method - Google Patents

Image defect detector and image defect detection method

Info

Publication number
JP2003187222A
JP2003187222A JP2001380697A JP2001380697A JP2003187222A JP 2003187222 A JP2003187222 A JP 2003187222A JP 2001380697 A JP2001380697 A JP 2001380697A JP 2001380697 A JP2001380697 A JP 2001380697A JP 2003187222 A JP2003187222 A JP 2003187222A
Authority
JP
Japan
Prior art keywords
defect
value
image
comparison
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001380697A
Other languages
Japanese (ja)
Other versions
JP3985891B2 (en
Inventor
Tomoaki Sumita
智昭 住田
Shunsuke Nagasawa
俊輔 長澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2001380697A priority Critical patent/JP3985891B2/en
Publication of JP2003187222A publication Critical patent/JP2003187222A/en
Application granted granted Critical
Publication of JP3985891B2 publication Critical patent/JP3985891B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Image Analysis (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image defect detector capable of automatically setting a threshold for detecting a defect of a displayed image. <P>SOLUTION: The image defect detector is provided with an image pickup means, an area setting means for setting N detection areas and N reference areas, a comparison value calculation means for calculating N comparison values respectively based on a plurality of pieces of pixel display data in the respective areas to be detected and a plurality of pieces of pixel display data in the reference areas, a rearrangement means for rearranging the N comparison values in an order of values of the N comparison values and a threshold setting means for setting the threshold for judging presence/absence of the defect of the image based on difference between the J-th comparison value and the (J+w)th comparison value from the smallest value of the comparison values (J and w are integers satisfying each of inequalities 1≤J≤N-w, 1≤w≤N) among the N comparison values rearranged by the rearrangement means and a predetermined reference value for setting the threshold. <P>COPYRIGHT: (C)2003,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、画像欠陥検出装置
に関し、特に、表示装置に表示された画像の欠陥を検出
するためのしきい値を設定して、画像の欠陥を高精度で
検出する画像欠陥検出装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image defect detecting device, and more particularly, it sets a threshold value for detecting a defect in an image displayed on a display device to detect an image defect with high accuracy. The present invention relates to an image defect detecting device.

【0002】[0002]

【従来の技術】液晶パネルを使用した表示装置等のよう
に均一な透過特性が要求される表示装置等は、その表示
画像に欠陥がないか否かをその生産工程において検査し
ている。このような欠陥検査は、主に、作業者による目
視検査によって行われている。目視検査は、周囲環境
差、個人差等の影響を受けやすいので、適切な検査結果
を得ることが困難である。
2. Description of the Related Art A display device or the like which requires a uniform transmission characteristic, such as a display device using a liquid crystal panel, is inspected in its production process for a defect in its display image. Such defect inspection is mainly performed by visual inspection by an operator. Since the visual inspection is easily affected by differences in the surrounding environment, individual differences, etc., it is difficult to obtain an appropriate inspection result.

【0003】このような背景から、本発明者らは、表示
画像の欠陥を検出する欠陥検査を目視検査から自動検査
へと自動化するために、表示画像の欠陥を自動的に検出
する画像欠陥検出装置を特願2000−107015号
において提案している。この画像欠陥検出装置は、画像
を構成する画素を表す画素データをデジタル化し、デジ
タル化した画素データに基づいて比較値を算出し、算出
した比較値と予め設定されたしきい値とに基づいて表示
画像の欠陥を自動的に検出する。
In view of such a background, the inventors of the present invention automatically detect the defect in the display image in order to automate the defect inspection for detecting the defect in the display image from the visual inspection to the automatic inspection. A device is proposed in Japanese Patent Application No. 2000-107015. This image defect detection device digitizes pixel data representing pixels forming an image, calculates a comparison value based on the digitized pixel data, and based on the calculated comparison value and a preset threshold value. Automatically detect defects in the displayed image.

【0004】[0004]

【発明が解決しようとする課題】このような画像欠陥検
出装置によって表示画像の欠陥を自動的に検出するため
には、表示画像の欠陥を検出するためのしきい値を予め
設定しておかなければならない。予め設定しておくべき
しきい値は、生産現場において採取した多量の画像デー
タを熟練者が目視することによって定められている。
In order to automatically detect a defect in a display image by such an image defect detecting device, a threshold value for detecting a defect in the display image must be set in advance. I have to. The threshold value to be set in advance is determined by a skilled person who visually observes a large amount of image data collected at the production site.

【0005】しかしながら、多量の画像データを生産現
場において採取する作業には多くの時間と労力とが必要
であり、採取した多量の画像データを熟練者が目視して
しきい値を定める作業にも多くの時間と労力とが必要で
あるという問題がある。
However, the work of collecting a large amount of image data at a production site requires a lot of time and labor, and a skilled worker visually observes the large amount of collected image data to set a threshold value. The problem is that it requires a lot of time and effort.

【0006】本発明は、係る問題を解決するためになさ
れたものであり、その目的は、表示画像の欠陥を検出す
るためのしきい値を自動的に設定することができる画像
欠陥検出装置および画像欠陥検出方法を提供することに
ある。
The present invention has been made to solve the above problems, and an object thereof is to provide an image defect detecting device capable of automatically setting a threshold value for detecting a defect in a displayed image, and An object is to provide an image defect detection method.

【0007】[0007]

【課題を解決するための手段】本発明に係る画像欠陥検
出装置は、複数の画素によって構成される画像を撮像す
る撮像手段と、該画像の欠陥を検出するためのN個の検
出領域と(Nは、2以上の整数)、該N個の検出領域に
それぞれ対応するN個の基準領域とを該画像に設定する
領域設定手段と、各検出対象領域内の複数の画素をそれ
ぞれ表示するための複数の画素表示データと、各検出対
象領域に対応する基準領域内の複数の画素をそれぞれ表
示するための複数の画素表示データとに基づいて、各検
出領域ごとに比較値をそれぞれ算出する比較値算出手段
と、該比較値算出手段によって算出されたN個の該比較
値をその順番に並べ替える並べ替え手段と、該並べ替え
手段によって並べ替えられた該N個の比較値のうち該比
較値の値の小さい方からJ番目の比較値と(J+w)番
目の比較値との差分と(Jおよびwは、1≦J≦N−
w、1≦w≦Nをそれぞれ満足する整数)、予め定めら
れたしきい値設定用基準値とに基づいて、該画像の欠陥
の有無を判定するためのしきい値を設定するしきい値設
定手段と、該しきい値と該N個の比較値とに基づいて、
該画像の欠陥を検出する欠陥検出手段とを具備すること
を特徴とし、そのことにより上記目的が達成される。
An image defect detecting apparatus according to the present invention comprises an image pickup means for picking up an image composed of a plurality of pixels, and N detection areas for detecting a defect in the image ( N is an integer greater than or equal to 2), for displaying a plurality of pixels in each detection target area, and area setting means for setting N reference areas corresponding to the N detection areas in the image. A comparison value is calculated for each detection area based on the plurality of pixel display data and the plurality of pixel display data for displaying the plurality of pixels in the reference area corresponding to each detection target area. A value calculation means, a sorting means for sorting the N comparison values calculated by the comparison value calculation means in that order, and the comparison among the N comparison values sorted by the sorting means. Small value J-th comparison value (J + w) th comparison value of the difference from the (J and w, 1 ≦ J ≦ N-
w, an integer that respectively satisfies 1 ≦ w ≦ N), and a threshold value for setting a threshold value for determining the presence or absence of a defect in the image based on a predetermined threshold value setting reference value Based on the setting means, the threshold value and the N comparison values,
A defect detecting means for detecting a defect in the image is provided, whereby the above object is achieved.

【0008】前記並べ替え手段は、前記N個の比較値を
昇順に並べ替えてもよい。
The sorting means may sort the N comparison values in ascending order.

【0009】前記しきい値設定手段は、前記比較値の値
の小さい方からJ番目の比較値と(J+w)番目の比較
値との差分が、前記予め定められたしきい値設定用基準
値よりも大きいときは、該(J+w)番目の比較値を前
記しきい値として設定してもよい。
In the threshold value setting means, the difference between the Jth comparison value and the (J + w) th comparison value from the smallest comparison value is the predetermined threshold setting reference value. When it is larger than the above, the (J + w) th comparison value may be set as the threshold value.

【0010】前記並べ替え手段は、前記J番目の比較値
と(J+w)番目の比較値との差分が、前記予め定めら
れたしきい値設定用基準値よりも大きくないときは、ユ
ーザによって入力されたデータに基づいて前記しきい値
を設定してもよい。
When the difference between the J-th comparison value and the (J + w) -th comparison value is not larger than the predetermined threshold setting reference value, the rearrangement means inputs it by the user. The threshold value may be set based on the obtained data.

【0011】前記画像欠陥検出装置は、複数種類の画像
の欠陥を検出し、前記領域設定手段は、前記N個の検出
領域と前記N個の基準領域とを前記複数種類の画像の欠
陥ごとに設定し、前記比較値算出手段は、前記N個の比
較値を前記複数種類の画像の欠陥ごとに算出し、前記並
べ替え手段は、前記N個の比較値を前記複数種類の画像
の欠陥ごとに並べ替え、前記しきい値設定手段は、前記
しきい値を前記複数種類の画像の欠陥ごとに設定し、前
記欠陥検出手段は、前記複数種類の画像の欠陥ごとに設
定されたしきい値と、該複数種類の画像の欠陥ごとに算
出されたN個の比較値とに基づいて、前記画像の欠陥を
該複数種類の画像の欠陥ごとに検出してもよい。
The image defect detection device detects defects in a plurality of types of images, and the region setting means sets the N detection regions and the N reference regions for each defect of the plurality of types of images. The comparison value calculating means calculates the N comparison values for each defect of the plurality of types of images, and the rearranging means calculates the N comparison values for each defect of the plurality of types of images. The threshold value setting means sets the threshold value for each defect of the plurality of types of images, and the defect detection means sets the threshold value for each of the defects of the plurality of types of images. And the N comparison values calculated for each defect of the plurality of types of images, the defects of the image may be detected for each of the defects of the plurality of types of images.

【0012】前記複数種類の画像の欠陥は、点欠陥とシ
ミ欠陥と線欠陥とムラ欠陥とを含んでいてもよい。
The plurality of types of image defects may include point defects, spot defects, line defects, and uneven defects.

【0013】前記画像は、色相系(赤、緑および青等)
の色成分を有しており、前記比較値算出手段は、各色成
分ごとに前記N個の比較値を算出し、前記並べ替え手段
は、各色成分ごとに該N個の比較値を並べ替え、前記し
きい値設定手段は、各色成分ごとに前記しきい値を設定
し、前記欠陥検出手段は、各色成分ごとに前記画像の欠
陥を検出してもよい。
The image is a hue system (red, green, blue, etc.)
The comparison value calculating means calculates the N comparison values for each color component, and the rearranging means rearranges the N comparison values for each color component, The threshold value setting unit may set the threshold value for each color component, and the defect detection unit may detect a defect in the image for each color component.

【0014】本発明に係る画像欠陥検出方法は、複数の
画素によって構成される画像を撮像する撮像工程と、該
画像の欠陥を検出するためのN個の検出領域と(Nは、
2以上の整数)、該N個の検出領域にそれぞれ対応する
N個の基準領域とを設定する領域設定工程と、各検出対
象領域内の複数の画素をそれぞれ表示するための複数の
画素表示データと、各検出対象領域に対応する基準領域
内の複数の画素をそれぞれ表示するための複数の画素表
示データとに基づいて、各検出領域ごとに比較値をそれ
ぞれ算出する比較値算出工程と、該比較値算出工程によ
って算出されたN個の該比較値を該N個の比較値の値の
順番に並べ替える並べ替え工程と、該並べ替え工程によ
って並べ替えられた該N個の比較値のうち該比較値の値
の小さい方からJ番目の比較値と(J+w)番目の比較
値との差分と(Jおよびwは、1≦J≦N−w、1≦w
≦Nをそれぞれ満足する整数)、予め定められたしきい
値設定用基準値とに基づいて、該画像の欠陥の有無を判
定するためのしきい値を設定するしきい値設定工程と、
該しきい値設定工程に基づいて設定された該しきい値と
該比較値算出工程によって算出された該N個の比較値と
に基づいて、該画像の欠陥を検出する欠陥検出工程とを
包含することを特徴とし、そのことにより上記目的が達
成される。
An image defect detecting method according to the present invention includes an image pickup step for picking up an image composed of a plurality of pixels, and N detection regions for detecting defects in the image (N is
2 or more), a region setting step of setting N reference regions corresponding to the N detection regions, and a plurality of pixel display data for displaying a plurality of pixels in each detection target region And a comparison value calculating step of calculating a comparison value for each detection area based on a plurality of pixel display data for displaying a plurality of pixels in the reference area corresponding to each detection target area, Of the N comparison values rearranged in the order of the N comparison values calculated in the comparison value calculation step, and the N comparison values rearranged in the rearrangement step. From the smallest comparison value, the difference between the Jth comparison value and the (J + w) th comparison value (J and w are 1 ≦ J ≦ N−w, 1 ≦ w.
≤ N) and a threshold value setting step of setting a threshold value for determining the presence or absence of a defect in the image based on a predetermined threshold value setting reference value,
A defect detection step of detecting a defect in the image based on the threshold value set based on the threshold value setting step and the N comparison values calculated by the comparison value calculation step. The above-mentioned object is achieved by that.

【0015】[0015]

【発明の実施の形態】本実施の形態に係る画像欠陥検出
装置を説明する。本実施の形態に係る画像欠陥検出装置
は、液晶パネルの表示画面等のように均一な透過特性が
要求される表示装置等によって表示される画像における
欠陥を検出するためのしきい値を自動的に設定する。
BEST MODE FOR CARRYING OUT THE INVENTION An image defect detecting apparatus according to this embodiment will be described. The image defect detection apparatus according to the present embodiment automatically sets a threshold value for detecting a defect in an image displayed by a display device or the like that requires uniform transmission characteristics such as a display screen of a liquid crystal panel. Set to.

【0016】図1は、本実施の形態に係る画像欠陥検出
装置100のブロック図である。画像欠陥検出装置10
0は、液晶パネルの表示画面に表示される画像の欠陥を
検出する。画像欠陥検出装置100は、レンズ1および
カメラ2を有する撮像部3を備えている。撮像部3は、
液晶パネル25の表示画面に表示される画像を、レンズ
1を通してカメラ2によって撮像する。
FIG. 1 is a block diagram of an image defect detecting apparatus 100 according to this embodiment. Image defect detection device 10
0 detects a defect in the image displayed on the display screen of the liquid crystal panel. The image defect detecting device 100 includes an image capturing unit 3 having a lens 1 and a camera 2. The imaging unit 3
An image displayed on the display screen of the liquid crystal panel 25 is captured by the camera 2 through the lens 1.

【0017】撮像部3には、AD変換器4が接続されて
いる。AD変換器4は、撮像部3によって撮像された画
像を表す画像データをアナログデジタル(AD)変換す
る。AD変換器4の出力はメモリ5に与えられており、
メモリ5は、AD変換器4によってAD変換された画像
データを格納する。
An AD converter 4 is connected to the image pickup section 3. The AD converter 4 performs analog-digital (AD) conversion on image data representing an image captured by the image capturing unit 3. The output of the AD converter 4 is given to the memory 5,
The memory 5 stores the image data AD-converted by the AD converter 4.

【0018】メモリ5に格納された画像データは、RG
B分離器6によって、赤(R)、緑(G)および青
(B)の各色成分ごとに分離される。RGB分離器6に
よって分離された画像データは、R、GおよびBの各成
分ごとにメモリ7に格納される。ここでは、RGB分離
器6にてR、GおよびBに分離しているが、他の色相系
に分離してもよい。
The image data stored in the memory 5 is RG
The B separator 6 separates each color component of red (R), green (G), and blue (B). The image data separated by the RGB separator 6 is stored in the memory 7 for each of the R, G and B components. Here, the RGB separator 6 separates into R, G, and B, but may be separated into another hue system.

【0019】画像欠陥検出装置100は、領域設定部1
7を備えている。領域設定部17は、撮像部3によって
撮像された画像における欠陥を検出するためのN個の検
出領域と(Nは、2以上の整数)、N個の検出領域にそ
れぞれ対応するN個の基準領域とを、撮像部3によって
撮像された画像の撮像領域に設定する。
The image defect detecting apparatus 100 includes an area setting section 1
Equipped with 7. The area setting unit 17 includes N detection areas (N is an integer of 2 or more) for detecting defects in the image captured by the image capturing unit 3, and N reference areas corresponding to the N detection areas. The area and the area are set as the imaging area of the image taken by the imaging unit 3.

【0020】画像欠陥検出装置100には、検査部8が
設けられている。図2は、検査部8のブロック図であ
る。検査部8は、領域記憶部18と比較値算出部19と
欠陥検出部20とを備えている。領域記憶部18には、
領域設定部17によって設定されたN個の検出領域の位
置を表す位置データと、N個の検出領域にそれぞれ対応
するN個の基準領域の位置を表す位置データとが格納さ
れている。比較値算出部19は、メモリ7に格納された
画像データを構成する複数の画素データのうち領域記憶
部18に格納された各検出領域内の複数の画素データ
と、各検出領域に対応する基準領域内の画素データとに
基づいて、各検出領域ごとに比較値をそれぞれ算出す
る。欠陥検出部20は、比較値算出部19によって算出
されたN個の比較値と、後述するように自動的に設定さ
れるしきい値とに基づいて、撮像部3によって撮像され
た画像の欠陥を検出する。
The image defect detecting apparatus 100 is provided with an inspection section 8. FIG. 2 is a block diagram of the inspection unit 8. The inspection unit 8 includes an area storage unit 18, a comparison value calculation unit 19, and a defect detection unit 20. In the area storage unit 18,
The position data indicating the positions of the N detection regions set by the region setting unit 17 and the position data indicating the positions of the N reference regions respectively corresponding to the N detection regions are stored. The comparison value calculation unit 19 includes a plurality of pixel data in each detection area stored in the area storage unit 18 among a plurality of pixel data forming the image data stored in the memory 7, and a reference corresponding to each detection area. A comparison value is calculated for each detection area based on the pixel data in the area. The defect detecting unit 20 detects a defect in the image captured by the image capturing unit 3 based on the N comparison values calculated by the comparison value calculating unit 19 and a threshold value that is automatically set as described later. To detect.

【0021】画像欠陥検出装置100は、並べ替え部1
0を備えている。並べ替え部10は、比較値算出部19
によって算出されたN個の比較値をN個の比較値の値の
順番に並べ替える。
The image defect detecting apparatus 100 includes a rearrangement unit 1
It has 0. The rearrangement unit 10 includes a comparison value calculation unit 19
The N comparison values calculated by are rearranged in the order of the values of the N comparison values.

【0022】画像欠陥検出装置100には、しきい値設
定部12が設けられている。しきい値設定部12は、撮
像部3によって撮像された画像の欠陥の有無を判定する
ためのしきい値を自動的に設定する。しきい値設定部1
2は、分布判定部11を備えている。分布判定部11
は、並べ替え部10によって並べ替えられたN個の比較
値のうち比較値の値の小さい方からJ番目の比較値と
(J+w)番目の比較値との差分と(Jおよびwは、1
≦J≦N−w、1≦w≦Nをそれぞれ満足する整数)、
予め定められたしきい値設定用基準値とに基づいて、並
べ替えられたN個の比較値の分布状態を判定し、所定の
分布状態であると判定したときは、(J+w)番目の比
較値をしきい値として設定する。しきい値設定部12に
は、しきい値レジスタ13が設けられており、しきい値
レジスタ13は、分布判定部11によって設定されたし
きい値を格納する。
The image defect detecting apparatus 100 is provided with a threshold value setting section 12. The threshold value setting unit 12 automatically sets a threshold value for determining the presence or absence of a defect in the image captured by the image capturing unit 3. Threshold setting section 1
2 includes a distribution determination unit 11. Distribution determination unit 11
Is the difference between the Jth comparison value and the (J + w) th comparison value from the smaller comparison value among the N comparison values rearranged by the rearrangement unit 10 (where J and w are 1
≦ J ≦ N−w, integers that respectively satisfy 1 ≦ w ≦ N),
Based on a predetermined threshold setting reference value, the distribution state of the rearranged N comparison values is determined, and when it is determined to be a predetermined distribution state, the (J + w) th comparison Set the value as a threshold. The threshold value setting unit 12 is provided with a threshold value register 13, and the threshold value register 13 stores the threshold value set by the distribution determination unit 11.

【0023】画像欠陥検出装置100は、結果出力部1
5としきい値入力部16とを備えている。結果出力部1
5は、分布判定部11によってN個の比較値の分布状態
が所定の分布状態でないと判定されたときに、N個の比
較値の分布状態を表示する。しきい値入力部16は、N
個の比較値の分布状態が所定の分布状態でないと判定さ
れ、N個の比較値の分布状態が結果出力部15に表示さ
れたときに、しきい値を入力するために操作される。画
像欠陥検出装置100には、画像欠陥検出装置100の
全体の動作を制御する中央処理装置(CPU)14が設
けられている。
The image defect detecting apparatus 100 includes a result output unit 1
5 and a threshold value input unit 16. Result output part 1
5 displays the distribution state of the N comparison values when the distribution determination unit 11 determines that the distribution state of the N comparison values is not the predetermined distribution state. The threshold input unit 16 has N
When it is determined that the distribution state of the plurality of comparison values is not the predetermined distribution state and the distribution state of the N comparison values is displayed on the result output unit 15, the operation is performed to input the threshold value. The image defect detection device 100 is provided with a central processing unit (CPU) 14 that controls the overall operation of the image defect detection device 100.

【0024】図3は、画像欠陥検出装置100が検出す
る画像の欠陥の説明図である。画像欠陥検出装置100
は、複数種類の欠陥を検出することができる。複数種類
の欠陥には、点欠陥21、シミ欠陥22、線欠陥23お
よびムラ欠陥24が含まれている。点欠陥21とは、1
つの画素を表示するための画素表示データの値が、その
周囲の画素を表す画素表示データの値よりも極端に大き
い(または小さい)欠陥とする。シミ欠陥22とは、水
平方向および垂直方向に沿って面状に隣接する複数の画
素をそれぞれ表示するための画素表示データの値が、そ
の周囲の画素を表示するための画素表示データの値より
も、点欠陥21程に極端ではないけれども、かなり大き
い(または小さい)欠陥とする。線欠陥23とは、シミ
欠陥22と同様に、点欠陥21程に極端ではないけれど
も、その周囲の画素を表示するための画素表示データの
値よりもかなり大きい(または小さい)値を有する画素
表示データによって表される複数の画素が所定の方向に
沿って線状に隣接している欠陥とする。図3に示す例で
は、複数の画素が水平方向に沿って線状に隣接している
線欠陥23と、垂直方向に沿って線状に隣接している線
欠陥23とが示されている。ムラ欠陥24とは、その周
囲の画素を表示するための画素表示データの値との差が
シミ欠陥22よりもさらに小さい複数の画素が、シミ欠
陥22よりも広い範囲にわたって隣接している欠陥とす
る。
FIG. 3 is an explanatory diagram of image defects detected by the image defect detecting apparatus 100. Image defect detection device 100
Can detect multiple types of defects. The plurality of types of defects include a point defect 21, a spot defect 22, a line defect 23, and an unevenness defect 24. The point defect 21 is 1
It is assumed that the value of the pixel display data for displaying one pixel is extremely larger (or smaller) than the value of the pixel display data representing the surrounding pixels. The spot defect 22 is a pixel display data value for displaying a plurality of pixels adjacent to each other in a plane along the horizontal direction and the vertical direction, and a pixel display data value for displaying pixels around the pixel display data. Is not as extreme as the point defect 21, but is a fairly large (or small) defect. Like the spot defect 22, the line defect 23 is not as extreme as the point defect 21, but is a pixel display having a value considerably larger (or smaller) than the value of the pixel display data for displaying the pixels around it. It is assumed that the plurality of pixels represented by the data are linearly adjacent to each other along a predetermined direction. In the example illustrated in FIG. 3, a line defect 23 in which a plurality of pixels are linearly adjacent in the horizontal direction and a line defect 23 in which the plurality of pixels are linearly adjacent in the vertical direction are shown. The unevenness defect 24 is a defect in which a plurality of pixels having a difference from a value of pixel display data for displaying pixels around the unevenness defect is smaller than that of the spot defect 22 are adjacent to each other over a wider range than the stain defect 22. To do.

【0025】図4は、実施の形態に係る画像欠陥検出装
置100による画像欠陥検出方法を示すフローチャート
である。
FIG. 4 is a flowchart showing an image defect detecting method by the image defect detecting apparatus 100 according to the embodiment.

【0026】まず、画像の欠陥を検出するためのN個の
検出領域と、N個の検出領域にそれぞれ対応するN個の
基準領域とを領域設定部17を操作して撮像領域に設定
し、検査部8に設けられた領域記憶部18に格納する。
First, N detection areas for detecting image defects and N reference areas respectively corresponding to the N detection areas are set in the image pickup areas by operating the area setting section 17. The data is stored in the area storage unit 18 provided in the inspection unit 8.

【0027】N個の検出領域とN個の基準領域とは、
R、G、Bの各色成分ごとに設定される。R、G、Bの
各色成分ごとに設定されたN個の検出領域とN個の基準
領域とは、さらに、画像欠陥検出装置100が検出する
欠陥の種類に応じて設定される。
The N detection areas and the N reference areas are
It is set for each of the R, G, and B color components. The N detection areas and the N reference areas set for each of the R, G, and B color components are further set according to the types of defects detected by the image defect detection apparatus 100.

【0028】図5は、点欠陥21を検出するための検出
領域26と基準領域27を撮像領域に設定する方法を説
明する図である。まず、検出領域26を撮像領域28に
設定する。検出領域26は、3画素×3画素のマトリッ
クスサイズに設定されている。点欠陥21は、通常、1
画素の欠陥であるけれども、AD変換器4におけるAD
変換等によって画像データが鈍るために、1画素の欠陥
がその周囲の画素に影響するおそれがある。従って、検
出領域26はこのような画像データの鈍りを考慮して、
1画素よりも大きい3画素×3画素等のマトリックスサ
イズに設定することが好ましい。次に、検出領域26に
隣接するように3画素×3画素の基準領域27を設定す
る。図5に示す例では、検出領域26の左横に隣接する
例を示している。
FIG. 5 is a diagram for explaining a method of setting the detection area 26 for detecting the point defect 21 and the reference area 27 as the imaging area. First, the detection area 26 is set as the imaging area 28. The detection area 26 is set to a matrix size of 3 pixels × 3 pixels. The point defect 21 is usually 1
Although it is a pixel defect, AD in the AD converter 4
Since the image data becomes dull due to the conversion or the like, a defect of one pixel may affect the surrounding pixels. Therefore, the detection area 26 considers such a bluntness of image data,
It is preferable to set the matrix size such as 3 pixels × 3 pixels larger than 1 pixel. Next, a reference area 27 of 3 pixels × 3 pixels is set so as to be adjacent to the detection area 26. In the example shown in FIG. 5, an example in which the detection area 26 is adjacent to the left side is shown.

【0029】このようにして、撮像領域28の全体を覆
うように、点欠陥21を検出するN個の検出領域26を
設定するとともに、N個の検出領域26にそれぞれ隣接
するN個の基準領域を設定する。
In this way, N detection regions 26 for detecting the point defects 21 are set so as to cover the entire image pickup region 28, and N reference regions respectively adjacent to the N detection regions 26 are set. To set.

【0030】シミ欠陥22を検出するための検出領域お
よび基準領域は、前述した点欠陥21を検出するための
検出領域26および基準領域27のマトリックスサイズ
よりも大きいマトリックスサイズによってそれぞれ設定
する。
The detection area and the reference area for detecting the spot defect 22 are set by a matrix size larger than the matrix size of the detection area 26 and the reference area 27 for detecting the point defect 21 described above.

【0031】図6は、線欠陥23を検出するための検出
領域26Aと基準領域27Aとを撮像領域28に設定す
る方法を説明する図である。例えば垂直方向に沿った線
欠陥23を検出するためには、垂直方向に沿って細長い
マトリックスサイズを有する検出領域26Aおよび基準
領域27Aを設定する。検出領域26Aおよび基準領域
27Aのマトリックスサイズは、例えば、2画素(水平
方向)×50画素(垂直方向)である。水平方向に沿っ
た線欠陥23を検出するためには、水平方向に沿って細
長いマトリックスサイズを有する検出領域および基準領
域を設定すればよい。
FIG. 6 is a diagram for explaining a method of setting the detection area 26A and the reference area 27A for detecting the line defect 23 in the imaging area 28. For example, in order to detect the line defect 23 along the vertical direction, the detection region 26A and the reference region 27A having the elongated matrix size along the vertical direction are set. The matrix size of the detection area 26A and the reference area 27A is, for example, 2 pixels (horizontal direction) × 50 pixels (vertical direction). In order to detect the line defect 23 along the horizontal direction, it suffices to set a detection region and a reference region having an elongated matrix size along the horizontal direction.

【0032】図7は、ムラ欠陥24を検出するための検
出領域26Bと基準領域27Bを撮像領域28に設定す
る方法を説明する図である。ムラ欠陥24を検出するた
めの検出領域26Bおよび基準領域27Bは、前述した
シミ欠陥22を検出するための検出領域および基準領域
のマトリックスサイズよりもさらに大きいマトリックス
サイズによってそれぞれ設定する。検出領域26Bおよ
び基準領域27Bのマトリックスサイズは、例えば、3
0画素×30画素である。ムラ欠陥24においては、画
素表示データが複数の画素にわたって徐々に変化するた
めに、検出領域26Bに対して適当な距離をあけて基準
領域27Bを設定することが好ましい。
FIG. 7 is a diagram for explaining a method of setting the detection area 26B for detecting the unevenness defect 24 and the reference area 27B in the imaging area 28. The detection area 26B and the reference area 27B for detecting the non-uniformity defect 24 are set by a matrix size larger than the matrix size of the detection area and the reference area for detecting the spot defect 22 described above. The matrix size of the detection area 26B and the reference area 27B is, for example, 3
It is 0 pixels × 30 pixels. In the unevenness defect 24, since the pixel display data gradually changes over a plurality of pixels, it is preferable to set the reference region 27B with an appropriate distance from the detection region 26B.

【0033】このように、画像欠陥装置100が検出す
る欠陥の種類に応じて検出領域および基準領域を撮像領
域に設定する(S31)。
In this way, the detection area and the reference area are set as the image pickup areas according to the types of defects detected by the image defect apparatus 100 (S31).

【0034】次に、比較値算出部19は、各検出領域内
の複数の画素をそれぞれ表示するための複数の画素表示
データと、各検出対象領域に対応する基準領域内の複数
の画素をそれぞれ表示するための複数の画素表示データ
とに基づいて、比較値を各検出領域ごとにそれぞれ算出
する。
Next, the comparison value calculation unit 19 respectively sets a plurality of pixel display data for displaying a plurality of pixels in each detection area and a plurality of pixels in the reference area corresponding to each detection target area. A comparison value is calculated for each detection region based on a plurality of pixel display data to be displayed.

【0035】例えば、点欠陥21を検出するための検出
領域26と基準領域27に対して、検出領域26内の3
×3=9個の画素をそれぞれ表示するための9個の画素
表示データの合計値と、基準領域27内の3×3=9個
の画素をそれぞれ表示するための9個の画素表示データ
の合計値との差分の絶対値を比較値として算出する(S
32)。
For example, with respect to the detection area 26 and the reference area 27 for detecting the point defect 21, 3 in the detection area 26 are used.
Of the total value of 9 pixel display data for displaying each of × 3 = 9 pixels, and the 9 pixel display data for displaying each of 3 × 3 = 9 pixels in the reference area 27, The absolute value of the difference from the total value is calculated as a comparison value (S
32).

【0036】例えば、1画素を表示するための画素表示
データの値が、8ビットによって表される0以上255
以下の値であり、画素表示データの理想的な値が8ビッ
トによって表される128であるときに、検出領域26
内の3×3=9個の画素表示データの合計値が1150
であり、対応する基準領域27内の3×3=9個の画素
表示データの合計値が1100であれば、1150−1
100=50として、比較値50が算出される。
For example, the value of pixel display data for displaying one pixel is 0 or more and 255 represented by 8 bits.
When the ideal value of the pixel display data is 128 represented by 8 bits, the detection area 26
The total value of 3 × 3 = 9 pixel display data is 1150
If the total value of 3 × 3 = 9 pixel display data in the corresponding reference area 27 is 1100, then 1150-1
A comparison value of 50 is calculated with 100 = 50.

【0037】シミ欠陥22、線欠陥23およびムラ欠陥
24を検出するための検出領域および基準領域に対して
も、点欠陥21と同様に、検出領域内の画素表示データ
の合計値と、基準領域27内の画素表示データの合計値
との差分の絶対値を比較値としてそれぞれ算出する。
Similarly to the point defect 21, the total value of the pixel display data in the detection area and the reference area are also applied to the detection area and the reference area for detecting the spot defect 22, the line defect 23 and the unevenness defect 24. The absolute value of the difference from the total value of the pixel display data in 27 is calculated as a comparison value.

【0038】次に、設定したN個の検出領域のすべてに
ついて比較値を算出したか否かが判断される(S3
3)。設定したN個の検出領域26のすべてについて比
較値を算出していないと判断されたときは(S33にお
いてNO)、未だ比較値を算出していない検出領域26
および基準領域27を指定するアドレスを生成し(S3
4)、S32へ戻り、S34において生成したアドレス
が指定する検出領域26および基準領域27について比
較値を算出する。
Next, it is judged whether or not the comparison values have been calculated for all the set N detection areas (S3).
3). When it is determined that the comparison values have not been calculated for all the set N detection areas 26 (NO in S33), the detection areas 26 for which the comparison values have not been calculated yet.
And an address designating the reference area 27 is generated (S3
4) The process returns to S32, and the comparison value is calculated for the detection region 26 and the reference region 27 designated by the address generated in S34.

【0039】N個の検出領域26のすべてについて比較
値を算出したと判断されたときは(S33においてYE
S)、比較値算出部19は、算出したN個の検出領域に
対応するN個の比較値を比較値記憶部9へ格納する(S
35)。このようにして、比較値算出部19はN個の検
出領域26と、N個の検出領域26にそれぞれ対応する
N個の基準領域27に基づいてN個の比較値を算出す
る。
When it is determined that the comparison values have been calculated for all N detection areas 26 (YE in S33).
S), the comparison value calculation unit 19 stores the N comparison values corresponding to the calculated N detection regions in the comparison value storage unit 9 (S).
35). In this way, the comparison value calculation unit 19 calculates N comparison values based on the N detection regions 26 and the N reference regions 27 corresponding to the N detection regions 26.

【0040】そして、R、GおよびBのすべての色成分
における画像データについてN個の比較値を算出したか
否かが判断される(S36)。すべての色成分の画像デ
ータについてN個の比較値を算出していないと判断され
たときは(S36においてNO)、S32へ戻り、未だ
比較値を算出していない色成分の画像データについて比
較値を算出する。
Then, it is judged whether or not N comparison values have been calculated for the image data in all the R, G and B color components (S36). When it is determined that N comparison values have not been calculated for all image data of color components (NO in S36), the process returns to S32, and comparison values are calculated for image data of color components for which comparison values have not yet been calculated. To calculate.

【0041】すべての色成分の画像データについてN個
の比較値を算出したと判断されたときは(S36におい
てYES)、点欠陥21、シミ欠陥22、線欠陥23お
よびムラ欠陥24のすべての種類の欠陥についてN個の
比較値を算出したか否かが判断される(S37)。すべ
ての種類の欠陥についてN個の比較値を算出していない
と判断されたときは(S37においてNO)、S31へ
戻り、未だ算出していない欠陥の種類について検出領域
と基準領域とを設定する。
When it is determined that N comparison values have been calculated for the image data of all color components (YES in S36), all types of point defect 21, spot defect 22, line defect 23 and uneven defect 24 are obtained. It is determined whether or not N comparison values have been calculated for the defect of (S37). When it is determined that N comparison values have not been calculated for all types of defects (NO in S37), the process returns to S31, and detection areas and reference areas are set for the types of defects that have not been calculated. .

【0042】すべての種類の欠陥についてN個の比較値
を算出したと判断されたときは(S37においてYE
S)、並べ替え部10は、比較値記憶部9に格納された
各N個の比較値を各色成分毎に、および各欠陥の種類ご
とに昇順に並べ替える(S38)。
When it is determined that N comparison values have been calculated for all types of defects (YE in S37).
S), the sorting unit 10 sorts each of the N comparison values stored in the comparison value storage unit 9 in ascending order for each color component and each defect type (S38).

【0043】図8は、並べ替え部10によって並べ替え
られたN個の比較値の値を結ぶようにプロットした比較
値分布曲線61を示すグラフである。図8において、横
軸は、昇順に並べ替えられた各比較値の順位を示してお
り、縦軸は、各比較値の値(絶対値)を示している。図
8に示す例は、Rの色成分における点欠陥21を検出す
るための検出領域26および基準領域27に基づいて算
出され、並べ替えられたN個の比較値に基づいて算出さ
れた比較値分布曲線を示している。
FIG. 8 is a graph showing a comparison value distribution curve 61 plotted so as to connect the values of the N comparison values rearranged by the rearrangement unit 10. In FIG. 8, the horizontal axis represents the rank of each comparison value sorted in ascending order, and the vertical axis represents the value (absolute value) of each comparison value. The example shown in FIG. 8 is a comparison value calculated based on the rearranged N comparison values calculated based on the detection area 26 and the reference area 27 for detecting the point defect 21 in the R color component. The distribution curve is shown.

【0044】液晶パネル25の透過特性が表示画面の全
体にわたって完全に均一であるならば、検出領域内の画
素表示データと基準領域内の画素表示データとは等しく
なるので、各比較値の値は、本来は、ゼロになるはずで
ある。しかし、表示画面の周辺部は中心部よりも透過す
る光が弱くなる傾向があることからもわかるように、表
示画面上の異なる領域では透過特性に差が生じる。従っ
て、図6に示すように検査領域26と基準領域27とを
隣接させて比較値を算出したとしても、比較値の値はゼ
ロにならず、ある程度の値を示す。
If the transmission characteristics of the liquid crystal panel 25 are completely uniform over the entire display screen, the pixel display data in the detection area and the pixel display data in the reference area will be equal, so the value of each comparison value will be Originally, it should be zero. However, as can be seen from the fact that the light passing through the peripheral portion of the display screen tends to be weaker than that in the central portion, the transmission characteristics differ in different regions on the display screen. Therefore, even if the comparison value is calculated with the inspection area 26 and the reference area 27 adjacent to each other as shown in FIG. 6, the value of the comparison value does not become zero but shows a certain value.

【0045】N個の比較値を昇順に並べ替えると、通常
は、比較値分布曲線61に示すように比較値は分布す
る。比較値分布曲線61においては、1番目の順位か
ら、最大順位の1/2の順位である(N/2)番目の順
位を表す中間順位までは、中間順位に近づいても比較値
の値は殆ど増加しない。中間順位からN番目の比較値を
表す最大順位までは、中間順位から離れて最大順位に近
づくにしたがって、比較値の値は大きく増加する。
When the N comparison values are rearranged in ascending order, the comparison values are normally distributed as shown by the comparison value distribution curve 61. In the comparative value distribution curve 61, from the first rank to the intermediate rank representing the (N / 2) th rank, which is 1/2 of the maximum rank, the value of the comparative value is close to the intermediate rank. Hardly increases. From the middle rank to the maximum rank representing the Nth comparison value, the value of the comparison value increases greatly as the distance from the middle rank approaches the maximum rank.

【0046】図9は、実施の形態に係る画像欠陥検出方
法におけるしきい値設定部12の詳細な動作を示すフロ
ーチャートである。まず、並べ替えられた比較値の順位
を表す順位変数Jに、最大順位の1/2の順位である中
間順位を設定する(S51)。
FIG. 9 is a flowchart showing the detailed operation of the threshold value setting unit 12 in the image defect detecting method according to the embodiment. First, an intermediate rank that is ½ of the maximum rank is set to the rank variable J that represents the rank of the rearranged comparison values (S51).

【0047】そして、下記に示す(式1)に基づいて、
順位がJ番目の比較値と(J+w)番目の比較値との差
分dを求める(S52)。
Then, based on (Equation 1) shown below,
The difference d between the J-th comparative value and the (J + w) -th comparative value is calculated (S52).

【0048】 d=H(J+w)−H(J) (式1)、 ここで、 H(J):J番目の順位の比較値の値を示す関数、 J :比較値の順位を表す順位変数、 w :順位幅、 d :順位がJ番目の比較値と(J+w)番目の比
較値との差分、 順位Jおよび順位幅wは、1≦J≦N−w、1≦w≦N
をそれぞれ満足する整数とする。
D = H (J + w) −H (J) (Equation 1), where H (J): a function indicating the value of the comparison value of the Jth rank, J: a rank variable indicating the rank of the comparison value , W: rank width, d: difference between the J-th comparative value and the (J + w) -th comparative value, rank J and rank width w are 1 ≦ J ≦ N−w, 1 ≦ w ≦ N
Are integers that respectively satisfy.

【0049】(式1)は、比較値分布曲線61の傾きを
求める計算に相当する。順位幅wは、比較値の総数Nに
応じて予め定められる。例えば、比較値の総数Nを10
00、中間順位を500としたときに、順位幅wを5に
設定する。
(Equation 1) corresponds to a calculation for obtaining the slope of the comparison value distribution curve 61. The rank width w is predetermined according to the total number N of comparison values. For example, the total number N of comparison values is 10
When the rank is 00 and the middle rank is 500, the rank width w is set to 5.

【0050】そして、S52において求められた差分d
が予め定められたしきい値設定用基準値Sよりも大きい
か否かが判断される(S53)。差分dが予め定められ
たしきい値設定用基準値Sよりも大きいと判断されたと
きは(S53においてYES)、(J+w)番目の比較
値の値H(J+w)をしきい値に設定する(S57)。
Then, the difference d obtained in S52
Is greater than a predetermined threshold setting reference value S (S53). When it is determined that the difference d is larger than the predetermined threshold setting reference value S (YES in S53), the value H (J + w) of the (J + w) th comparison value is set as the threshold. (S57).

【0051】差分dが予め定められたしきい値設定用基
準値Sよりも大きくないと判断されたときは(S53に
おいてNO)、順位変数Jに1を加算する(S54)。
そして、順位変数Jの値が最大順位以上であるか否かが
判断される(S55)。順位変数Jの値が最大順位より
も小さいときは(S55においてNO)、S52へ戻り
差分dを求める。
When it is determined that the difference d is not larger than the predetermined threshold setting reference value S (NO in S53), 1 is added to the rank variable J (S54).
Then, it is determined whether or not the value of the rank variable J is equal to or higher than the maximum rank (S55). When the value of the rank variable J is smaller than the maximum rank (NO in S55), the process returns to S52 and the difference d is obtained.

【0052】順位変数Jの値が最大順位以上であると判
断されたときは(S55においてYES)、並べ替えら
れたN個の比較値が、比較値分布曲線61に示すよう
に、中間順位から離れて最大順位に近づくほど大きく増
加するように分布していないと判断する。この場合、し
きい値を自動的に設定することはできないので、ユーザ
がしきい値を設定するためのユーザ設定画面を結果出力
部15に出力する(S56)。
When it is determined that the value of the rank variable J is equal to or higher than the maximum rank (YES in S55), the rearranged N comparison values are sorted from the middle rank as shown in the comparison value distribution curve 61. It is judged that the distribution is not so large that the distance increases and the position approaches the maximum rank. In this case, the threshold cannot be automatically set, and therefore the user outputs a user setting screen for setting the threshold to the result output unit 15 (S56).

【0053】しきい値設定用基準値Sは、例えば、比較
値の総数Nが1000であって、(H(J+w)−H
(J))の最大値が50程度のときに、10となるよう
に設定する。
The threshold setting reference value S is, for example, (H (J + w) -H) when the total number N of comparison values is 1000.
When the maximum value of (J)) is about 50, it is set to 10.

【0054】図10は、中間順位から離れて最大順位に
近づいても、比較値の値が大きく増加するように分布し
ていない比較値分布曲線61Aを示すグラフである。図
6と同様に、横軸は並べ替えられた各比較値の順位を示
しており、縦軸は各比較値の値(絶対値)を示してい
る。
FIG. 10 is a graph showing a comparative value distribution curve 61A which is not distributed so that the value of the comparative value greatly increases even when the comparative value approaches the maximum rank away from the intermediate rank. Similar to FIG. 6, the horizontal axis represents the order of the rearranged comparative values, and the vertical axis represents the value (absolute value) of each comparative value.

【0055】比較値分布曲線61Aにおいては、中間順
位から最大順位へ近づいても、比較値の値が図6に示す
比較値分布曲線61のように大きく増加しないので、差
分dが予め定められたしきい値設定用基準値Sよりも大
きくならない。このため、しきい値を自動的に設定する
ことができない。
In the comparative value distribution curve 61A, the value of the comparative value does not increase significantly as in the comparative value distribution curve 61 shown in FIG. 6 even when the intermediate rank approaches the maximum rank, so the difference d is predetermined. It does not become larger than the threshold setting reference value S. Therefore, the threshold cannot be set automatically.

【0056】図11は、しきい値を自動的に設定するこ
とができないときに、ユーザがしきい値を設定するため
のユーザ設定画面の説明図である。図11に示す例で
は、画面の左半分に、比較値分布曲線61Aを示すグラ
フが表示されており、画面の右半分には、並べ替えられ
た比較値の数であるN個に相当するサンプル数、N個の
比較値の値の最小値、最大値、中間値が表示できるよう
になっており、比較値分布曲線61Aを示すグラフの下
には、任意の順位の比較値の値を表示できるようになっ
ている。この場合、撮像部3によって撮像された画像を
同時に表示してもよい。このように画面に表示された情
報に基づいて、ユーザが任意のしきい値を入力すること
ができるようになっている。
FIG. 11 is an explanatory diagram of a user setting screen for the user to set the threshold when the threshold cannot be automatically set. In the example shown in FIG. 11, a graph showing the comparison value distribution curve 61A is displayed on the left half of the screen, and samples corresponding to N, which is the number of rearranged comparison values, are displayed on the right half of the screen. The number, the minimum value, the maximum value, and the intermediate value of the N comparison values can be displayed. Below the graph showing the comparison value distribution curve 61A, the values of the comparison values of arbitrary ranks are displayed. You can do it. In this case, the images captured by the image capturing unit 3 may be displayed simultaneously. The user can input an arbitrary threshold value based on the information displayed on the screen.

【0057】図10に示す比較値分布曲線61Aが得ら
れたときは、検査対象である液晶パネル25が画像欠陥
のない良品である場合もあるが、液晶パネル25が画像
欠陥のある不良品である場合であっても、検査すべき欠
陥の種類によっては、例えば、検出領域26および基準
領域27のマトリックスサイズの設定が不適切であるた
めに、検出領域26と基準領域27との比較値(差分)
がその画像欠陥を適切に表す値にならないために、液晶
パネル25に画像欠陥が存在するにもかかわらず、比較
値の値が大きく増加するように分布していない比較値分
布曲線61Aが得られるおそれがある。このような場合
においても画像欠陥を正しく検出することができるよう
にするために、図10に示す比較値分布曲線61Aが得
られたときは、図11に示すユーザ設定画面を表示し、
しきい値入力部16を操作することによってユーザがし
きい値を設定することができるようにしている。
When the comparative value distribution curve 61A shown in FIG. 10 is obtained, the liquid crystal panel 25 to be inspected may be a non-defective product having no image defect, but the liquid crystal panel 25 is a defective product having an image defect. Even in some cases, depending on the type of defect to be inspected, for example, because the matrix size of the detection area 26 and the reference area 27 is inappropriate, the comparison value of the detection area 26 and the reference area 27 ( Difference)
Does not have a value that appropriately represents the image defect, so that the comparison value distribution curve 61A is obtained in which the value of the comparison value is not distributed so as to greatly increase, even though the liquid crystal panel 25 has the image defect. There is a risk. In order to correctly detect the image defect even in such a case, when the comparison value distribution curve 61A shown in FIG. 10 is obtained, the user setting screen shown in FIG. 11 is displayed.
By operating the threshold input unit 16, the user can set the threshold.

【0058】GおよびBの色成分における点欠陥につい
ても、同様にして、しきい値を設定することができる。
For the point defects in the G and B color components, the threshold value can be set in the same manner.

【0059】欠陥の種類に応じて検出領域および基準領
域のマトリックスサイズ等は異なるので、算出される比
較値は欠陥の種類に応じて異なる。例えば、シミ欠陥を
検出するための比較値は、点欠陥を検出するための比較
値よりも10倍程度大きい。この場合、シミ欠陥を検出
するための比較値を1/10倍に正規化して処理し、図
8または図10に示すような点欠陥を検出する検出領域
および基準領域に基づいて算出された比較値のグラフと
同程度の値の比較値を有するグラフとして表示する。線
欠陥、ムラ欠陥を検出するための比較値も同様に、重み
付けした係数を乗算して、正規化して処理し、図8また
は図10に示すようなグラフとして表示する。
Since the matrix sizes of the detection area and the reference area are different depending on the type of defect, the calculated comparison value differs depending on the type of defect. For example, the comparison value for detecting spot defects is about 10 times larger than the comparison value for detecting point defects. In this case, the comparison value for detecting the spot defect is normalized to 1/10 and processed, and the comparison calculated based on the detection region and the reference region for detecting the point defect as shown in FIG. 8 or 10. It is displayed as a graph having a comparative value of the same value as the value graph. Similarly, the comparison values for detecting line defects and uneven defects are multiplied by weighted coefficients, normalized and processed, and displayed as a graph as shown in FIG. 8 or 10.

【0060】以上のように本実施の形態によれば、並べ
替え部10によって並べ替えられたN個の比較値のうち
比較値の値の小さい方からJ番目の比較値と(J+w)
番目の比較値との差分と(Jおよびwは、1≦J≦N−
w、1≦w≦Nをそれぞれ満足する整数)、予め定めら
れたしきい値設定用基準値Sとに基づいて、画像の欠陥
の有無を判定するためのしきい値を設定するしきい値設
定部12を設けているので、表示画像の欠陥を検出する
ためのしきい値を自動的に設定することができる。
As described above, according to the present embodiment, of the N comparison values rearranged by the rearrangement unit 10, the Jth comparison value from the smaller comparison value is (J + w).
The difference from the second comparison value (where J and w are 1 ≦ J ≦ N−
w, an integer that respectively satisfies 1 ≦ w ≦ N), and a threshold value for setting a threshold value for determining the presence or absence of an image defect based on a predetermined threshold value setting reference value S. Since the setting unit 12 is provided, the threshold value for detecting a defect in the display image can be automatically set.

【0061】また、しきい値設定部12は複数種類の画
像の欠陥ごとにしきい値を設定するので、画像の欠陥の
種類に応じて欠陥の有無を最適に判定することができ
る。
Further, since the threshold value setting unit 12 sets a threshold value for each defect of a plurality of types of images, it is possible to optimally determine the presence or absence of a defect according to the type of defect of the image.

【0062】さらに、しきい値設定部12は各色成分ご
とにしきい値を設定するので、各色成分に応じて欠陥の
有無を最適に判定することができる。
Further, since the threshold value setting unit 12 sets a threshold value for each color component, it is possible to optimally determine the presence or absence of a defect according to each color component.

【0063】さらに、画像の欠陥の種類に応じて比較値
を正規化するので、しきい値を容易に比較し、解析する
ことができるとともに、ユーザがしきい値を容易に設定
することができる。
Furthermore, since the comparison value is normalized according to the type of image defect, the threshold values can be easily compared and analyzed, and the user can easily set the threshold value. .

【0064】さらに、しきい値設定部12は、比較値の
値の小さい方からJ番目の比較値と(J+w)番目の比
較値との差分が、予め定められたしきい値設定用基準値
よりも大きいときは、(J+w)番目の比較値を前記し
きい値として設定するので、容易にしきい値を設定する
ことができる。
Further, the threshold value setting unit 12 determines that the difference between the Jth comparison value and the (J + w) th comparison value from the smallest comparison value is a predetermined threshold setting reference value. When it is larger than the threshold value, the (J + w) th comparison value is set as the threshold value, so that the threshold value can be easily set.

【0065】さらに、しきい値設定部12は、J番目の
比較値と(J+w)番目の比較値との差分が、予め定め
られたしきい値設定用基準値よりも大きくないときは、
ユーザによって入力されたデータに基づいてしきい値を
設定するので、比較値が予め想定していた分布モデルに
基づいて分布しているか否かを容易に検証することがで
き、予め想定していた分布モデルに基づいて分布してい
なかったときは、速やかにユーザがしきい値を設定する
ことができる。
Further, when the difference between the Jth comparison value and the (J + w) th comparison value is not larger than the predetermined threshold value setting reference value, the threshold value setting section 12
Since the threshold value is set based on the data input by the user, it is possible to easily verify whether or not the comparison value is distributed based on the distribution model assumed in advance, and it is assumed in advance. When the distribution is not based on the distribution model, the user can quickly set the threshold.

【0066】なお、液晶パネルの表示画面に表示される
画像の欠陥を検出する例を示したが、本発明はこれに限
定されない。出力に均一性が要求される製造物の検査に
対しても本発明を適用することができる。例えば、固体
撮像素子等のように出力に均一性が要求される素子によ
って表示される画像の欠陥の検査、塗装状態の均一性の
検査およびブラウン管に表示される画像の欠陥の検査に
対しても本発明を適用することができる。
Although an example of detecting a defect in an image displayed on the display screen of the liquid crystal panel has been shown, the present invention is not limited to this. The present invention can also be applied to the inspection of products that require uniformity in output. For example, for the inspection of defects in the image displayed by an element such as a solid-state image sensor that requires uniform output, the inspection of the uniformity of the coating state, and the inspection of the defects in the image displayed on the cathode ray tube. The present invention can be applied.

【0067】また、カメラ2にAD変換器4が接続され
ている例を示したが、AD変換器4はカメラ2に内蔵さ
れていてもよい。
Further, although the example in which the AD converter 4 is connected to the camera 2 is shown, the AD converter 4 may be built in the camera 2.

【0068】さらに、AD変換器4によって画像データ
をAD変換した後にRGB分離器6によって画像データ
をR、G、Bの各色成分ごとに分離する例を示したが、
画像データをR、G、Bの各色成分ごとに分離した後
で、AD変換してもよい。
Furthermore, an example has been shown in which the image data is AD-converted by the AD converter 4 and then the image data is separated into R, G, and B color components by the RGB separator 6.
The image data may be AD-converted after being separated for each of the R, G, and B color components.

【0069】[0069]

【発明の効果】以上のように本発明によれば、表示画像
の欠陥を検出するためのしきい値を自動的に設定するこ
とができる画像欠陥検出装置および画像欠陥検出方法を
提供することができる。
As described above, according to the present invention, it is possible to provide an image defect detecting device and an image defect detecting method capable of automatically setting a threshold value for detecting a defect in a display image. it can.

【図面の簡単な説明】[Brief description of drawings]

【図1】実施の形態に係る画像欠陥検出装置のブロック
FIG. 1 is a block diagram of an image defect detection device according to an embodiment.

【図2】実施の形態に係る画像欠陥検出装置を構成する
検査部のブロック図
FIG. 2 is a block diagram of an inspection unit included in the image defect detection device according to the embodiment.

【図3】実施の形態に係る画像欠陥検出装置が検出する
画像欠陥の説明図
FIG. 3 is an explanatory diagram of an image defect detected by the image defect detection device according to the embodiment.

【図4】実施の形態に係る画像欠陥検出方法を示すフロ
ーチャート
FIG. 4 is a flowchart showing an image defect detecting method according to an embodiment.

【図5】実施の形態に係る、点欠陥を検出するための検
出領域と基準領域を撮像領域に設定する方法を説明する
FIG. 5 is a diagram illustrating a method of setting a detection area for detecting a point defect and a reference area as an imaging area according to the embodiment.

【図6】実施の形態に係る、線欠陥を検出するための検
出領域と基準領域を撮像領域に設定する方法を説明する
FIG. 6 is a diagram illustrating a method of setting a detection area for detecting a line defect and a reference area as an imaging area according to the embodiment.

【図7】実施の形態に係る、ムラ欠陥を検出するための
検出領域と基準領域を撮像領域に設定する方法を説明す
る図
FIG. 7 is a diagram illustrating a method of setting a detection area and a reference area for detecting a non-uniformity defect as an imaging area according to the embodiment.

【図8】実施の形態に係る画像欠陥検出装置の並べ替え
部によって並べ替えられた比較値の分布の例を示すグラ
FIG. 8 is a graph showing an example of a distribution of comparison values rearranged by the rearrangement unit of the image defect detection apparatus according to the exemplary embodiment.

【図9】実施の形態に係る画像欠陥検出方法におけるし
きい値設定部の詳細な動作を示すフローチャート
FIG. 9 is a flowchart showing a detailed operation of a threshold value setting unit in the image defect detecting method according to the embodiment.

【図10】実施の形態に係る画像欠陥検出装置の並べ替
え部によって並べ替えられた比較値の分布の他の例を示
すグラフ
FIG. 10 is a graph showing another example of the distribution of comparative values rearranged by the rearrangement unit of the image defect detection device according to the exemplary embodiment.

【図11】実施の形態に係る画像欠陥検出装置のユーザ
設定画面の説明図
FIG. 11 is an explanatory diagram of a user setting screen of the image defect detecting apparatus according to the embodiment.

【符号の説明】[Explanation of symbols]

3 撮像部 10 並べ替え部 12 しきい値設定部 17 領域設定部 19 比較値算出部 20 欠陥検出部 d 差分 S しきい値設定用基準値 3 Imaging unit 10 Sorting section 12 Threshold setting section 17 Area setting section 19 Comparison value calculator 20 Defect detection section d difference Reference value for S threshold setting

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2G086 EE10 5B057 AA01 BA29 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC02 CE16 DA03 DB02 DB06 DB09 DC22 5C061 BB03 BB05 CC05 CC09 EE21 5G435 AA17 AA19 BB12 CC09 KK10 5L096 AA02 AA06 BA03 CA02 EA45 FA17 GA07 GA17 GA40 GA51 LA04    ─────────────────────────────────────────────────── ─── Continued front page    F-term (reference) 2G086 EE10                 5B057 AA01 BA29 CA01 CA08 CA12                       CA16 CB01 CB08 CB12 CB16                       CC02 CE16 DA03 DB02 DB06                       DB09 DC22                 5C061 BB03 BB05 CC05 CC09 EE21                 5G435 AA17 AA19 BB12 CC09 KK10                 5L096 AA02 AA06 BA03 CA02 EA45                       FA17 GA07 GA17 GA40 GA51                       LA04

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 複数の画素によって構成される画像を撮
像する撮像手段と、 該画像の欠陥を検出するためのN個の検出領域と(N
は、2以上の整数)、該N個の検出領域にそれぞれ対応
するN個の基準領域とを該画像に設定する領域設定手段
と、 各検出領域内の複数の画素をそれぞれ表示するための複
数の画素表示データと、各検出領域に対応する基準領域
内の複数の画素をそれぞれ表示するための複数の画素表
示データとに基づいて、各検出領域ごとに比較値をそれ
ぞれ算出する比較値算出手段と、 該比較値算出手段によって算出されたN個の該比較値を
その値の順番に並べ替える並べ替え手段と、 該並べ替え手段によって並べ替えられた該N個の比較値
のうち該比較値の値の小さい方からJ番目の比較値と
(J+w)番目の比較値との差分と(Jおよびwは、1
≦J≦N−w、1≦w≦Nをそれぞれ満足する整数)、
予め定められたしきい値設定用基準値とに基づいて、該
画像の欠陥の有無を判定するためのしきい値を設定する
しきい値設定手段と、 該しきい値と該N個の比較値とに基づいて、該画像の欠
陥を検出する欠陥検出手段とを具備することを特徴とす
る画像欠陥検出装置。
1. An image pickup unit for picking up an image composed of a plurality of pixels, and N detection regions for detecting defects in the image (N
Is an integer of 2 or more), area setting means for setting N reference areas respectively corresponding to the N detection areas in the image, and a plurality of pixels for displaying a plurality of pixels in each detection area. Comparison value calculating means for calculating a comparison value for each detection region based on the pixel display data of 10 and a plurality of pixel display data for displaying a plurality of pixels in the reference region corresponding to each detection region. A rearrangement means for rearranging the N comparison values calculated by the comparison value calculation means in the order of the values, and the comparison value among the N comparison values rearranged by the rearrangement means. The difference between the Jth comparison value and the (J + w) th comparison value from the smallest value of
≦ J ≦ N−w, integers that respectively satisfy 1 ≦ w ≦ N),
Threshold setting means for setting a threshold for determining the presence or absence of a defect in the image based on a predetermined threshold setting reference value, and comparing the threshold with the N pieces An image defect detecting apparatus, comprising: a defect detecting unit that detects a defect in the image based on the value.
【請求項2】 前記並べ替え手段は、前記N個の比較値
を昇順に並べ替える、請求項1記載の画像欠陥検出装
置。
2. The image defect detection device according to claim 1, wherein the rearrangement unit rearranges the N comparison values in ascending order.
【請求項3】 前記しきい値設定手段は、前記比較値の
値の小さい方からJ番目の比較値と(J+w)番目の比
較値との差分が、前記予め定められたしきい値設定用基
準値よりも大きいときは、該(J+w)番目の比較値を
前記しきい値として設定する、請求項1記載の画像欠陥
検出装置。
3. The threshold value setting means sets the difference between the Jth comparison value and the (J + w) th comparison value from the smallest comparison value for the predetermined threshold value setting. The image defect detection apparatus according to claim 1, wherein the (J + w) th comparison value is set as the threshold value when it is larger than a reference value.
【請求項4】 前記並べ替え手段は、前記J番目の比較
値と(J+w)番目の比較値との差分が、前記予め定め
られたしきい値設定用基準値よりも大きくないときは、
ユーザによって入力されたデータに基づいて前記しきい
値を設定する、請求項1記載の画像欠陥検出装置。
4. The rearranging means, when the difference between the J-th comparison value and the (J + w) -th comparison value is not larger than the predetermined threshold setting reference value,
The image defect detection device according to claim 1, wherein the threshold value is set based on data input by a user.
【請求項5】 前記画像欠陥検出装置は、複数種類の画
像の欠陥を検出し、 前記領域設定手段は、前記N個の検出領域と前記N個の
基準領域とを前記複数種類の画像の欠陥ごとに設定し、 前記比較値算出手段は、前記N個の比較値を前記複数種
類の画像の欠陥ごとに算出し、 前記並べ替え手段は、前記N個の比較値を前記複数種類
の画像の欠陥ごとに並べ替え、 前記しきい値設定手段は、前記しきい値を前記複数種類
の画像の欠陥ごとに設定し、 前記欠陥検出手段は、前記複数種類の画像の欠陥ごとに
設定されたしきい値と、該複数種類の画像の欠陥ごとに
算出されたN個の比較値とに基づいて、前記画像の欠陥
を該複数種類の画像の欠陥ごとに検出する、請求項1記
載の画像欠陥検出装置。
5. The image defect detection device detects defects in a plurality of types of images, and the region setting unit sets the N detection regions and the N reference regions to defects in the plurality of types of images. The comparison value calculation unit calculates the N comparison values for each defect of the plurality of types of images, and the rearrangement unit sets the N comparison values of the plurality of types of images. Sorting for each defect, the threshold value setting unit sets the threshold value for each defect of the plurality of types of images, and the defect detection unit is set for each defect of the plurality of types of images. The image defect according to claim 1, wherein a defect in the image is detected for each defect in the plurality of types of images based on a threshold value and N comparison values calculated for each defect in the plurality of types of images. Detection device.
【請求項6】 前記複数種類の画像の欠陥は、点欠陥と
シミ欠陥と線欠陥とムラ欠陥とを含んでいる、請求項5
記載の画像欠陥検出装置。
6. The defect of the plurality of types of images includes a point defect, a spot defect, a line defect, and an uneven defect.
The image defect detection device described.
【請求項7】 前記画像は、色相系(赤、緑および青
等)の色成分を有しており、 前記比較値算出手段は、各色成分ごとに前記N個の比較
値を算出し、 前記並べ替え手段は、各色成分ごとに該N個の比較値を
並べ替え、 前記しきい値設定手段は、各色成分ごとに前記しきい値
を設定し、 前記欠陥検出手段は、各色成分ごとに前記画像の欠陥を
検出する、請求項1記載の画像欠陥検出装置。
7. The image has color components of a hue system (red, green, blue, etc.), and the comparison value calculation means calculates the N comparison values for each color component, The sorting means sorts the N comparison values for each color component, the threshold setting means sets the threshold value for each color component, and the defect detecting means sets the threshold value for each color component. The image defect detection device according to claim 1, which detects an image defect.
【請求項8】 複数の画素によって構成される画像を撮
像する撮像工程と、 該画像の欠陥を検出するためのN個の検出領域と(N
は、2以上の整数)、該N個の検出領域にそれぞれ対応
するN個の基準領域とを設定する領域設定工程と、 各検出対象領域内の複数の画素をそれぞれ表示するため
の複数の画素表示データと、各検出対象領域に対応する
基準領域内の複数の画素をそれぞれ表示するための複数
の画素表示データとに基づいて、各検出領域ごとに比較
値をそれぞれ算出する比較値算出工程と、 該比較値算出工程によって算出されたN個の該比較値を
該N個の比較値の値の順番に並べ替える並べ替え工程
と、 該並べ替え工程によって並べ替えられた該N個の比較値
のうち該比較値の値の小さい方からJ番目の比較値と
(J+w)番目の比較値との差分と(Jおよびwは、1
≦J≦N−w、1≦w≦Nをそれぞれ満足する整数)、
予め定められたしきい値設定用基準値とに基づいて、該
画像の欠陥の有無を判定するためのしきい値を設定する
しきい値設定工程と、 該しきい値設定工程によって設定された該しきい値と該
比較値算出工程によって算出された該N個の比較値とに
基づいて、該画像の欠陥を検出する欠陥検出工程とを包
含することを特徴とする画像欠陥検出方法。
8. An imaging process for imaging an image composed of a plurality of pixels, and N detection regions for detecting defects in the image (N
Is an integer of 2 or more), an area setting step of setting N reference areas corresponding to the N detection areas, and a plurality of pixels for displaying a plurality of pixels in each detection target area. Based on the display data and a plurality of pixel display data for displaying each of a plurality of pixels in the reference area corresponding to each detection target area, a comparison value calculating step of calculating a comparison value for each detection area, and A rearrangement step of rearranging the N comparison values calculated by the comparison value calculation step in the order of the values of the N comparison values; and the N comparison values rearranged by the rearrangement step. The difference between the J-th comparison value and the (J + w) -th comparison value from the smaller one of the comparison values (J and w are 1
≦ J ≦ N−w, integers that respectively satisfy 1 ≦ w ≦ N),
A threshold value setting step of setting a threshold value for determining the presence or absence of a defect in the image based on a predetermined threshold value setting reference value; and the threshold value setting step. An image defect detecting method comprising: a defect detecting step of detecting a defect in the image based on the threshold value and the N comparison values calculated by the comparison value calculating step.
JP2001380697A 2001-12-13 2001-12-13 Image defect detection apparatus and image defect detection method Expired - Fee Related JP3985891B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001380697A JP3985891B2 (en) 2001-12-13 2001-12-13 Image defect detection apparatus and image defect detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001380697A JP3985891B2 (en) 2001-12-13 2001-12-13 Image defect detection apparatus and image defect detection method

Publications (2)

Publication Number Publication Date
JP2003187222A true JP2003187222A (en) 2003-07-04
JP3985891B2 JP3985891B2 (en) 2007-10-03

Family

ID=27591642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001380697A Expired - Fee Related JP3985891B2 (en) 2001-12-13 2001-12-13 Image defect detection apparatus and image defect detection method

Country Status (1)

Country Link
JP (1) JP3985891B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208264A (en) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd Control device, control method, and control program for image forming apparatus or inspecting device
US9429779B2 (en) 2014-08-19 2016-08-30 Samsung Electronics Co., Ltd. Electro-optic modulator including composite materials and testing apparatus including the same
JP2021122009A (en) * 2013-02-18 2021-08-26 カティーバ, インコーポレイテッド Technique for measuring droplet of printing ink and controlling deposition of fluid within precise tolerance

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005208264A (en) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd Control device, control method, and control program for image forming apparatus or inspecting device
JP2021122009A (en) * 2013-02-18 2021-08-26 カティーバ, インコーポレイテッド Technique for measuring droplet of printing ink and controlling deposition of fluid within precise tolerance
JP2023038215A (en) * 2013-02-18 2023-03-16 カティーバ, インコーポレイテッド Systems, devices, and methods for quality assessment of oled stack films
JP7562162B2 (en) 2013-02-18 2024-10-07 カティーバ, インコーポレイテッド Systems, devices and methods for quality assessment of OLED stack films
US9429779B2 (en) 2014-08-19 2016-08-30 Samsung Electronics Co., Ltd. Electro-optic modulator including composite materials and testing apparatus including the same

Also Published As

Publication number Publication date
JP3985891B2 (en) 2007-10-03

Similar Documents

Publication Publication Date Title
JP3583684B2 (en) Image defect detection apparatus and image defect detection method
US5966458A (en) Display screen inspection method
JP4143660B2 (en) Image analysis method, image analysis apparatus, inspection apparatus, image analysis program, and computer-readable recording medium
US8810696B2 (en) Blemish detection method
JPH09101236A (en) Method and apparatus for detecting defect of display
JP2003187222A (en) Image defect detector and image defect detection method
JP2005164565A (en) Defect detection method for flat panel light- related plate element in low and high resolution images
JP4664417B2 (en) Display panel lighting inspection device and display panel lighting inspection method.
JPH11257937A (en) Defect inspecting method
US6771804B1 (en) Method and apparatus for signal segmentation
JP2005309651A (en) Shading processor and shading processing method for imaging element and imaging device
JP3127598B2 (en) Method for extracting density-varying constituent pixels in image and method for determining density-fluctuation block
JPH08145907A (en) Inspection equipment of defect
JP2006133055A (en) Unevenness defect detection method and device, spatial filter, unevenness defect inspection system, and program for unevenness defect detection method
JP2004219176A (en) Method and apparatus for detecting pixel irregulality failing
US7330580B2 (en) System and method for inspecting an LCD panel
JPH08327497A (en) Method for inspecting color liquid crystal display panel
JPH07230546A (en) Image processor and its method
US20140118389A1 (en) Character region pixel identification device and method thereof
JP2004170109A (en) Apparatus and method for inspecting irregular color
JPH0735699A (en) Method and apparatus for detecting surface defect
JPH09161066A (en) Image processor
JP2007198831A (en) Image data processing method and program
JPH07122193A (en) Method and device for detecting defect
JPH07162762A (en) Threshold value calculation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070418

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110720

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110720

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120720

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees