JP6208426B2 - Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display - Google Patents
Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display Download PDFInfo
- Publication number
- JP6208426B2 JP6208426B2 JP2012275261A JP2012275261A JP6208426B2 JP 6208426 B2 JP6208426 B2 JP 6208426B2 JP 2012275261 A JP2012275261 A JP 2012275261A JP 2012275261 A JP2012275261 A JP 2012275261A JP 6208426 B2 JP6208426 B2 JP 6208426B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- flat panel
- unevenness
- panel display
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
Description
本発明は、フラットパネルディスプレイの製造工程で生じる輝度や色の不均一性(ムラ)を、画像データに基づく演算処理を行うことで自動検出するためのフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法に関する。 The present invention relates to a flat panel display automatic unevenness detection apparatus and automatic unevenness for automatically detecting luminance and color non-uniformity (unevenness) generated in a flat panel display manufacturing process by performing arithmetic processing based on image data. It relates to a detection method.
近年、様々な種類のフラットパネルディスプレイが開発され、製品化されている。このようなフラットパネルディスプレイの画質を低下させる欠陥の一つとして、輝度や色の不均一性(ムラ)がある。 In recent years, various types of flat panel displays have been developed and commercialized. One of the defects that degrade the image quality of such flat panel displays is luminance and color non-uniformity (unevenness).
生産現場におけるムラの検査は、従来、検査員により目視で行われていた。しかしながら、多くの時間、検査人員、費用が必要とされるため、検査の自動化が望まれており、一部自動化が進んでいる。 Conventionally, inspection of unevenness at a production site has been visually performed by an inspector. However, since much time, inspection personnel, and cost are required, automation of inspection is desired, and some automation is progressing.
このような自動化の方法の一例として、発光したフラットパネルをカメラで撮影し、画像処理によってムラの検出を行う技術が開発され、検査工程において利用されるようになってきている(例えば、非特許文献1参照)。 As an example of such an automation method, a technique for photographing an emitted flat panel with a camera and detecting unevenness by image processing has been developed and is used in an inspection process (for example, non-patented). Reference 1).
しかしながら、従来技術には、以下のような課題がある。
このような自動検査は、まだまだ性能は十分でなく、特定の点欠陥や線欠陥以外の様々な欠陥に対応できるものではなかった。
However, the prior art has the following problems.
Such automatic inspection is still insufficient in performance and cannot cope with various defects other than specific point defects and line defects.
従来の画像処理による欠陥検査の一般的な流れは、大別すると、以下の3つの部分に分けられる。
(1)前処理部(フィルタ等によるノイズ除去、画素構造除去、背景画像予測除去等)
(2)欠陥候補抽出部(欠陥に係わる特徴量を計算、2値化、ラベリングすることで、候補を抽出)
(3)判定部(経験に基づいた判断ルールで欠陥部分を特定、表示)
The general flow of defect inspection by conventional image processing is roughly divided into the following three parts.
(1) Pre-processing unit (noise removal by filters, pixel structure removal, background image prediction removal, etc.)
(2) Defect candidate extraction section (candidates are extracted by calculating feature values related to defects, binarizing, and labeling)
(3) Judgment part (determining and displaying defective parts with judgment rules based on experience)
それぞれの画像処理部分では、検出対象となる欠陥の種類や撮影環境などに応じた複数の異なる処理が採用されるが、概ね複雑な処理になることが多く、安定的に検出性能が得られるとはいえなかった。 In each image processing part, a plurality of different processes are adopted depending on the type of defect to be detected and the shooting environment, etc., but in many cases, the process is generally complicated, and detection performance can be obtained stably. I could not say.
ここで、具体的に、前処理部において生じる問題について説明する。フラットパネルディスプレイの欠陥は、輝度(明暗)の微妙な変化となって見えることが多い。しかしながら、フラットパネルディスプレイは、固定画素構造のパネルであるため、画素単位の構造がカメラ撮影による画像に明暗として写り、そのままでは、フラットパネルディスプレイの欠陥を検出する妨げになることがある。 Here, the problem which arises in a pre-processing part is demonstrated concretely. Flat panel display defects often appear as subtle changes in brightness (brightness). However, since the flat panel display is a panel having a fixed pixel structure, the structure of the pixel unit is reflected in an image captured by the camera as light and dark, and as it is, it may hinder detection of a defect of the flat panel display.
問題を避けるためには、所定の帯域を通過するフィルタをかけることで、画素構造を見えなくし、ディスプレイの各画素に表示された明暗情報のみを取り出すことを行わなければならない。しかしながら、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという新たな問題が生じる。 In order to avoid the problem, it is necessary to make the pixel structure invisible by applying a filter that passes a predetermined band, and to extract only the light / dark information displayed in each pixel of the display. However, by applying the filter, the characteristic of the defect that should be detected is blurred, and a new problem that subsequent defect detection processing becomes difficult occurs.
また、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題も誘発する。 Further, it is necessary to finely adjust the characteristics of the band-pass filter and the subsequent defect detection processing algorithm depending on the type of defect to be detected and the type of panel, and this causes a problem that the number of work processes increases.
また、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、ムラ部分の強調とともに、ノイズと分離し、ある閾値で2値化することで、ムラの検出を行うことが考えられる。しかしながら、このような検出に当たっては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。 Further, the background image is predicted by a low-pass filter or the like having a large filter size and subtracted from the input image, thereby emphasizing the uneven portion, separating it from noise, and detecting the unevenness by binarizing with a certain threshold value. It is possible. However, in such a detection, unless the filter size is increased to realize a sufficient low-pass effect, the unevenness detection performance is affected. For this reason, the burden of hardware increases and the problem that the processing time of software becomes long also arises, and the influence on the cost increase of the flat panel display which is a final product arises.
本発明は、前記のような課題を解決するためになされたものであり、フラットパネルディスプレイの検査工程において、画像処理により不均一性(ムラ)領域を自動検出する際に、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることを目的とする。 The present invention has been made to solve the above-described problems, and in the inspection process of a flat panel display, labor saving of the inspection process can be achieved when automatically detecting a non-uniformity (unevenness) region by image processing. An object of the present invention is to obtain a flat panel display automatic unevenness detecting apparatus and automatic unevenness detecting method capable of increasing the speed and reducing the cost of a flat panel display as a final product.
本発明に係るフラットパネルディスプレイの自動ムラ検出装置は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、スポット状の欠陥があるムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出装置であって、前処理部は、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力し、欠陥候補抽出部は、前処理部の出力画像に対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出し、前処理部の出力画像と中央値とを画素単位で比較し、中央値より出力画素が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された中央値を用いて適応的に2値化することで、ムラ候補領域となる適応2値化画像を生成し、適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出し、抽出した閉領域をラベリングすることで、ムラ候補領域をさらに絞り込み、後段に出力するものである。 An automatic unevenness detection apparatus for a flat panel display according to the present invention captures an image of a light emission state of a flat panel display captured by a camera as an input image, and performs preprocessing on the input image. By performing image processing by a defect candidate extraction unit that performs extraction processing of the unevenness candidate region on the output image and a determination unit that performs authenticity determination of the unevenness candidate region extracted by the defect candidate extraction unit, An automatic unevenness detection device for a flat panel display that determines the presence or absence of a defective uneven region, wherein the preprocessing unit is captured by the camera without removing the influence of the pixel structure of the flat panel display from the input image Input using a Gaussian filter configured as a size to remove camera noise in the image Camera noise is removed from the image, and outputs the defect candidate extracting unit in the subsequent stage, the defect candidate extracting unit, a process of calculating the maximum and minimum values for the output image of the pre-processing unit in the target blocks of a predetermined size This is executed while moving the block of interest for each pixel, and a local median value = (maximum value + minimum value) / 2 is calculated for each pixel, and the output image and median value of the preprocessing unit are calculated in pixel units. Comparing and binarizing adaptively using the median value calculated locally for each pixel so that the output pixel is 1 (white) when the output pixel is larger than the median, and 0 (black) otherwise. By doing so, an adaptive binarized image that becomes a non-uniformity candidate region is generated, and black / white reversal processing is executed on the adaptive binarized image after expansion / contraction processing, or contraction / expansion processing is executed after black / white reversal processing After removing isolated points and connecting regions, By extracting the frequency, labeling the extracted closed regions, further refine unevenness candidate region, and outputs to the subsequent stage.
また、本発明に係る本発明に係るフラットパネルディスプレイの自動ムラ検出方法は、カメラにより撮像されたフラットパネルディスプレイの発光状態の画像を入力画像として取り込み、入力画像に対して前処理を行う前処理部、前処理部の出力画像に対してムラ候補領域の抽出処理を行う欠陥候補抽出部、および欠陥候補抽出部により抽出されたムラ候補領域の真偽判定を行う判定部とによる画像処理を施すことで、スポット状の欠陥があるムラ領域の有無を判定するフラットパネルディスプレイの自動ムラ検出方法であって、前処理部において、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去することなく、カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて入力画像からカメラノイズを除去し、後段の欠陥候補抽出部に出力するステップと、欠陥候補抽出部において、前処理部の出力画像に対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出するステップと、前処理部の出力画像と中央値とを画素単位で比較し、中央値より出力画素が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された中央値を用いて適応的に2値化することで、ムラ候補領域となる適応2値化画像を生成するステップと、適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出するステップと、抽出した閉領域をラベリングすることで、ムラ候補領域をさらに絞り込み、後段に出力するステップとを備えるものである。 Also, the flat panel display automatic unevenness detection method according to the present invention according to the present invention is a preprocessing that takes an image of a light emission state of a flat panel display captured by a camera as an input image and performs preprocessing on the input image. Image processing by the defect candidate extraction unit that performs the extraction process of the unevenness candidate region on the output image of the image processing unit and the preprocessing unit, and the determination unit that determines the authenticity of the unevenness candidate region extracted by the defect candidate extraction unit Thus, an automatic unevenness detection method for a flat panel display that determines the presence or absence of uneven areas with spot-like defects, without removing the influence of the pixel structure of the flat panel display from the input image in the preprocessing unit Gauss configured as a size to remove camera noise contained in images taken by the camera Using down filter camera noise removal from the input image, and outputting the defect candidate extracting unit in the subsequent stage, the defect candidate extracting unit, the maximum value for the output image of the pre-processing unit in the target blocks of a predetermined size And a process of calculating the minimum value while moving the block of interest for each pixel, calculating a local median value = (maximum value + minimum value) / 2 for each pixel, The center calculated locally for each pixel so that the output image and the median are compared in units of pixels, and the output pixel is 1 (white) when the output pixel is larger than the median, and 0 (black) otherwise. Adaptively binarizing using the values to generate an adaptive binarized image that becomes a non-uniformity candidate region, and executing black and white inversion processing on the adaptive binarized image after expansion / contraction processing; Or shrink / After performing isolated point removal and region linking by executing a stretching process, a step of extracting a white closed region, and a step of further narrowing down the non-uniformity candidate region by labeling the extracted closed region and outputting to the subsequent stage Are provided.
本発明によれば、フラットパネルディスプレイが有する画素構造の影響を入力画像から除去する処理、および背景ノイズを除去する処理を不要とすることで前処理部を大幅にカットし、欠陥候補抽出部で画素構造を積極的に利用した適応2値化手法を採用することにより、検査工程の省力化、高速化を図り、最終製品であるフラットパネルディスプレイのコストダウンを達成することのできるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。 According to the present invention, the processing for removing the influence of the pixel structure of the flat panel display from the input image and the processing for removing the background noise are eliminated, so that the preprocessing unit is largely cut, and the defect candidate extracting unit By adopting an adaptive binarization method that actively uses the pixel structure, a flat panel display that can save labor and speed up the inspection process and reduce the cost of the final flat panel display. An automatic unevenness detection apparatus and an automatic unevenness detection method can be obtained.
以下、本発明のフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法の好適な実施の形態につき図面を用いて説明する。
なお、本願発明は、任意のパターンで発光したフラットパネルディスプレイのカメラ撮像画像をコンピュータに取り込み、画像処理によって自動的にムラを検出する手法において、以下のような手段を有することを技術的特徴とするものである。
(特徴1)局所的に最大値および最小値を検出し、検出した最大値および最小値からその中央値を閾値として算出する手段
(特徴2)入力画像に対して、中央値を閾値として適応的に2値化する手段
Hereinafter, preferred embodiments of an automatic unevenness detection apparatus and automatic unevenness detection method for a flat panel display according to the present invention will be described with reference to the drawings.
The invention of the present application is characterized by having the following means in a method for capturing a camera-captured image of a flat panel display that emits light in an arbitrary pattern into a computer and automatically detecting unevenness by image processing. To do.
(Feature 1) Means for locally detecting the maximum value and minimum value and calculating the median value from the detected maximum value and minimum value as a threshold value (Feature 2) Adaptive to the input image using the median value as a threshold value To binarize
さらに、以下の技術的特徴を有することもできる。
(特徴3)適応2値化画像に対してクロージング処理やオープニング処理を行うことにより、微妙な変化が強調されて、不均一性(ムラ)部分を可視化し、閉領域をラベリング処理後、適当な閾値処理でムラ部分の判定を行う手段
Furthermore, it can have the following technical features.
(Characteristic 3) By performing the closing process and the opening process on the adaptive binarized image, the subtle changes are emphasized, the non-uniformity (unevenness) part is visualized, the closed region is labeled, Means for determining unevenness by threshold processing
実施の形態1.
図1は、本発明の実施の形態1におけるフラットパネルディスプレイの自動ムラ検出装置の全体構成図である。図1に示した本実施の形態1におけるフラットパネルディスプレイの自動ムラ検出装置は、カメラ10、画像処理部20、および表示部30を備えて構成され、検査対象であるフラットパネルディスプレイ(以下、「検査パネル1」と称す)の自動ムラ検出を行う。
FIG. 1 is an overall configuration diagram of an automatic unevenness detection apparatus for a flat panel display according to
画像処理部20は、カメラ10で撮像された検査パネル1の発光状態に対して画像処理を施すことで、ムラが発生している領域を特定し、表示部30に特定した場所を表示させることができる。そして、この画像処理部20は、前処理部21、欠陥候補抽出部22、および判定部23を備えて構成されている。
The
前処理部21は、後段の欠陥候補抽出部22による処理を行うために、カメラ10で撮像された画像の補正処理を行う部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・拡大/縮小処理
・幾何学的補正
・シェーディング補正
・ノイズ除去(平滑化フィルタ、メディアンフィルタ等)
・背景画像予測除去
The pre-processing unit 21 is a part that performs correction processing on an image captured by the
-Enlargement / reduction processing-Geometric correction-Shading correction-Noise removal (smoothing filter, median filter, etc.)
・ Background image prediction removal
また、欠陥候補抽出部22は、前処理部21を経た画像に対して、ムラに相当する欠陥部分の候補領域を抽出する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・エンハンス処理
・エッジ検出(ラプラシアンフィルタ、ソーベルフィルタ等)
・第1の特徴量計算
・2値化
・孤立点除去
・膨張/収縮処理
・ラベリング
Further, the defect
・ Enhancement processing ・ Edge detection (Laplacian filter, Sobel filter, etc.)
-First feature value calculation-Binarization-Isolated point removal-Expansion / contraction processing-Labeling
さらに、判定部23は、欠陥候補抽出部22により抽出された候補領域について、ムラであるか否かを最終判断する部分であり、具体的な処理例としては、以下のようなものが挙げられる。
・第2の特徴量計算
・識別(閾値判定、分類等)
Furthermore, the
・ Second feature amount calculation ・ Identification (threshold judgment, classification, etc.)
次に、フローチャートおよび説明図を用いて、本実施の形態1における自動ムラ検出方法について具体的に説明する。図2、図3は、本発明の実施の形態1における画像処理部20による一連処理を示したフローチャートである。また、図4は、本発明の実施の形態1における画像処理部20による具体的な処理画像を示した説明図である。さらに、図5は、従来の画像処理部による一連処理を示したフローチャートである。
Next, the automatic unevenness detection method according to the first embodiment will be specifically described with reference to a flowchart and an explanatory diagram. 2 and 3 are flowcharts showing a series of processes performed by the
まず始めに、図2のフローチャートと図4の説明図を用いて、本実施の形態1における自動ムラ検出方法について具体的に説明する。ステップS201において、カメラ10により撮影された検査パネル1の画像が、前処理部21に入力画像(図4(a)参照)として入力される。前処理部21は、詳細を図示しないが、入力画像に対してカメラノイズ除去を施した後の画像を生成する。ここでは、カメラ撮影画像の微小なノイズを取ることが目的なので、フィルタのサイズの小さい、簡単なガウシャンフィルタ等で構成できる。
First, the automatic unevenness detection method according to the first embodiment will be specifically described with reference to the flowchart of FIG. 2 and the explanatory diagram of FIG. In step S <b> 201, the image of the
次に、ステップS211およびステップS212において、欠陥候補抽出部22は、前処理部21により生成されたカメラノイズ除去後の画像に対して、最大値検出処理および最小値検出処理を実行する。
Next, in step S <b> 211 and step S <b> 212, the defect
欠陥候補抽出部22は、最大値検出処理および最小値検出処理においては、所定サイズのブロック単位の画素データ中から最大値および最小値を検出し、画素単位で所定サイズのブロックを移動させながら、局所的な最大値および最小値を順次算出する。
In the maximum value detection process and the minimum value detection process, the defect
さらに、ステップS213において、欠陥候補抽出部22は、ステップS211で検出された最大値とステップS212で検出された最小値に基づいて、下式(1)により、各画素の中央値を算出する。
中央値=(最大値+最小値)/2 (1)
Further, in step S213, the defect
Median = (maximum value + minimum value) / 2 (1)
ここで、2で割る演算は、ビットシフトで実現できるため、回路要素の増大にはならない。 Here, since the operation of dividing by 2 can be realized by bit shift, the circuit elements do not increase.
次に、ステップS214において、欠陥候補抽出部22は、前処理部21により生成されたカメラノイズ除去後の画像の各画素に対して、ステップS213で算出された中央値との比較を行うことで、白(1)と黒(0)に2値化された適応2値化画像を生成する(図4(b)参照)。より具体的には、各画素において、中央値よりも大きい入力画素は1(白)、そうでない入力画像は0(黒)に2値化されることで、適応2値化画像が生成される。
Next, in step S214, the defect
図4(b)に示した適応2値化画像と、図4(c)に示した入力画像の拡大画像との比較からわかるように、パネルの欠陥のある部分とない部分で、白と黒の分布に差が出ている。すなわち、適応2値化画像において、拡大画像中でスポット状の欠陥がある部分に対応するところで、黒い部分が多くなっている。 As can be seen from a comparison between the adaptive binarized image shown in FIG. 4B and the enlarged image of the input image shown in FIG. 4C, white and black in the defective portion and the non-defective portion of the panel. There is a difference in the distribution of. That is, in the adaptive binarized image, there are many black portions corresponding to portions having spot-like defects in the enlarged image.
このような分布をより強調するために、次のステップS215において、欠陥候補抽出部22は、クロージング(白の部分を膨張させた後、収縮させる)処理を行い、クロージング処理後の画像を生成する(図4(d)参照)。このようなクロージング処理を行うことで、白の部分は連結され、黒の部分の隙間が見えてくる。
In order to further emphasize such distribution, in the next step S215, the defect
さらに、ステップS216において、欠陥候補抽出部22は、白黒反転処理を行うことで、欠陥部に対応するところが白の閉領域として識別される白黒反転画像を生成する(図4(e)参照)。そして、欠陥候補抽出部22は、ステップS217において、白黒反転画像の中から白の閉領域を抽出し、続くステップS218において、抽出した閉領域のラベリング処理を行い、欠陥候補画像を生成する(図4(f)参照)。
Further, in step S216, the defect
なお、図2に示したフローチャートでは、適応2値化画像に対してクロージング処理を実行することで、最終的に欠陥候補画像を生成する場合を説明した。しかしながら、本発明は、このような処理に限定されず、クロージング処理の代わりにオープニング処理を施すことによっても同様の効果を得ることができ、この一連処理を示したものが、図3のフローチャートに相当する。 In the flowchart shown in FIG. 2, a case has been described in which a defect candidate image is finally generated by executing a closing process on an adaptive binarized image. However, the present invention is not limited to such a process, and the same effect can be obtained by performing an opening process instead of the closing process. This series of processes is shown in the flowchart of FIG. Equivalent to.
図3のフローチャートにおいては、図2のフローチャートにおけるステップS215のクロージング処理およびステップS216の白黒反転処理の代わりに、ステップS315の白黒反転処理およびステップS316のオープニング処理が用いられている点が異なっている。 The flowchart of FIG. 3 is different from the flowchart of FIG. 2 in that instead of the closing process in step S215 and the black and white inversion process in step S216, the black and white inversion process in step S315 and the opening process in step S316 are used. .
すなわち、オープニング処理を施す場合には、欠陥候補抽出部22は、先に、ステップS315において、白黒反転処理を行うことで、欠陥部に対応するところが白の閉領域として識別されるようにしておく。その後、ステップS316において、欠陥候補抽出部22は、オープニング(白の部分を収縮させた後、膨張させる)処理を行い、オープニング処理後の画像を生成する。
That is, when performing the opening process, the defect
このようなオープニング処理を行うことによっても、先のクロージング処理を行った場合と同等の画像を得ることができる。 By performing such an opening process, an image equivalent to the case where the previous closing process is performed can be obtained.
そして、最後に、ステップS221において、判定部23は、図2あるいは図3のステップS218で生成された画像に関し、経験に基づいた判断ルールで欠陥部分およびその属性を特定し、結果を表示部30に表示する。
Finally, in step S221, the
より具体的には、判定部23は、ステップS218により特定された不均一性(ムラ)領域候補の各領域内で、輝度値やコントラスト比やSEMU値等のパラメータを演算する(ここで、「SEMU」とは、SEMI(Semiconductor Equipment and Materials International)において、ムラの測定単位として定義されたものであり、「SEMI MURA」の略称に相当する)。さらに、判定部23は、ステップS218で生成された欠陥候補画像を表示部30に表示させるとともに、演算で求めた各パラメータを各候補領域に対応させて表示させることができる。
More specifically, the
この結果、検査者は、表示内容に基づいた総合的な判断をすることで、不均一性(ムラ)領域の真偽判定を行うことができる。また、検査者の経験に基づいて、各パラメータからムラの発生の有無を判定するための評価値をあらかじめ設定しておくことで、判定部23は、演算で求めた各パラメータを各評価値と比較することによって、自動ムラ判定を行うことも可能である。
As a result, the inspector can make a true / false determination of the non-uniformity (unevenness) region by making a comprehensive determination based on the display content. Further, by setting in advance an evaluation value for determining whether or not unevenness has occurred from each parameter based on the experience of the inspector, the
図5は、従来の画像処理部による一連処理を示したフローチャートであり、図2あるいは図3に示した本実施の形態1の画像処理部による一連処理を示したフローチャートとの対比を説明する。図5に示したように、従来技術における前処理部21は、固定画素構造を有するフラットパネルディスプレイの画素単位の構造がカメラ撮影による画像に明暗として写るため、所定の帯域を通過させるフィルタリング処理により、画素構造を除去していた(図5のステップS502参照)。 FIG. 5 is a flowchart showing a series of processing by the conventional image processing unit, and a comparison with the flowchart showing the series of processing by the image processing unit of the first embodiment shown in FIG. 2 or 3 will be described. As shown in FIG. 5, the pre-processing unit 21 in the prior art performs a filtering process that passes a predetermined band because the pixel unit structure of a flat panel display having a fixed pixel structure is reflected as light and dark in an image captured by a camera. The pixel structure has been removed (see step S502 in FIG. 5).
さらに、フィルタサイズの大きいローパスフィルタなどで背景画像予測を行い、入力画像から減算することで、背景ノイズを除去していた(図5のステップS503、S504参照)。 Further, background noise is removed by performing background image prediction using a low-pass filter or the like having a large filter size and subtracting from the input image (see steps S503 and S504 in FIG. 5).
しかしながら、発明が解決しようとする課題として上述したように、ステップS502において、フィルタをかけることによって、本来検出すべき欠陥の特徴をもなまらせてしまうことになり、以降の欠陥検出処理が難しくなるという問題が生じていた。さらに、検出対象となる欠陥の種類やパネルの種類によって、帯域通過フィルタの特性や以降の欠陥検出処理アルゴリズムを微妙に調整する必要があり、さらに作業工程が増えるという問題もあった。 However, as described above as the problem to be solved by the invention, the filtering in step S502 causes the characteristics of the defect to be detected to be blurred, and the subsequent defect detection process becomes difficult. There was a problem. Furthermore, depending on the type of defect to be detected and the type of panel, it is necessary to finely adjust the characteristics of the band-pass filter and the subsequent defect detection processing algorithm, which further increases the number of work steps.
また、ステップS503におけるフィルタ処理においては、フィルタのサイズを大きくして十分なローパス効果を実現しないと、ムラの検出性能に影響することとなる。このため、ハードウェアの負担が増大するとともに、ソフトウェアの処理時間が長くなるという問題も生じ、最終製品であるフラットパネルディスプレイのコスト高への影響が生じる。 Further, in the filter processing in step S503, unless the filter size is increased to realize a sufficient low-pass effect, the unevenness detection performance is affected. For this reason, the burden of hardware increases and the problem that the processing time of software becomes long also arises, and the influence on the cost increase of the flat panel display which is a final product arises.
これに対して、本実施の形態1における画像処理部20は、画素構造の除去処理、背景画像予測処理、および差分画像処理を前処理部21によって行うことなく、欠陥候補抽出部22において、パネルの画素構造を積極的に利用して、適応2値化処理による簡単なロジックおよびハードウェアで欠陥部分の特徴を抽出している。さらに、オープニング/クロージング処理、およびラベリング処理による簡単なロジックおよびハードウェアで、欠陥部分の特徴をより高精度に抽出している。
In contrast, the
この結果、高速に、本来の欠陥を高精度に抽出することができ、検査工程の省力化、高速化を実現することで、最終製品であるフラットパネルディスプレイのコストダウンを達成することができる。なお、本実施の形態1における自動ムラ検出方法は、スポット状の欠陥や、ある程度の面積を持った欠陥の検査に対して特に有効である。 As a result, the original defect can be extracted with high accuracy at high speed, and the labor saving and speeding up of the inspection process can be realized, thereby reducing the cost of the flat panel display as the final product. The automatic unevenness detection method according to the first embodiment is particularly effective for inspection of spot-like defects or defects having a certain area.
以上のように、実施の形態1によれば、画素構造の除去処理を前処理によって行うことなく、パネルの画素構造を積極的に利用して、欠陥候補領域の抽出を行うことができる。この結果、検査工程の省力化、高速化を実現できるとともに、最終製品であるフラットパネルディスプレイのコストダウンを達成することができるフラットパネルディスプレイの自動ムラ検出装置および自動ムラ検出方法を得ることができる。 As described above, according to the first embodiment, the defect candidate region can be extracted by actively using the pixel structure of the panel without performing the pixel structure removal process by the pre-processing. As a result, it is possible to obtain a flat panel display automatic unevenness detecting apparatus and automatic unevenness detecting method capable of realizing labor saving and high speed of the inspection process and achieving cost reduction of the flat panel display as the final product. .
1 検査パネル、10 カメラ、20 画像処理部、21 前処理部、22 欠陥候補抽出部、23 判定部、30 表示部。
DESCRIPTION OF
Claims (3)
前記前処理部は、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて前記入力画像から前記カメラノイズを除去し、後段の前記欠陥候補抽出部に出力し、
前記欠陥候補抽出部は、
前記前処理部の出力画像に対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に前記注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出し、
前記前処理部の出力画像と前記中央値とを画素単位で比較し、前記中央値より前記出力画像が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された前記中央値を用いて適応的に2値化することで、前記ムラ候補領域となる適応2値化画像を生成し、
前記適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出し、
抽出した前記閉領域をラベリングすることで、前記ムラ候補領域をさらに絞り込み、後段に出力する
フラットパネルディスプレイの自動ムラ検出装置。 A pre-processing unit that captures an image of a light emission state of a flat panel display captured by a camera as an input image, performs pre-processing on the input image, and performs extraction processing of unevenness candidate areas on the output image of the pre-processing unit. By performing image processing by a defect candidate extraction unit to be performed and a determination unit that performs authenticity determination of the unevenness candidate region extracted by the defect candidate extraction unit, it is determined whether or not there is a nonuniformity region having a spot-like defect An automatic unevenness detection device for a flat panel display,
The pre-processing unit is a Gaussian configured as a size for removing camera noise included in an image captured by the camera without removing the influence of the pixel structure of the flat panel display from the input image. The camera noise is removed from the input image using a filter, and output to the defect candidate extraction unit in the subsequent stage,
The defect candidate extraction unit
The process of calculating the maximum value and the minimum value in the block of interest having a predetermined size for the output image of the preprocessing unit performs while moving the block of interest for each pixel, the local median for each pixel = (Maximum value + Minimum value) / 2
The output image of the pre-processing unit and the median value are compared on a pixel-by-pixel basis. When the output image is larger than the median value, 1 (white), otherwise 0 (black). By adaptively binarizing using the median value calculated locally, an adaptive binarized image serving as the unevenness candidate region is generated,
A black and white reversal process is performed on the adaptive binarized image after the expansion / contraction process, or an isolated point is removed and regions are connected by executing a contraction / expansion process after the black / white reversal process, and then a white closed region Extract
An automatic unevenness detection apparatus for a flat panel display that further narrows down the unevenness candidate areas by labeling the extracted closed areas and outputs them to a subsequent stage.
前記判定部は、前記欠陥候補抽出部により算出された前記ムラ候補領域のそれぞれの領域について、輝度値あるいはコントラスト比に基づくパラメータを算出して所定の評価値と比較することで、前記ムラ候補領域の真偽判定を行う
フラットパネルディスプレイの自動ムラ検出装置。 In the automatic nonuniformity detection apparatus of the flat panel display of Claim 1,
The determination unit calculates a parameter based on a luminance value or a contrast ratio for each of the unevenness candidate regions calculated by the defect candidate extraction unit, and compares the calculated value with a predetermined evaluation value. Automatic flatness detection device for flat panel display that performs true / false judgment.
前記前処理部において、前記フラットパネルディスプレイが有する画素構造の影響を前記入力画像から除去することなく、前記カメラにより撮像された画像に含まれるカメラノイズを除去するためのサイズとして構成されたガウシャンフィルタを用いて前記入力画像から前記カメラノイズを除去し、後段の前記欠陥候補抽出部に出力するステップと、
前記欠陥候補抽出部において、
前記前処理部の出力画像に対して所定サイズの注目ブロック内で最大値および最小値を算出する処理を、1画素毎に前記注目ブロックを移動させながら実行し、画素毎に局所的な中央値=(最大値+最小値)/2を算出するステップと、
前記前処理部の出力画像と前記中央値とを画素単位で比較し、前記中央値より前記出力画像が大きいときは1(白)、そうでないときは0(黒)となるように、画素毎に局所的に算出された前記中央値を用いて適応的に2値化することで、前記ムラ候補領域となる適応2値化画像を生成するステップと、
前記適応2値化画像に対して膨張/収縮処理後に白黒反転処理を実行する、あるいは白黒反転処理後に収縮/膨張処理を実行することで孤立点除去および領域連結を行った後、白の閉領域を抽出するステップと、
抽出した前記閉領域をラベリングすることで、前記ムラ候補領域をさらに絞り込み、後段に出力するステップと
を備えるフラットパネルディスプレイの自動ムラ検出方法。 A pre-processing unit that captures an image of a light emission state of a flat panel display captured by a camera as an input image, performs pre-processing on the input image, and performs extraction processing of unevenness candidate areas on the output image of the pre-processing unit. By performing image processing by a defect candidate extraction unit to be performed and a determination unit that performs authenticity determination of the unevenness candidate region extracted by the defect candidate extraction unit, it is determined whether or not there is a nonuniformity region having a spot-like defect An automatic unevenness detection method for a flat panel display,
Gaussian configured as a size for removing camera noise included in the image captured by the camera without removing the influence of the pixel structure of the flat panel display from the input image in the pre-processing unit. Removing the camera noise from the input image using a filter, and outputting to the defect candidate extraction unit at a later stage;
In the defect candidate extraction unit,
The process of calculating the maximum value and the minimum value in the block of interest having a predetermined size for the output image of the preprocessing unit performs while moving the block of interest for each pixel, the local median for each pixel = (Maximum value + minimum value) / 2 calculating step;
The output image of the pre-processing unit and the median value are compared on a pixel-by-pixel basis. When the output image is larger than the median value, 1 (white), otherwise 0 (black). Generating an adaptive binarized image that becomes the unevenness candidate area by adaptively binarizing using the median value calculated locally;
A black and white reversal process is performed on the adaptive binarized image after the expansion / contraction process, or an isolated point is removed and regions are connected by executing a contraction / expansion process after the black / white reversal process, and then a white closed region Extracting the
An automatic unevenness detection method for a flat panel display, comprising: further narrowing down the unevenness candidate regions by labeling the extracted closed regions and outputting the subsequent candidate regions.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012275261A JP6208426B2 (en) | 2012-12-18 | 2012-12-18 | Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012275261A JP6208426B2 (en) | 2012-12-18 | 2012-12-18 | Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014119363A JP2014119363A (en) | 2014-06-30 |
JP6208426B2 true JP6208426B2 (en) | 2017-10-04 |
Family
ID=51174315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012275261A Active JP6208426B2 (en) | 2012-12-18 | 2012-12-18 | Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6208426B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190128851A (en) * | 2018-05-09 | 2019-11-19 | 경기대학교 산학협력단 | Device and method for detecting defect of display |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101733018B1 (en) * | 2015-02-25 | 2017-05-24 | 동우 화인켐 주식회사 | Apparatus and method for detecting defect of optical film |
CN106872144B (en) * | 2017-01-05 | 2020-05-15 | 中国原子能科学研究院 | Strong laser focal spot uniformity online monitoring method |
JP6951639B2 (en) * | 2017-11-24 | 2021-10-20 | 日本電信電話株式会社 | Image analysis device, image analysis method and image analysis program |
CN108776171A (en) * | 2018-09-12 | 2018-11-09 | 中国计量大学 | Steel wire rope nondestructive inspection sensing device based on multiloop excitation and image analysis |
JP7157322B2 (en) * | 2018-09-28 | 2022-10-20 | 澁谷工業株式会社 | Article inspection device and article inspection method |
CN109636778B (en) * | 2018-11-22 | 2021-03-23 | Tcl华星光电技术有限公司 | Defect detection method and defect detection device for display panel |
JP7131592B2 (en) | 2019-11-14 | 2022-09-06 | Jfeスチール株式会社 | Structural member for automobile and method for reinforcing hollow member for automobile |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0478969A (en) * | 1990-07-23 | 1992-03-12 | Nippon Sheet Glass Co Ltd | Binarizing method for picture |
JPH10111904A (en) * | 1996-10-04 | 1998-04-28 | Matsushita Electric Ind Co Ltd | Bar code reader and recording medium |
JP4363953B2 (en) * | 2003-10-23 | 2009-11-11 | 大日本印刷株式会社 | Optical characteristic non-uniformity measuring method and apparatus, and product quality judgment method and apparatus using the same |
JP2005331929A (en) * | 2004-04-19 | 2005-12-02 | Semiconductor Energy Lab Co Ltd | Image analysis method, image analysis program, and pixel evaluation system therewith |
JP4863050B2 (en) * | 2005-11-15 | 2012-01-25 | 大日本印刷株式会社 | Color unevenness defect inspection method and apparatus |
JP2007322257A (en) * | 2006-06-01 | 2007-12-13 | Dainippon Screen Mfg Co Ltd | Method and device for inspecting unevenness, and program |
-
2012
- 2012-12-18 JP JP2012275261A patent/JP6208426B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190128851A (en) * | 2018-05-09 | 2019-11-19 | 경기대학교 산학협력단 | Device and method for detecting defect of display |
KR102114013B1 (en) | 2018-05-09 | 2020-05-22 | 경기대학교 산학협력단 | Device and method for detecting defect of display |
Also Published As
Publication number | Publication date |
---|---|
JP2014119363A (en) | 2014-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6208426B2 (en) | Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display | |
CN109242853B (en) | PCB defect intelligent detection method based on image processing | |
CN113646801B (en) | Defect detection method, device and computer readable storage medium for defect image | |
CN112348784A (en) | Method, device and equipment for detecting state of camera lens and storage medium | |
Aziz et al. | Fabric defect detection algorithm using morphological processing and DCT | |
JP5088165B2 (en) | Defect detection method and defect detection apparatus | |
CN108107611B (en) | Self-adaptive defect detection method and device and electronic equipment | |
CN109716355B (en) | Particle boundary identification | |
JP2005172559A (en) | Method and device for detecting line defect on panel | |
JP2005165387A (en) | Method and device for detecting stripe defective of picture and display device | |
JP5889778B2 (en) | Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display | |
JP2006258713A (en) | Method and apparatus for detecting stain defect | |
JP2008014842A (en) | Method and apparatus for detecting stain defects | |
JP5257063B2 (en) | Defect detection method and defect detection apparatus | |
JP6043178B2 (en) | Automatic unevenness detection apparatus and automatic unevenness detection method for flat panel display | |
JP2008070242A (en) | Noise-removing method and apparatus, unevenness defect inspecting method and apparatus | |
JP2008171142A (en) | Spot defect detection method and device | |
CN112907518B (en) | Detection method, detection device, detection apparatus, detection storage medium, and detection program product | |
JP5239275B2 (en) | Defect detection method and defect detection apparatus | |
JP6114559B2 (en) | Automatic unevenness detector for flat panel display | |
CN114937003A (en) | Multi-type defect detection system and method for glass panel | |
JP2001028059A (en) | Method and device for color unevenness inspection | |
JP4869323B2 (en) | Image processing apparatus and image processing method | |
Islam et al. | ENHANCED AUTOMATIC SURFACE AND STRUCTURAL FLAW INSPECTION AND CATEGORISATION USING IMAGE PROCESSING BOTH FOR FLAT AND TEXTURED CERAMIC TILES | |
JP2007198850A (en) | Irregularity inspection method and apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160523 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170308 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170907 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6208426 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |