CN1940994B - 缺陷检测装置、图像传感器器件、图像传感器模块 - Google Patents
缺陷检测装置、图像传感器器件、图像传感器模块 Download PDFInfo
- Publication number
- CN1940994B CN1940994B CN200610141619XA CN200610141619A CN1940994B CN 1940994 B CN1940994 B CN 1940994B CN 200610141619X A CN200610141619X A CN 200610141619XA CN 200610141619 A CN200610141619 A CN 200610141619A CN 1940994 B CN1940994 B CN 1940994B
- Authority
- CN
- China
- Prior art keywords
- mentioned
- defect
- piece
- detecting device
- detected image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种缺陷检测装置,具有:块分割部,把成为检测缺陷区域的被检测图像分割为多个块;块相加值计算部,计算由块分割部分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值;统计处理部及优劣判断部,通过统计处理来判断是否存在块相加值的误差值,从而判断是否存在缺陷区域。由此,可由紧凑的电路结构在短时间内判断出数字图像是否存在缺陷区域。
Description
技术领域
本发明涉及一种可在短时间内判断出数字图像是否存在缺陷区域并能够由紧凑的电路结构来实现的缺陷检测装置、图像传感器器件(ImageSensor Device)、图像传感器模块、图像处理装置、数字图像品质测试器、缺陷检测方法、缺陷检测程序和计算机可读取的记录介质。根据本发明,可通过紧凑的电路结构在短时间内判断出数字图像是否存在缺陷区域。本发明特别适用于对品质要求较高的图像传感器器件进行品质检测。另外,本发明不仅适用于对图像传感器器件的输出图像进行检测,而且,还适用于对以液晶面板为代表的平板所显示的数字图像进行检测。
背景技术
在进行数字图像品质测试时,对是否存在缺陷区域进行判断是非常重要的,所述的缺陷区域是指像素数据呈不均匀变化的区域。尤其是在最近几年,静态式数字照相机(Digital Still Camera)、内置照相机的便携式电话等对图像传感器器件的需求扩大,与此相应地,就要求实现图像传感器器件的高品质化,要求在测试工序中对在从图像传感器器件得到的数字图像(图像传感器图像)中产生的缺陷区域、即斑缺陷和块团缺陷实施检测。
也就是说,即使图像传感器器件为合格品,但是,由于像素数据(像素值)相对于像素坐标发生缓慢变化的阴影成分以及噪声成分的影响,图像数据不能保持为固定值。特别是,如果在图像传感器图像中存在点缺陷、斑缺陷和块团缺陷的话,像素数据就会因各缺陷而发生复杂的变化。基于此,需要对斑缺陷和块团缺陷实施检测。
另外,虽然图像传感器器件的像素数量不断增加,但是,对于产品 周期较短的便携式电话等产品,由于其交货时间变短,所以,就强烈要求缩短上述检测的检测时间。
过去,是由检测人员利用肉眼来完成对图像传感器图像的斑缺陷及块团缺陷的检测的,但是,由于这种检测完全依赖检测人员的主观判断,所以,存在下述问题,即:由于检测人员的检测标准的偏差以及检测人员在检测时的身体状况的影响,将导致检测结果不稳定,难以实现斑缺陷、块团缺陷的定量化。对此,在最近几年里就开发了将斑缺陷、块团缺陷定量化并进行检测的检测装置,而且也正在开始推进检测的自动化。
在此,对“斑缺陷”、“块团缺陷”的含义进行说明。另外,还将对传感器图像中产生的“点缺陷”进行阐述。
“点缺陷”是指下述状态,即:在图像传感器图像中,其中一个像素数据和其周围的像素数据相比存在显著的差而成为比较突出的值。“斑缺陷”是指下述状态,即:相对于周围的像素数据,某区域中的多个像素数据的每一个具有比“点缺陷”的差小的差。“块团缺陷”是指下述状态,即:像素数据差比“斑缺陷”的像素还要小的多个像素汇聚在比“斑缺陷”更大的区域中。
在图21中,示意地表示了上述“点缺陷”、“斑缺陷”和“块团缺陷”。如图21所示,在被检测图像100中,所发生的点缺陷110的面积较小,所发生的斑缺陷120的面积稍大,所发生的块团缺陷130的面积最大。另外,所述“被检测图像”是指为了检测斑缺陷和块团缺陷而取得的图像传感器图像的示例。
接着,对“阴影”的含义进行解释。“阴影”是指下述状态,即:图像数据在比“块团缺陷”更大的区域中发生缓慢的变化,图像数据朝着图像传感器图像的上端部分、下端部分、左端部分和右端部分变小。发生阴影的原因是,相对于图像中央的像素,图像端部的像素的感光度降低了。
例如,取得图22所示的被检测图像100,假设在该被检测图像100中发生了斑缺陷120。此时,如图22所示,产生阴影140,即,图像数 据朝着被检测图像100的上端部分、下端部分、左端部分和右端部分变小的部分。
如上所述,在最近几年里,开发了将斑缺陷、块团缺陷定量化并进行检测的检测装置,而且也正在开始推进检测的自动化。作为该技术的一个示例,可以举出非专利文献1(“平板显示器的像质检测算法”:《横河技报》:Vol.47 No.3,2003)所述的技术方案。
如图23的流程图所示,上述非专利文献1的技术方案大致由两个步骤构成,即:缺陷增强处理(步骤100;以下,将步骤记载为“S”)和缺陷区域抽取处理(S200)。另外,借助于图23的流程进行斑缺陷及块团缺陷判断的被检测图像是通过向图像传感器器件照射不存在亮度变化和颜色变化的白色光或单色光所得到的图像。
缺陷增强处理(S100)为下述处理,即:为了增强被检测图像中的斑缺陷和块团缺陷,采用了用于除去阴影成分、噪声成分、点缺陷成分的滤波器的处理。具体而言,如图23所示,缺陷增强处理由下述处理构成,即:图像缩小处理(S110)、阴影校正处理(S120)、采用平滑滤波器的噪声去除处理(S130)、采用点缺陷去除滤波器的点缺陷去除处理(S140)、采用拉普拉斯滤波器的边缘检测处理(S150)。关于构成缺陷增强处理(S100)的各处理的详细情况,将在下面进行阐述。
缺陷区域抽取处理(S200)由下述处理构成,即:图像数据的二值化处理(S210)、去除在S210中进行了二值化处理的被检测图像的凹凸噪声的处理(S220)、对缺陷候选区域赋予识别号码的处理(S230:也称为“标记处理”)、计算在S230中被赋予了识别号码的所有缺陷候选区域的特征量(斑的面积、对比度、亮度梯度(Luminance Gradient))的处理(S240)、根据在S240中所计算出的特征量来判断缺陷候选区域是否良好的处理(S250)。关于构成缺陷区域抽取处理(S200)的各处理的详细情况,将在下面进行阐述。
接着,依次说明构成上述缺陷增强处理(S100)、缺陷区域抽取处理(S200)的各处理的详细情况。
在图像缩小处理(S110)中,缩小图像的纵向尺寸和横向尺寸。通过图像缩小处理,可以减少被检测图像的数据量,并且,还能够强调斑缺陷和块团缺陷。
在阴影校正处理(S120)中,为了从被检测图像中除去阴影成分,通过加工各像素数据,对阴影导致的像素数据低下实施校正。例如,对于以关注像素为中心的3×3像素的矩阵内存在的9个像素,求得像素数据的均值,用该均值去除关注像素的像素数据,从而得到一个值并将该值作为关注像素的像素数据,由此进行上述阴影校正处理。
在噪声去除处理(S130)中,例如,通过使用平滑滤波器来去除被检测图像的噪声。这里的所述的平滑滤波器是指,能够阻断图像的高频成分,从而去除噪声的滤波器。如图24(a)所示,求得以关注像素为中心的3×3区域中的9个像素的像素数据的均值并将该均值作为关注像素的像素数据的滤波器相当于平滑滤波器。
在点缺陷去除处理(S140)中,用点缺陷去除滤波器来去除被检测图像的点缺陷。这里,所述的点缺陷去除滤波器是指,例如,对于以关注像素为中心的3×3区域中的9个像素,求得像素数据的中间值、最大值和最小值,如果关注像素的像素数据为最大值(最小值),将关注像素的像素数据置换为中间值的滤波器。
在边缘检测处理(S150)中,例如,使用拉普拉斯滤波器来增强斑缺陷和块团缺陷的边缘。这里,所述的拉普拉斯滤波器是指,用于抽取图像的浓淡变化的边缘的滤波器。即,如图24(b)所示,从关注像素的像素数据的四倍的值中减去上下左右的像素(4附近的像素)的像素数据,将所得到的值作为关注像素的像素数据的滤波器相当于拉普拉斯滤波器。
图25表示用于图24(a)及图24(b)所示的滤波器的运算公式。一般而言,在进行滤波处理时,需要考虑可处理图像的范围。例如,在尺寸为3×3的滤波器的情况下,由于不能对图像端部的像素进行处理,所以需要注意用于扫描各像素的环路的初始值和最终值,其中,在所述图像端部不存在相邻的像素。
在二值化处理(S210)中,对被检测图像的图像数据和预定的阈值进行大小判断并将被检测图像的图像数据转换为“0”或“1”的二值数据。实施该处理的目的在于,使得易于实现信息量减少、几何形状的抽取以及面积计算。另外,关于用来判断二值数据是“0”还是“1”的阈值,将整个图像的上述阈值设为恒定值,或者,分别设定每一个区域的上述阈值。
然后,通过S220的噪声去除处理,除去在S210的二值化处理中被二值化的被检测图像的凹凸噪声。借助于膨胀及收缩处理、孤立点去除等,来实施上述噪声去除处理。
在此,对膨胀及收缩处理进行说明。膨胀及收缩处理是一种用于在二值图像中去除关注图形的周围所存在的微小的凹凸噪声的图像处理方法。特别是,在膨胀处理中,如果在关注像素附近的像素(附近像素)中即使有一个像素的像素数据是“1”,就将关注像素的像素数据设为“1”。在收缩处理中,如果在附近像素中即使有一个像素的像素数据是“0”,就将关注像素的像素数据设为“0”。另外,较多地组合使用膨胀处理和收缩处理。借助于膨胀处理→收缩处理的过程来消除图像中的小的凹噪声,借助于收缩处理→膨胀处理的过程来消除图像中的小的凸噪声。
利用图26来说明通过膨胀及收缩处理从二值化处理后的被检测图像150中除去噪声的过程。首先,假设在被检测图像150中存在三个噪声像素151。对被检测图像150实施收缩处理后得到被检测图像152,进而对被检测图像152实施膨胀处理从而得到被检测图像153,通过这样的过程除去上述噪声像素151。在图26中,用空白的四方形来表示像素数据为“1”的像素,用网格状的四方形来表示像素数据为“0”的像素。
另外,孤立点去除处理是指,例如,在二值图像中,如果关注像素的像素数据为0(1),其周围的八个像素的像素数据为1(0),就将该关注像素的像素数据置换为其周围的八个像素的像素数据。
接着,说明S230的标记处理。标记处理是指,对图像中的连续的 图形进行分组并赋予识别号码的处理。通常,一边扫描图像的所有像素,一边判断各像素的连接状态,并对各像素赋予标记号码,由此来进行上述标记处理。另外,在标记处理中,在扫描的初期被判断为其他组的图形,有时在扫描之后会被确定为连续的一个图形,因此,通常需要依次进行标记处理。
例如,假设如图27所示那样,设定了被检测图像160的图像数据。在该情况下,在被检测图像160内,作为图像数据“1”连续的部分,存在三个图形、即图形161、162和163。当对上述被检测图像160实施标记处理时,如图27所示,分别对图形161、162和163赋予识别号码a、b、c中的某一者。
在上述标记处理结束后,计算所有被赋予了识别号码的图形的特征量(斑面积、对比度、亮度梯度等)(S240),根据在S240中计算出的特征量,判断缺陷候选区域是否良好(S250)。
例如,在如图27所示那样对被检测图像进行了标记处理后,图形161、162、163成为缺陷候选区域。在S240中分别计算上述缺陷候选区域的特征量。例如,通过计数像素数据为“1”的像素数来求得作为特征量的斑面积。
但是,在上述非专利文献所揭示的现有技术中存在下述问题,即:随着图像传感器图像的像素数的增加,用于增强斑缺陷、块团缺陷的多次滤波处理、识别号码赋予处理的时间就会增加,其结果,将导致图像传感器器件的检测时间变长。
进而,还存在这样的问题,即:为了计算用于判断是否良好的特征量、即对比度、亮度梯度等,就需要原图像或缩小图像,从而需要预先对其进行存储的存储器,因此导致电路结构变大。
另外,下述因素也将导致电路结构变大。即,在现有技术中,为了检测斑缺陷、块团缺陷,而进行多次滤波处理。因此,如果在图像传感器器件或图像传感器模块内部的DSP部,或者,作为图像处理专用装置的硬件中安装现有的图像处理方法,将导致硬件的电路结构变大。
上述两个问题,即,(1)图像传感器器件的检测时间变长,(2) 电路结构变大,并非仅发生在利用上述非专利文献揭示的现有技术检测图像传感器图像时,在利用上述非专利文献揭示的现有技术来检测一般的数字图像是否存在缺陷区域时也会发生上述问题。也就是说,当利用上述非专利文献揭示的现有技术来检测一般的数字图像是否存在缺陷区域时,将会发生(1)判断是否存在缺陷区域所需要的时间变长,(2)电路结构变大这两个问题。
发明内容
本发明的目的在于提供一种可在短时间内判断出数字图像是否存在缺陷区域并能够由紧凑的电路结构来实现的缺陷检测装置、图像传感器器件、图像传感器模块、图像处理装置、数字图像品质测试器、缺陷检测方法、缺陷检测程序和计算机可读取的记录介质。
为了实现上述目的,本发明的缺陷检测装置是一种从数字图像内检测缺陷区域的缺陷检测装置,其中,在该缺陷区域中,像素数据较之于该缺陷区域的周围的区域呈不均匀的变化,上述缺陷检测装置具有:块分割部,把要进行上述缺陷区域检测的被检测图像分割为多个块;以及块相加值计算部,计算由上述块分割部分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值。向缺陷区域有无判断部输出上述块相加值,其中,该缺陷区域有无判断部通过统计处理来判断上述块相加值是否为误差值,从而判断是否存在上述缺陷区域。
根据上述发明,对于由块分割部分割的各块,根据块内存在的像素的像素数据相加后所得到的值、即块相加值,并通过缺陷区域有无判断部的统计处理来判断是否存在缺陷区域。
这里,“缺陷区域”是指在下述数字图像中产生的斑缺陷或块团缺陷,即:从图像传感器器件得到的数字图像、被显示在液晶显示装置等的数字图像显示装置中的数字图像。“统计处理”是指一般统计分析中的误差值检验处理。
在本发明中,通过执行块分割,可削减进行缺陷区域有无判断所需 要的数据量,因此,能够在短时间内判断是否存在缺陷区域。
另外,无需将被检测图像或其缩小图像预先存储在存储器中就能求出缺陷区域有无判断部进行缺陷区域有无判断所使用的块相加值。因此,本发明的缺陷检测装置被安装于硬件时的电路结构可实现紧凑化。
为了实现上述目的,本发明的数字图像品质测试器为,外部连接有从数字图像内检测缺陷区域的缺陷检测装置,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化,上述缺陷检测装置具有:块分割部,把成为上述缺陷区域检测对象的被检测图像分割为多个块;以及块相加值计算部,计算由上述块分割部分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值;具备缺陷区域有无判断部,对由上述块相加值计算部输入的上述块相加值进行统计处理,判断是否上述块相加值是否为误差值,从而判断是否存在上述缺陷区域。
根据上述发明,对于由块分割部分割的各块,根据块内存在的像素的像素数据相加后所得到的值、即块相加值,并通过缺陷区域有无判断部的统计处理来判断是否存在缺陷区域。
在本发明中,通过执行块分割,可削减进行缺陷区域有无判断所需要的数据量,因此,能够在短时间内判断是否存在缺陷区域。
另外,无需将被检测图像或其缩小图像预先存储在存储器中就能求出缺陷区域有无判断部进行缺陷区域有无判断所使用的块相加值。因此,本发明的缺陷检测装置被安装于硬件时的电路结构可实现紧凑化。
为了实现上述目的,本发明的缺陷检测装置是一种从数字图像内检测缺陷区域的装置,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化,上述缺陷检测装置具备滤波处理部,其利用n×m拉普拉斯滤波器来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器被构成为进行二次微分的高通滤波器(n、m表示像素数,为6以上的3的倍数且m=n)。
在现有技术中,在检测缺陷区域时,首先,通过执行阴影去除处理、噪声成分去除处理和边缘检测处理来增强缺陷区域。但是,在上述处理中要进行多次滤波处理,所以,如果安装现有技术的图像处理方法,那么,判断是否存在缺陷区域所需的时间就会变长,而且,硬件的电路结构也会变大。
根据上述发明,n×m拉普拉斯滤波器被构成为进行二次微分的高通滤波器。因此,可从阴影成分中检测出高次的边缘,而且,可除去阴影成分本身。
并且,n×m拉普拉斯滤波器是通过集合九个尺寸为(n/3)×(m/3)的块所构成的滤波器。上述尺寸为(n/3)×(m/3)的块分别对像素数据进行积分,所以,可去除噪声成分。
因此,可使用n×m拉普拉斯滤波器同时执行在现有技术中通过多次滤波处理来实施的阴影去除、噪声成分去除和边缘检测。由此,可由紧凑的电路结构在短时间内判断出数字图像是否存在缺陷区域。
为了实现上述目的,本发明的缺陷检测方法是一种从数字图像内检测缺陷区域的方法,其中,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化,上述缺陷检测方法包括下述步骤:块分割步骤,把成为上述缺陷区域检测对象的被检测图像分割为多个块;块相加值计算步骤,计算在上述块分割步骤中分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值;以及缺陷区域有无判断步骤,通过统计处理来判断上述块相加值是否为误差值,从而判断是否存在上述缺陷区域。
另外,为了实现上述目的,本发明的缺陷检测方法是从数字图像内检测缺陷区域的方法,其中,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化,上述缺陷检测方法包括下述步骤:滤波处理步骤,利用n×m拉普拉斯滤波器来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构 成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器被构成为进行二次微分的高通滤波器(n、m表示像素数,为6以上的3的倍数且m=n)。
根据上述发明,在各步骤中能够实现与本发明的缺陷检测装置相同的处理,因此,可取得与本发明的缺陷检测装置相同的作用和效果。
本发明的其他目的、特征和优点在以下的描述中会变得十分明了。此外,以下参照附图来明确本发明的优点。
附图说明
图1是表示本发明的缺陷检测装置的一实施方式的的结构的框图。
图2是表示本发明的缺陷检测方法的一实施方式的流程图。
图3是表示图1的缺陷检测装置使用的n×m拉普拉斯滤波器的一结构示例的图。
图4是表示图1的缺陷检测装置使用的9×9拉普拉斯滤波器的一结构示例的图。
图5是表示图4的9×9拉普拉斯滤波器采用的运算公式的图。
图6(a)是表示在将图4的9×9拉普拉斯滤波器的滤波处理分成两个阶段执行时所使用的第一滤波器的结构示例的图,图6(b)是表示在将图4的9×9拉普拉斯滤波器的滤波处理分成两个阶段执行时所使用的第二滤波器的结构示例的图。
图7是表示图6所示的第一滤波器和第二滤波器所用的运算公式的图。
图8是表示在利用图1的缺陷检测装置将被检测图像分割为多个块后的状态的图。
图9是表示图1所示的缺陷检测装置的块相加值计算部在求取块相加值时所用的运算公式的图。
图10(a)是表示斑缺陷跨越块的边界地发生并分布的状态的图,图10(b)是表示由图1的块分割部进行分割以使得相邻的块彼此叠合的状态的图。
图11是表示由图1的缺陷检测装置的块相加值计算部所求出的块相加值的分布的直方图的一个示例。
图12是图1的缺陷检测装置的优劣判断部对每一个由被检测图像生成的块实施优劣判断时的流程图。
图13是图1的缺陷检测装置的优劣判断部根据块相加值的最大值进行优劣判断时的流程图。
图14(a)是表示被检测图像的一个示例的图,图14(b)是图14(a)的A部分放大后的图像的图,图14(c)三维地表示图14(b)的A部分的图像数据的图表。
图15(a)是表示由9×9拉普拉斯滤波器对图14(b)所示的图像实施了滤波处理后的图像的图,图15(b)三维地表示图15(a)所示的图像数据的图表。
图16(a)是表示在求得图15(a)所示的图像的块相加值后的图,图16(b)是三维地表示图16(a)所示的图像的块相加值的图表,图16(c)是表示在抽取了图16(b)所示的图像的缺陷区域后的状态的图。
图17(a)是表示通过本发明的缺陷检测方法求得的图14(a)所示的被检测图像的块相加值的分布的直方图,图17(b)是表示对图17(a)的直方图进行统计处理,求取关于块相加值的最小值、最大值、均值、标准差的结果的图,图17(c)是表示根据图17(b)所示的统计处理的结果所设定的判断阈值的图。
图18是表示使用图1的缺陷检测装置的图像传感器器件的检测系统的结构示例的图。
图19是表示使用图1的缺陷检测装置的图像传感器器件的检测系统的另一结构示例的图。
图20是表示使用图1的缺陷检测装置的图像传感器器件的检测系统的另一结构示例的图。
图21是示意地表示在数字图像中发生的“点缺陷”、“斑缺陷”和“块团缺陷”的图。
图22是表示在数字图像中发生的阴影的图。
图23是表示现有技术的缺陷检测方法的流程图。
图24(a)是表示平滑滤波器的一个示例的图,图24(b)是表示拉普拉斯滤波器的一个示例的图。
图25是表示图24(a)和图24(b)所示的滤波器所用的运算公式的图。
图26是用于说明通过膨胀及收缩处理从二值化后的被检测图像150中除去噪声的过程的图。
图27是用于说明在现有技术的缺陷检测方法中采用的标记处理的图。
具体实施方式
(1.装置的基本结构)
使用图1来说明本发明的缺陷检测装置的一个实施方式。如图1所示,本实施方式的缺陷检测装置1,包括:图像缩小部(图像缩小装置)2、点缺陷去除部(点缺陷去除装置)3、滤波部(滤波装置)4、块分割部(块分割装置)5、块相加值计算部(块相加值计算装置)6、统计处理部(缺陷区域有无判断部)7、优劣判断部(缺陷区域有无判断部)8、存储器9。
图像缩小部2进行下述处理:缩小被检测图像的纵向尺寸和横向尺寸,从而使被检测图像缩小。由此,可以减少被检测图像的数据量,并且,还能够强调被检测图像内存在的斑缺陷和块团缺陷。
点缺陷去除部3进行下述处理:例如,使用点缺陷去除滤波器,除去被检测图像中的点缺陷。关于点缺陷去除滤波器的详细情况,参照上述说明。
另外,上述图像缩小部2和上述点缺陷去除部3未必需要设置于缺陷检测装置1的内部,也可以将其设置于缺陷检测装置1的外部装置。例如,也可以将图像缩小部2或点缺陷去除部3设置于作为缺陷检测装置1的外部装置的图像传感器器件或数字图像品质测试器中。
滤波部4,使用n×m拉普拉斯滤波器(详细情况后述),除去阴影成分,减少噪声成分,检测斑缺陷的边缘。滤波部4是缺陷检测装置1的一个特征要素。关于滤波部4的处理的具体情况,将在下面进行详述。
块分割部5将被检测图像分割为网格状,从而生成多个块。块分割部5是缺陷检测装置1的另一个特征要素。上述块既可以是正方形也可以是长方形,另外,如果各块的面积相同,则上述块可以为任何形状。另外,关于块尺寸的确定方法,将在下面进行阐述。
块相加值计算部6求出由块分割部5分割的多个块的各自的块相加值,块相加值是块内的所有像素的像素数据相加后所得到的值。
统计处理部7,为了检测存在斑缺陷、块团缺陷的块,而对块相加值计算部6计算出的块相加值进行统计处理。如果在块内发生斑缺陷、块团缺陷等的异常情况,则存在该缺陷的块的块相加值在统计上就成为误差值。因此,统计处理部7进行下述的统计处理,即:求出多个块的各自的块相加值的最大值、均值、标准差的处理。
优劣判断部8,对块相加值的最大值进行误差值判断,判断该块相加值是否为误差值,由此,判断被检测图像的优劣,并向外部输出该判断结果。按照下述公式(1)来判断误差值。
评价值(最大值)=(最大值-均值)/标准差≥判断阈值......公式(1)
另外,公式(1)中的最大值、均值、标准差是关于统计处理部7求得的块相加值的值。此外,关于优劣判断部8确定判断阈值的方法,将在后面进行阐述。
进而,优劣判断部8也可以判断在由块分割部5分割的多个块的每一个中是否含有斑缺陷、块团缺陷。在这种情况下,优劣判断部8按照下述公式(2)来判断在各块中是否含有斑缺陷、块团缺陷。
评价值=(各块的块相加值-均值)/标准差≥判断阈值......公式(2)
另外,公式(2)中的均值、标准差是关于统计处理部7求得的块 相加值的值。此外,关于确定判断阈值的方法,将在后面进行阐述。
此外上述统计处理部7和优劣判断部8未必需要设置于缺陷检测装置1的内部,也可以将其设置于缺陷检测装置1的外部装置。例如,也可以将统计处理部7或优劣判断部8设置于作为缺陷检测装置1的外部装置的图像传感器器件或数字图像品质测试器中。
存储器9存储缺陷检测装置1的各种处理所需的滤波器、参数和运算结果。例如,存储器9存储滤波部4所采用的n×m拉普拉斯滤波器、块相加值计算部6所计算出的块相加值、统计处理部7所求得的块相加值的均值等、以及优劣判断部8输出的优劣判断结果。
根据上述结构,缺陷检测装置1通过对被检测图像内存在的斑缺陷、块团缺陷来判断被检测图像的优劣。本实施方式的缺陷检测装置1的特征特别在于下述两点,即,
(1)在滤波部4中,使用n×m拉普拉斯滤波器,同时进行阴影去除、噪声成分减小和斑缺陷的边缘检测;
(2)在块分割部5中,将被检测图像分割为网格状,从而生成多个块。
即,在现有技术中存在这样的问题:由于在缺陷增强处理中进行多次滤波处理,所以,导致图像传感器器件的检测时间变长。为了解决上述问题,本实施方式的缺陷检测装置1使用n×m拉普拉斯滤波器,同时进行阴影去除、噪声成分减小和斑缺陷的边缘检测,由此,可以减少被检测图像优劣判断时的运算量,并能够大幅度地缩短检测时间。
另外,在本实施方式的缺陷检测装置1中,块分割部5将被检测图像分割为网格状从而生成多个块,由此,可以解决现有技术中存在的图像传感器器件的检测时间变长这样的问题。即,通过实施块分割,可以减少进行被检测图像优劣判断所需的数据量,从而大幅度地缩短检测时间。
此外,在作为本实施方式的缺陷检测装置1的特征要素的滤波部4和块分割部5的结构中,均不需要将原图像或缩小图像预先存储在存储器中。因此,本实施方式的缺陷检测装置1具有可以减小存储器所需的 存储容量从而缩小电路结构的优点。
特别是,在本实施方式的缺陷检测装置1中,同时进行阴影去除、噪声成分减小和斑缺陷的边缘检测。与现有技术相比较而言,本实施方式的缺陷检测装置1减少了执行滤波处理的次数,从而可以由较小的电路结构来实现本实施方式的缺陷检测装置1。
(2.处理流程的概要)
接着,根据图2来说明由本实施方式的缺陷检测装置1实现的缺陷检测方法的流程。
如图2所示,本实施方式的缺陷检测方法大致由两个步骤构成,即:缺陷增强处理(S10)和缺陷区域抽取处理(S20)。具体而言,缺陷增强处理(S10)由下述构成,即:由图像缩小部2执行的图像缩小处理(S11)、由点缺陷去除部3执行的点缺陷去除处理(S12)、由滤波部4执行的滤波处理(S13)。另外,缺陷区域抽取处理(S20)由下述构成,即:由块分割部5执行的块分割处理(S21)、由块相加值计算部6执行的块相加值计算处理(S22)、由统计处理部7执行的统计处理(S23)、由优劣判断部8执行的优劣判断处理(S24)。
在构成上述缺陷检测方法的各处理中,S13的滤波处理和S21的块分割处理是本实施方式的缺陷检测方法的特征要素。因此,首先对滤波处理和块分割处理进行详细的说明。
(3.滤波处理的详细说明)
如上所述,由滤波部4执行S13的滤波处理,在该滤波处理中,使用n×m拉普拉斯滤波器,同时进行阴影去除、噪声成分减小和斑缺陷的边缘检测。
首先,说明“n×m拉普拉斯滤波器”的含义。n×m拉普拉斯滤波器是进行二次微分的高通滤波器。另外,n、m表示像素数,为3的倍数。即,如图3所示,通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)来构成n×m拉普拉斯滤波器10。
即,在图3所示的n×m拉普拉斯滤波器10中,处在中央位置的块10c的权数被设定为“4”,与块10e相邻的块10b、10d、10f、10h 的权数分别被设定为“-1”,但是,权数也可以设定为其他的值。总之,只要处在中央位置的块10e的权数与该块10e周围的八个块(10a、10b、10c、10d、10f、10g、10h、10i)的权数之和为0即可。进而,优选的是,均等地或上下左右对称地设定块10e周围的八个块的权数。
另外,在图3所示的n×m拉普拉斯滤波器10中,配置在左上方的块10a、配置在右上方的块10c、配置在左下方的块10g、配置在右下方的块10i的权数分别被设定为“0”。
根据图4来说明n=9、m=9时的n×m拉普拉斯滤波器(9×9拉普拉斯滤波器)的结构。如图4所示,通过集合九个尺寸为3×3的块(11a~11i)来构成9×9拉普拉斯滤波器11。
在上述9×9拉普拉斯滤波器11中,构成处在中央位置的块11e的九个权数均被设定为“4”,关于与块11e相邻的块11b、11d、11f、11h,分别构成各块的九个权数均被设定为“-1”。另外,关于其他的块11a、11c、11g、11i,分别构成各块的九个权数均被设定为“0”。
图5表示9×9拉普拉斯滤波器11所用的运算公式。另外,像9×9拉普拉斯滤波器11这样的尺寸为9×9的滤波器不能对下述区域进行运算,即,诸如要成为滤波处理对象的图像中的端部附近那样,在上下左右4个像素的距离内不存在像素的区域。所以,在进行滤波处理时,需要注意用于扫描各像素的环路的初始值和最终值。
然后,使用n×m拉普拉斯滤波器,由此,同时进行阴影去除、噪声成分减小和斑缺陷的边缘检测。其理由为下述,即,
(理由1)、n×m拉普拉斯滤波器是进行二次微分的高通滤波器。因此,能够从阴影成分中检测出高次的边缘,而且,能够除去阴影成分本身;
(理由2)、通过集合九个尺寸为(n/3)×(m/3)的块来构成n×m拉普拉斯滤波器。上述尺寸为(n/3)×(m/3)的块的每一个对图像数据进行积分,因此,能够除去噪声成分。
另外,从经验上来说,对于斑缺陷、块团缺陷的大小,比3×3拉普拉斯滤波器的尺寸更大的拉普拉斯滤波器的缺陷的检测灵敏度要高。 特别是对于对比度差较小的斑缺陷等,尺寸较大的拉普拉斯滤波器的检测灵敏度将变高。
(4.n×m拉普拉斯滤波器的变形例)
如果使用上述n×m拉普拉斯滤波器,那么,为了得到一个关注像素的滤波器运算后的像素数据,就需要利用以关注像素为中心的n×m个像素的像素数据来进行积和运算。例如,如果采用9×9拉普拉斯滤波器,假设被检测图像的像素数为N,那么,就需要进行共计81N次的积和运算。
在本实施方式中,将一次乘法运算和一次加法运算看作一次积和运算。从严格意义上来说,对于滤波器系数被设定为“0”的像素,不需要进行乘法运算和加法运算,因此,可以说根本不进行积和运算。另外,对于滤波器系数被设定为“1”的像素,虽然不需要进行乘法运算,但是,需要进行加法运算,因此,可以说不进行一次的积和运算。
基于此,在采用图4的9×9拉普拉斯滤波器时,进行共计45N次的积和运算。
通过预先设置两种滤波器并将滤波器运算分为两个阶段,可以减少上述n×m拉普拉斯滤波器的积和运算的次数。例如,通过预先设置图6(a)所示的第1滤波器12和图6(b)所示的第2滤波器13,可以减少9×9拉普拉斯滤波器的积和运算的次数。
这里,如图6(a)所示,第1滤波器12是这样一种滤波器,即:尺寸为3×3,构成滤波器的九个权数均被设定为“1”。另外,如图6(b)所示,第2滤波器13的尺寸为9×9,通过集合九个尺寸为3×3的块(13a~13i)来构成第2滤波器13。
进而,在处于第2滤波器13的中央位置的块13e中,仅将块13e的中央位置的权数设定为“4”,而将块13e的中央位置的周围的八个权数全部设定为“0”。另外,关于与块13e相邻的块13b、13d、13f、13h,仅将各块的中央位置的权数设定为“-1”,而将其周围的八个权数全部设定为“0”。关于其他的块13a、13c、13g、13i,将分别构成各块的九个权数全部设定为“0”。
然后,使用上述结构的第1滤波器12和第2滤波器13,进行两个阶段的滤波器运算,由此,能够实现与9×9拉普拉斯滤波器相同的积和运算。这里,由于实施两次9像素的积和运算,所以,可以通过共计18N次的积和运算来结束第1滤波器12和第2滤波器13的积和运算。另外,图7表示用于第1滤波器12和第2滤波器13的运算公式。
此外,通过与第1滤波器12及第2滤波器13同样地设置两种滤波器,也可以减少n×m拉普拉斯滤波器的运算次数。
即,第1滤波器是这样一种滤波器,即:尺寸为(n/3)×(m/3),构成滤波器的所有的权数均被设定为与“1”相等的值;关于第2滤波器,通过集合九个尺寸为(n/3)×(m/3)的块来构成第2滤波器。第2滤波器的权数被设定为下述,即:第2滤波器的中央块(九个块中位于中央的块)内的中央的权数与包围中央块的八个块的每一个块的中央的权数之和为0,并将上述之外的权数设定为0。此外,关于包围中央块的八个块的每一个块的中央的权数,优选的是,均等地或上下左右对称地对其进行设定。
不过,如果n=6、m=6,则第1滤波器的尺寸为2×2,而第2滤波器的尺寸为6×6。这样,将不会存在“块的中央的权数”。
在上述情况下,第2滤波器的权数设定为下述,即:中央块的最靠近中心的权数与包围中央块的八个块的每一个块的最靠近中心的权数之和为0,并将上述之外的权数设定为0。
(5.块分割处理的详细说明)
接着,说明由块分割部5(图1)执行的块分割处理(参照图2的S21)。
例如,如图8所示,设被检测图像20的尺寸为横向73像素×纵向43像素。在这种情况下,例如,可以将被检测图像20分割为多个块以使得每一个块具有5×5像素的区域。
另外,块的形状可以是正方形也可以是长方形,如果各块的面积相等,则也可以是任何形状。根据一个块的尺寸,当从左上方依次分割被检测图像时,有时会在被检测图像端存在未能被块包含的像素。在这种 情况下,如图8的虚线所示那样沿着图像端进行块分割即可。另外,关于块的分割,只要能够将被检测图像的所有像素都包含在块内,则可以不从左上方依次进行分割。
进而,根据图像的总像素数、缺陷检测灵敏度、噪声对优劣判断部8的判断结果的影响或运算量等,将块尺寸设定为适当的值。
即,如果将块尺寸设定得较大,虽然能够消除噪声对优劣判断部8的判断结果的影响,但是,斑缺陷、块团缺陷的检测灵敏度就会降低。另一方面,如果将块尺寸设定得较小,虽然被检测出噪声成分或点缺陷去除部3未能完全除去的点缺陷成分,但是,斑缺陷、块团缺陷的检测灵敏度就会变高。考虑这种均衡关系,对块尺寸进行适当的设定即可。此外,表1示出了均衡关系。
(表1)
缺陷检测灵敏度与噪声对判断结果的影响之间的均衡关系
参数 | 块尺寸 | 较小时 | 较大时 |
参数调整的结果 | 缺陷检测灵敏度 | 高 | 低 |
噪声对判断结果的影响 | 大 | 小 | |
缺陷区域抽取处理的运 算量 | 大 | 小 |
如此,根据所确定的块尺寸,块分割部5将被检测图像分割为多个块,块相加值计算部6计算所分割的各块的块相加值。图9表示用于运算块相加值的公式。
如图10(a)所示,斑缺陷有时会跨越块的边界地发生并分布。在这种情况下,斑缺陷可能对相邻的两个块的各自的块相加值的双方产生影响,并导致缺陷检测灵敏度降低。
但是,如图10(b)所示,通过使相邻的块彼此叠合地进行分割,能够抑制缺陷检测灵敏度的降低。即,依次进行块分割,以使得当前的块与下一列的块或下一行的块叠合。借此,可将斑缺陷的影响控制在一个块内,从而能够防止斑缺陷给两个块的块相加值带来影响。
接着,说明块分割处理优于现有技术的标记处理的理由。在现有技术中,进行标记处理之前的步骤、即二值化处理和噪声去除处理需要较多的工数。另外,根据现有技术中的二值化处理的阈值,不仅仅是实际 的缺陷区域,在缺陷增强处理中未被完全除去的点缺陷成分和噪声成分也成为斑缺陷、块团缺陷的候选,要确定用于二值化的阈值比较困难。为了解决该问题,在现有技术中,通过膨胀及收缩处理等,虽然能够去除二值图像中的凹凸噪声,但是,也可能除去程度较小的斑缺陷和块团缺陷。
对此,在本实施方式中,通过进行块分割处理,可以大幅度地减少要处理的数据量,从而能够快速地进行优劣判断处理。另外,与二值化处理不同的是,根据本实施方式的块分割处理,不会遗漏关于没有缺陷的区域的信息,从而,根据块相加值对图像的整个区域存在缺陷的可能性进行定量评价,并通过对比存在缺陷的区域和不存在缺陷的区域来进行优劣判断,因此,与通过肉眼进行的缺陷区域检测之间的关联度较高。
(6.优劣判断处理的详细说明)
接着,说明由优劣判断部8(图1)执行的优劣判断处理(参照图2的S24)。首先,如上所述,优劣判断部8利用判断阈值来判断块相加值的最大值是否为误差值。下面,说明上述阈值的确定方法。
图11是表示块相加值的分布的直方图的一个示例。在图11中,横轴表示块相加值,纵轴表示块数。如果被检测图像是从合格品的图像传感器器件得到的图像,那么,在缺陷增强处理(S10)中未能被除去的噪声成分占绝对优势,块相加值的分布呈近似正态分布的形状。
统计处理部7(参照图1)求出块相加值的均值和标准差,而且,优劣判断部8根据下述公式确定判断阈值。
判断阈值=均值+a×标准差(a是定量)
然后,如果存在比判断阈值大的块相加值,优劣判断部8就判断为被检测图像存在斑缺陷、块团缺陷,从而将被检测图像判断为劣质图像。
另外,可以预先设定一个或多个优质图像并求出各优质图像的块相加值,然后,通过下述公式来确定上述定量a,
a=(块相加值的最大值-块相加值的均值)/块相加值的标准差。
或者,通过斯米尔诺夫剔除检验法,根据数据量n和舍弃域α(=0.01等)来确定定量a。另外,斯米尔诺夫剔除检验法是指,对取自相 同母体的取样数据检验统计误差值的方法。根据该方法,通过确定显著性水平(Significant Level)(也称为“舍弃域”,通常采用0.01、0.05的值)和取样数据量,能够唯一地确定阈值,其中,该阈值决定检验对象的数据是否为误差值。
此外,在进行优劣判断时所采用的值(评价值)是通过用标准差实施正态化处理所得到的值,因此,判断阈值被设定为考虑了相对于标准差的倍率(定量a)的值。通过如上所述地设定判断阈值,能够进行不受被检测图像间的亮度差影响的优劣判断。
接着,说明优劣判断处理的流程。图12表示对每一个由被检测图像生成的块进行优劣判断时的流程。
首先,优劣判断部8在被检测图像中选择一个尚未进行优劣判断处理的块(S30),然后,求出所选择的块的评价值(S31)。另外,评价值是通过下述公式求出的,
评价值=(所选择的块的块相加值-均值)/标准差。
然后,优劣判断部8对评价值和判断阈值进行比较(S32),如果评价值大于或等于判断阈值,就将被检测图像判断为劣质图像,并将该块的坐标和评价值写入存储器(S33)。
另一方面,如果评价值小于判断阈值,优劣判断部8就将被检测图像判断为优质图像,并判断是否还有尚未进行优劣判断处理的块(未处理块)(S34)。如果有未处理块,则返回S30的处理。
如果在S34中判断为不存在未处理块,就将被检测图像是否存在缺陷的信息写入存储器(S35)。在S35中,也可以通过判断是否在S33中写入存储器来进行图像的优劣判断,也可以进行下述处理,即:再次对S33中写入的评价值进行判断,求得该被检测图像的品质等级,并将其写入存储器。
具体说明上述求取被检测图像的品质等级的处理。为了求出品质等级,可以根据评价值与判断阈值之差,设定多个等级。例如,可以根据评价值与判断阈值之差的大小,将其设定为“大”、“中”、“小”三级的基准,而且,也可以将被检测图像的品质等级设定为“劣质程度高”、“劣质程度 中”、“劣质程度低”三级的基准。另外,也可以通过设定多个判断阈值,来评价被检测图像的品质等级。
此外,除如上所述地对由被检测图像生成的各块进行优劣判断处理之外,还可以根据块相加值的最大值来实施优劣判断处理,用图13来说明该情况下的处理流程。
首先,优劣判断部8根据下述公式求取评价值(S40),
评价值=(块相加值的最大值-块相加值的均值)/标准差。
然后,优劣判断部8对在S40中求得的评价值和判断阈值进行大小比较(S41),并在S42或S43中将判断结果写入存储器。
(7.根据实际图像进行说明)
以下,根据附图中表示的实际图像,来说明上述结构的缺陷检测装置1检测斑缺陷的过程。
首先,如图14(a)所示那样设定被检测图像,并假设在该检测图像的A部分中发生了斑缺陷(参照图14(b),图14(b)是A部分的放大图)。
图14(c)所示的图表三维地表示了图14(b)的A部分的像素数据。即,如图14(c)所示,像素数据仅在发生了斑缺陷的区域中增加。
图15(a)表示由9×9拉普拉斯滤波器对图14(b)所示的图像实施了滤波处理后的图像,图15(b)是三维地表示由9×9拉普拉斯滤波器实施了滤波处理后的图像的图表。通过比较图14(c)和图15(c)的图像,可知:在图15(b)的图表中,像素数据在斑缺陷之外的区域中不变,而且,像素数据在斑缺陷区域和斑缺陷区域之外的区域中的差异比较显著。由此可知,通过采用9×9拉普拉斯滤波器,可除去图14(b)的图像的阴影,而且,还可以除去噪声成分,进而也可实现斑缺陷的边缘检测。
图16(a)表示在将图15(a)所示的图像进行块分割处理并求出了各块的块相加值后的图像。图16(b)是三维地表示图16(a)所示的图像的块相加值的图表。如图16(a)所示,在斑缺陷区域中,块相加值比在其他区域中要大。最后,如图16(c)所示,抽取图16(b) 所示的图像的缺陷区域。
图17(a)表示通过本实施方式的缺陷检测方法求得的图14(a)所示的被检测图像的块相加值的分布,图17(b)表示对图17(a)的直方图进行统计处理,求得关于块相加值的最小值、最大值、均值、标准差的结果。根据图17(a)所示的直方图和图17(b)所示的统计处理的结果,如图17(c)所示地设定判断阈值。
(8.安装示例)
接着,对使用本实施方式的缺陷检测装置的图像传感器器件的检测系统的结构示例进行一些说明。
首先,如图18所示,检测系统由图像传感器模块和图像传感器器件的测试器(数字图像品质测试器)构成,其中,图像传感器模块包括图像传感器器件本体和DSP部。图像传感器器件本体接受来自光源的光。DSP部具备RGB分离部、CPU部和多个存储器。上述构成DSP部的要素和在普通图像传感器模块中设置的DSP部的构成要素相同,因此,省略其详细说明。
在图18所示的检测系统的结构示例中,本实施方式的缺陷检测装置1被设置于DSP部的内部。这样,本实施方式的缺陷检测装置1可以安装在图像传感器模块内。安装缺陷检测装置1的优点在于下述,即:可使每一个图像传感器模块具有运算功能和判断功能,能够实现斑缺陷、块团缺陷的并行处理;由于不再需要从图像传感器模块向数字图像品质测试器或图像处理装置传送图像数据,因此,能够缩短检测时间。
进而,在由缺陷检测装置1执行的求取块相加值的标准差的运算中存在着进行平方运算的过程。在该运算的硬件化困难的情况下,可通过对缺陷检测装置1的块分割处理实施硬件安装,在数字图像品质测试器中进行其后的统计处理和优劣判断处理,来实现测试器本身的简约化。
另外,图18所示的安装示例中的图像传感器模块可以是“图像传感器器件”。即,作为图像传感器器件的一个示例的CMOS传感器存在该CMOS传感器本身包含有DSP部的情况。
关于上述图像传感器器件,可以在其内部的DSP部中设置本实施 方式的缺陷检测装置1。如上述那样在图像传感器器件内的DSP部中设置缺陷检测装置1的安装示例可以看作是图18所示的安装示例的变形例。
另外,本实施方式的缺陷检测装置1 可以安装于图像传感器模块的外部。即,例如,可以如图19所示那样,将本实施方式的缺陷检测装置1安装在具有RGB分离部、CPU部以及多个存储器的图像处理装置内。
此外,在图19所示的安装示例中,可以从图像传感器模块所包含的图像传感器器件(未图示)向图像处理装置内的存储器输入被检测图像。
进而,本实施方式的缺陷检测装置1也可以安装于数字图像品质测试器的内部。即,如图20所示,可以将本实施方式的缺陷检测装置1和RGB分离部设置于数字图像品质测试器内的图像处理部中。
此外,在图20所示的安装示例中,可以从图像传感器模块所包含的图像传感器器件(未图示)向数字图像品质测试器内的图像处理部输入被检测图像。
(9.本实施方式的缺陷检测方法的运算量)
对本实施方式的缺陷检测方法的运算量和现有技术的运算量进行定量比较,其比较结果参照下述。
首先,假设被扫描图像的像素数为N,图像缩小率为a,则现有技术中图像扫描次数估计为:
〔构成缺陷增强处理的各处理的图像扫描次数〕
·图像缩小处理......N
·阴影校正处理......3*3*N/(a*a)
(由3×3滤波器对各像素实施运算的情况)
·噪声去除处理(使用平滑滤波器)......3*3*N/(a*a)
·点缺陷去除处理......3*3*N/(a*a)
·边缘检测处理(使用拉普拉斯滤波器)......3*3*N/(a*a)
〔构成缺陷区域抽取处理的各处理的图像扫描次数〕
·二值化处理......N(a*a)
·对二值图像的噪声去除处理......(3*3*N/(a*a))*3
(估计至少对图像进行三次扫描)
·标记处理......N/(a*a)
(估计至少对图像进行一次扫描)
·作为特征量计算斑面积的处理......N/(a*a)
·优劣判断处理......从缺陷区域抽取处理总体的图像扫描次数来看,次数非常少。
另一方面,假设块分割尺寸(像素数)为b,则本实施方式的缺陷检测方法的图像扫描次数估计为:
〔构成缺陷增强处理的各处理的图像扫描次数〕
·图像缩小处理......N
·点缺陷去除处理......3*3*N/(a*a)
·滤波处理......(3*3*N/(a*a))*2
将9×9拉普拉斯滤波器的滤波处理分两个阶段来执行的情况(参照图6(a)、图6(b))
〔构成缺陷区域抽取处理的各处理的图像扫描次数〕
·块分割及相加值计算处理......N(a*a)
·统计处理......N/(a*a*b*b)
·优劣判断处理......N/(a*a*b*b)
关于上述图像扫描次数,当代入N=400万(像素)、图像缩小率a=2、块分割尺寸(像素数)b=40时,
〔现有技术〕
·缺陷增强处理 ......40M
·缺陷区域抽取处理 ......30M
共计 70M
〔本实施方式的缺陷检测方法〕
·缺陷增强处理 ......31M
·缺陷区域抽取处理 ......1.001M
共计 32.001M
如上所述,根据本实施方式的缺陷检测方法,能够通过与现有技术的缺陷增强处理大致相同的图像扫描次数对被检测图像进行优劣判断。
(10.补充)
由本实施方式的缺陷检测装置执行的缺陷检测方法也可以作为程序记录于计算机可读取的记录介质中,其中,该记录介质记录了由计算机执行的程序。结果,能够提供一种可自由携带的、记录了执行本实施方式的缺陷检测方法的程序的记录介质。
记录介质是用于在微计算机中进行处理的未图示的存储器,例如,可以是诸如ROM的程序介质,也可以为下述可读取的程序介质,即:在所设置的未图示的作为外部存储装置的程序读取装置中插入记录介质从而进行读取的程序介质。
在上述任一情况下,可以由微处理器存取并执行所保存的程序,也可以采用下述方式,即:读出程序,将所读出的程序下载至微计算机的未图示的程序存储区中,执行该程序,在该情况下,下载用的程序被预先保存于本体装置中。
上述程序介质是可与本体分离的记录介质,也可以是固定地保持下述程序的介质,即:磁带、盒式带等的带系统,包括软盘、硬盘等的磁盘、CD-ROM、MO、MD、DVD等的光盘的盘系统,IC卡(包括存储器卡)、光卡等的卡系统,或者,掩模型ROM、EPROM(ErasableProgrammable Read Only Memory)、EEPROM(Electrically ErasableProgrammable Read Only Memory)、闪存ROM等的半导体存储器系统。
另外,在上述情形下,由于被构成为能够与包括互联网在内的通信网络连接的系统,所以,也可以是像从通信网络下载程序那样流动地保持程序的介质。此外,在如上所述从通信网络下载程序的情况下,可预先将上述下载用程序保存于接收机中,或者,从别的记录介质中下载。
根据本发明,能够在短时间内以紧凑的电路结构对数字图像中是否存在缺陷区域进行判断。
本发明的缺陷检测装置是一种从数字图像内检测缺陷区域的缺陷 检测装置,其中,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化。本发明的缺陷检测装置具有:块分割部,把成为检测上述缺陷区域的对象的被检测图像分割为多个块;以及块相加值计算部,计算由上述块分割部分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值。向缺陷区域有无判断部输出上述块相加值,其中,该缺陷区域有无判断部通过统计处理来判断是否存在上述块相加值的误差值,从而判断是否存在上述缺陷区域。
另外,在上述结构的缺陷检测装置中,优选的是,上述块分割部将上述被检测图像分割为多个块,使得相邻的块彼此叠合。
即,如果不使相邻的块彼此重叠地将被检测图像分割为多个块,有时就会跨越相邻的块发生缺陷区域。在这种情况下,缺陷区域可能会分散地影响不同的块的块相加值,从而导致不能适当地判断是否存在缺陷区域。
但是,根据上述结构,块分割部使相邻的块彼此叠合地将被检测图像分割为多个块,因此,能可靠地将缺陷区域抑制在一个块内。由此,可以防止缺陷区域影响不同的两个块的块相加值,所以,能够灵敏地检测出缺陷区域。
此外,可以将上述缺陷区域有无判断部设置在上述结构的缺陷检测装置的内部。
根据上述结构,缺陷区域有无判断部被设置在缺陷检测装置的内部,所以,可由缺陷检测装置独立地执行块分割部的块分割处理、块相加值计算部的块相加值计算处理和缺陷区域有无判断部的缺陷区域有无判断判断处理。因此,仅仅利用上述结构的缺陷检测装置就能判断是否存在缺陷区域。
另外,可以将上述缺陷区域有无判断部设置在缺陷检测装置的外部。
根据上述结构,缺陷区域有无判断部被设置在缺陷检测装置的外部,所以,可使外部的装置执行判断是否存在块相加值的误差值的统计 处理。由此,缺陷检测装置仅仅实现块分割部的块分割处理、块相加值计算部的块相加值计算处理即可,因此,安装在硬件中的电路结构能实现紧凑化。
另外,在上述结构的缺陷检测装置中,优选的是,上述缺陷区域有无判断部通过统计处理来判断上述块相加值的每一个是否为误差值,其中,上述块相加值是由上述块相加值计算部求出的上述块分割部分割的多个块的各自的块相加值。
根据上述结构,通过统计处理来判断块相加值的每一个是否为误差值,其中,上述块相加值是由块相加值计算部求出的块分割部分割的多个块的各自的块相加值,因此,可由缺陷区域有无判断部判断被检测图像的所有的块中是否存在缺陷区域。由此,能够精确地判断是否存在缺陷区域。
另外,上述结构的缺陷检测装置也可以为:上述缺陷区域有无判断部通过统计处理来判断在上述块相加值中的取最大值的块相加值是否为误差值,其中,上述块相加值是由上述块相加值计算部求出的上述块分割部分割的多个块的各自的块相加值。
根据上述结构,借助于统计处理,仅对块相加值的最大值进行判断,判断其是否为误差值,而并非通过统计处理来判断由块分割部分割的所有块的块相加值是否为误差值。因此,可通过简单的处理在短时间内判断数字图像中是否存在缺陷区域。
另外,在上述结构的缺陷检测装置中,优选的是,通过对判断阈值和成为判断对象的块相加值进行大小的比较,来判断是否存在上述块相加值的误差值,其中,该判断阈值是由上述块分割部分割上述被检测图像所得到的块的个数和统计的显著性水平所决定的。
根据上述结构,通过统计来求得判断阈值,因此,能准确地判断块相加值是否为误差值。由此,可更为准确地判断是否存在缺陷区域。
另外,上述结构的缺陷检测装置也可以为:通过对判断阈值和成为判断对象的块相加值进行大小的比较,来判断是否存在上述块相加值的误差值,其中,该判断阈值是通过对所求出的优质图像的上述块相加值 进行统计处理后所得到的值,该优质图像成为不存在上述缺陷区域的基准图像。
根据上述结构,仅预先准备优质图像就可求出判断阈值,因此,可通过简单的处理就能判断阈值。由此,可通过更为简单的处理来判断块相加值是否为误差值。由所以,可在更短的时间内判断出是否存在缺陷区域。
进而,优选的是,上述被检测图像是从图像传感器器件得到的图像。
根据上述结构,能够判断在从图像传感器器件得到的数字图像中是否存在缺陷区域,这种数字图像特别有必要进行缺陷区域的检测。
另外,关于上述结构的缺陷检测装置,可将其设置于图像传感器器件内,也可以设置于图像传感器模块内,也可以设置于图像处理装置内,也可以设置于数字图像品质测试器内。
上述“图像传感器器件”是指CMOS传感器、CCD等的摄像元件。上述“图像传感器模块”是指在CMOS传感器、CCD等的摄像元件中安装镜头,搭载了控制用的DSP、时钟脉冲发生器等的模块。因此,可以说图像传感器器件被包含在图像传感器模块中。
上述“数字图像品质测试器”是指检测数字图像的品质的测试器。关于由数字图像品质测试器检测的图像,可以是从图像传感器器件等的半导体器件得到的图像,也可以是被输入液晶面板等的数字图像显示装置的数字图像或者从液晶面板等的数字图像显示装置输出的数字图像。
本发明的数字图像品质测试器,外部连接有从数字图像内检测缺陷区域的缺陷检测装置,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化。上述缺陷检测装置具有:块分割部,把成为检测上述缺陷区域的被检测图像分割为多个块;以及块相加值计算部,计算由上述块分割部分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值。具备缺陷区域有无判断部,其对由上述块相加值计算部输入的上述块相加值进行统计处理,判断是否存在块相加值的误差值,从而判断是否存在上述缺陷区域。
进而,优选的是,上述缺陷检测装置被设置在上述结构的数字图像 品质测试器的外部。
根据上述结构,缺陷检测装置被设置在数字图像品质测试器的外部,所以,可在数字图像品质测试器的外部执行块分割部的块分割处理、块相加值计算部的块相加值计算处理。由此,数字图像品质测试器仅执行判断是否存在块相加值的误差值的统计处理即可,所以,能够在更短的时间内判断是否存在缺陷区域。
本发明的缺陷检测装置是一种从数字图像内检测缺陷区域的装置,在该缺陷区域中,图像数据较之于该缺陷区域的周围的区域呈不均匀的变化。具备滤波处理部,其利用n×m拉普拉斯滤波器来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器被构成为进行二次微分的高通滤波器(n、m表示像素数,为3的倍数)。
进而,优选的是,在上述结构的缺陷检测装置中,上述滤波处理部将上述n×m拉普拉斯滤波器的滤波处理分为第1滤波器的滤波处理和第2滤波器的滤波处理来执行,其中,上述第1滤波器是尺寸为(n/3)×(m/3)的滤波器,构成滤波器的所有的权数被设定为相等的值;上述第2滤波器是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所形成的滤波器,对其进行设定使得在九个块中位于中央的中央块的中央的权数与包围上述中央块的八个块的各自的中央的权数之和为0。
根据上述结构,可以减少n×m拉普拉斯滤波器的运算处理。例如,在n=9、m=9时,假设被检测图像的像素数为N,那么,9×9拉普拉斯滤波器的运算处理就需要进行共计81N次的积和运算。但是,通过第1滤波器的滤波处理和第2滤波器的滤波处理这两个阶段的处理,可以将积和运算的次数减少到18N次。进而,根据第1滤波器和第2滤波器,可进行与n×m拉普拉斯滤波器相同的运算处理。所以,能够在更短的时间内判断是否存在缺陷区域。
另外,上述结构的缺陷检测装置优选的是,外部连接有从上述被检测图像中除去点缺陷的点缺陷去除部,上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;上述滤波处理部对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器的滤波处理。
根据上述结构,对被点缺陷去除部除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器的滤波处理,对缺陷区域进行增强处理。即,在进行滤波处理之前从被检测图像中除去可成为潜在的缺陷区域的点缺陷,从而能够防止将点缺陷检测为缺陷区域。由此,可提高缺陷区域的检测精度。
此外,由于在缺陷检测装置的外部执行点缺陷去除部的点缺陷去除处理,因此,缺陷检测装置仅仅执行n×m拉普拉斯滤波器的滤波处理即可,从而可防止缺陷检测装置的处理变得复杂化。
另外,上述结构的缺陷检测装置优选的是,外部连接有使上述被检测图像缩小的图像缩小部;上述滤波处理部对被缩小了的被检测图像执行n×m拉普拉斯滤波器的滤波处理。
根据上述结构,图像缩小部使被检测图像缩小,因此,可以减少被检测图像的数据量,而且,还可以增强被检测图像内存在的缺陷区域。
此外,由于在缺陷检测装置的外部执行图像缩小部的图像缩小处理,因此,缺陷检测装器仅仅执行n×m拉普拉斯滤波器的滤波处理即可,从而可防止缺陷检测装置的处理变得复杂化。
进而,上述结构的缺陷检测装置可以构成为:具备从上述被检测图像中除去点缺陷的点缺陷去除部,上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;上述滤波处理部对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器的滤波处理。
根据上述结构,对被点缺陷去除部除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器的滤波处理,对缺陷区域进行增强处理。即,在进行滤波处理之前从被检测图像中除去可成为潜在的缺陷区域的点缺陷,从而能够防止将点缺陷检测为缺陷区域。由此,可提高缺陷区域的检测精度。
进而,上述结构的缺陷检测装置优选的是,具备使上述被检测图像缩小的图像缩小部;上述滤波处理部对被缩小了的被检测图像执行n×m拉普拉斯滤波器的滤波处理。
根据上述结构,图像缩小部使被检测图像缩小,因此,可以减少被检测图像的数据量,而且,还可以增强被检测图像内存在的缺陷区域。
另外,上述结构的缺陷检测装置可以被设置在图像传感器器件内,也可以被设置在数字图像品质测试器内。
此外,借助于使计算机执行上述缺陷检测方法的缺陷检测程序,利用计算机也能够获得与本发明的缺陷检测方法同样的作用和效果。并且,通过将上述缺陷检测程序存储于计算机可读取的记录介质中,可以在任意的计算机上执行上述缺陷检测程序。
以上,对本发明进行了详细的说明,上述具体实施方式或实施例仅仅是揭示本发明的技术内容的示例,本发明并不限于上述具体示例,不应对本发明进行狭义的解释,可在本发明的精神和权利要求的范围内进行各种变更来实施之。
Claims (25)
1.一种缺陷检测装置(1),从数字图像内检测缺陷区域,其中,在该缺陷区域中的像素数据较之于该缺陷区域的周围的区域呈不均匀的变化,
该缺陷检测装置(1)具有:
块分割部(5),把成为检测上述缺陷区域的对象的被检测图像分割为多个块;以及
块相加值计算部(6),计算由上述块分割部(5)分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值,
向缺陷区域有无判断部(7、8)输出上述块相加值,其中,该缺陷区域有无判断部(7、8)通过统计处理来判断上述块相加值是否为误差值,从而判断是否存在上述缺陷区域,
该缺陷检测装置(1)还具备滤波处理部(4),其利用n×m拉普拉斯滤波器(10)来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器(10)是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器(10)被构成为进行二次微分的高通滤波器,其中n、m表示像素数且为6以上的3的倍数;
上述滤波处理部(4)将上述n×m拉普拉斯滤波器(10)的滤波处理分为第1滤波器(12)的滤波处理和第2滤波器(13)的滤波处理来执行,其中,
上述第1滤波器(12)是尺寸为(n/3)×(m/3)的滤波器,构成滤波器的所有的权数被设定为与1相等的值,且m=n;
上述第2滤波器(13)是通过集合九个尺寸为(n/3)×(m/3)的块(13a~13i)所形成的滤波器,对其进行设定使得在九个块中位于中央的中央块的中央的权数与包围上述中央块的八个块的各自的中央的权数之和为0,并将上述之外的权数设定为0。
2.根据权利要求1所述的缺陷检测装置(1),其特征在于:
上述块分割部(5)将上述被检测图像分割为多个块,使得相邻的块彼此叠合。
3.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
在所述缺陷检测装置(1)的内部设置有上述缺陷区域有无判断部(7、8)。
4.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
在所述缺陷检测装置(1)的外部设置有上述缺陷区域有无判断部(7、8)。
5.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
上述缺陷区域有无判断部(7、8),通过统计处理来判断上述块相加值的每一个是否为误差值,其中,上述块相加值是由上述块相加值计算部(6)求出的上述块分割部(5)分割的多个块的各自的块相加值。
6.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
上述缺陷区域有无判断部(7、8),通过统计处理来判断在上述块相加值中的取最大值的块相加值是否为误差值,其中,上述块相加值是由上述块相加值计算部(6)求出的上述块分割部(5)分割的多个块的各自的块相加值。
7.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
通过对判断阈值和成为判断对象的块相加值进行大小的比较来判断上述块相加值是否为误差值,其中,该判断阈值是由上述块分割部(5)分割上述被检测图像所得到的块的个数和统计的显著性水平所决定的。
8.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
通过对判断阈值和成为判断对象的块相加值进行大小的比较来判断上述块相加值是否为误差值,其中,该判断阈值是通过对所求出的优质图像的上述块相加值进行统计处理后所得到的值,该优质图像成为不存在上述缺陷区域的基准图像。
9.根据权利要求1或2所述的缺陷检测装置(1),其特征在于:
上述被检测图像是从图像传感器器件得到的图像。
10.根据权利要求1所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)外部连接有从上述被检测图像中除去点缺陷的点缺陷去除部(3),上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;
上述滤波处理部(4)对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
11.根据权利要求1所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)外部连接有使上述被检测图像缩小的图像缩小部(2);
上述滤波处理部(4)对被缩小了的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
12.根据权利要求1所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)具备从上述被检测图像中除去点缺陷的点缺陷去除部(3),上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;
上述滤波处理部(4)对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
13.根据权利要求1所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)具备使上述被检测图像缩小的图像缩小部(2);
上述滤波处理部(4)对被缩小了的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
14.一种图像传感器器件,其特征在于:
具备权利要求1或2所述的缺陷检测装置(1)。
15.一种图像传感器模块,其特征在于:
具备权利要求1或2所述的缺陷检测装置(1)。
16.一种图像处理装置,其特征在于:
具备权利要求1或2所述的缺陷检测装置(1)。
17.一种数字图像品质测试器,其特征在于:
具备权利要求1或2所述的缺陷检测装置(1)。
18.一种缺陷检测装置(1),从数字图像内检测缺陷区域,其中,在该缺陷区域中的像素数据较之于该缺陷区域的周围的区域呈不均匀的变化,
该缺陷检测装置(1)具有:
块分割部(5),把成为检测上述缺陷区域的对象的被检测图像分割为多个块;以及
块相加值计算部(6),计算由上述块分割部(5)分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值,
向缺陷区域有无判断部(7、8)输出上述块相加值,其中,该缺陷区域有无判断部(7、8)通过统计处理来判断上述块相加值是否为误差值,从而判断是否存在上述缺陷区域,
该缺陷检测装置(1)还具备滤波处理部(4),其利用n×m拉普拉斯滤波器(10)来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器(10)是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器(10)被构成为进行二次微分的高通滤波器,其中n、m表示像素数且为6以上的3的倍数,且m=n;
上述滤波处理部(4)将上述n×m拉普拉斯滤波器(10)的滤波处理分为第1滤波器的滤波处理和第2滤波器的滤波处理来执行,其中,
上述第1滤波器(12)是尺寸为(n/3)×(m/3)的滤波器,构成滤波器的所有的权数被设定为与1相等的值;
上述第2滤波器(13)是通过集合九个尺寸为(n/3)×(m/3)的块所形成的滤波器,按照使九个块内的中央的块距中心最近的权数、与包围上述中央的块的八个块的各自块距中心最近的权数之和为0,进而,设定其他的权数为0。
19.根据权利要求18所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)外部连接有从上述被检测图像中除去点缺陷的点缺陷去除部(3),上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;
上述滤波处理部(4)对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
20.根据权利要求18所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)外部连接有使上述被检测图像缩小的图像缩小部(2);
上述滤波处理部(4)对被缩小了的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
21.根据权利要求18所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)具备从上述被检测图像中除去点缺陷的点缺陷去除部(3),上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;
上述滤波处理部(4)对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
22.根据权利要求18所述的缺陷检测装置(1),其特征在于:
所述的缺陷检测装置(1)具备使上述被检测图像缩小的图像缩小部(2);
上述滤波处理部(4)对被缩小了的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理。
23.一种数字图像品质测试器,具备缺陷区域有无判断部(7、8),该数字图像品质测试器具备权利要求18的缺陷检测装置(1)。
24.一种缺陷检测方法,从数字图像内检测缺陷区域,其中,在该缺陷区域中,像素数据较之于该缺陷区域的周围的区域呈不均匀的变化,
该缺陷检测方法包括:
块分割步骤,把成为检测上述缺陷区域的对象的被检测图像分割为多个块;
块相加值计算步骤,计算在上述块分割步骤中分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值;
缺陷区域有无判断步骤,通过统计处理来判断上述块相加值是否为误差值,从而判断是否存在上述缺陷区域,以及
滤波处理步骤,利用n×m拉普拉斯滤波器(10)来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器(10)是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器(10)被构成为进行二次微分的高通滤波器,其中n、m表示像素数且为6以上的3的倍数,且m=n;
该缺陷检测方法包括从上述被检测图像中除去点缺陷的点缺陷去除步骤,上述点缺陷成为某像素的像素数据较之于其周围的像素数据突出的值;
上述滤波处理步骤是对被除去了点缺陷的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理的步骤。
25.一种缺陷检测方法,从数字图像内检测缺陷区域,其中,在该缺陷区域中,像素数据较之于该缺陷区域的周围的区域呈不均匀的变化,
该缺陷检测方法包括:
块分割步骤,把成为检测上述缺陷区域的对象的被检测图像分割为多个块;
块相加值计算步骤,计算在上述块分割步骤中分割的各块的块相加值,其中,该块相加值是对块内存在的像素的像素数据进行相加后所得到的值;
缺陷区域有无判断步骤,通过统计处理来判断上述块相加值是否为误差值,从而判断是否存在上述缺陷区域;以及
滤波处理步骤,利用n×m拉普拉斯滤波器(10)来增强成为上述缺陷区域检测对象的被检测图像中的上述缺陷区域,其中,上述n×m拉普拉斯滤波器(10)是通过集合九个尺寸为(n/3)×(m/3)的块(10a~10i)所构成的滤波器,上述尺寸为(n/3)×(m/3)的块(10a~10i)分别对像素数据进行积分,上述n×m拉普拉斯滤波器(10)被构成为进行二次微分的高通滤波器,其中n、m表示像素数且为6以上的3的倍数,且m=n;
该缺陷检测方法包括使上述被检测图像缩小的图像缩小步骤;
上述滤波处理步骤是对被缩小了的被检测图像执行n×m拉普拉斯滤波器(10)的滤波处理的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005280888A JP4657869B2 (ja) | 2005-09-27 | 2005-09-27 | 欠陥検出装置、イメージセンサデバイス、イメージセンサモジュール、画像処理装置、デジタル画像品質テスタ、欠陥検出方法、欠陥検出プログラム、およびコンピュータ読取可能な記録媒体 |
JP2005-280888 | 2005-09-27 | ||
JP2005280888 | 2005-09-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1940994A CN1940994A (zh) | 2007-04-04 |
CN1940994B true CN1940994B (zh) | 2011-01-05 |
Family
ID=37894016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200610141619XA Expired - Fee Related CN1940994B (zh) | 2005-09-27 | 2006-09-27 | 缺陷检测装置、图像传感器器件、图像传感器模块 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7783103B2 (zh) |
JP (1) | JP4657869B2 (zh) |
CN (1) | CN1940994B (zh) |
TW (1) | TWI351654B (zh) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101432864B (zh) * | 2006-04-27 | 2012-05-30 | 夏普株式会社 | 缺陷分布分类方法及系统、故障源设备确定方法及系统 |
US7925074B2 (en) * | 2006-10-16 | 2011-04-12 | Teradyne, Inc. | Adaptive background propagation method and device therefor |
US8391585B2 (en) * | 2006-12-28 | 2013-03-05 | Sharp Kabushiki Kaisha | Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium |
US8244057B2 (en) * | 2007-06-06 | 2012-08-14 | Microsoft Corporation | Removal of image artifacts from sensor dust |
CN101329281B (zh) * | 2007-06-20 | 2011-08-10 | 佛山普立华科技有限公司 | 影像感测晶片污点检测系统及其检测方法 |
JP2009069369A (ja) | 2007-09-12 | 2009-04-02 | Fujinon Corp | 撮像レンズおよび撮像装置 |
CN101431618B (zh) * | 2007-11-06 | 2010-11-03 | 联咏科技股份有限公司 | 具有行读取电路修补功能的图像传感器及其相关方法 |
TWI437878B (zh) * | 2007-11-20 | 2014-05-11 | Quanta Comp Inc | 用以校正影像訊號中壞點之方法及電路 |
KR101510098B1 (ko) * | 2007-12-21 | 2015-04-08 | 삼성전자주식회사 | 디지털 영상 처리 장치에서 영상의 배경흐림 효과 처리장치 및 방법 |
JP5058002B2 (ja) * | 2008-01-21 | 2012-10-24 | 株式会社豊田中央研究所 | 物体検出装置 |
JP5250871B2 (ja) | 2008-12-24 | 2013-07-31 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ムラ評価装置、ムラ評価方法、ディスプレイ検査装置、およびプログラム |
CN101995325A (zh) * | 2009-08-25 | 2011-03-30 | 比亚迪股份有限公司 | 一种图像传感器的外观检测方法及系统 |
GB2487350A (en) * | 2011-01-11 | 2012-07-25 | 3M Innovative Properties Co | Method of detecting a fault on an imaging device |
US8761454B2 (en) * | 2011-05-10 | 2014-06-24 | Hewlett-Packard Development Company, L.P. | Detecting streaks in printed images |
CA2743016A1 (en) * | 2011-06-10 | 2012-12-10 | Hermary Opto Electronics Inc. | 3d machine vision scanning information extraction system |
US8891866B2 (en) | 2011-08-31 | 2014-11-18 | Sony Corporation | Image processing apparatus, image processing method, and program |
US20130229408A1 (en) * | 2012-03-05 | 2013-09-05 | Korea University Research And Business Foundation | Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images |
JP6052590B2 (ja) * | 2012-09-27 | 2016-12-27 | 日産自動車株式会社 | 自動車車体の表面検査装置および表面検査方法 |
CN107871818B (zh) * | 2013-02-18 | 2020-04-07 | 卡帝瓦公司 | Oled堆叠膜的质量评估的系统、设备和方法 |
TWI498543B (zh) * | 2013-06-06 | 2015-09-01 | Crystalwise Technology | 自動晶圓光學檢測裝置及檢測晶圓表面均勻性的方法 |
CN103413333B (zh) * | 2013-08-08 | 2016-02-03 | 宁波成电泰克电子信息技术发展有限公司 | 一种碱性电池尾端凹凸缺陷检测方法 |
WO2015069566A1 (en) * | 2013-11-05 | 2015-05-14 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Adaptive detection sensor array and method of providing and using the same |
DE102013019138A1 (de) * | 2013-11-12 | 2015-05-13 | Application Solutions (Electronics and Vision) Ltd. | Verfahren zum Erkennen eines verdeckten Zustands einer Kamera, Kamerasystem und Kraftfahrzeug |
JP2015149554A (ja) * | 2014-02-05 | 2015-08-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及び撮像装置 |
FR3028376B1 (fr) * | 2014-11-07 | 2018-01-12 | Safran Electronics & Defense Sas | Procede de detection de pixels defectueux. |
CN105763768B (zh) * | 2014-12-15 | 2019-12-13 | 深圳市中兴微电子技术有限公司 | 一种图像处理方法、装置和系统 |
EP3082102A1 (de) * | 2015-04-13 | 2016-10-19 | MTU Aero Engines GmbH | Verfahren zum evaluieren wenigstens einer mittels eines generativen pulverschichtverfahrens hergestellten bauteilschicht |
JP6753264B2 (ja) | 2015-11-09 | 2020-09-09 | 株式会社リコー | 検査装置、検査方法及びプログラム |
CA3030226A1 (en) * | 2016-07-08 | 2018-01-11 | Ats Automation Tooling Systems Inc. | System and method for combined automatic and manual inspection |
US9798954B1 (en) * | 2016-12-15 | 2017-10-24 | Federal Home Loan Mortgage Corporation | System, device, and method for image anomaly detection |
JP7000066B2 (ja) * | 2017-08-03 | 2022-01-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN109975299B (zh) * | 2017-12-27 | 2022-03-25 | 群光电子股份有限公司 | 发光源检测系统与方法 |
JP7154522B2 (ja) * | 2018-02-20 | 2022-10-18 | 日本放送協会 | 超高精細映像に適した画質評価装置 |
US11195268B2 (en) * | 2018-05-22 | 2021-12-07 | Kla-Tencor Corporation | Target selection improvements for better design alignment |
US10867382B2 (en) * | 2018-05-24 | 2020-12-15 | Keysight Technologies, Inc. | Detecting mura defects in master panel of flat panel displays during fabrication |
CN109828394A (zh) * | 2019-03-22 | 2019-05-31 | 惠科股份有限公司 | 一种显示面板的检测方法和检测机台 |
CN110196504B (zh) * | 2019-06-14 | 2021-11-12 | 深圳市全洲自动化设备有限公司 | 一种应用于lcd玻璃aoi测试的屏蔽干扰污点方法及系统 |
CN110349129B (zh) * | 2019-06-24 | 2023-06-16 | 华南理工大学 | 一种高密度柔性ic基板外观缺陷检测方法 |
JP6703672B1 (ja) * | 2019-07-16 | 2020-06-03 | 株式会社テクムズ | 検査対象品の欠陥検出方法、その装置及びそのコンピュータプログラム |
US11538149B2 (en) * | 2019-07-31 | 2022-12-27 | Samsung Display Co., Ltd. | Spot detection device, spot detection method, and display device |
CN111028215A (zh) * | 2019-12-06 | 2020-04-17 | 上海大学 | 一种基于机器视觉的检测钢卷端面缺陷方法 |
CN112801972A (zh) * | 2021-01-25 | 2021-05-14 | 武汉理工大学 | 一种桥梁缺陷检测方法、设备、系统及存储介质 |
CN112903703A (zh) * | 2021-01-27 | 2021-06-04 | 广东职业技术学院 | 一种基于图像处理的陶瓷表面缺陷检测方法及系统 |
CN114399507B (zh) * | 2022-03-25 | 2022-06-17 | 季华实验室 | 一种手机外观质量检测方法、装置、电子设备及存储介质 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4589140A (en) * | 1983-03-21 | 1986-05-13 | Beltronics, Inc. | Method of and apparatus for real-time high-speed inspection of objects for identifying or recognizing known and unknown portions thereof, including defects and the like |
JPH0671038B2 (ja) * | 1987-03-31 | 1994-09-07 | 株式会社東芝 | 結晶欠陥認識処理方法 |
US5272763A (en) * | 1990-03-02 | 1993-12-21 | Matsushita Electric Industrial Co., Ltd. | Apparatus for inspecting wiring pattern formed on a board |
JP2730806B2 (ja) * | 1991-02-26 | 1998-03-25 | 松下電子工業株式会社 | 固体撮像素子の評価方法 |
US5309222A (en) * | 1991-07-16 | 1994-05-03 | Mitsubishi Denki Kabushiki Kaisha | Surface undulation inspection apparatus |
KR960002145B1 (ko) * | 1991-07-30 | 1996-02-13 | 가부시기가이샤 히다찌세이사구쇼 | 박막트랜지스터 액정기판의 검사방법 및 그 장치 |
US5274713A (en) * | 1991-09-23 | 1993-12-28 | Industrial Technology Research Institute | Real-time apparatus for detecting surface defects on objects |
US5379122A (en) * | 1992-10-02 | 1995-01-03 | Xerox Corporation | Decompression of standard ADCT-compressed images |
JP3257131B2 (ja) | 1993-03-30 | 2002-02-18 | ソニー株式会社 | 固体撮像装置の自動欠陥検出装置及び固体撮像装置 |
KR0152048B1 (ko) | 1995-06-22 | 1998-10-01 | 김광호 | 고체촬상소자의 결함 자동판별장치 |
JP3128485B2 (ja) | 1995-08-29 | 2001-01-29 | 三洋電機株式会社 | 固体撮像素子の欠陥画素検出装置 |
US6002433A (en) * | 1995-08-29 | 1999-12-14 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
US5854655A (en) * | 1995-08-29 | 1998-12-29 | Sanyo Electric Co., Ltd. | Defective pixel detecting circuit of a solid state image pick-up device capable of detecting defective pixels with low power consumption and high precision, and image pick-up device having such detecting circuit |
TW357327B (en) * | 1996-08-02 | 1999-05-01 | Sony Corp | Methods, apparatus and program storage device for removing scratch or wire noise, and recording media therefor |
JPH1127585A (ja) | 1997-06-30 | 1999-01-29 | Hitachi Denshi Ltd | 固体撮像素子の欠陥画素検出方法 |
US5917953A (en) * | 1997-07-07 | 1999-06-29 | The Morgan Crucible Company Plc | Geometry implicit sampler for polynomial surfaces over freeform two-dimensional domains |
JP4318776B2 (ja) * | 1998-10-26 | 2009-08-26 | 大日本印刷株式会社 | ムラの検査方法及び装置 |
JP3773773B2 (ja) | 1999-10-27 | 2006-05-10 | 三洋電機株式会社 | 画像信号処理装置及び画素欠陥の検出方法 |
US20040179738A1 (en) * | 2002-09-12 | 2004-09-16 | Dai X. Long | System and method for acquiring and processing complex images |
JP4556068B2 (ja) * | 2003-03-18 | 2010-10-06 | 奇美電子股▲ふん▼有限公司 | 液晶セルの検査装置および検査方法 |
JP2004294202A (ja) | 2003-03-26 | 2004-10-21 | Seiko Epson Corp | 画面の欠陥検出方法及び装置 |
JP4247993B2 (ja) | 2004-11-05 | 2009-04-02 | シャープ株式会社 | 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体 |
-
2005
- 2005-09-27 JP JP2005280888A patent/JP4657869B2/ja active Active
-
2006
- 2006-09-26 US US11/526,780 patent/US7783103B2/en not_active Expired - Fee Related
- 2006-09-26 TW TW095135589A patent/TWI351654B/zh not_active IP Right Cessation
- 2006-09-27 CN CN200610141619XA patent/CN1940994B/zh not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
JP特开平4-270592A 1992.09.25 |
Also Published As
Publication number | Publication date |
---|---|
CN1940994A (zh) | 2007-04-04 |
JP4657869B2 (ja) | 2011-03-23 |
JP2007093304A (ja) | 2007-04-12 |
US7783103B2 (en) | 2010-08-24 |
TW200723170A (en) | 2007-06-16 |
US20070071304A1 (en) | 2007-03-29 |
TWI351654B (en) | 2011-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1940994B (zh) | 缺陷检测装置、图像传感器器件、图像传感器模块 | |
CN101210890B (zh) | 缺陷检测装置及方法、图像传感器器件和模块 | |
TWI581213B (zh) | 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體 | |
CN110349145B (zh) | 缺陷检测方法、装置、电子设备以及存储介质 | |
Banić et al. | Light random sprays Retinex: exploiting the noisy illumination estimation | |
US8219940B2 (en) | Method and apparatus for removing dummy features from a data structure | |
US20220269996A1 (en) | Information processing apparatus, information processing method, and storage medium | |
CN110378313A (zh) | 细胞团识别方法、装置及电子设备 | |
CN111915549A (zh) | 瑕疵检测方法、电子装置及计算机可读存储介质 | |
CN110910445B (zh) | 一种物件尺寸检测方法、装置、检测设备及存储介质 | |
CN115861153A (zh) | 图像检测方法、计算机装置及存储介质 | |
US9336587B2 (en) | Semiconductor circuit pattern measuring apparatus and method | |
CN114399507B (zh) | 一种手机外观质量检测方法、装置、电子设备及存储介质 | |
CN114298985B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
KR100779312B1 (ko) | 결함 검출 장치, 이미지 센서 디바이스, 이미지 센서 모듈,화상 처리 장치, 디지털 화상 품질 테스터, 및 결함 검출방법 | |
CN100353381C (zh) | 图像检查设备和方法 | |
CN114723650A (zh) | 晶圆缺陷检测方法和装置、设备及存储介质 | |
US10657626B2 (en) | Image processing apparatus, image processing system, and recording medium | |
WO2023060797A1 (zh) | 用于半导体电子束缺陷监测的图像处理方法、装置和系统 | |
CN111932515B (zh) | 产品残留类缺陷的短路检测方法及系统及缺陷分类系统 | |
CN109166511B (zh) | 显示装置补偿表压缩方法 | |
CN111504608B (zh) | 辉度均匀检测系统及辉度均匀检测方法 | |
KR20210093108A (ko) | 게임 데이터를 기초로 비정상 사용자를 검출하는 방법 및 장치 | |
CN117274267B (zh) | 掩膜版图的自动检测方法、装置、处理器以及电子设备 | |
CN114782710B (zh) | 一种图像特征提取方法及装置、显示面板的修复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110105 Termination date: 20140927 |
|
EXPY | Termination of patent right or utility model |