CN103207183B - 外观检查装置和外观检查方法 - Google Patents
外观检查装置和外观检查方法 Download PDFInfo
- Publication number
- CN103207183B CN103207183B CN201210584213.4A CN201210584213A CN103207183B CN 103207183 B CN103207183 B CN 103207183B CN 201210584213 A CN201210584213 A CN 201210584213A CN 103207183 B CN103207183 B CN 103207183B
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- defective
- article
- appearance inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了外观检查装置和外观检查方法。预先接收并存储了构成被看作非缺陷物品的各物品的一组图像的多个图像的输入,并基于所存储的所述多个图像设置用于检测检查对象的缺陷部位的缺陷阈值。基于设置的缺陷阈值来针对所存储的所述多个图像中的每一个计算将与用于对检查对象进行非缺陷/缺陷判定的判定阈值进行比较的缺陷量,并且利用参数化技术和非参数化技术中的至少一种来测试每个计算出的缺陷量是否是异常值。显示和输出异常值信息,该异常值信息用于指定其缺陷量已经被测试为异常值的图像。
Description
技术领域
本发明涉及能够从通过拍摄检查对象所获取的图像中被看作是非缺陷物品的各物品的一组存储图像中消除缺陷物品图像的外观检查装置、外观检查方法和计算机程序。
背景技术
迄今为止,已经开发出了这样的一种外观检查方法,即其中将通过拍摄检查对象所获取的图像与作为标准的检查对象的图像(标准图像)进行比较,以判定检查对象是否是非缺陷物品。用作上述判定标准的图像是通过外观检查被判定为非缺陷物品的物品的图像,并利用被判定为非缺陷物品的物品的图像作为标准来设置了用于非缺陷/缺陷判定的判定阈值。
为了正确地将非缺陷物品判定为非缺陷物品,设置用于非缺陷/缺陷判定的适当的判定阈值是重要的。例如,日本未审查专利公开第2005-265661号公开了一种图像检查装置,该图像检查装置利用如下的图像处理方法:输入多个非缺陷物品图像来设置阈值以对检查对象的图像进行非缺陷/缺陷判定。在日本未审查专利公开第2005-265661号中,每次添加非缺陷物品图像时都进行学习,并重置用于非缺陷/缺陷判定的阈值,因此即使在非缺陷/缺陷判定已经发生了轻微变化时也能设置合适的阈值。
然而,日本未审查专利公开第2005-265661号中公开的利用图像处理方法的图像检查装置存在的问题在于:当缺陷物品的图像错误地成为用于设置阈值的学习对象时,将非缺陷物品错误地判定为缺陷物品的可能性增大,这会导致缺陷检测精度的劣化。通常,为了避免缺陷物品的图像的混杂,用户目视检查物品的图像并排除被判定为缺陷物品的图像,但是目视检查所有的图像是非常复杂的操作。
发明内容
本发明是鉴于上述情形做出的,并且本发明的一个目的是提供外观检查装置、外观检查方法和计算机程序,它们能够防止缺陷物品的图像混杂到用作用于设置用于非缺陷/缺陷判定的判定阈值的标准的图像组中,并且进一步防止检查精度劣化。
为了实现上述目的,根据本发明的一个实施例,提供了一种外观检查装置,其将检查对象的拍摄图像与被看作非缺陷物品的各物品的一组图像进行比较,以进行非缺陷/缺陷判定,所述外观检查装置包括:图像输入单元,用于接收构成被看作非缺陷物品的各物品的一组图像的多个图像的输入,并存储这些图像;阈值设置单元,用于基于所存储的所述多个图像设置用于检测检查对象的缺陷部位的缺陷阈值;缺陷量计算单元,用于基于所设置的缺陷阈值针对所存储的所述多个图像中的每一个图像计算将与判定阈值进行比较的缺陷量,所述判定阈值用于对所述检查对象进行非缺陷/缺陷判定;异常值测试单元,用于通过统计处理来测试每个计算出的缺陷量是否是异常值;以及信息显示单元,用于显示和输出异常值信息,该异常值信息用于指定其缺陷量已经被测试为异常值的图像。
此外,根据本发明的另一实施例,根据第一方面的外观检查装置包括:选择接收单元,用于接收对要从被看作非缺陷物品的各物品的所述一组图像中删除的图像的选择。
此外,根据本发明的再一实施例,在根据第一方面或第二方面的外观检查装置中,所述异常值测试单元利用参数化技术和非参数化技术中的至少一个来执行测试。
此外,根据本发明的再一实施例,在根据第一方面或第二方面的外观检查装置中,所述异常值测试单元利用参数化技术和非参数化技术二者来执行测试。
此外,根据本发明的再一实施例,在根据第一方面至第四方面中任一方面的外观检查装置中,所述缺陷量计算单元将所述缺陷量计算为通过对图像中浓度大于所述缺陷阈值的连续区域中包含的差分浓度进行求和而得到的浓度积分值。
此外,根据本发明的再一实施例,在根据第一方面至第五方面中任一方面的外观检查装置中,所述信息显示单元按照所述缺陷量的降序来显示和输出所述异常值信息。
接下来,为了实现上述目的,根据本发明的再一实施例,提供了一种可由外观检查装置执行的外观检查方法,所述外观检查装置将检查对象的拍摄图像与被看作非缺陷物品的各物品的一组图像进行比较,以进行非缺陷/缺陷判定,所述方法包括以下步骤:接收构成被看作非缺陷物品的各物品的一组图像的多个图像的输入,并存储这些图像;基于所存储的所述多个图像设置用于检测检查对象的缺陷部位的缺陷阈值;基于所设置的缺陷阈值针对所存储的所述多个图像中的每一个图像计算将与判定阈值进行比较的缺陷量,所述判定阈值用于对所述检查对象进行非缺陷/缺陷判定;通过统计处理来测试每个计算出的缺陷量是否是异常值;以及显示和输出异常值信息,该异常值信息用于指定其缺陷量已经被测试为异常值的图像。
此外,根据本发明的再一实施例,根据第七方面的外观检查方法包括以下步骤:接收对要从被看作非缺陷物品的各物品的所述一组图像中删除的图像的选择。
此外,根据本发明的再一实施例,在根据第七方面或第八方面的外观检查方法中,利用参数化技术和非参数化技术中的至少一个来执行测试。
此外,根据本发明的再一实施例,在根据第七方面或第九方面的外观检查方法中,利用参数化技术和非参数化技术二者来执行测试。
此外,根据本发明的再一实施例,在根据第七方面至第十方面中任一方面的外观检查方法中,将所述缺陷量计算为通过对图像中浓度大于所述缺陷阈值的连续区域中包含的差分浓度进行求和而得到的浓度积分值。
此外,根据本发明的再一实施例,在根据第七方面至第十一方面中任一方面的外观检查方法中,按照所述缺陷量的降序来显示和输出所述异常值信息。
接下来,为了实现上述目的,根据本发明的再一个实施例,提供了一种可由外观检查装置执行的计算机程序,所述外观检查装置将检查对象的拍摄图像与被看作非缺陷物品的各物品的一组图像进行比较,所述计算机程序使所述外观检查装置用作:图像输入单元,用于接收构成被看作非缺陷物品的各物品的一组图像的多个图像的输入,并存储这些图像;阈值设置单元,用于基于所存储的所述多个图像设置用于检测检查对象的缺陷部位的缺陷阈值;缺陷量计算单元,用于基于所设置的缺陷阈值针对所存储的所述多个图像中的每一个图像计算将与判定阈值进行比较的缺陷量,所述判定阈值用于对所述检查对象进行非缺陷/缺陷判定;异常值测试单元,用于通过统计处理来测试每个计算出的缺陷量是否是异常值;以及信息显示单元,用于显示和输出异常值信息,该异常值信息用于指定其缺陷量已经被测试为异常值的图像。
此外,根据本发明的另一实施例,根据第十三方面的计算机程序中,使所述外观检查装置用作:选择接收单元,用于接收对要从被看作非缺陷物品的各物品的所述一组图像中删除的图像的选择。
此外,根据本发明的再一实施例,在根据第十三方面或第十四方面的计算机程序中,使所述异常值测试单元用作利用参数化技术和非参数化技术中的至少一个来执行测试的单元。
此外,根据本发明的再一实施例,在根据第十三方面或第十四方面的计算机程序中,使所述异常值测试单元用作利用参数化技术和非参数化技术二者来执行测试的单元。
此外,根据本发明的再一实施例,在根据第十三方面至第十六方面中任一方面的计算机程序中,使所述缺陷量计算单元用作将所述缺陷量计算为通过对图像中浓度大于所述缺陷阈值的连续区域中包含的差分浓度进行求和而得到的浓度积分值的单元。
此外,根据本发明的再一实施例,在根据第十三方面至第十七方面中任一方面的计算机程序中,使所述信息显示单元用作按照所述缺陷量的降序来显示和输出所述异常值信息的单元。
在第一、第七和第十三方面中,预先接收并存储了构成被看作非缺陷物品的各物品的一组图像的多个图像的输入,并基于所存储的多个图像设置用于检测检查对象的缺陷部位的缺陷阈值。基于设置的缺陷阈值来针对所存储的所述多个图像中的每一个计算将与用于对检查对象进行非缺陷/缺陷判定的判定阈值进行比较的缺陷量,并且通过统计处理来测试每个计算出的缺陷量是否是异常值。显示和输出异常值信息,该异常值信息用于指定其缺陷量已经被测试为异常值的图像。这允许对按每个图像计算出的缺陷量是否是被看作非缺陷物品的各物品的一组图像中的统计学上适合的缺陷量进行目视检查,以便于从用作用于设置缺陷阈值的标准的图像组中消除明显缺陷物品的图像。因此即使在混杂图像的情况下也可以可靠地消除缺陷物品的图像,并减少对用于进行非缺陷/缺陷判定的判定阈值的设置产生影响的概率,从而高精度地执行非缺陷/缺陷判定。
在第二、第八和第十四方面中,由于可接收从被看作非缺陷物品的各物品的一组图像中对要删除的图像的选择,因此甚至可以有意地对留在用作设置判定阈值的标准的图像组中的缺陷物品的图像进行保留,以及消除该图像。
在第三、第九和第十五方面中,由于利用参数化技术和非参数化技术中的至少一种执行测试,因此即使在难以假设缺陷量服从固定概率分布(诸如正态分布)时,也可以通过非参数化技术正确执行测试。参数化技术是指以缺陷量服从固定概率分布(诸如正态分布)为前提的测试方法,而非参数化技术是指以缺陷量不服从固定概率分布(诸如正态分布)为前提的测试方法。
在第四、第十和第十六方面中,由于利用参数化技术和非参数化技术两者执行测试,因此即使在难以假设缺陷量服从固定概率分布(诸如正态分布)时,也可以通过非参数化技术正确执行测试。
在第五、第十一和第十七方面中,由于缺陷量被计算为通过对图像中其浓度大于缺陷阈值的连续区域中包含的差分浓度进行求和而得到的浓度积分值,因此甚至在利用差分浓度的情况下可能不会被检测为缺陷部位的部位、以及尽管具有低于缺陷阈值的浓度但在宽范围内延伸的部位等可以被可靠检测为缺陷部位。本文中,差分浓度是指浓度与缺陷阈值的差值。
在第六、第十二和第十八方面中,按照缺陷量的降序对异常值信息进行显示和输出,从而可以在更高的层次上显示可能成为异常值的异常值信息,以便于作出关于图像是否应该保留在用作用于设置判定阈值的标准的图像组中的判定。
根据本发明,预先接收并存储了构成被看作非缺陷物品的各物品的一组图像的多个图像的输入,并基于所存储的多个图像设置用于检测检查对象的缺陷部位的缺陷阈值。基于设置的缺陷阈值来针对所存储的所述多个图像中的每一个计算将与用于对检查对象进行非缺陷/缺陷判定的判定阈值进行比较的缺陷量,并且通过统计处理测试每个计算出的缺陷量是否是异常值。显示和输出异常值信息,该异常值信息用于指定其缺陷量已经被测试为异常值的图像。这允许对按每个图像计算出的缺陷量是否是被看作非缺陷物品的各物品的一组图像中统计学上适合的缺陷量进行目视检查,以便于从用作用于设置缺陷阈值的标准的图像组中消除明显缺陷物品的图像。因此即使在混杂图像的情况下也可以可靠地消除缺陷物品的图像,并减少对用于进行非缺陷/缺陷判定的判定阈值的设置产生影响的概率,从而高精度地执行非缺陷/缺陷判定。
附图说明
图1是示出包括根据本发明一个实施例的外观检查装置的产品检查系统的构造的示意图;
图2是示意性示出根据本发明实施例的外观检查装置的构造的框图;
图3是示出由根据本发明实施例的外观检查装置的主控制部件执行的针对各种参数的设置处理的过程的流程图;
图4是示出根据本发明实施例的外观检查装置的主控制部件执行的非缺陷物品学习处理的过程的流程图;
图5是示出根据本发明实施例的外观检查装置的构造示例的功能框图;
图6是示出由根据本发明实施例的外观检查装置的主控制部件执行的针对错误学习的图像数据的删除处理的过程的流程图;
图7是根据本发明实施例的外观检查装置中的非缺陷物品图像输入接收屏幕的示意性视图;
图8是示出存储在非缺陷物品图像数据存储部件中的非缺陷物品图像中任意像素的浓度分布的示例性视图;
图9是根据本发明实施例的外观检查装置中非缺陷物品学习处理之后的非缺陷物品图像输入接收屏幕的示意性视图;
图10是在根据本发明实施例的外观检查装置中选择缺陷物品的图标的情况下的非缺陷物品图像输入接收屏幕的示意性视图;
图11是在根据本发明实施例的外观检查装置中选择另一缺陷物品的图标的情况下的非缺陷物品图像输入接收屏幕的示意性视图;
图12是在将用作位置调整的标准的图像叠加在其输入已经在根据本发明实施例的外观检查装置中被接收到的图像上的情况下的非缺陷物品图像输入接收屏幕的示例性视图;
图13是根据本发明实施例的外观检查装置中的验证屏幕的示意性视图;
图14是根据本发明实施例的外观检查装置中的验证屏幕的示意性视图;
图15是根据本发明实施例的外观检查装置中的验证屏幕的示意性视图;
图16是根据本发明实施例的外观检查装置中的验证屏幕的示意性视图;
图17是在根据本发明实施例的外观检查装置中利用盒须图测试一个值是否是异常值情况下的说明视图;
图18是根据本发明实施例的外观检查装置中非缺陷物品学习处理之后的非缺陷物品图像输入接收屏幕的示意性视图;
图19是针对根据本发明实施例的外观检查装置中非缺陷物品学习处理结果的显示屏幕的示例性视图;
图20是根据本发明实施例的外观检查装置中非缺陷物品学习处理之后的非缺陷物品图像输入接收屏幕的示意性视图;
图21是针对根据本发明实施例的外观检查装置中非缺陷物品学习处理结果的显示屏幕的另一示例性视图;
图22是根据本发明实施例的外观检查装置中用于检查非缺陷物品颜色的屏幕的示例性视图;以及
图23A和图23B是根据本发明实施例的外观检查装置中非缺陷物品颜色确定方法的示例图。
具体实施方式
下面将参照附图描述根据本发明实施例的外观检查装置。应该注意,对全部参考附图中具有相同或相似构造或功能的元件提供相同或相似的附图标记,并省略其中重复的详细描述。
图1是示出包括根据本发明一个实施例的外观检查装置的产品检查系统的构造的示意性视图。如图1所示,包括根据本发明的外观检查装置的产品检查系统包括相机1和外观检查装置2,外观检查装置2和相机1以数据可通信方式通过连接电缆3相连接。外观检查装置2与显示装置(未示出)相连接,并容纳图像处理控制部件201和照明控制部件202。
此外,照明控制部件202与照明装置4以数据可通信方式通过连接电缆3连接。照明装置4利用光来照射在传送带5上移动的检查对象6,并由相机1拍摄检查对象6的图像。基于所拍摄的检查对象6的图像,外观检查装置2判定检查对象6是非缺陷物品还是缺陷物品。
相机1中包括用于执行图像处理的FPGA、DSP等,并且包括具有用于拍摄检查对象6的图像的成像元件。CMOS衬底被提供作为成像元件,并且例如,所拍摄的彩色图像被CMOS衬底基于其扩展动态范围的转换特性而转换成HDR图像。
多个检查对象6在传送带5的线路上流动。由设置在检查对象6上方(或下方或侧方)的相机1拍摄检查对象6的图像,并将拍摄的图像与标准图像(例如,拍摄的非缺陷物品的图像)相比较,以判定检查对象6中是否存在裂纹、缺陷等。当判定检查对象6中存在裂纹、缺陷等时,则做出NG判定。另一方面,当判定检查对象6中不存在裂纹、缺陷等时,则做出OK判定。以此方式,根据本发明的外观检查装置2利用检查对象6的拍摄图像对检查对象6做出非缺陷/缺陷判定。
此处,在对检查对象6进行外观检查的情况下,需要设置用于进行检查的各种参数。这些参数例如是用于定义成像条件的成像参数、用于定义照明条件的照明参数、和用于定义表明要执行何种检查的检查条件的图像处理参数(检查参数)。在外观检查装置2中,这些各种参数在进行上述的非缺陷/缺陷判定之前被设置。简言之,外观检查装置2具有用于对检查对象6进行非缺陷/缺陷判定的操作模式(运行模式)和对用于进行检查的各种参数进行设置的设置模式(非运行模式),并且外观检查装置2具有用于切换这些模式的模式切换单元(未示出)。
于在操作模式下对在线路上流动的多个检查对象6重复进行非缺陷/缺陷判定之前,用户在设置模式下对各种参数设置(调整)最佳参数值。基本上,对各种参数设置默认值,并且当用户判定这些默认值可以保持不变时,则不需要调整这些参数值。
同时,可以根据检查对象6的种类或检查环境中的变化来调整参数值。根据本实施例的外观检查装置2用于在设置模式下设置最佳参数值的情况下防止缺陷物品的图像混杂到用作用于设置判定阈值的标准的图像组中。下文中,将详细描述根据本实施例的外观检查装置2的构造以及处理过程。
图2是示意性示出根据本发明实施例的外观检查装置2的构造的框图。如图2所示,根据本实施例的外观检查装置2与用于拍摄图像的相机1和用于显示拍摄图像或在运算处理过程中产生的图像的显示装置3连接。
外观检查装置2至少包括CPU(中央处理单元)、由LSI等构成的主控制部件21、存储器22、存储单元23、输入单元24、输出单元25、通信单元26、辅助存储单元27和用于连接上述硬件的内部总线28。主控制部件21通过内部总线28与如上所述的外观检查装置2的硬件的每个部件连接,并控制上述硬件的每个部件的操作,同时根据存储在存储单元23中的计算机程序5来执行各种基于软件的功能。存储器22包括诸如SRAM、SDRAM等的易失性存储器,并部署有在执行计算机程序5时的加载模块,并存储在执行计算机程序5时产生的临时数据等。
存储单元23包括内置固定类型的存储装置(硬盘、闪存)、ROM等。存储在存储单元23中的计算机程序5被辅助存储单元27从记录有诸如程序和数据的信息的可移动记录介质4(诸如DVD、CD-ROM、或闪存)中下载,并且在执行时,计算机程序5被从存储单元23部署给存储器22,然后被执行。当然,其也可以是通过通信单元26从外部计算机下载的计算机程序。
存储单元23提供有非缺陷物品图像数据存储部件231,用于存储构成被看作非缺陷物品的各物品的一组图像的多个图像的图像数据。虽然非缺陷物品图像数据存储部件231存储被看作非缺陷物品的物品的图像的图像数据,但是该数据还包括尽管是缺陷物品但却被用户错误地判定为非缺陷物品的物品的图像数据。即,存储了被用户判定为非缺陷物品(不管该物品是否是非缺陷物品)的物品的图像数据。换言之,要被存储到非缺陷物品图像数据存储部件231中的非缺陷物品图像数据被用户选择并输入作为构成用作用于设置判定阈值的标准的图像组的一个图像。尤其对于执行下述非缺陷物品学习处理,用户利用显示装置3、输入单元24等选择被用户判定为非缺陷物品的图像的检查对象6的图像,并且多个所选图像的图像数据被存储到非缺陷物品图像数据存储部件231中。
通信单元26连接至内部总线28,并可以通过连接至诸如互联网、LAN或WAN的外部网络来向外部计算机发送数据以及从外部计算机接收数据等。即,前述存储单元23不限于容纳在外观检查装置2中的构造,而是存储单元23可以是安装在通过通信单元26连接的外部服务器计算机等中的诸如硬盘的外部记录介质。
输入单元24是广义的概念,其除了诸如键盘和鼠标的数据输入介质之外,还包括通常用于获取输入信息的装置,诸如与液晶面板等集成在一起的触摸板等。输出单元25是指诸如激光打印机、点式打印机等的打印装置。
显示装置3是具有CRT、液晶面板等的显示装置。外部控制设备6是通过通信单元26连接的控制设备,并且例如PLC(可编程逻辑控制器)等对应于该设备。在此,外部控制设备6指的是通常根据通过外观检查装置2的检查结果来执行后处理的设备。
图3是示出根据本发明实施例的外观检查装置2的主控制部件21执行的各种参数的设置处理的过程的流程图。图3中,外观检查装置2的控制部件21对于其输入已经被接收的检查对象6的图像设置位置偏移校正模式(步骤S301)。具体地,其输入已经被接收的图像的位置偏移通过设置用作标准的图像的模式来被校正。
主控制部件21设置要检查的区域(步骤S302)。具体地,选择矩形区域或圆形区域允许设置将要检查其中是否存在缺陷的区域。
主控制部件21执行非缺陷物品学习处理(步骤S303)。具体地,如图4所示执行非缺陷物品学习处理。图4是示出由根据本发明实施例的外观检查装置2的主控制部件21执行的非缺陷物品学习处理(图3的步骤S303)的过程的流程图。
图4中,外观检查装置2的主控制部件21将被用户通过输入单元24等选择作为非缺陷物品的多个图像的图像数据存储到非缺陷物品图像数据存储部件231中(步骤S401)。存储在非缺陷物品图像数据存储部件231中的多条图像数据成为被看作非缺陷物品的各物品的一组图像。
接下来,从被看作非缺陷物品的各物品的一组图像删除不必存储在非缺陷物品图像数据存储部件231中的图像,即删除可能会引起缺陷部位的检测精度劣化(缺陷阈值的错误设置)并由于错误学习而被混杂的图像(步骤S402)。通常,用户执行目视检查,并选择和删除已被判定为缺陷物品的物品的图像。然而,目视检查存储在非缺陷物品图像数据存储部件231中的全部图像是非常复杂的操作。
因此,在根据本实施例的外观检查装置2中,自动删除不必存储到非缺陷物品图像数据存储部件231中的图像。下面将参照图5和图6描述其细节。
在通过步骤S402获得了更适合的图像组之后,可以自动重置用于非缺陷/缺陷判定的判定阈值(步骤S403)。例如,根据下面的过程执行用于计算判定阈值的方法。
主控制部件21基于已经在步骤S402中设置的缺陷阈值关于存储在非缺陷物品图像数据存储部件231中的全部图像中的每一个检测缺陷部位,并获取检测到的缺陷部位的浓度的频率分布来作为直方图。随后,主控制部件21通过统计处理计算新的缺陷阈值。
主控制部件21利用参数化技术(例如,Smirnov-Grubbs测试等)和非参数化技术(例如,利用盒须图(box-and-whisker plot)的测试等)中的至少一种来自动计算最佳缺陷阈值,其中所述参数化技术以用作用于统计处理对象的浓度服从正态分布为前提,所述非参数化技术以该浓度不服从正态分布为前提。主控制部件21利用获取的直方图来执行关于检测到的缺陷部位中的每一个的缺陷量是否是异常值的测试。当找到明显的异常值时,对能够删除找到的异常值的新的缺陷阈值进行自动计算。例如,可以将缺陷阈值设置在介于找到的异常值和除异常值以外的部分的中值之间。
主控制部件21基于计算出的新的缺陷阈值关于前述的图像组(存储在非缺陷物品图像数据存储部件231中的全部图像中的每一个)重新检测缺陷部位,此后,基于检测到的缺陷部位的缺陷量来计算并设置新的判定阈值。作为用于计算和设置判定阈值的技术,例如,可以将计算出的缺陷量的最大值或统计计算出的大于所述最大值的值设置为判定阈值,或者可以通过统计处理执行关于每个检测到的缺陷部位的缺陷量是否是异常值的测试,以及可以计算并设置新的判定阈值使得从图像组删除测试出的缺陷量是异常值的图像。通过自动阈值设置,可以更可靠地反映用户对仅具有轻微裂纹的检查对象6做出OK判定的意图。
返回图3,外观检查装置2的主控制部件21验证是否已经正确执行了非缺陷物品学习处理(步骤S304),并调整设置参数以便将非缺陷物品正确判定为非缺陷物品。具体地,对通过利用相机1拍摄用于测试的多个检查对象(非缺陷物品)6而获取的非缺陷物品图像或多个存储的非缺陷物品图像进行非缺陷/缺陷判定,并且用户手动调整设置参数以获得正确的结果。在对设置参数进行了最佳调整之后,主控制部件21存储调节后的设置参数(步骤S305),以完成设置模式。步骤S301至S305中示出的处理是所谓的关于设置模式的操作。
接下来,当用户通过输入单元24等选择预定按钮(例如,操作按钮)时,模式从设置模式变换至操作模式,并启动对线路上流动的检查对象6进行非缺陷/缺陷判定的操作(步骤S306)。更具体地,当从外部输入了表示检查对象6到达相机1下方的触发信号时,外观检查装置2捕获检查对象6的图像,并利用在步骤S305中存储的设置参数进行非缺陷/缺陷判定。
在图4所示的步骤S402的处理中,根据本发明实施例的外观检查装置2基于统计处理删除不管是否是缺陷物品(用户期望将其看作缺陷物品)的图像都将其错误地存储为非缺陷物品图像的图像。图5是示出根据本发明实施例的外观检查装置2的构造示例的功能框图。
图5中,根据本实施例的外观检查装置2包括相机1、用于执行外观检查装置2的处理的图像处理部件7、存储单元23和图像显示部件8。
相机1例如是数码相机,其通过拍摄薄膜表面作为检查对象6来获取图像,并将图像输出至图像处理部件7。
图像处理部件7包括图像输入单元71、阈值设置单元72、缺陷量计算单元73、异常值测试单元74和信息显示单元75。此外,图像处理部件7被构造为包括主控制部件21、存储器22、外部I/F等,并且控制图像输入单元71、阈值设置单元72、缺陷量计算单元73、异常值测试单元74和信息显示单元75的处理操作。
存储单元23用作图像存储器并且在必要时存储由相机1拍摄的图像的图像数据以及在图像处理部件7中进行各种处理(诸如对准和平均值计算)后的图像数据。图像可以不存储为图像数据,而是可以存储为每个像素的亮度值数据。
图像显示部件8由诸如用于计算机的显示器的显示装置3构成。图像显示部件8的图像显示单元81在显示装置3的显示屏幕上显示用作用于非缺陷/缺陷判定的对象的检查对象6的拍摄图像、和关于该对象是否是非缺陷物品的判定结果。即,当在显示装置3的显示屏幕上显示根据由图像处理部件7进行的指定的图像时,还在其上显示关于检查对象6是否是非缺陷物品的判定结果。选择接收单元82接收对要从非缺陷物品图像数据存储部件231删除的图像的选择。这是为了从被看作非缺陷物品的各物品的图像组删除不管是否是缺陷物品都错误地将其判定为非缺陷物品、并存储为非缺陷物品图像的图像而执行的。
接下来,将描述图像处理部件7的每个构造。
图像输入单元71接收构成由相机1拍摄的图像组的多个图像、和被看作非缺陷物品的各物品的图像的输入,并将这些图像存储到存储单元23的非缺陷物品图像数据存储部件231中。图像可以在输入的任何模式下进行输入。例如,通过利用相机1拍摄用于测试的多个检查对象6而获取的多个图像的图像数据可以存储在非缺陷物品图像数据存储部件231中。此外,在诸如照明环境的外部环境改变的同时可以利用相机1对用于进行测试的一个检查对象6的图像进行多次拍摄,多个获取的图像的图像数据可以存储在非缺陷物品图像数据存储部件231中。此外,可以允许多个检查对象6在传送带5的线路上流动,并可以利用相机1拍摄其图像,用户可以在多个获取的图像中选择应该被判定为非缺陷物品的各物品的多个图像,并且所选图像的图像数据可以存入非缺陷物品图像数据存储部件231中。简言之,利用相机1拍摄的多个图像的图像数据或由用户从相机1拍摄的多个图像中选择的多个图像的图像数据被存入非缺陷物品图像数据存储部件231中。
预先存储被判定为非缺陷物品的各物品的图像的多条图像数据允许将这些图像数据存储为用作用于设置用于非缺陷/缺陷判定的判定阈值的标准的图像组。关于其输入已经被接收的每个图像的图像数据被存储到存储单元23的非缺陷物品图像数据存储部件231中。
图7是根据本发明实施例的外观检查装置2的非缺陷物品图像输入接收屏幕的示例性视图。如图7所示,利用相机1拍摄的检查对象6的图像(或由用户在多个已获取的图像中选择的一个图像)显示在图像显示区(主图像显示部件)41中。在非缺陷物品学习处理中,其可以显示为要被存储为非缺陷物品图像的图像候选。
在非缺陷物品学习结果显示区(非缺陷物品学习结果显示部件)42中,对在该阶段存储为非缺陷物品图像的每个图像显示一个图标。图7中,利用标记“□”显示该图标。当选择了“添加”按钮43时,接收正显示在图像显示区41中的图像的输入。其输入已经被接收的图像被存入非缺陷物品图像数据存储部件231中作为非缺陷物品图像。
接下来,当选择“学习非缺陷物品图像”按钮44时,执行图4的步骤S402所述的处理(和步骤S403所示的步骤)。
返回图5,阈值设置单元72设置缺陷阈值。具体地,基于其输入已被接收的图像数据和/或在非缺陷物品图像数据存储部件231中被存储为非缺陷物品图像的非缺陷物品图像,计算平均图像和标准差图像。然后假设利用每个像素浓度的平均值μ和浓度的标准差σ使浓度正态分布。图8是示出存储在非缺陷物品图像数据存储部件231中的非缺陷物品图像中任意像素的浓度的分布的示例性视图。水平轴表示浓度(通常为0至255的值),竖轴表示频率。例如,当存在30个非缺陷物品图像时,总频率为30。
如图8所示,浓度以正态分布,并且在本实施例中,以浓度的平均值μ取为中心,(μ-3σ)和(μ+3σ)各自被看作用于检测缺陷部位的缺陷阈值的初始值。即,对于任意像素,当检查对象6的图像的浓度位于从(μ-3σ)到(μ+3σ)的范围内时,不将该像素判定为缺陷像素(图8中的“○”标记)。另一方面,对于任意像素,当检查对象6的图像的浓度不位于从(μ-3σ)到(μ+3σ)的范围内时,将该像素判定为缺陷像素(图8中的“×”标记)。对于除了上述以外的所有像素,判定这些像素中的每一个是否是缺陷像素。无需说,用于检测缺陷部位的缺陷阈值是可改变的,并且设置可以通过阈值设置单元72来改变(调整)。此外,尽管在本实施例中针对每个像素设置了缺陷阈值,但是本发明不限于此,例如,可以针对由多个像素组成的区域(例如,4×4像素的矩形区域)设置缺陷阈值。在此情况下,例如,是否将4×4像素的矩形区域检测为缺陷部位根据该区域中具有最大浓度的像素的浓度值是否超过缺陷阈值来确定。
返回图5,缺陷量计算单元73计算关于存储在非缺陷物品图像数据存储部件231中的每个非缺陷物品图像的缺陷量。具体地,将被判定为缺陷像素的各像素的差分浓度(从存储在非缺陷物品图像数据存储部件231中的一条图像数据的像素值减去平均图像的图像数据的像素值而获得的各个值的绝对值,即,与浓度的平均值μ的分离程度)的总和(浓度积分值)计算为缺陷量。从而,例如,当有30条非缺陷物品图像数据时,计算30个缺陷量。
尽管在本实施例中将被确定为缺陷像素的像素的差分浓度的总和被计算为缺陷量,但可以考虑各种其他的计算方法。例如,可以计算为在已在图3的步骤S302中设置的、要检查的区域中检测到的斑块(blob,由多个缺陷像素构成的区域)的浓度量的总和。即,其浓度大于要检查的区域中缺陷阈值的连续区域被识别为斑块,并且将缺陷量计算为通过对该斑块中包含的差分浓度进行求和得到的浓度积分值。在利用差分浓度的情况中,在宽范围内扩展但具有低浓度的部位不太可能被检测为缺陷部位。在本实施例中,这样的缺陷部位可以利用浓度积分值来可靠地被检测到。
此外,可以不使用浓度积分值,而是可以简单地将被判定为缺陷像素的各像素的浓度总和或者被检测为缺陷部位的斑块的浓度总和计算为缺陷量。被判定为缺陷像素的各像素的浓度中的最大浓度值可以被看作缺陷量。简言之,只要缺陷量是可以与用于对检查对象6进行非缺陷/缺陷判定的判定阈值进行比较的数值,该缺陷量就可以是表示从缺陷阈值分离的程度的缺陷浓度,或者可以是表示超过缺陷阈值的像素或斑块面积的缺陷面积、或者可以是通过将缺陷浓度乘以缺陷面积得到的缺陷浓度量。
返回图5,异常值测试单元74通过统计处理测试计算出的每个缺陷量是否是异常值。为了测试异常值,利用参数化技术和非参数化技术中的至少一种来自动计算最佳缺陷阈值,其中所述参数化技术以用作统计处理对象的缺陷量服从例如正态分布的概率分布为前提,所述非参数化技术以缺陷量不服从正态分布为前提。在本实施例中,使用了这两种技术。即,在参数化技术中被测试为异常值、并且在非参数化技术中也被测试为异常值的缺陷量被看作异常值。这可以防止不管缺陷量是否服从正态分布而将不是异常值的值被错误地测试为异常值。下面将描述参数化技术和非参数化技术的细节。
接下来,信息显示单元75显示并输出用于对其缺陷量已被测试为异常值的图像进行指定的异常值信息。这允许用户容易地在用作用于判定阈值的标准的图像组中判定是否留下被所显示的异常值信息指定的图像(即,可能是缺陷物品的检查对象6的图像)(是否将该图像保留在非缺陷物品图像数据存储部件231中)。尽管在本实施例中将异常值信息显示在显示装置3中,但是可替换地,异常值信息可以显示在诸如PLC的外部设备中。
图6是示出由根据本发明实施例的外观检查装置2的主控制部件21执行的对错误学习的图像数据进行的删除处理(图4的步骤S402)的过程的流程图。图6中,外观检查装置2的主控制部件21设置用于检测缺陷部位的阈值(步骤S601)。
主控制部件21基于设置的缺陷阈值计算缺陷量(步骤S602)。具体地,计算被确定为缺陷像素的各像素的差分浓度的总和(浓度积分值)(从存储在非缺陷物品图像数据存储部件231中的一条图像数据的像素值减去平均图像的图像数据的像素值而获得的各个值的绝对值,即,与浓度的平均值μ的分离程度)作为缺陷量。
主控制部件21通过统计处理测试计算出的每个缺陷量是否是异常值(步骤S603)。在本实施例中,使用了参数化技术和非参数化技术两者,在参数化技术中被测试为异常值而且在非参数化技术中也被测试为异常值的缺陷量被看作异常值。
主控制部件21显示并输出用于对其缺陷量已经被测试为异常值的图像进行指定的异常值信息(步骤S604)。
图9是在根据本发明实施例的外观检查装置2中进行了非缺陷物品学习处理之后的非缺陷物品图像输入接收屏幕的示例性视图。如图9所示,在本实施例中,在图像显示区域41中显示计算出的平均图像。此外,在非缺陷物品学习结果显示区域42中,与其缺陷量已经被测试为不是异常值的图像对应的“□”标记的图标在显示颜色上发生改变,而与其缺陷量已经被测试为异常值的图像对应的图标用“×”标记显示。如上所述,清楚地显示了其缺陷量已经被测试为异常值的图像,从而允许用户指定和删除引起检测缺陷部位的精度劣化的图像。尽管在本实施例中根据下面的图10中描述的过程自动删除图像,但是其缺陷量已经被测试为异常值的图像可以从非缺陷物品图像数据存储部件231中手动删除。
图10是在根据本发明实施例的外观检查装置2中选择缺陷物品的图标的情况下的非缺陷物品图像输入接收屏幕的示意性视图。如图10所示,当选择了非缺陷物品学习结果显示区域42中的“×”标记图标421时,在图像显示区域41中显示对应于图标421的图像。同时,将原因显示区域(原因显示部件)45显示为弹出屏幕,并且将表示已经“识别为缺陷物品”的消息显示为显示“×”标记的原因。
此外,与“×”标记图标421对应的图像的图像数据被从非缺陷物品图像数据存储部件231中自动删除。这允许从用于设置判定阈值的图像组删除如图10所示缺陷物品的图像的图像数据、已经混杂在非缺陷物品图像数据存储部件231中的图像数据。尽管在本实施例中以这样的方式执行自动删除,但是例如可以显示弹出屏幕等,并且可以允许用户从非缺陷物品图像数据存储部件231中选择是否删除图像数据。
此外,图11是在根据本发明实施例的外观检查装置2中选择另一缺陷物品的图标的情况下的非缺陷物品图像输入接收屏幕的示意性视图。如图11所示,当选择了非缺陷物品学习结果显示区域42中的“×”标记图标422时,在图像显示区域41中显示对应于图标422的图像。图11中,图像偏离图像显示区域41。同时,将原因显示区域45显示为弹出屏幕,并且将表示“测量区域偏离屏幕”的消息显示为显示“×”标记的原因。
此外,类似于图10,与“×”标记图标422对应的图像的图像数据被从非缺陷物品图像数据存储部件231中自动删除。这允许从用于设置判定阈值的图像组删除如图11所示缺陷物品的图像的图像数据、已经混杂在非缺陷物品图像数据存储部件231中的图像数据。尽管在本实施例中以这样的方式执行自动删除,但是例如可以显示弹出屏幕等,并且可以允许用户从非缺陷物品图像数据存储部件231中选择是否删除图像数据。
如上所述,在根据本实施例的外观检查装置2中,可以目视检查针对每个图像计算出的缺陷量是否是被看作非缺陷物品的各物品的一组图像中统计学上适当的缺陷量,以利于从用作用于设置缺陷阈值的标准的图像组中消除明显缺陷物品的图像。结果,可以减小对用于非缺陷/缺陷判定的判定阈值的设置产生影响的可能性,从而可以进一步防止判定精度的劣化。
当在图像输入单元71中接收到构成被看作非缺陷物品的各物品的一组图像的多个图像的输入时,可以将用作用于位置调整的标准的图像叠加并显示在其输入已被接收的图像上。图12是在将用作用于位置调整标准的图像叠加在其输入已经在根据本发明实施例的外观检查装置2中被接收到的图像上的情况下的非缺陷物品图像输入接收屏幕的示例性视图。
如图12所示,在图像显示区域41中,显示了用作用于位置调整的标准的图像,并且其输入已被接收的图像与用作用于位置调整的标准的图像相叠加并显示。从而可以目视检查其输入已被接收的图像相对于用作用于位置调整的标准的图像的位置偏移程度,以更可靠地执行位置偏移的校正。尽管在本实施例中在图像显示区域41中显示了用作用于位置调整的标准的图像,但是例如可以显示该组非缺陷物品图像的平均图像。
用户验证是否已经正确执行了非缺陷物品学习处理。此外,必要时可以手动调整设置参数。图13是根据本发明实施例的外观检查装置2中的验证屏幕的示例性视图。
如图13所示,阈值设置区域101提供有缺陷阈值设置区域102和上限设置区域103,缺陷阈值设置区域102用于设置用于检测缺陷部位的缺陷阈值,上限设置区域103用于将缺陷量的上限设置为判定阈值。图13所示的“检测阈值”是指显示将被加到缺陷阈值μ±3σ中的3σ部分中的固定偏移量的值。例如,当“检测阈值”被设置为“10”时,缺陷阈值被设置为μ±(3σ+10)。此外,图13中所示的“判定缺陷量上限”是用于对检查对象6进行非缺陷/缺陷判定的判定阈值。例如,在将“判定缺陷量上限”设置为“100”的情况下,当由缺陷量计算单元73计算出的缺陷量不大于“100”时做出OK判定,而在由缺陷量计算单元73计算出的缺陷量大于“100”时做出NG判定。在图13的示例中,将“判定缺陷量上限”设置为“0”,从而在由缺陷量计算单元73计算出的缺陷量不小于“1”时做出NG判定。即,尽管在图13的图像显示区域41中显示了缺陷部位105,但是不管该缺陷部位105的量如何都做出NG判定。此外,在缺陷量显示区域(缺陷量显示部件)104中,显示由缺陷量计算单元73计算出的缺陷量。
图14是根据本发明实施例的外观检查装置2中的验证屏幕的示例性视图。如图14所示,当在缺陷阈值设置区域102和上限设置区域103中设置缺陷阈值和判定阈值时,仅在图像显示区域41中显示非缺陷物品图像而不显示缺陷部位105,因此做出OK判定。
此外,在缺陷物品图像的情况下,将缺陷量的上限设置为判定阈值,因此可以清楚地显示缺陷部位在哪儿。图15是根据本发明实施例的外观检查装置2中的验证屏幕的示例性视图。
如图15所示,当未在缺陷阈值设置区域102和上限设置区域103中设置缺陷阈值和判定阈值时,在图像显示区域41中关于缺陷物品图像显示缺陷部位105。此外,在缺陷量显示区域104中,显示计算出的缺陷量。因此,可以通过改变缺陷阈值(检测阈值)的设置来切换缺陷部位105的显示/不显示。
图16是根据本发明实施例的外观检查装置2中的验证屏幕的示例性视图。如图16所示,当在缺陷阈值设置区域102和上限设置区域103中设置缺陷阈值和判定阈值时,在图像显示区域41中关于缺陷物品图像显示缺陷部位105,因此做出NG判定。然而,不显示浓度不大于设置的缺陷阈值的缺陷部位。因此可以目视检查缺陷部位在哪儿,同时删除不大于缺陷阈值且非缺陷部位的噪声分量。
此外,在本实施例中,在图6的步骤S603的异常值测试处理中,使用了参数化技术和非参数化技术二者。下面将详细描述这些技术的示例。Smirnov-Grubbs测试被采用为参数化技术,该技术以用作统计处理对象的缺陷量服从正态分布为前提,利用盒须图的测试被采用为为非参数化技术,该技术以缺陷量不服从正态分布为前提。当然,本发明不限于使用正态分布,而是可以使用诸如t分布、χ2分布、泊松分布或二项式分布之类的概率分布。
在Smirnov-Grubbs技术中,将缺陷量X的平均值取作其最大值为Xi,且其标准差为σ,将通过(等式1)计算出的标准值Ti与从统计表获得的显著点t进行比较,以测试是否是异常值。
[数学公式1]
例如,1%的显著性水平是指一个值即使在其为非异常值时也将被看作异常值的概率为1%。当标准值Ti小于与1%的显著性水平对应的显著点t时,将缺陷量X的最大(最小)值测试为非异常值,而当标准值Ti大于与1%的显著性水平对应的显著点t时,将缺陷量X的最大(最小)值测试为异常值。
在本实施例中,单侧检验就足够了,这是因为需要的是有一个具有大缺陷量的图像不包括在非缺陷物品图像中。当然,可以执行双侧检验。
可以基于Smirnov-Grubbs技术自动设置计算出的缺陷阈值。在此情况下,从统计表获得与α%的显著性水平对应的显著点t,并利用(等式2)的第三公式计算缺陷阈值Xi((等式1)的逆运算)。
[数学公式2]
通过(等式2)计算出的缺陷阈值Xi被自动设置在缺陷阈值设置区域102中,并且通过对已经新接收了其输入的图像再次进行外观检查,可以查验自动设置的缺陷阈值是否合适。
此外,在利用盒须图的测试中,计算用于缺陷量X的频率分布以产生直方图。当缺陷部位的数量为N(N为自然数)时,获得与从最小缺陷量第N/4相对应的缺陷量作为第一四分位点(25%点),并且获得与第3N/4对应的缺陷量作为第三四分位点(75%点)。然后,计算IQR(四分位数间距)作为第三四分位点(75%点)和第一四分位点(25%点)之间的差。
盒须图是指这样的图表:其在“盒”形状中显示其中缺陷量X的中值位于其间的从第一四分位点(25%点)到第三四分位点(75%点)的范围,并在“须(whisker)”中分别显示从第一四分位点(25%点)和第三四分位点(75%点)到用于测试异常值的阈值的范围。
图17是在根据本发明实施例的外观检查装置2中利用盒须图测试一个值是否是异常值情况下的说明视图。
如图17所示,在“盒”形状中示出了其中缺陷量X的中值141位于其间的从第一四分位点(25%点)142到第三四分位点(75%点)143的范围。例如,通过采用用于测试一个值是否是异常值的上限阈值144作为(第三四分位点+3×IQR)和采用下限值145作为(第一四分位点-3×IQR),在“须”形状中各自以虚线显示从第三四分位点143到上限阈值144的范围和从下限阈值145到第一四分位点142的范围。当然,与IQR相乘的系数不限于“3”,而可以是执行更严格测试的“1.5”,或可以根据测试标准改变。
当缺陷量位于阈值144和145之间时,其不是异常值,并且当其偏离阈值144和145之间范围时(诸如缺陷量146),其可以被测试为异常值。在本实施例中,只有执行仅将具有大缺陷量的图像确定为缺陷单位图像的单侧检验,因此只有其缺陷量超过上限阈值144的(第三四分位点+3×IQR)的图像被看作异常值。
此外,在本实施例中,与其缺陷量已被测试为异常值的图像相对应的“□”标记的图标在图6的步骤S604中的“显示并输出异常值信息”中改变显示颜色,但是希望例如按照缺陷量的降序来显示并输出异常值信息。例如,通过在非缺陷物品学习结果显示区域42中以缺陷量的降序(例如,从左侧开始)显示“×”标记图标来顺序选择各“×”标记图标,因此,顺序选择各“×”标记图标允许在图像显示区域41中从具有最大缺陷量的图像开始顺序显示各图像。此外,用户顺序从左向右移动光标,从而允许在图像显示区域41中从具有最大缺陷量的图像开始顺序显示各图像。
如上所述,例如,每次用户添加新的非缺陷物品图像时执行图6所示的错误学习的图像数据删除处理,从而可以从非缺陷物品图像数据存储部件231中删除尽管是缺陷物品也被判定为非缺陷物品的物品的图像。此外,在图4的步骤S403中,再次基于重置的判定阈值进行非缺陷/缺陷判定,因此可以高精度进行非缺陷/缺陷判定。
应该注意,构成缺陷阈值的标准差σ的幅值可以显示为变化程度。图18是根据本发明实施例的外观检查装置2中非缺陷物品学习处理之后的非缺陷物品图像输入接收屏幕的示意性视图。图18中,在图像显示区域41中显示了标准差图像。在标准差图像中,优选的通过色调的变化表达灰度的变化。这是因为可以目视检查出由于色调的变化造成判定精度劣化的例如边界部位的缺陷等。尽管此处色调发生了变化,但是例如色调和色度可以同时变化。
此外,还已进行了只有缺陷部位的显示。然而,在仅显示缺陷部位的情况中,存在着不清楚检查对象6的哪个部位已经出现缺陷的问题。因此,例如在出现缺陷的情况下,对缺陷部位上色而使其它部位变灰,然后进行显示。
图19是针对根据本发明实施例的外观检查装置2中非缺陷物品学习处理结果的显示屏幕的示例性视图。如图19所示,在图像显示区域41中显示了具有检测到的缺陷部位的缺陷物品图像。在此情况下,例如以红色改变并显示缺陷部位的颜色,同时以灰色显示其它部位,从而用户可以容易地目视检查出检查对象6的哪个部位出现了缺陷。
此外,可以预先存储平均图像的预定区域的形状,并且在接收到非缺陷物品图像的输入时,可以从其输入已经被接收的图像中检测平均图像的预定区域的形状。当预定区域的形状不能被检测到时,可能会错误地设置检查对象6中要被检查的区域,从而判定精度显著劣化。因此,检测预定区域的形状可以防止判定精度的劣化。
图20是根据本发明实施例的外观检查装置2中非缺陷物品学习处理之后的非缺陷物品图像输入接收屏幕的示意性视图。在图像显示区域41中,显示了平均图像。在图20的示例中,当接收到构成被看作非缺陷物品的各物品的一组图像的多个图像的输入时,显示叠加在平均图像上以允许计算平均图像的区域,即,被所有非缺陷物品图像公用的区域181(叠加了所有非缺陷物品图像的区域)。在除了上述区域以外的区域182中,不能计算出平均图像,因此不能执行非缺陷物品学习处理。
即,由于位置偏移而存在未被包括在所有非缺陷物品图像中的区域182,从而当这样的区域182的面积较大时,判定精度显著劣化。因此,区域181、182叠加并显示在平均图像上,从而允许用户目视检查不能计算出平均图像的区域182的存在,以防止判定精度的劣化。
此外,图21是针对根据本发明实施例的外观检查装置2中非缺陷物品学习处理结果的显示屏幕的另一示例性视图。在图21的示例中,显示了除被所有非缺陷物品图像共用的区域181(所有非缺陷物品图像叠加在一起的区域)以外的区域182,优先其不必显示。在此情况下,执行诸如改变区域182的显示的设计,从而可以对其中不能计算出平均图像的区域在要检查的区域中的包含情况进行目视检查,并且将平均图像放大等以防止区域182的显示,从而可以将要检查的区域重置使得其不包括区域182。
此外,通过显示颜色的变化,可以目视检查什么颜色已经被判定为非缺陷物品的颜色。图22是根据本发明实施例的外观检查装置2中用于检查非缺陷物品颜色的屏幕的示例性视图。
如图22所示,选择在图像显示区域41中进行了颜色显示的平均图像上的一个点。假设在图22中已经选择了“+”点201。当选择了“+”点201时,“+”点201的非缺陷物品颜色显示在非缺陷物品颜色显示区域(非缺陷物品颜色显示部分)202中。目视检查显示在非缺陷物品颜色显示区域202中的颜色可以便于检查缺陷部位的颜色是否包含在非缺陷物品颜色中,以验证是否已经正确执行了学习的差异处理。
非缺陷物品颜色被从Mahalanobis颜色空间映射到二维颜色空间。图23A和图23B是根据本发明实施例的外观检查装置2中非缺陷物品颜色确定方法的示例图。图23A是Mahalanobis颜色空间的示例性视图。取图23A所示的R轴、G轴和B轴,并且在各轴向上分配了从-3σ到3σ的参数。
图23B是示出这些参数与屏幕上显示的颜色的对应关系的示意图。R轴被映射到图23B的水平轴上,B轴被映射到通过沿竖直方向分成七段而得到的每一段上,并且G轴被映射到竖直轴上,从而二维地显示利用R轴、G轴和B轴三维地获得的Mahalanobis空间的延展。图23B中显示的颜色灰度显示在非缺陷物品颜色显示区域202中。尽管Mahalanobis空间的长方体的各个轴平行于R轴、G轴和B轴,但是它们不必平行。
应该注意,本发明不限于上述实施例,而且只要在本发明的主旨的范围内就可以进行各种改变、改进等。例如,相机1、显示装置3等可以与外观检查装置2集成在一起,或可以与其分离。
Claims (12)
1.一种外观检查装置,其通过使用检查对象的检查图像和判定阈值来进行非缺陷/缺陷判定,所述外观检查装置包括:
相机,用于拍摄所述检查图像;
存储单元,用于存储由所述相机获取的所述检查图像;以及
控制单元,用于通过将存储在所述存储单元中的检查图像的图像处理的结果与所述判定阈值相比较来进行所述非缺陷/缺陷判定;
其中,所述控制单元包括:
图像输入接收单元,用于接收构成被看作非缺陷物品的各物品的一组图像的多个候选图像的输入,并在所述存储单元中存储这些候选图像;
阈值设置单元,用于基于从所存储的所述多个候选图像中的各对应区域提取的多个像素值,来设置用于判定每个候选图像是否具有缺陷部位的缺陷阈值;
缺陷量计算单元,用于基于所设置的缺陷阈值针对所存储的所述多个候选图像中的每一个候选图像来检测缺陷部位,并计算与检测到的缺陷部位的像素值或区域相对应的缺陷量;
异常值测试单元,用于通过统计处理来测试由所述缺陷量计算单元计算出的每个缺陷量是否是异常值;以及
信息显示单元,用于显示和输出异常值信息,该异常值信息用于从所存储的所述多个候选图像中指定要从被看作非缺陷物品的各物品的所述一组图像中去除的非候选图像,所述非候选图像是缺陷量已经被所述异常值测试单元测试为异常值的图像;
其中,所述阈值设置单元基于被看作非缺陷物品的各物品的所述一组图像中除了所述非候选图像以外的所存储的多个候选图像,来重新设置缺陷阈值,并且将判定阈值设置为要与基于重新设置的缺陷阈值而计算出的缺陷量相比较的标准。
2.根据权利要求1所述的外观检查装置,包括:
选择接收单元,用于接收对要从被看作非缺陷物品的各物品的所述一组图像中删除的图像的选择。
3.根据权利要求1所述的外观检查装置,其中所述异常值测试单元利用参数化技术和非参数化技术中的至少一个来执行测试。
4.根据权利要求1所述的外观检查装置,其中所述异常值测试单元利用参数化技术和非参数化技术二者来执行测试。
5.根据权利要求1所述的外观检查装置,其中所述缺陷量计算单元将所述缺陷量计算为通过对图像中浓度大于所述缺陷阈值的连续区域中包含的差分浓度进行求和而得到的浓度积分值。
6.根据权利要求1所述的外观检查装置,其中所述信息显示单元按照所述缺陷量的降序来显示和输出所述异常值信息。
7.一种可由外观检查装置执行的外观检查方法,所述外观检查装置通过使用检查对象的检查图像和判定阈值来进行非缺陷/缺陷判定,所述方法包括以下步骤:
拍摄检查图像;
存储获取的检查图像;以及
通过将所存储的检查图像的图像处理的结果与所述判定阈值相比较,来进行所述非缺陷/缺陷判定;
其中,进行所述非缺陷/缺陷判定的步骤进一步包括:
接收构成被看作非缺陷物品的各物品的一组图像的多个候选图像的输入,并存储这些图像;
基于从所存储的所述多个候选图像中的各对应区域提取的多个像素值,来设置用于判定每个候选图像是否具有缺陷部位的缺陷阈值;
基于所设置的缺陷阈值针对所存储的所述多个候选图像中的每一个候选图像来检测缺陷部位,并计算与检测到的缺陷部位的像素值或区域相对应的缺陷量;
通过统计处理来测试计算出的每个缺陷量是否是异常值;以及
显示和输出异常值信息,该异常值信息用于从所存储的所述多个候选图像中指定要从被看作非缺陷物品的各物品的所述一组图像中去除的非候选图像,所述非候选图像是缺陷量已经被测试为异常值的图像;
其中,基于被看作非缺陷物品的各物品的所述一组图像中除了所述非候选图像以外的所存储的多个候选图像,来重新设置缺陷阈值,并且将判定阈值设置为要与基于重新设置的缺陷阈值而计算出的缺陷量相比较的标准。
8.根据权利要求7所述的外观检查方法,包括以下步骤:
接收对要从被看作非缺陷物品的各物品的所述一组图像中删除的图像的选择。
9.根据权利要求7所述的外观检查方法,其中利用参数化技术和非参数化技术中的至少一个来执行测试。
10.根据权利要求7所述的外观检查方法,其中利用参数化技术和非参数化技术二者来执行测试。
11.根据权利要求7所述的外观检查方法,其中将所述缺陷量计算为通过对图像中浓度大于所述缺陷阈值的连续区域中包含的差分浓度进行求和而得到的浓度积分值。
12.根据权利要求7所述的外观检查方法,其中按照所述缺陷量的降序来显示和输出所述异常值信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-289940 | 2011-12-28 | ||
JP2011289940A JP5767963B2 (ja) | 2011-12-28 | 2011-12-28 | 外観検査装置、外観検査方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103207183A CN103207183A (zh) | 2013-07-17 |
CN103207183B true CN103207183B (zh) | 2016-12-28 |
Family
ID=48694842
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210584213.4A Expired - Fee Related CN103207183B (zh) | 2011-12-28 | 2012-12-28 | 外观检查装置和外观检查方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9117137B2 (zh) |
JP (1) | JP5767963B2 (zh) |
CN (1) | CN103207183B (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2577260B1 (en) | 2010-06-01 | 2022-08-31 | Ackley Machine Corp. | Inspection system |
CN103439339B (zh) * | 2013-09-02 | 2015-11-25 | 深圳市华星光电技术有限公司 | 贴附有偏振片的液晶面板的缺陷检测装置及缺陷检测方法 |
JP6180889B2 (ja) * | 2013-11-08 | 2017-08-16 | 株式会社日立産機システム | 印字検査装置 |
US20150131119A1 (en) * | 2013-11-12 | 2015-05-14 | Toshiba Tec Kabushiki Kaisha | Maintenance method and maintenance apparatus for information processing apparatus |
IN2014DN06211A (zh) * | 2014-02-03 | 2015-10-23 | Prosper Creative Co Ltd | |
MX2016009948A (es) | 2014-02-04 | 2017-03-27 | Nsk Americas Inc | Aparato y metodo para inspeccion de un ensamble de columna de direccion soportado en una region extrema. |
MX2016009958A (es) | 2014-02-04 | 2016-10-31 | Nsk Americas Inc | Aparato y metodo de inspeccion de un ensamble de columna de direccion soportado a media longitud. |
JP6349804B2 (ja) * | 2014-03-14 | 2018-07-04 | オムロン株式会社 | 検査装置、検査方法、プログラムおよびその記録媒体 |
JP6290720B2 (ja) * | 2014-06-09 | 2018-03-07 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP6403445B2 (ja) | 2014-06-09 | 2018-10-10 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
JP6351408B2 (ja) * | 2014-07-08 | 2018-07-04 | アズビル株式会社 | 画像検査装置および画像検査方法 |
DE112016003012T5 (de) * | 2015-06-30 | 2018-03-15 | Koh Young Technology Inc. | Gegenstandsprüfvorrichtung |
US10535131B2 (en) * | 2015-11-18 | 2020-01-14 | Kla-Tencor Corporation | Systems and methods for region-adaptive defect detection |
CN105572137A (zh) * | 2015-12-15 | 2016-05-11 | 重庆瑞阳科技股份有限公司 | 一种外观缺陷测试方法 |
US10223877B2 (en) * | 2016-09-21 | 2019-03-05 | John Burke | Visual characteristic-of-interest position indicator for machine conveyable material |
US20200096454A1 (en) * | 2017-03-27 | 2020-03-26 | Mitsubishi Heavy Industries, Ltd. | Defect detection system for aircraft component and defect detection method for aircraft component |
CN107478657A (zh) * | 2017-06-20 | 2017-12-15 | 广东工业大学 | 基于机器视觉的不锈钢表面缺陷检测方法 |
JP6936958B2 (ja) * | 2017-11-08 | 2021-09-22 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
CN111971951B (zh) | 2018-03-28 | 2023-04-18 | 索尼公司 | 运算装置、运算方法、可移动介质和鉴别系统 |
JP6708695B2 (ja) * | 2018-04-20 | 2020-06-10 | ファナック株式会社 | 検査装置 |
JP7122236B2 (ja) * | 2018-11-28 | 2022-08-19 | 東京エレクトロン株式会社 | 検査装置、メンテナンス方法、及びプログラム |
CN111380875B (zh) * | 2018-12-29 | 2023-09-12 | 深圳中科飞测科技股份有限公司 | 一种缺陷检测方法及系统 |
JP7153126B2 (ja) * | 2019-03-14 | 2022-10-13 | 株式会社Fuji | 良否判定装置および良否判定方法 |
US20220198785A1 (en) * | 2019-03-29 | 2022-06-23 | Musashi Ai Limited | Inspection device and inspection method |
JP7298333B2 (ja) * | 2019-06-25 | 2023-06-27 | オムロン株式会社 | 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム |
JP7418081B2 (ja) * | 2019-10-28 | 2024-01-19 | キヤノン株式会社 | 画像形成装置、画像形成方法、及び、プログラム |
US11937019B2 (en) | 2021-06-07 | 2024-03-19 | Elementary Robotics, Inc. | Intelligent quality assurance and inspection device having multiple camera modules |
US11900581B2 (en) | 2020-09-22 | 2024-02-13 | Future Dial, Inc. | Cosmetic inspection system |
US11836912B2 (en) * | 2020-09-22 | 2023-12-05 | Future Dial, Inc. | Grading cosmetic appearance of a test object based on multi-region determination of cosmetic defects |
US11605159B1 (en) | 2021-11-03 | 2023-03-14 | Elementary Robotics, Inc. | Computationally efficient quality assurance inspection processes using machine learning |
US12051186B2 (en) | 2021-11-03 | 2024-07-30 | Elementary Robotics, Inc. | Automatic object detection and changeover for quality assurance inspection |
US12050454B2 (en) | 2021-11-10 | 2024-07-30 | Elementary Robotics, Inc. | Cloud-based multi-camera quality assurance lifecycle architecture |
US11675345B2 (en) | 2021-11-10 | 2023-06-13 | Elementary Robotics, Inc. | Cloud-based multi-camera quality assurance architecture |
US11605216B1 (en) * | 2022-02-10 | 2023-03-14 | Elementary Robotics, Inc. | Intelligent automated image clustering for quality assurance |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101210890A (zh) * | 2006-12-28 | 2008-07-02 | 夏普株式会社 | 缺陷检测装置及方法、图像传感器器件和模块 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4132229B2 (ja) * | 1998-06-03 | 2008-08-13 | 株式会社ルネサステクノロジ | 欠陥分類方法 |
JP2002195958A (ja) * | 2000-12-26 | 2002-07-10 | Yamatake Corp | 表面検査方法 |
JP4155496B2 (ja) | 2002-04-25 | 2008-09-24 | 大日本スクリーン製造株式会社 | 分類支援装置、分類装置およびプログラム |
JP2005265661A (ja) * | 2004-03-19 | 2005-09-29 | Ovit:Kk | 画像処理方法およびその装置 |
WO2007098426A2 (en) * | 2006-02-17 | 2007-08-30 | Test Advantage, Inc. | Methods and apparatus for data analysis |
US8391585B2 (en) * | 2006-12-28 | 2013-03-05 | Sharp Kabushiki Kaisha | Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium |
US8131107B2 (en) * | 2008-05-12 | 2012-03-06 | General Electric Company | Method and system for identifying defects in NDT image data |
JP5537282B2 (ja) * | 2009-09-28 | 2014-07-02 | 株式会社日立ハイテクノロジーズ | 欠陥検査装置および欠陥検査方法 |
-
2011
- 2011-12-28 JP JP2011289940A patent/JP5767963B2/ja not_active Expired - Fee Related
-
2012
- 2012-12-05 US US13/705,275 patent/US9117137B2/en not_active Expired - Fee Related
- 2012-12-28 CN CN201210584213.4A patent/CN103207183B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101210890A (zh) * | 2006-12-28 | 2008-07-02 | 夏普株式会社 | 缺陷检测装置及方法、图像传感器器件和模块 |
Also Published As
Publication number | Publication date |
---|---|
US20130170734A1 (en) | 2013-07-04 |
JP2013140040A (ja) | 2013-07-18 |
JP5767963B2 (ja) | 2015-08-26 |
CN103207183A (zh) | 2013-07-17 |
US9117137B2 (en) | 2015-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103207183B (zh) | 外观检查装置和外观检查方法 | |
CN103196914B (zh) | 外观检查装置和外观检查方法 | |
US7933441B2 (en) | Method of inspection for inner defects of an object and apparatus for same | |
US20080281548A1 (en) | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines | |
US7881520B2 (en) | Defect inspection system | |
US8041443B2 (en) | Surface defect data display and management system and a method of displaying and managing a surface defect data | |
US20130010100A1 (en) | Image generating method and device using scanning charged particle microscope, sample observation method, and observing device | |
CN106575649A (zh) | 以其他方式用于填充单元、抽头单元、解耦电容器单元、刻线和/或虚设填充的区域中的ic测试结构和/或e‑波束目标焊盘的伺机放置,以及包含相同结构的产品ic芯片 | |
KR20010093674A (ko) | 반도체검사장치, 반도체결함해석장치,반도체설계데이터수정장치, 반도체검사방법,반도체결함해석방법, 반도체설계데이터수정방법 및컴퓨터판독가능한 기록매체 | |
US20060222232A1 (en) | Appearance inspection apparatus and appearance inspection method | |
CN107768267A (zh) | 重复性缺陷的筛选方法 | |
US20100168896A1 (en) | Method for improving a manufacturing process | |
CN113012097A (zh) | 图像复检方法、计算机装置及存储介质 | |
US20100021040A1 (en) | Pattern evaluation apparatus and pattern evaluation method | |
CN101493494B (zh) | 晶圆的测试方法与系统 | |
CN1488953A (zh) | 用于预测板测试覆盖率的方法 | |
JP2013140041A (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
JP3652589B2 (ja) | 欠陥検査装置 | |
CN113994378A (zh) | 检查装置、检查方法及检查程序、以及学习装置、学习方法及学习程序 | |
JP2007071684A (ja) | 光ファイバ束検査装置 | |
JP6727888B2 (ja) | 測定結果報知装置、測定システムおよび測定結果報知方法 | |
WO2024116675A1 (ja) | 画像処理装置および画像処理方法 | |
TWI822269B (zh) | 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置 | |
CN115078375B (zh) | 一种基于机器视觉技术的产品外观完整性检测方法 | |
CN112130355B (zh) | 一种获取有缺陷的液晶显示模组的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20161228 Termination date: 20201228 |
|
CF01 | Termination of patent right due to non-payment of annual fee |