CN102971619B - 使用传感器内均匀度校正进行基于幅材的光学缺陷检测的方法和系统 - Google Patents

使用传感器内均匀度校正进行基于幅材的光学缺陷检测的方法和系统 Download PDF

Info

Publication number
CN102971619B
CN102971619B CN201180012632.4A CN201180012632A CN102971619B CN 102971619 B CN102971619 B CN 102971619B CN 201180012632 A CN201180012632 A CN 201180012632A CN 102971619 B CN102971619 B CN 102971619B
Authority
CN
China
Prior art keywords
web
pixel
normalized
value
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180012632.4A
Other languages
English (en)
Other versions
CN102971619A (zh
Inventor
史蒂文·P·弗洛德
马修·V·伦德奎斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
3M Innovative Properties Co
Original Assignee
3M Innovative Properties Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 3M Innovative Properties Co filed Critical 3M Innovative Properties Co
Publication of CN102971619A publication Critical patent/CN102971619A/zh
Application granted granted Critical
Publication of CN102971619B publication Critical patent/CN102971619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Textile Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明描述了其中图像捕获装置从幅材采集图像数据的技术。所述图像数据包括所述图像捕获装置的幅材横向视野的像素值。分析计算机包括计算机可读介质,所述计算机可读介质存储多个不同归一化算法的参数,所述多个归一化算法用于将所述图像捕获装置的幅材横向背景信号归一化为一般所需值。所述计算机可读介质还存储系数,所述系数指定所述多个归一化算法中的每一个的权重。所述分析计算机根据从应用使用所存储参数的所述像素归一化算法中的至少两个获得的结果的加权和来计算所述图像数据的像素中的每一个的归一化值。

Description

使用传感器内均匀度校正进行基于幅材的光学缺陷检测的方法和系统
技术领域
本发明涉及自动检测系统,更具体地讲,涉及连续移动幅材的光学检测。
背景技术
已经证明用于分析移动幅材的视觉检测系统对现代制造操作至关重要。金属制造、纸、非织物和膜等多种行业依靠这些自动检测系统进行产品检定和在线过程监控。
用于在连续移动幅材上制造的产品的自动视觉检测系统通常使用一个或多个图像捕获装置来在制造期间采集幅材图像。分析计算机应用图像处理算法来检测表示幅材内潜在缺陷的异常。如果异常升至给定产品的缺陷的分类等级,则包含所述异常的幅材区域可被丢弃或者可被加工成将不受所述异常影响的其他产品。
行扫描或线阵摄像机为通常用于移动材料的制造中的示例性图像捕获装置。这些摄像机具有单一阵列的像素传感器以用于采集图像数据。例如,自动视觉检测系统可采用多个行扫描摄像机,所述多个行扫描摄像机被设置为跨越移动幅材的整个宽度。行扫描摄像机中的每一个可包括线性排列的光电二极管传感器,所述线性排列的光电二极管传感器提供线段式图像数据(如,2048×1像素)。由多个行扫描摄像机的排列提供的集合图像数据表示在横幅方向上跨越整个幅材的单行图像数据。其他示例性图像捕获装置包括多线矩阵摄像机、接触式图像传感器(CIS)、和光栅扫描摄像机(其中激光扫描幅材的整个限定部分以产生图像数据)。
在多种情况下,常规的视觉检测系统不能解决与各个图像捕获装置相关的装置内检测不均匀性的问题。即,一个或多个图像捕获装置中的装置内不均匀性可使得基本上相同的幅材异常被不同地分类,原因在于所述异常位于图像捕获装置的视野的不同区域内。此装置内不均匀性的可能原因可包括装置的光学布置(如,透镜外形)的变化、不均匀的照明、材料本身的特性(如,偏振)、以及光在图像捕获装置的整个视野上与材料的相互作用的变化(如,角效应)。
发明内容
大体而言,本发明描述了一种用于移动材料的具有传感器内不均匀性校正的视觉检测系统。例如,本发明描述了一种灵活的装置内像素归一化技术,所述装置内像素归一化技术基于如下认识:用于归一化视觉检测系统的背景响应的现有技术可在给定图像捕获装置的整个视野上获得均匀的幅材横向背景信号,但可能未必在图像捕获装置的整个视野上实现均匀的幅材横向缺陷检测。换句话讲,本文所述的技术基于如下认识:在一些情况下,相对于幅材横向位置进行缺陷检测的视觉检测系统的系统响应可不同于关于背景信号的归一化的系统响应。即,用于校正视觉检测系统以获得单个图像捕获装置的幅材横向背景信号均匀性的数学算法可能未必导致对相同图像捕获装置的整个视野上的可能缺陷的均匀处理。
为了解决这种认识,本文的技术提供了一种灵活的装置内图像校正技术,所述装置内图像校正技术允许用户或自动化软件在取自多个不同像素归一化算法(例如,增益型或偏差型校正)中的归一化分量之间进行选择和调整,以使得用于归一化原始图像数据的数学图像处理匹配所制造材料的缺陷响应。
在一个实施例中,提供了一种方法,所述方法包括利用图像捕获装置从幅材采集图像数据(其中所述图像数据包括图像捕获装置的整个视野上的幅材的幅材横向部分的图像)、将多个归一化函数中的第一函数应用至图像数据以产生该图像的每个像素的第一归一化值、以及将所述多个归一化函数的第二函数应用至图像数据以产生每个像素的第二归一化值。所述方法还包括对每个像素的第一归一化值的一部分和第二归一化值的一部分求和来计算每个像素的最终归一化值;以及处理最终归一化值以识别出幅材上包含异常的区域,所述异常表示幅材中的可能缺陷。
在另一个实施例中,提供了一种系统,所述系统包括用于从幅材采集图像数据的图像捕获装置。图像数据包括图像捕获装置的幅材横向视野的像素值。所述系统包括计算机可读介质,所述计算机可读介质存储多个不同归一化算法(用于将图像捕获装置的幅材横向背景信号归一化为一般的所需值)的参数。所述计算机可读介质还存储所述多个归一化算法中的每一个的系数。分析计算机以通过应用至少两个像素归一化算法(使用所存储参数)获得的结果的加权和来计算图像数据的每个像素的归一化值,其中所存储系数定义不同归一化算法中的每一个的结果的权重。
在另一个实施例中,提供了一种系统,所述系统包括计算机可读介质,所述计算机可读介质存储多个不同归一化算法(用于将图像捕获装置的幅材横向背景信号归一化为一般的所需值)的参数。所述计算机可读介质还存储所述多个归一化算法中的每一个的系数。分析计算机接收具有图像捕获装置的幅材横向视野的像素值的图像数据,并且以从应用至少两个像素归一化算法(使用所存储参数)获得的结果的加权和来计算图像数据的每个像素的归一化值。所存储系数定义不同归一化算法中的每一个的结果的权重,所述不同归一化算法产生对图像捕获装置的整个视野上的缺陷的均匀处理。
在另一个实施例中,计算机可读存储介质包括具有指令的程序代码,所述指令使得可编程处理器利用图像捕获装置从幅材接收图像数据,其中所述图像数据包括图像捕获装置的整个视野上的幅材的幅材横向部分的图像。所述指令还使得处理器将多个归一化函数中的第一函数应用至图像数据以产生该图像的每个像素的第一归一化值、将所述多个归一化函数的第二函数应用至图像数据以产生每个像素的第二归一化值、以及对每个像素的第一归一化值的一部分和第二归一化值的一部分求和来计算每个像素的最终归一化值。所述指令还使得处理器处理最终归一化值以识别出幅材上包含异常的区域,所述异常表示幅材中的可能缺陷。
本文所述的技术可提供某些优点。例如,所述技术可获得检测均匀度以使得幅材异常在图像捕获装置的视野内的位置不影响将异常分类为缺陷。换句话讲,所述技术可使得对具有给定特征(如,尺寸、形状和密度)的缺陷的检测不受缺陷在图像捕获装置的视野内的位置的影响。此外,所述技术提供在校正方法及其组成元件时的灵活性,以匹配对于所制造材料的特定类型和特征的缺陷响应。
使用幅材检测系统制定的计算机化决策的实例描述于Steven P.Floeder等人的标题为“METHOD FOR CONTROLLING INVENTORY OF WEBBASED ARTICLES”(用于控制基于幅材的制品的存量的方法)的美国专利No.7,120,515和标题为“MAXIMIZATION OF YIELD FOR WEB-BASEDARTICLES”(用于基于幅材的制品的产率的最大化)的美国专利No.7,187,995中。
附图说明
图1为示出全局网络环境的框图,在所述全局网络环境中制造出幅材并将其转换成产品。
图2为示出幅材制造厂的示例性实施例的框图。
图3为示出幅材制造厂的示例性操作的流程图。
图4为示出转换控制系统的示例性实施例的框图。
图5为示出通过转换控制系统示例性地处理异常信息的流程图。
图6A-6D为示出得自幅材检测系统的图像捕获装置的理论图像数据的图,其中图像数据已利用不同的校正算法进行归一化。
图7为示出用于确定多项式的系数的示例性方法的流程图,所述多项式将用于归一化由视觉检测系统接收的原始视频数据。
图8为示出根据幅材的模型原始图像数据计算出的示例性缺陷分布形式的图。
图9为示出根据幅材的模型原始图像数据计算出的第二示例性缺陷分布形式的图。
具体实施方式
图1为示出全局网络环境2的框图,在所述全局网络环境中转换控制系统4控制幅材的转换。更具体地讲,幅材制造厂6A-6N表示生产和运输幅材卷10形式的幅材的制造地点。幅材制造厂6A-6N可为地域性分布的。
所制造的幅材可包括在一个方向上具有固定尺寸且在正交方向上具有预定或不定长度的任何片状材料。幅材的实例包括但不限于金属、纸张、织物、非织物、玻璃、聚合物膜、柔性电路或它们的组合。金属可以包括例如钢或铝等材料。织物一般包括各种布。非织物包括例如纸张、过滤介质或绝缘材料等材料。膜包括例如透明和不透明的聚合物膜,包括层压材料和涂覆膜。
对于多种应用,幅材卷10的幅材可具有施用的涂层,所述涂层通常被施用至基础幅材的暴露表面。涂层的实例包括粘合剂、光密度涂层、低粘附力背面涂层、金属化涂层、光活性涂层、导电或不导电涂层、或者它们的组合。涂层可施用至幅材的至少一部分或者可完全覆盖基础幅材的表面。此外,幅材可以有图案或无图案。
将幅材卷10运输至可地域性地分布在不同国家内的转换位点8A-8N。转换位点8A-8N(“转换位点8”)将各幅材卷10转换成一个或多个产品。具体地讲,转换位点8中的每一个均包括一条或多条生产线,所述一条或多条生产线将给定幅材卷10的幅材以物理方式切割成许多单个片材、单个部件、或许多幅材卷,这些统称为产品12A-12N。例如,转换位点8A可将膜的幅材卷10转换成单个片材以用于移动电话显示屏或计算机监视器。相似地,可根据客户14A-14N的预期应用而将其他形式的幅材转换成不同形状和大小的产品12。每个转换位点8可能够接收不同类型的幅材卷10,并且每个转换位点可根据转换位点的位置和客户14的具体需求而生产不同的产品12。
如下文详细所述,幅材制造厂6中的每一个均包括一个或多个自动视觉检测系统(未示于图1中),所述一个或多个自动视觉检测系统利用一个或多个图像捕获装置来在制造期间采集幅材图像。视觉检测系统中的一个或多个应用本文所述的技术来提供装置内图像校正,所述装置内图像校正不仅产生用于图像捕获装置的归一化的背景强度信号,而且产生关于缺陷检测的实质上归一化的系统响应。所述技术可利用装置内像素归一化算法来解决各个图像捕获装置的不均匀性,所述装置内像素归一化算法结合不同归一化算法(例如增益型校正和偏差型校正)的分量。所述技术允许用户(例如生产工程师)定义比例归一化值和调整取自多个不同像素归一化算法(例如增益型校正和偏差型归一化)的分量,以使得用于归一化原始图像数据的数学图像处理匹配用于所制造材料的缺陷响应。
在应用图像校正算法之后,幅材制造厂6的检测系统使用第一、通常较低复杂度的算法来进行初步检查以识别制造异常,从而接受下述可能性:尽管异常中的一些可显示为有缺陷的,但多个异常可为“误报”,即,没有缺陷的异常。事实上,产品12具有不同的等级水平(也称为质量水平),并且对于制造异常具有不同的容许度。因此,异常区域中的一些可获得不同的分类结果:如果相应的幅材卷10转换成特定产品12则可最终被分类为有缺陷的,但如果该幅材卷转换成不同产品则可最终被分类为没有缺陷的。
幅材制造厂6将与包含异常的幅材区域有关的图像信息通过网络9传送至转换控制系统4以用于后续处理。转换控制系统4应用一个或多个缺陷检测算法,所述一个或多个缺陷检测算法可为专用的,即,专用于产品12。基于该分析,转换控制系统4以自动或半自动方式确定出哪一种产品12将允许特定幅材卷10实现幅材的最大产率(即,利用率)。基于该决策,转换控制系统4为每一个幅材卷10产生转换方案(即,用于处理幅材卷的所定义的指令)并且将转换方案通过网络9传送至合适的转换位点8以用于将幅材转换成选定的产品。
在某些实施例中,转换控制系统4可为各个转换位点8制定这种决策。换句话讲,转换控制系统4可识别被指定用于每个转换位点8的幅材卷,并且基于与各个转换位点相关的产品12而产生转换方案。例如,转换控制系统4可识别被指定用于转换位点8A的幅材卷,并且基于由转换位点8A制备的产品12A来形成转换方案以使幅材卷的产率最大化。
作为另外一种选择,转换控制系统4可在幅材卷10运输至转换位点8之前为幅材卷10产生转换方案。因此,当为幅材卷10产生相应的转换方案时,转换控制系统4可考虑所有可能获得的产品12。这样,转换控制系统4可考虑所有可能获得的产品12以便(例如)使各个幅材卷10的产率最大化。以此构型,转换控制系统4产生转换方案并且输出下述指令,所述指令识别幅材卷10中的每一个应被运输至的特定转换位点8。
在一些实施例中,转换控制系统4在为幅材卷10选择相应的转换位点8时会考虑其他参数。这些参数包括(但不限于)在转换位点8中的每一个处的产品12的当前存量水平、从客户14接收的新近订单、与转换位点8中的每一个相关的运输时间和成本、可用的运输方法以及其他参数。
这样,转换控制系统4将专用缺陷检测算法应用至从幅材制造厂6接收的异常信息,并且基于一个或多个参数来最终指导将幅材卷10转换成产品12。如下文所示,这些因素可为用户可选择的,并且可通过使用加权函数或其他技术来进行独立或全体地应用。
图2为示出图1的幅材制造厂6A的示例性实施例的框图。在示例性实施例中,可将一段连续移动幅材20设置在两个支承辊之间。
在一个实例中,图像捕获装置26A-26N被设置为在幅材横向布置中紧密相邻且对准以便提供跨越移动幅材20的整个宽度的图像数据。即,图像捕获装置26收集用于幅材20的相邻、可能交叠的线段的图像数据,以便共同提供用于幅材的整个幅材横向部分的图像数据。采集计算机27从图像捕获装置26收集图像数据,然后将图像数据传送至分析计算机28进行初步分析。为了示例性目的,图2中的幅材20被示为沿方向D移动并且具有幅材横向方向C。
图像捕获装置26可为能够读取移动幅材20的连续部分并以数字数据流的形式提供输出的常规成像装置。如图2所示,成像装置26可为直接提供数字数据流的摄像机或是具有额外模数转换器的模拟摄像机。其他传感器,例如激光扫描仪,可以作为图像捕获装置使用。幅材的连续部分表示通过连续的单线采集数据。单线包括光学地映射到单行传感器元件或像素的连续移动幅材的区域。适于采集图像的装置的实例包括行扫描摄像机,例如得自Perkin Elmer(Sunnyvale,Calif.)的LD21型、得自Dalsa(Waterloo,Ontario,Canada)的Piranha型、或得自Thompson-CSF(Totawa,N.J.)的TH78H15型。其他实例包括与模数转换器结合使用的得自SurfaceInspection Systems GmbH(Munich,Germany)的激光扫描仪。
可以通过使用辅助获取图像的光学组件而可选地采集图像。组件可以是摄像机的一部分,也可以与摄像机分开。光学组件在成像过程中利用反射光、透射光或折射光。反射光例如通常适合检测由于幅材表面变形(例如表面划痕)引起的缺陷。
条码控制器30控制条码阅读器29,所述条码阅读器29可用于输入得自幅材20的卷和位置信息。条码控制器30将卷和位置信息传送至分析计算机28。
分析计算机28处理得自采集计算机27的图像流。更具体地讲,分析计算机28可先于所产生的异常信息将一个或多个预处理算法应用至图像流。例如,分析计算机28应用本文所述的图像校正算法以校正可由任一图像捕获装置26显示出的任何装置内不均匀性。如下文更详细所述,分析计算机28应用装置内像素归一化算法,所述装置内像素归一化算法归一化从采集计算机27接收的原始视频数据。此外,装置内像素归一化算法相对于从每个像素处的背景信号感测的差异将像素值归一化为目标光强级,并且还利用具有下述系数的多项式来归一化像素值,所述系数被调整为匹配关于缺陷检测的系统响应。这样,装置内像素归一化算法相对于背景信号的水平获得像素归一化和均匀性,并获得给定图像捕获装置的整个视野上的缺陷响应。分析计算机28可将装置内像素归一化算法单独地应用至从不同的图像采集计算机和相应的图像捕获装置26接收的图像数据流中的每一个。对于图像捕获装置26中的每一个,例如,分析计算机28可应用装置内像素归一化算法,所述装置内像素归一化算法已根据与检测中的产品相结合的特定图像捕获装置具有的特定装置内不均匀特性而被定制为组合不同归一化算法(如,增益型校正和偏差型校正)的组成分量。尽管为了示例性目的已相对于分析计算机28进行了描述,但采集计算机27可相反在将视频数据传送至分析计算机之前应用图像校正算法。
在预处理图像数据之后,分析计算机28使用一个或多个异常识别算法来处理数字信息以产生异常信息,所述异常信息识别出幅材20中包含可最终被判定为缺陷的异常的任何区域。对于每个所识别出的异常,分析计算机28从图像数据提取包含像素数据的异常图像,所述像素数据包括幅材20上的异常和可能的周围部分。
分析计算机28将卷信息、位置信息和异常信息存储在数据库32内。数据库32可以按许多不同形式中的任一形式执行,包括数据存储文件或在一个或多个数据库服务器上执行的一个或多个数据库管理系统(DBMS)。数据库管理系统可以是例如关系(RDBMS)、分层(HDBMS)、多维(MDBMS)、面向对象(ODBMS或OODBMS)或对象关系(ORDBMS)数据库管理系统。例如,数据库32是作为由Microsoft Corporation的SQL ServerTM提供的关系数据库而执行的。
分析计算机28将卷信息以及异常信息和相应的子图像传送至转换控制系统4以供后续、离线、详细的分析。例如,信息可通过分析计算机28与转换控制系统4之间的数据库同步来进行传送。
图3为示出幅材制造厂6A的示例性操作的流程图。最初,图像捕获装置26和采集计算机27从移动幅材20采集图像数据(40)。图像数据可(例如)通过数字视频摄像机而以数字形式形成,或者可转换成数字信息(42)。在任一种情况下,采集计算机27将数字图像信息流输出至分析计算机28(44)。
分析计算机28将装置内像素归一化算法应用至图像数据流中的每一个,其中所述算法的参数已被构造为控制不同的像素归一化技术(例如增益型校正和偏差型校正)的组合应用(45)。
分析计算机28随后应用异常检测算法以识别出包含异常的幅材区域(46)。在一些简便的实施例中,初始异常检测算法非常快,以便能够通过通用计算设备来实时地执行,即使移动幅材20的线速度为极高的。因此,所识别出的包含异常的区域中的一些可包括“误报”。尽管可存在多个误报,但初始算法仍优选被设计为使得极少(如果存在的话)产生“漏检”(即,真实的缺陷未被检测为异常)。
在应用初始异常检测算法时,分析计算机28汇集与所识别的区域有关的异常数据并且将异常数据存储在数据库32内(48)。所述数据通常包括幅材内的异常的起始位置和每个所识别的区域的涵盖像素面积。在此过程中,分析计算机28对于包含异常的每个所识别的区域提取图像数据的一部分(50)。具体地讲,仅需要提取原始数字图像信息的一部分以供转换控制系统4进行进一步、更复杂的分析。所识别的区域通常包含(例如)比数字信息低至少一个数量级的信息,如在任何简便的测量中由大小所指出的那样(例如,以字节为单位的文件大小)。
可将提取出的异常图像存储在数据库32或文件服务器(未示出)中(52)并且随后与异常和卷信息一起传送至转换控制系统4(54)。作为另外一种选择,可直接传送卷信息、异常信息和异常图像以供转换控制系统4进行处理。
图4为更详细地示出转换控制系统4的示例性实施例的框图。在示例性实施例中,应用服务器58提供软件模块61的操作环境。软件模块包括多个缺陷处理模块60A-60M、用户界面模块62和转换控制引擎64。
软件模块61与数据库70进行交互以访问数据72,所述数据72可包括异常数据72A、卷数据72B、图像数据72C、产品数据72D、转换位点数据72E、缺陷映射72F、合成缺陷映射72G、转换控制规则72H、和转换方案72I。
数据库70可以按许多不同形式中的任一种形式执行,包括数据存储文件或在一个或多个数据库服务器上执行的一个或多个数据库管理系统(DBMS)。例如,数据库32是作为由Microsoft Corporation的SQL ServerTM提供的关系数据库而执行的。
异常数据72A、卷数据72B、和图像数据72C表示从幅材制造厂6(图1)接收的卷信息、异常信息和相应的异常图像。产品数据72D表示与产品12(图1)相关的数据。更具体地讲,产品数据72D定义可由每个转换位点8产生的每一种类型的产品12。对于每个产品12,产品数据72D指定一个或多个缺陷处理模块60,其中需要所述一个或多个缺陷处理模块60来判断给定幅材卷10是否满足特定产品的质量要求。换句话讲,产品数据72D指定一个或多个缺陷处理模块60,所述一个或多个缺陷处理模块60将被用于分析每个产品12的异常数据72A和图像数据72C。
转换位点数据72E表示与转换位点8相关的数据。例如,转换位点数据72E可存储位点位置、生产线的数量以及用于每个转换位点8的每个生产线的当前可用容量。转换位点数据72E可存储其他数据,包括(但不限于)指定每个转换位点8处每个产品12的当前存量水平的数据、与将幅材卷运输至每个转换位点相关的运输成本、可用于每个转换位点的运输选项、通过每个转换位点接收的来自客户14的当前订购信息、指定每个转换位点的新客户或优选客户的数据、以及可用于选择转化方案的其他数据。
如下文更详细所述,缺陷处理模块60输出缺陷映射72F,所述缺陷映射72F指定哪些异常被视为不同产品12的实际缺陷。换句话讲,每个缺陷映射72F都对应于特定的幅材卷10和特定的产品12。每个缺陷映射72F都基于相应产品12的产品专用要求来指定特定幅材卷10的特定缺陷位置。
转换控制引擎64根据转换控制规则72H来分析缺陷映射72F以选择用于幅材卷10中的每一个的最终转换。例如,转换控制引擎64可分析缺陷映射72F以确定哪一个产品12将允许特定幅材卷10获得幅材的最大产率(即利用率)。转换控制规则72H指定当处理缺陷映射72F时由转换控制引擎64考虑的一个或多个参数,例如,幅材的用量、将由用于不同产品12的每个幅材卷10产生的单元数、将由用于每个可能产品12的幅材卷产生的收入或利润的估计量、转换用于不同产品中的每一个的幅材所需的处理时间、用于转换位点10内的每个生产线的当前机器容量、用于产品12中的每一个的当前需求水平以及其他参数。
在此过程中,转换控制引擎64可确定的是,如果特定幅材卷10转换成多个产品12,则所述特定幅材卷10可得到最好的利用(如,可获得最大产率)。换句话讲,转换控制引擎64可确定的是,当幅材的第一部分转换成第一产品时则所述第一部分可得到最好的利用,并且当幅材的第二部分转换成不同产品时则所述第二部分可得到最好的利用。在这种情况下,转换控制引擎64产生“合成”缺陷映射72G,所述“合成”缺陷映射72G指定幅材的每个部分内的缺陷位置(基于该部分所转换的相应产品)。转换控制引擎64可通过接合两个或更多个缺陷映射72F的部分而产生合成缺陷映射,以形成用于整个幅材的完整的合成缺陷映射。
在为给定幅材卷10选择特定产品或特定产品组时,转换控制引擎64产生相应的转换方案72I。每个转换方案72I提供精确的指令以用于处理相应的幅材卷。更具体地讲,每个转换方案72I定义用于处理幅材带的构型以将幅材以物理方式切成各个产品片材。转换控制系统4输出运输指令,所述运输指令指示将每个幅材卷10运输至相应的目标转换位点8。此外,转换控制系统4将转换方案通过网络9传送至合适的转换位点8,以用于将幅材卷转换成选定产品。
用户界面模块62提供界面,用户可通过该界面来配置由转换控制引擎64使用的参数。例如,用户界面模块62允许用户指示转换控制引擎64来考虑下述参数中的一个或多个:最大幅材利用率、产生的单元数、估计收入、估计利润、机器容量、当前需求水平和/或其他参数。
图5为更详细地示出通过转换控制系统4来处理异常信息的流程图。具体地讲,图5示出了通过缺陷处理模块60对异常数据72A和图像数据72C的处理。
转换控制系统4接收图像和异常数据(例如图像144、146),所述图像和异常数据最初是由位于幅材制造厂6处的分析计算机28利用简单的第一检测算法从幅材20提取的。
如图5所示,缺陷处理模块60根据需要对产品12的至多N个不同需求80应用“M”个不同算法(在图5中指定为A1-Am 88)。图5的交叉参考表82用于示出需求80和缺陷处理模块60之间的映射。具体地讲,交叉参考表82示出哪些缺陷处理模块60用于确定每个异常对于给定需求80而言为缺陷还是误报。
在一些实施例中,便利地并行使用较大数量的极简易算法。具体地讲,通常便利的是,后续缺陷处理模块60中的至少一个应用下述算法,所述算法包括将每个异常与组合阈值像素尺寸标准进行比较。在利用(例如)光学膜的实际操作中,如果面积较大,则亮度值与目标仅具有细小差异的异常为不合格的,并且即使面积非常小,则亮度值与目标值具有较大差异的异常也为不合格的。
另外,由缺陷处理模块60应用的算法可包括非常复杂的图像处理和缺陷提取,包括(但不限于)邻域平均、邻域分级、对比度膨胀、各种单值和二值图像处理、数字滤波(例如Laplacian滤波器、Sobel算子、高通滤波和低通滤波)、纹理分析、分形分析、频率处理(例如傅里叶变换和小波变换)、卷积、形态处理、阈值化、连通分量分析、连通域(blob)处理、连通域分类、或它们的组合。可根据特定的幅材和缺陷类型来应用其他算法以实现缺陷检测的所需精确度水平。
可使用各个缺陷处理需求82的选定组合来实现N个产品需求88中的每一个。所述算法可使用极其简单的阈值和最小连通域处理或者较复杂的算法,例如空间滤波器、形态学操作、频率滤波器、小波处理、或任何其他已知的图像处理算法。在此示例性的交叉参考表82中,产品需求R1使用算法A2、A4、和AM的组合,其中每个算法均被应用至每一个异常图像以确定哪些异常为R1的实际缺陷。在最简便的实施例中,使用简单的或逻辑,即,如果A2、A4、和AM中的任何一个报告异常为实际缺陷,则幅材20的该部分就不满足产品需求R1。对于专业化应用而言,下述逻辑可比简单的或逻辑更复杂,通过所述逻辑将后续需求82的报告组合成是否满足产品需求80的决策。相似地,产品需求R2使用A2、A3、和A4等。因此,被识别为R2的缺陷的异常可类似于或显著不同于R1的缺陷。
在通过使用交叉参考表82确定出哪些异常被视为实际缺陷之后,转换控制引擎64配制出对应于卷的各种产品需求的实际缺陷位置的缺陷映射72F。在一些情况下,转换控制引擎64可通过拼合缺陷映射72F中的一个或多个部分来产生一个或多个合成缺陷映射72G。在此种所示实例中,转换控制引擎64产生合成映射72G,所述合成映射72G具有从用于第一产品需求(MAP-R1)的缺陷映射接合的第一部分90和从用于第二产品需求(MAP-R2)的缺陷映射接合的第二部分92。这样,转换控制引擎64可确定如果将幅材的某些部分转换成不同产品则该幅材可得到最好的利用。一旦已完成这种处理,通常就可以丢弃子图像信息以使所需的存储介质最小化。
通过缺陷处理模块60应用的异常检测算法的图像处理和后续应用的其他细节描述于2003年4月24日提交的、标题为“APPARATUS ANDMETHOD FOR AUTOMATED WEB INSPECTION”(用于自动幅材检测的设备和方法)的、具有代理人案卷号58695US002的共同转让和共同待审的美国专利申请No.10/669,197中,该专利申请的整个内容以引用方式并入本文中。
本文所述的装置内像素归一化技术使用如下认识:用于归一化视觉检测系统的背景响应以获得给定图像捕获装置的均匀背景信号的现有技术可能未必实现均匀的缺陷检测。换句话讲,本文所述的技术基于如下认识:在一些情况下,用于缺陷检测的视觉检测系统的系统响应可不同于关于背景信号归一化的系统响应。即,应用于校正视觉检测系统以获得单个图像捕获装置的幅材横向背景强度信号均匀性的数学算法可能未必导致对同一图像捕获装置的整个视野上的可能缺陷的均匀处理。
为了解决这种认识,本文的技术提供了灵活的装置内图像校正技术,所述装置内图像校正技术允许用户(例如生产工程师)或自动化软件定义和调整取自多个不同像素归一化算法(例如,增益型校正和偏差型归一化)的归一化分量,以使得用于归一化原始图像数据的数学图像处理匹配所制造材料的缺陷响应。图6A-6D提供了示出这些概念的简单实例。
图6A为示出从先前的单个图像捕获装置输出的背景信号的示例性原始图像数据110的图。即,在此实例中,原始图像数据110示出由图像捕获装置针对均匀的校正背景材料在幅材横向方向上的单个像素行所输出的背景信号。在此实例中,在单行扫描的中心像素P1处,背景信号110具有90个单位(如,灰度级)的值。图像捕获装置的中心中的给定缺陷可使光强增加额外的25个单位,以获得115个单位的读数。然而,在一些情况下,位于视野边缘(此实例中的像素P2)处的具有相同物理特征(从尺寸、形状、和密度方面来说)的缺陷可导致光强增加27个单位以获得157个单位的读数。这可由(例如)如下原因引起:所述两个位置处的光照角度差、对不同光照角度的材料响应的差异、光传感器在图像捕获装置的不同位置或其他光学部件处的光学特性的变化、或环境条件(例如温度)的局部差异。
图6B示出了下述情况下的示例性结果,其中使用仅增益型像素归一化方法来归一化背景信号以获得100个单位的均匀目标光强级。在此实例中,针对视野的幅材横向位置计算出每个像素位置的标度因子并将所述标度因子应用至该位置处的相应读数。通常,特定幅材横向像素位置的标度因子可计算如下:
标度因子=目标归一化值/平均(即背景)像素值。
例如,如果给定100的目标归一化值,则像素位置P1的标度因子SP1可计算如下:
SP1=100/90=1.111。
相似地,像素位置P2的标度因子SP2可计算如下:
SP2=100/130=0.769。
在图6B中,可通过应用增益型归一化算法来获得归一化的背景信号120,所述增益型归一化算法使用以上文所述的方式计算的标度因子。如图所示,归一化的背景信号120在幅材横向方向上为均一平坦的,其中当在校正背景材料上执行扫描时每个像素位置产生100的归一化光强级。然而,本文所用的技术认识到,尽管所述方法可用于获得关于背景强度信号校正的均匀装置内响应,但仅增益型方法可能未必获得关于缺陷检测的均匀系统响应。即,本文的技术基于如下认识:关于缺陷检测的系统响应可不同于关于背景变化的系统响应。
例如,如图6B所示,将标度因子SP1和SP2应用至像素位置P1和P2处的相同缺陷的光强值115和157会分别导致127.7个单位和120.7个单位的归一化值。因此,尽管可通过应用标度致使归一化的背景信号为均匀的,但因不同像素位置处的相同缺陷而产生的所得强度级可产生不同的光强。在此实例中,当位于像素位置P2处的视野边缘附近时,归一化强度值可落在125个光单位的缺陷分类阈值TD之下,由此使得该材料中的异常被忽略。相比之下,当位于像素位置P1处的视野中心附近时,相同缺陷可产生127.7的归一化强度值,该值超过缺陷分类阈值TD,由此使得该材料中的异常将作为缺陷进行处理。此实例证明,即使将背景信号利用标度因子进行校正和归一化,但相对于检测装置的视野内的位置的缺陷响应的原始差异仍显示为缺陷分类差异。此外,在此实例中,应用仅增益型归一化方法可使得在视野中心中较多异常被分类为缺陷并且在视野边缘处较少异常被分类为缺陷。在一些系统中,这些像素值可表示为二进制整数值,但为了解释性目的,本文将单位示为十进制数值。
图6C示出了下述情况下的示例性结果:其中使用仅偏差型方法来将背景信号相对于100个单位的均匀光强级进行归一化。在此实例中,针对视野的幅材横向位置计算出每个位置的偏差并将所述偏差作为校正值应用至该位置处的相应读数。通常,特定幅材横向像素位置的偏差可计算如下:
偏差=目标归一化值-原始像素值
例如,如果给定100的目标归一化值,则像素位置P1的偏差OP1可计算如下:
OP1=100-90=10.0。
相似地,像素位置P2的偏差OP2可计算如下:
OP2=100-130=-30.0。
如图6C所示,可通过应用偏差型归一化技术来获得归一化的背景信号130,所述偏差型归一化技术将上文计算出的偏差加到从背景材料采集的原始视频110上。如图所示,归一化的背景信号130在幅材横向方向上为均一平坦的,其中当扫描校正背景材料时每个像素位置产生100个单位的归一化光强级。然而,如上文所述,本文所用的技术认识到,类似于仅增益型方法,仅偏差型方法可用于获得关于背景校正的均匀装置内响应,但仅偏差型方法可能未必获得关于缺陷检测的均匀系统响应。
例如,如图6C所示,将偏差OP1和OP2应用至像素位置P1和P2处的相同缺陷的光强值115和157会分别导致125.0个单位和127.0个单位的归一化值。因此,尽管可通过应用标度致使归一化的背景信号为均匀的,但因不同像素位置处的相同缺陷而产生的所得强度级可产生不同的光强。在此实例中,当位于像素位置P2处的视野边缘附近时,归一化强度值超过125个光单位的缺陷分类阈值TD,由此使得该材料中的异常将作为缺陷进行处理。相比之下,当位于像素位置P1处的视野中心附近时,应用相应的偏差使得相同缺陷产生125的归一化强度值,该值落在阈值之下,由此使得该异常被忽略。此实例证明,即使将背景光强级利用每个幅材横向位置的偏差进行校正和归一化,相对于检测装置视野内的位置的缺陷响应的原始差异仍可显示为缺陷分类差异。此外,在此实例中,应用仅偏差型归一化方法可使得在视野边缘处较多异常被分类为缺陷并且在视野中心中较少异常被分类为缺陷。
图6D示出了通过应用下述技术获得的均匀背景信号140,所述技术将增益型校正的分量与偏差型校正的分量进行组合以归一化从背景材料采集的原始视频110。即,所述技术应用比例校正,所述比例校正具有得自增益型和偏差型归一化的组成分量,其中所选定的分量为适应性地计算出的。即,加权系数s1–sn可用于表示不同归一化算法的比例,其中所述系数为动态可调的,即,可调式的。换句话讲,对于每个像素,使用本文所述的技术基于每个像素而选择不同归一化结果之间的比值,例如增益型归一化像素值和偏差型归一化像素值之间的比值。
在图6D的实例中,选定第一系数s1=0.8,并且选定第二系数s2=0.2,其中s1表示取自偏差型方法的归一化部分并且s2表示取自增益型方法的归一化部分。换句话讲,图6D表示当偏差型归一化算法的80%权重与增益型归一化算法的20%权重结合使用时的归一化信号140。如图所示,归一化的背景信号140在幅材横向方向上为类似地均一平坦的,其中当扫描校正背景材料时每个像素位置产生100个单位的归一化光强级。例如,若假定20%和80%的系数,则目标归一化值为数值100的像素P1处的90个单位的原始背景光强级读数将以如下方式进行归一化:
pi=0.2*SP1*90+0.8*(90+OP1),
pi=0.2*1.11*90+0.8*(90+10),
由此产生像素P1处的归一化像素值:
pi=100。
相似地,像素位置P2处的130个单位的原始背景光强级读数将被相对于100的数值进行归一化。
然而,相对于缺陷分类,像素位置P1和P2处的相同缺陷的光强值115和157分别产生125.6个单位和125.8个单位的归一化值。因此,通过选择偏差型/增益型校正的80/20比率,因不同像素位置处的相同缺陷而产生的所得强度级利用本文所述的技术产生基本上相同的归一化光强。在此实例中,像素位置P1和P2处的归一化强度值均超过125个光单位的缺陷分类阈值TD,由此使得该材料中的异常将被分类为缺陷。尽管对缺陷的系统响应可相对于给定检测装置的视野内的位置而改变,但这种变化可利用本文所述的校正和归一化方法进行解释。
通常,所述技术可被视为基于每个像素而应用多项式校正,其中不同的归一化方案利用不同的系数进行加权,以便实现给定图像捕获装置的视野的幅材横向方向上的均匀缺陷检测。用于像素校正的高阶多项式通常可表示为:
P i = s n Z p i n + · · · + s 3 C p i 2 + s 2 B p i + s 1 A ,
其中Pi表示校正的像素值,pi表示原始像素值,A、B、...Z表示用于图像校正的不同算法(如,偏差型、增益型、背景减法、暗色补偿),并且s1-sn为多项式的系数。这些系数s1-sn表示取自不同算法的归一化部分,其中所述系数为动态可调的,即,可调式的。换句话讲,使用本文所述的技术来基于每个像素选择不同归一化结果之间的比值,例如增益型归一化像素值和偏差型归一化像素值之间的比值,如上文所示。可对于所有像素均使用相同的比值或者可针对每个像素来确定比值。
这种灵活的方法可用于多种不同的工业应用中。在一些情况下,例如,所制造和检测的材料可往往会具有使光均匀地穿过的均匀结构,例如灰色膜。对于这种膜,当检测膜时增加应用至膜的光强会使得由视觉检测系统接收到的光强也类似地增加。在这种情况下,对增益型归一化进行较多加权的技术可为优选的。在这种情况下,s1可接近零。在其他情况下,可对偏差型归一化进行较多加权的技术可为优选的,即,s2可接近零。这种技术可用于(例如)所谓的暗视野应用,在暗视野应用中法向膜响应使得到达传感器的光减少或没有光到达传感器,除非存在缺陷。在其他情况下,s1和s2均未设为零,由此提供比例归一化方案。此外,在一些情况下,所述技术可用于通过高阶多项式来应用校正。这可在如下情况中为有用的,例如,当材料可为活性光学膜(例如光导)时,该活性光学膜中材料的光学特性在幅材横向方向上变化。
用于应用比例图像校正的替代方法是对比值采用迭代法,其中用于任何给定归一化算法的比值至少部分地基于下述比值,所述比值是针对多项式内具有较低阶的任何归一化算法预先确定的。例如,这可通过下述方式来完成:首先计算所需的偏差量(例如)并且使用该量的仅一部分以使得所需校正的其余部分通过与较高阶相关的增益型或其他型归一化技术来获得。在这种方法中,存在单个比值常数并且较高阶的系数取决于此标量。下述公式概述了第一阶多项式的这种实施方式:
P i = G i ( p i - s O i ) , O i = P ‾ i - T , G i = T P ‾ i - s O i ,
其中pi为原始像素值,s为比值常数(每个像素的或对所有像素为固定的),T为目标归一化值,为平均背景像素值,Oi为平均像素偏差,Gi为像素增益。当s=0.80时,该方法产生与图6D所示相同的结果。这可视为采用80%偏差和20%增益。不同的检测布置方式和材料可能未必在所述两种实施方式之间产生相同的比值(如,80/20)。
图7为示出用于确定多项式的系数的示例性方法的流程图,所述多项式将用于归一化由视觉检测系统接收的原始视频数据。在一个示例性实施例中,利用制造线的视觉检测系统的图像捕获装置来初始处理校正材料以产生原始视频数据(150)。校正材料可为(例如)由制造线生产的类型的材料,其中所述校正材料可具有已知的缺陷分布形式。例如,当在校正材料的整个长度上考虑时,幅材横向方向上的缺陷分布可为基本上均匀的,以使得不存在特定的幅材横向位置相对于其他幅材横向位置具有统计学上显著增加或减少的缺陷。又如,可在制造材料时从材料实时地采集原始视频数据,并且可在检测给定长度的所制造幅材(例如50米的幅材)之后实时地重复性计算和适应性调整平均的幅材横向缺陷分布形式。在此实例中,可假定所制造幅材的实际幅材横向缺陷分布应为均匀的或者说是符合已知形式。
在任一种情况下,生产工程师或自动化软件选择用于装置内像素归一化公式的初始系数组(154)。即,针对每一个可用图像归一化算法选择初始比值。初始系数组可从先前被生产工程师配置的默认系数中选择或者可基于有待制造的材料的类型进行选择。例如,对于灰色膜而言,可初始配置100%增益型和0%偏差型的默认系数。对于暗视野应用,可使用0%增益型和100%偏差型的默认系数。又如,对于其他类型的每个像素归一化而言,可将第一阶多项式的默认系数配置为80%偏差型和20%增益型的比值。
在选定初始系数组之后,利用当前选定的系数组来归一化原始图像数据,以计算图像数据的幅材纵向长度上的每个扫描行的每个幅材横向像素位置处的归一化值(156)。然后利用一种或多种方法来分析归一化的图像数据以针对不同的方法将检测的异常分类成缺陷或者相应的缺陷组(158)。
然后分析所得的缺陷数据并且在当前选定摄像机的视野的幅材横向方向上构建缺陷分布形式(160)。即,针对图像数据的幅材纵向长度上的每个幅材横向位置来确定缺陷的总数,以形成用于当前所制造的校正材料或材料段的幅材横向缺陷分布形式。
然后通过生产工程师或自动化软件来检查缺陷分布形式,以确定该缺陷分布形式的平坦度是否合格。例如,可分析缺陷分布形式以确定具有最大缺陷数的幅材横向摄像机内位置与具有最小缺陷数的位置之间的范围。可使用容许水平(例如,具有最大和最小缺陷数的位置之间的1%的差异)来确定当前系数是否产生合格的缺陷分布形式。可使用其他技术来确定当前缺陷分布形式是否为平坦的,例如每个摄像机内像素位置处的缺陷数之间的标准偏差。
如果缺陷分布形式为不合格的,则生产工程师或自动化软件为装置内像素归一化公式选择不同的加权系数组(154)。例如,假定当前系数指定100%增益型归一化和0%偏差型归一化,则可通过定义的增量来调整系数以指定(例如)95%增益型和5%偏差型。然后利用新系数来归一化原始图像数据,并且构造和分析缺陷分布形式以确定该缺陷分布是否合格(156-162)。该过程继续进行并且可通过迭代方式用于对较高阶多项式的系数组合进行排序直至获得合格的缺陷分布形式为止。
一旦获得合适的缺陷分布形式(对162回答“是”),就对视觉检测系统的每个图像捕获装置重复该过程(164)。这样,开发出用于每个图像捕获装置的装置内像素归一化公式。一旦开发出后,就应用装置内像素归一化公式来归一化得自相应图像捕获装置的原始图像数据,并且处理归一化的图像数据以识别出当将幅材转换成一个或多个产品时具有缺陷的幅材部分。
图8为示出从幅材的模型原始图像数据计算出的缺陷分布形式的图。如图8所示,当使用背景材料时,图像捕获装置产生平均背景信号200。这可表示材料段的整个长度上的平均每个像素背景值或者单个幅材横向像素行上的背景信号。在任一种情况下,如图所示,背景信号200指示出图像捕获装置在视野的边缘上较为敏感。另外,图8示出了用于图像数据的未经校正的幅材横向缺陷分布形式202。在此实例中,相对于光强示出未经校正的缺陷分布形式202,以阐释当缺陷存在于图像捕获装置的每一个幅材横向像素位置处时的系统响应。在其他实例中,缺陷分布形式202可被计算为在材料的所定义幅材纵向长度上的每个像素位置处检测到的缺陷数的总和。
图8的其余图线用以进一步地示出上文所述的方法,其中生产工程师或自动化软件通过所述方法来选择用于装置内像素归一化公式的系数。在此实例中,图线203示出了当应用100%偏差型校正和0%增益型校正的系数来归一化原始像素数据时对缺陷检测的系统响应。其余图线204-220示出了当将本文所述的技术迭代性地用于对如下系数组合进行排序时的系统响应,所述系数组合从100%偏差型归一化以10%减量(每次迭代之间)变化至100%增益型归一化。在每次迭代时,调整偏差型分量的比例并且利用增益型系数获得其余部分的校正,由此产生从100%偏差型/0%增益型到0%偏差型/100%增益型的偏差型/增益型加权组合。
如图8所述,100%偏差型方法和100%增益型方法均不产生基本上平坦的归一化。即,100%偏差型归一化产生使边缘处的缺陷增加的缺陷分布形式202,而100%增益型方法产生使视野中心中的缺陷增加的缺陷分布形式200。在此实例中,在计算出的系数组合中,偏差型归一化对增益型归一化的50/50的比值产生分布形式214,所述分布形式214具有最平坦或最均一的幅材横向、摄像机内形式。因此,在此实例中,将选择和使用装置内像素归一化公式:
pi=0.5*SP1*90+0.5*(90+OP1),
来归一化每个像素位置处的原始图像值,其中SP1和OP1分别表示增益型标度因子和偏差值,所述增益型标度因子和偏差值将独立地使该像素处的原始背景光强值归一化为目标光强值。使用装置内像素归一化算法的选定系数允许图8的模型数据在图像捕获装置的整个视野的幅材横向方向上实现相对于背景信号和缺陷检测的系统响应的归一化。
图9为示出从幅材的模型原始图像数据计算出的缺陷分布形式的图。在此实例中,背景信号300和未经校正的像素值302与图8中相同。图9的其余图线用以进一步地示出上文所述的方法,其中生产工程师或自动化软件通过所述方法来选择用于装置内像素归一化公式的偏差比值常数(s)。在此实例中,图线303示出了当应用100%偏差型校正(s=1.0)和0%增益型校正的系数来归一化原始像素数据时对缺陷检测的系统响应。其余图线示出了当将本文所述的技术迭代性地用于对如下系数组合进行排序时的系统响应,所述系数组合从100%偏差型归一化(图线303)以10%减量(每次迭代之间)变化至100%增益型归一化(图线320)。在每次迭代时,调整偏差型分量的比例并且利用增益型系数获得其余部分的校正,由此产生从100%偏差型/0%增益型到0%偏差型/100%增益型的偏差型/增益型加权组合。
如图9所示,100%偏差型方法和100%增益型方法均不产生基本上平坦的归一化。即,100%偏差型归一化产生使边缘处的缺陷增加的缺陷分布形式302,而100%增益型方法产生使视野中心中的缺陷增加的缺陷分布形式320。在此实例中,在计算出的系数组合中,偏差型归一化对增益型归一化的60/40的比值(与之对照的是,用于产生图8的归一化实施方式的50/50)产生分布形式322,所述分布形式322具有最平坦或最均一的幅材横向、摄像机内形式。因此,在此实例中,将选择和使用装置内像素归一化公式:
P i = G i ( p i - 0.6 O i ) = T P ‾ i - 0.6 O i ( p i - 0.6 O i )
来归一化每个像素位置处的原始图像值,其中Gi和Oi分别表示增益型标度因子和偏差值,所述增益型标度因子和偏差值将使该像素处的原始背景光强值归一化为目标光强值。使用装置内像素归一化算法的选定系数允许图9的模型数据在图像捕获装置的整个视野的幅材横向方向上实现相对于背景信号和缺陷检测的系统响应的归一化。
已经描述了本发明的各种实施例。这些以及其它实施例都归于以下权利要求书的范围以内。

Claims (10)

1.一种用于幅材缺陷检测的方法,包括:
利用图像捕获装置从制造的材料捕获图像数据;
将多个归一化函数中的第一函数应用至所述图像数据以产生图像的每个像素的第一归一化值;
将所述多个归一化函数中的第二函数应用至所述图像数据以产生所述像素中的每一个的第二归一化值;
对所述像素中的每一个的所述第一归一化值的一部分和所述第二归一化值的一部分求和来计算每个像素的最终归一化值;
处理所述最终归一化值以识别出所述制造的材料上的包含异常的区域,所述异常表示所述制造的材料中的可能缺陷;
分析所述异常以确定所述制造的材料的缺陷分布形式;以及
在计算所述像素中的每一个的所述最终归一化值时调整所使用的所述第一归一化值的所述部分和所述第二归一化值的所述部分以使得所述缺陷分布形式为均匀的。
2.根据权利要求1所述的用于幅材缺陷检测的方法,还包括:
利用所述图像捕获装置对背景材料成像以提供背景图像数据;以及
选择所述多个不同的归一化函数以使得所述不同归一化函数中的每一个将多个像素中的每一个的所述背景图像数据归一化为一般所需的背景值。
3.根据权利要求2所述的用于幅材缺陷检测的方法,还包括:
选择权重,所述权重确定所述多个归一化函数中的所述第一函数的所述部分和所述多个归一化函数中的所述第二函数的所述部分。
4.根据权利要求1所述的用于幅材缺陷检测的方法,
其中计算每个像素的最终归一化值包括应用高阶多项式,其中通过使用下述系数来基于每个像素应用多个不同归一化方案并求和,所述系数实现所述图像捕获装置的视野内均匀的缺陷检测。
5.一种用于幅材缺陷检测的系统,包括:
图像捕获装置,所述图像捕获装置从制造的材料采集图像数据,其中所述图像数据包括所述图像捕获装置的视野的像素值;
计算机可读介质,所述计算机可读介质存储用于将所述图像捕获装置的背景信号归一化为一般所需值的多个不同归一化算法的参数,其中所述计算机可读介质还存储所述多个归一化算法中的每一个的系数;和
分析计算机,所述分析计算机根据从应用使用所述所存储参数的所述多个不同归一化算法中的至少两个获得的结果的加权和来计算所述图像数据的所述像素值中的每一个的归一化值,其中所述所存储系数定义所述不同归一化算法中的每一个的结果的权重。
6.根据权利要求5所述的用于幅材缺陷检测的系统,其中所述分析计算机处理所述像素值中的每一个的所述归一化值以识别出所述制造的材料上包含异常的区域,所述异常表示所述制造的材料中的可能缺陷。
7.根据权利要求5所述的用于幅材缺陷检测的系统,其中所述分析计算机通过下述方式来计算所述像素值中的每一个的所述归一化值:将多个归一化函数中的第一函数应用至所述图像数据以产生图像的每个像素的第一归一化值、将所述多个归一化函数中的第二函数应用至所述图像数据以产生所述像素中的每一个的第二归一化值、以及以所述像素中的每一个的所述第一归一化值的一部分和所述第二归一化值的一部分的组合来计算每个像素的所述归一化值。
8.根据权利要求7所述的用于幅材缺陷检测的系统,
其中所述归一化算法中的第一算法为偏差型归一化算法,并且
其中所述归一化算法中的第二算法为增益型归一化算法。
9.根据权利要求5所述的用于幅材缺陷检测的系统,其中用于所述多个不同归一化算法的所述系数对所述多个不同归一化算法中的每一个加权,以使得利用所述图像数据的异常检测在所述图像捕获装置的整个视野上为均匀的。
10.根据权利要求5所述的用于幅材缺陷检测的系统,其中所述分析计算机通过应用高阶多项式来计算每个像素的所述归一化值,其中基于每个像素应用所述多个不同归一化算法并且利用所述系数作为权重来对所述结果求和。
CN201180012632.4A 2010-01-08 2011-01-03 使用传感器内均匀度校正进行基于幅材的光学缺陷检测的方法和系统 Active CN102971619B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/684,170 US8270701B2 (en) 2010-01-08 2010-01-08 Optical web-based defect detection using intrasensor uniformity correction
US12/684,170 2010-01-08
PCT/US2011/020028 WO2011084914A2 (en) 2010-01-08 2011-01-03 Optical web-based defect detection using intrasensor uniformity correction

Publications (2)

Publication Number Publication Date
CN102971619A CN102971619A (zh) 2013-03-13
CN102971619B true CN102971619B (zh) 2015-08-12

Family

ID=44258562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180012632.4A Active CN102971619B (zh) 2010-01-08 2011-01-03 使用传感器内均匀度校正进行基于幅材的光学缺陷检测的方法和系统

Country Status (7)

Country Link
US (1) US8270701B2 (zh)
JP (1) JP5702404B2 (zh)
KR (1) KR101749782B1 (zh)
CN (1) CN102971619B (zh)
SG (1) SG182314A1 (zh)
TW (1) TW201135220A (zh)
WO (1) WO2011084914A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553228B2 (en) * 2011-09-30 2013-10-08 3M Innovative Properties Company Web inspection calibration system and related methods
US8923571B2 (en) 2012-07-16 2014-12-30 Hewlett-Packard Development Company, L.P. Automated camera flat fielding and alignment
US20150014409A1 (en) * 2013-07-09 2015-01-15 Abb Technology Ag Servicing system for a field device
CN108475294B (zh) 2016-01-15 2023-04-04 康宁股份有限公司 表征多孔陶瓷制品的等静压强度的非接触式方法
EP3660786A4 (en) * 2017-07-25 2020-08-05 FUJIFILM Corporation METHOD FOR GENERATING A DAMAGE DIAGRAM, DEVICE FOR GENERATING A DAMAGE DIAGRAM, SYSTEM FOR GENERATING A DAMAGE DIAGRAM AND RECORDING MEDIUM
DE102019109791A1 (de) * 2019-04-12 2020-10-15 Stephan Krebs Vorrichtung zur Druckbildkontrolle für eine Druck- oder Konfektioniermaschine und Verfahren zur Validierung von Inspektionsalgorithmen einer Vorrichtung zur Druckbildkontrolle
US11151710B1 (en) * 2020-05-04 2021-10-19 Applied Materials Israel Ltd. Automatic selection of algorithmic modules for examination of a specimen
CN117745603A (zh) * 2024-02-20 2024-03-22 湖南科洛德科技有限公司 基于线阵扫描设备的产品图像校正方法及设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1147634A (zh) * 1995-03-15 1997-04-16 圣戈班玻璃制造公司 对反射表面涂层上缺陷的识别和估算方法
US6757442B1 (en) * 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
JP2004251781A (ja) * 2003-02-20 2004-09-09 Tani Electronics Corp 画像認識による不良検査方法
CN1633592A (zh) * 2001-02-12 2005-06-29 3M创新有限公司 卷筒材料的检查方法和装置
JP2006177852A (ja) * 2004-12-24 2006-07-06 Toshiba Corp 表面検査装置、およびその方法
JP2006275802A (ja) * 2005-03-29 2006-10-12 Nippon Steel Corp 欠陥検査方法及び装置
JP2008164400A (ja) * 2006-12-27 2008-07-17 Daio Paper Corp シートロール形状不良判別装置及び判別方法
JP2008164461A (ja) * 2006-12-28 2008-07-17 Kochi Univ Of Technology 薄板状部品の検査方法と検査装置
JP2009204388A (ja) * 2008-02-27 2009-09-10 Toppan Printing Co Ltd 欠陥検査方法
CN101600957A (zh) * 2007-01-16 2009-12-09 奥林巴斯株式会社 缺陷检测装置及缺陷检测方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4602291A (en) 1984-05-09 1986-07-22 Xerox Corporation Pixel non-uniformity correction system
JPS647174A (en) 1987-06-29 1989-01-11 Mitsubishi Electric Corp Background correction method
US4899054A (en) 1988-01-19 1990-02-06 General Electric Company Gamma camera with image uniformity by energy correction offsets
EP0533976B1 (en) 1991-09-26 1996-05-15 Dornier Medizintechnik Gmbh Automatic optimization of the image uniformity of an ultrasound imaging system
JPH09178666A (ja) * 1995-10-24 1997-07-11 Nkk Corp 表面検査装置
JP3809226B2 (ja) 1996-06-06 2006-08-16 富士写真フイルム株式会社 リニアイメージセンサの出力画像信号の補正方法
JP3466855B2 (ja) 1997-02-07 2003-11-17 株式会社リコー 画像読取装置
JP3397101B2 (ja) * 1997-10-29 2003-04-14 株式会社日立製作所 欠陥検査方法および装置
JP4024381B2 (ja) * 1998-04-21 2007-12-19 株式会社ルネサステクノロジ 欠陥検査方法および装置
US6687396B1 (en) * 1998-07-29 2004-02-03 Pentax Corporation Optical member inspection apparatus, image-processing apparatus, image-processing method, and computer readable medium
TW380180B (en) 1998-11-13 2000-01-21 China Textile Inst On-line uniformity inspection method and apparatus for web applying digital image processing
US20050033185A1 (en) 2003-08-06 2005-02-10 Cytometrics, Llc Method for correcting vessel and background light intensities used in beer's law for light scattering in tissue
JP4731698B2 (ja) 2000-04-06 2011-07-27 キヤノン株式会社 画像処理装置、撮影装置、画像処理システム、画像処理方法、及び記憶媒体
US6970577B2 (en) 2000-12-19 2005-11-29 Lockheed Martin Corporation Fast fourier transform correlation tracking algorithm with background correction
JP2003284707A (ja) 2002-03-27 2003-10-07 Canon Inc 撮影装置、ゲイン補正方法、記録媒体及びプログラム
JP4468083B2 (ja) 2003-08-26 2010-05-26 キヤノン株式会社 放射線撮影装置、放射線撮影方法
DE10340166B4 (de) 2003-09-01 2016-12-08 Robert Bosch Gmbh Verfahren zur Erweiterung des Dynamik-Bereichs eines Halbleiter-Bildsensors
US7335183B2 (en) 2003-09-15 2008-02-26 Aligned Innovation, Inc. Nursing aid system
US7027934B2 (en) * 2003-09-24 2006-04-11 3M Innovative Properties Company Apparatus and method for automated web inspection
JP2007517232A (ja) 2003-12-31 2007-06-28 スリーエム イノベイティブ プロパティズ カンパニー ウェブに基づく物品の歩留まりの最大化
US7120515B2 (en) 2003-12-31 2006-10-10 3M Innovative Properties Company Inventory control for web-based articles
US7259857B2 (en) 2004-01-14 2007-08-21 Xerox Corporation Methods for automated uniformity assessment and modification of image non-uniformities
JP2009300426A (ja) * 2008-05-16 2009-12-24 Nuflare Technology Inc レチクル欠陥検査装置およびレチクル欠陥検査方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1147634A (zh) * 1995-03-15 1997-04-16 圣戈班玻璃制造公司 对反射表面涂层上缺陷的识别和估算方法
US6757442B1 (en) * 2000-11-22 2004-06-29 Ge Medical Systems Global Technology Company, Llc Image enhancement method with simultaneous noise reduction, non-uniformity equalization, and contrast enhancement
CN1633592A (zh) * 2001-02-12 2005-06-29 3M创新有限公司 卷筒材料的检查方法和装置
JP2004251781A (ja) * 2003-02-20 2004-09-09 Tani Electronics Corp 画像認識による不良検査方法
JP2006177852A (ja) * 2004-12-24 2006-07-06 Toshiba Corp 表面検査装置、およびその方法
JP2006275802A (ja) * 2005-03-29 2006-10-12 Nippon Steel Corp 欠陥検査方法及び装置
JP2008164400A (ja) * 2006-12-27 2008-07-17 Daio Paper Corp シートロール形状不良判別装置及び判別方法
JP2008164461A (ja) * 2006-12-28 2008-07-17 Kochi Univ Of Technology 薄板状部品の検査方法と検査装置
CN101600957A (zh) * 2007-01-16 2009-12-09 奥林巴斯株式会社 缺陷检测装置及缺陷检测方法
JP2009204388A (ja) * 2008-02-27 2009-09-10 Toppan Printing Co Ltd 欠陥検査方法

Also Published As

Publication number Publication date
TW201135220A (en) 2011-10-16
SG182314A1 (en) 2012-08-30
JP2013519069A (ja) 2013-05-23
US20110170762A1 (en) 2011-07-14
KR20120115356A (ko) 2012-10-17
KR101749782B1 (ko) 2017-06-21
JP5702404B2 (ja) 2015-04-15
US8270701B2 (en) 2012-09-18
WO2011084914A3 (en) 2013-02-21
WO2011084914A2 (en) 2011-07-14
CN102971619A (zh) 2013-03-13

Similar Documents

Publication Publication Date Title
CN102971619B (zh) 使用传感器内均匀度校正进行基于幅材的光学缺陷检测的方法和系统
CN102792154B (zh) 幅材制备工艺中专用的重复缺陷检测
US7187995B2 (en) Maximization of yield for web-based articles
EP2176648B1 (en) Method for inspection of anomalies in web materials
EP1664749B1 (en) Apparatus and method for automated web inspection
CN101802869B (zh) 图像检测系统的多单元加工空间同步
CN109635806B (zh) 基于残差网络的电表数值识别方法
KR101800058B1 (ko) 웨브-기반의 재료 내의 불균일성의 고속 처리 및 검출
EP2174194A2 (en) Fiducial marking for multi-unit process spatial synchronization
CN103180724A (zh) 对用于检测幅材型材料中可变性的不均匀度严重性进行连续制图
KR101203325B1 (ko) 시트-기반 물품에 대한 재고품 제어
CN104976959B (zh) 一种基于机器视觉的弹簧尺寸在线测量系统及其方法
Zhang et al. Corn ear test using SIFT-based panoramic photography and machine vision technology
CN112084543A (zh) 基于大数据和3d技术的工艺美术品快速设计系统及方法
CN116071241B (zh) 基于最优拼缝线与图割模型求解的高光谱图像拼接方法
CN116164657A (zh) 非接触式的热轧钢卷卷径及塔形缺陷在线检测方法及系统
MXPA06007470A (en) Maximation of yield for web-based articles
CN117745796A (zh) 一种基于鱼眼镜头的生猪体重估算方法
MXPA06007469A (en) Inventory control for web-based articles

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant