CN103180724A - 对用于检测幅材型材料中可变性的不均匀度严重性进行连续制图 - Google Patents

Abstract

本发明描述了一种计算机化检测系统，所述检测系统用于检测制成幅材中不均匀缺陷的存在，以及用于提供表征每种缺陷的严重级别的输出。所述系统提供输出，所述输出实时提供所述不均匀缺陷在连续刻度上的所述严重级别。训练软件处理多个训练样品以生成模型，其中只需对所述训练样品的每一个指定所述不均匀缺陷的一组离散等级标签中的一个。所述训练软件生成用于表示所述训练图像的连续等级的所述模型，并且所述检测系统利用所述模型实时计算所述幅材在连续刻度上的所述严重级别，而不会将所述输出限定在对所述训练样品指定的所述离散等级标签。

Description

对用于检测幅材型材料中可变性的不均匀度严重性进行连续制图

相关专利申请的交叉引用

本专利申请要求2010年10月19日提交的美国临时专利申请No.61/394,655的优先权，其公开内容全文以引用方式并入本文。

技术领域

本发明涉及自动化检测系统，例如用于检测移动幅材的计算机化系统。

背景技术

已经证明用于分析移动幅材的计算机化检测系统对现代制造操作至关重要。生产线的目标是生产完全均匀并且不具有可变性的材料。然而，不均匀性是幅材型材料制造过程中的常见问题。这可由许多过程变量或配方误差导致。因此，配置基于成像的检测系统变得日益常见，该检测系统能够根据光学检测传感器(如摄像机)捕获的数字图像对制成品的质量进行自动分类。在最简单的情况下，一些检测系统应用了通常称为“分类器”的算法，该算法尝试对每个捕获的数字图像(即“样品”)指定评级，从而指示样品或其部分是合格的还是不合格的。

这些检测系统通常尝试辨识“点”缺陷，其中每个缺陷局限在制成材料的单一区域内。然而，可能存在称为“不均匀”缺陷或“不均匀因素”的其他类型的缺陷，其中幅材在较大区域上表现出不均匀可变性。此类不均匀因素的例子包括斑点、颤痕、条带和条纹。按照定义，诸如此类的不均匀型缺陷是分散的而非局部的。因此，相对于局部的点缺陷，计算机化检测系统对此类缺陷的检测和定量可能更难。因此，操作者或质量控制工程师可以采取对稀疏采样的幅材样品进行离线(即在生产完成后)手动检测。

发明内容

总体来讲，本公开描述了计算机化检测系统，该系统用于检测不均匀缺陷的存在并提供表征每个缺陷的严重性的输出。此外，该技术可以提供输出，所述输出提供不均匀度严重性的连续制图。换句话讲，计算机化检测系统可以提供更连续的样品评级，而非局限于离散的等级标签，例如“合格”或“不合格”、或“1”、“3”或“5”。例如，计算机化检测系统可以应用算法生成给定样品在连续刻度上的不均匀度严重性的量度，例如在0至10刻度上的1.63。

在一个实施例中，装置包括处理器和存储多个训练样品的存储器。已为每个图像指定训练图像中存在的不均匀缺陷的一组离散等级标签中的一个。处理器上执行的训练软件包括特征提取模块，用于通过从相应训练图像的像素值计算训练图像的每一个的特征向量，来提取多个训练图像的每一个的特征。训练软件将训练图像的特征向量的每一个表示为多维空间内的一点。该训练计算出训练图像的连续等级，其中针对不同类型的缺陷，为训练图像的每一个指定在连续刻度上的不均匀度严重性等级值。

在另一个实施例中，计算机化检测系统包括存储器，用于存储将训练图像的连续等级表示为多维特征空间内的多个点的模型。多维空间内的每个点对应于不同训练图像的特征向量。计算机化检测系统包括执行软件的服务器，该软件对从制成幅材捕获的新图像进行处理，从而提取新图像的特征。该软件根据训练图像的模型，计算幅材在连续刻度上的不均匀缺陷严重级别。计算机化检测系统包括用户界面，用于向用户输出严重级别。

在另一个实施例中，方法包括在计算机上执行软件，用于通过从相应训练图像的像素值计算每个训练图像的数字描述符，来提取多个训练图像的每一个的特征，其中已对每个图像指定训练图像中存在的不均匀缺陷的一组离散等级标签中的一个。该方法还包括用评级软件处理训练图像的数字描述符，从而根据对训练图像指定的离散等级标签计算训练图像的连续等级。该方法包括对从制成幅材捕获的新图像进行处理，以便提取新图像的特征，以及根据训练图像的连续等级计算幅材的不均匀缺陷的严重级别；以及呈现用户界面，用于向用户输出该严重级别。

该技术可以提供一个或多个优点。例如，向操作员提供的信息越详细，对不均匀度原因的探究可能将越有效。其中缺陷严重级别在连续刻度上实时输出的不均匀度严重性连续制图可以使操作员能够更清楚地看见随时间推移而出现的不均匀度的量和严重性，这可能比诸如“良好”和“差”的离散输出更有利。因此，向操作员呈现的具体不均匀缺陷的输出并不局限于为训练样品指定的离散等级标签。

此外，可以通过计算机化检测系统应用该技术，以便为幅材制造设施内的用户如工艺工程师提供关于不均匀因素的存在及其严重性的实时反馈，从而使得该用户可以对不均匀因素的出现快速作出反应，即通过调整工艺条件以纠正问题，而不会显著延迟生产或生产出大量无用的材料。换句话讲，该技术的应用可以使得操作员能够在故障发生时检测到故障，从而降低浪费的量。

此外，该技术可以应用连续分级模型以实现样品的连续分级，并且作为输入时，连续分级模型可通过一组训练图像开发，对于这组训练图像，不均匀度严重级别仅在粗略离散的刻度如“1”、“3”和“5”的水平上已知。

此外，本文所述用于对不均匀度严重性进行连续制图的技术对于许多产品系列适用且有效，包括在幅材上生产的任何材料。该技术还可用于对不透明或需要反光照明的产品中的不均匀因素进行辨识和评级。然而，该技术不限于任何具体的制成材料或显像模式。

本发明的一个或多个实施例的细节在附图和以下具体实施方式中说明。通过具体实施方式和附图以及权利要求书，本发明的其他特征、目标和优点将显而易见。

附图说明

图1为框图，示出了示例性幅材制造以及可以应用本文所述技术的转换系统。

图2为框图，示出了示例性幅材制造厂中的检测系统的示例性实施例。

图3为示出本文所述系统的示例性操作的流程图。

图4示出了称为“流形”的连续三维(3D)表面，参考该表面容易理解通过训练软件应用算法以生成连续分级模型的过程。

图5为更详细地示出示例性工艺的流程图，训练软件通过该工艺对从训练图像提取的特征向量进行处理，从而开发训练图像的连续分级并生成连续分级模型。

图6为更详细地示出示例性工艺的流程图，制图模块通过该工艺实时利用连续分级模型检测不均匀缺陷的存在，并提供每种缺陷的严重级别的连续制图。

图7为提供找到二维特征空间中K最近邻点的逻辑表示的图表。

图8示出了使用散列算法找到K最近邻点的第二种技术。

具体实施方式

图1为示出示例性系统2的框图，其中可以应用本文所述的技术。幅材制造厂6A-6N(幅材制造厂6)表示生产和运输幅材卷7形式的幅材的制造地点。幅材制造厂6可以按地理位置分布，该幅材制造厂中的每一个可以包括一条或多条生产线。通常，可以通过制造厂6中的任何一个制造幅材卷7，然后在幅材制造厂之间运输以便进行额外的处理。将成品幅材卷10运输到转换位点8A-8N(转换位点8)，以便转换为产品12A-12N(产品12)。如图1所示，转换控制系统4、幅材制造厂6A-6M(幅材制造厂6)和转换位点8A-8N(转换位点8)通过计算机网络9互连，用于交换与幅材制造和转换成产品12有关的信息(如缺陷信息)。

通常，幅材卷7、10可以包含已生产的幅材，其可以是在一个方向具有固定尺寸并且在正交方向上具有预定或待定长度的任何片状材料。幅材的例子包括但不限于金属、纸张、织物、非织物、玻璃、聚合物膜、柔性电路或它们的组合。金属可以包括例如钢或铝等材料。织物一般包括各种布。非织物包括例如纸张、过滤介质或绝缘材料等材料。膜包括例如透明和不透明的聚合物膜，包括层压材料和涂覆膜。

转换位点8可以接纳来自幅材制造厂6的成品幅材卷10，并将成品幅材卷10转换为单独的片材用于组装到产品12中，从而销售给客户14A-14N(客户14)。转换系统可以根据诸如产品相关等级水平的多种标准确定将给定成品幅材卷10转换为哪一种产品14。也就是说，可以根据每个片材所符合的具体等级水平选择应将哪个片材组装到哪个产品12中。根据本文所述的技术，转换位点8也可接收成品幅材卷10中的与异常有关的数据，即，可能的缺陷。最终，转换位点8可将成品幅材卷10转换成各个片材，所述各个片材可组装到用于销售至客户14A-14N(客户14)的产品12内。

为了生产准备转换成用于组装到产品12中的各个片材的成品幅材卷10，非成品幅材卷7可能需要经多条生产线的处理，这些生产线可位于一个幅材制造厂内，例如幅材制造厂6A内，也可位于多个制造厂内。每一个加工过程通常使用幅材卷作为原料卷，利用卷将幅材送入制备工艺中。完成每一个加工过程后，幅材通常再次卷绕成幅材卷7并转移至不同产品线或运送至不同制造厂，在那里进行退绕、加工并再次卷绕成卷。重复该过程，直至最终生产出成品幅材卷10。对于多个应用，用于幅材卷7中的每一个的幅材可具有多个涂层，所述涂层是在一个或多个幅材制造厂6的一条或多条生产线处涂覆的。就第一制备工艺而言，涂层通常涂覆至基础幅材的暴露表面，或者就后续制备工艺而言，涂层通常涂覆至先前涂覆的涂层。涂层的例子包括粘合剂、硬涂层、低粘附力背面涂层、金属化涂层、中密度涂层、导电或不导电涂层，或者它们的组合。

在一个给定幅材卷7的各制造过程中，一个或多个检测系统会采集幅材的异常信息。例如，如图2所示，处理幅材时，如向幅材施加一个或多个涂层时，生产线的检测系统可以包括紧邻连续移动幅材设置的一个或多个图像采集装置。图像采集装置扫描连续移动幅材的连续部分，以获得数字图像。检测系统包括分析计算机，其采用一种或多种算法分析图像，以便根据幅材所转换成的最终产品12生成可能代表实际“缺陷”的所谓“局部”异常信息。检测系统可以例如生成“点”缺陷的异常信息，其中每个缺陷局限于单一区域内。又如，检测系统可以生成“不均匀”缺陷或“不均匀因素”的异常信息，其中幅材在比点缺陷的区域更大的区域内表现出不均匀可变性。此类不均匀因素的例子包括斑点、颤痕、条带和条纹。

幅材制造厂6内的分析计算机可以应用算法检测不均匀因素缺陷的存在并提供表征每个缺陷的严重度的输出。此外，该技术可以提供输出，所述输出提供不均匀度严重性的连续制图。分析计算机可以在幅材的制造过程中实时应用算法，或者在已对幅材捕获所有图像数据之后离线应用算法。例如，计算机化检测系统可以向幅材制造厂6内的用户如工艺工程师提供关于不均匀因素的存在及其严重性的实时反馈，从而使得该用户可以对不均匀因素的出现快速作出反应，即通过调整工艺条件以纠正问题，而不会显著延迟生产或生产出大量无用的材料。计算机化检测系统可以应用算法生成给定样品在连续刻度或更精确采样的刻度上的不均匀度严重性的量度，例如在0至10刻度上的1.63。不均匀度严重性的连续制图可以使得操作员能够更清楚地看见随时间推移而出现的不均匀因素的量和严重性，这可能比诸如“良好”和“差”的离散输出更有利。例如，计算机化检测系统可以向操作员提供可导致探究不均匀因素的原因的详细信息。

在该连续制图过程中，分析计算机通过应用根据训练数据开发的连续分级模型对捕获的数字图像进行处理。通常在算法的“训练阶段”过程中处理训练数据，并且开发连续分级模型以最佳地匹配训练数据。也就是说，在训练阶段和开发连续分级模型之后，对训练数据应用连续分级模型将为训练数据贴上高正确概率的标签。一旦通过训练数据开发出模型，分析计算机将在处理的“分级阶段”，对从新制成品捕获的样品潜在地实时应用该模型，并提供不均匀度严重性的连续制图，所述不均匀度严重性不局限于离散的等级标签，例如“合格”或“不合格”、或“1”、“3”或“5”，计算机化检测系统可以提供样品的连续分级。例如，计算机化检测系统可以应用算法在连续刻度上生成幅材内不均匀缺陷严重性的量度，例如0至10刻度上的1.63。此外，可以通过一组训练图像开发用于实现样品的连续分级的连续分级模型，对于这组训练图像，不均匀度严重级别仅在粗略离散的刻度上已知。

在一些实施例中，可以通过转换控制系统4对给定的制成幅材的数字图像进行离线分析。根据给定幅材的等级，转换控制系统4可以为每个幅材卷10选择并生成转换方案。数字图像分析和严重级别测定可能是特定于应用的，因为某些不均匀因素可能在一个产品(如产品12A)中引起缺陷，而该异常在不同产品(如产品12B)中可能不会引起缺陷。每一个转换方案表示限定的指令，用于将对应成品幅材卷10加工，以用于形成可以最终出售给客户14的产品12。例如，可将幅材卷10转换成用于应用到笔记本电脑的显示屏的最终产品，如，特定尺寸的片材。又如，可将相同的幅材卷10取代地转换成用于应用到移动电话的显示屏的最终产品。转换控制系统4可根据可应用到异常的不同缺陷检测算法来辨识出哪一个产品最佳地实现某些参数，例如幅材的最大利用率。

图2为框图，示出了位于图1的示例性幅材制造厂6A中的幅材生产线21的一部分内的检测系统的示例性实施例。在该示例性实施例中，将幅材20的一段设置在两个支承辊22、24之间。将图像采集装置26A-26N(图像采集装置26)设置在紧邻连续移动幅材20处，并扫描连续移动幅材20的连续部分以获得图像数据。采集计算机27从图像采集装置26收集图像数据，然后将图像数据传送至分析计算机28。

图像采集装置26可以是能够读取移动幅材20的连续部分并以数字数据流方式提供输出的常规图像装置。如图2所示，成像装置26可为直接提供数字数据流的摄像机或是具有额外模数转换器的模拟摄像机。其他传感器，例如激光扫描仪，可以作为图像采集装置使用。幅材的连续部分表明通过连续的单行采集数据。单行包括映射到单排传感器或像素的连续移动幅材的区域。适于采集图像的装置的例子包括行扫描摄像机，例如得自加拿大安大略省滑铁卢市达尔萨公司(Dalsa(Waterloo，Ontario，Canada))的Piranha型，或得自加利福利亚州圣荷西市爱特梅尔公司(Atmel(San Jose，Calif))的Aviiva SC2 CL型。其他例子包括与模数转换器结合使用的得自德国慕尼黑表面检测系统股份有限公司(Surface Inspection Systems GmbH(Munich，Germany))的激光扫描仪。

可以通过辅助获取图像的光学组件可选地采集图像数据。组件可以是摄像机的一部分，也可以与摄像机分开。光学组件在成像过程中利用反射光、透射光或折射光。反射光例如通常适合检测由于幅材表面变形(例如表面划痕)引起的缺陷。

在一些实施例中，基准标记控制器30控制基准标记读出器29来从幅材20采集卷和位置信息。例如，基准标记控制器30可包括一个或多个光学照相传感器，以用于从幅材20读取条形码或其他标记。另外，基准标记控制器30可从与幅材20和/或辊22、24接合的一个或多个高精度编码器接收位置信号。根据这些位置信号，基准标记控制器30确定每一个检测到的基准标记的位置信息。基准标记控制器30将卷和位置信息传送到分析计算机28，以用于与检测到的异常进行关联。

分析计算机28对来自采集计算机27的图像数据流进行处理。例如，根据本文所述的技术，计算机化不均匀度制图模块39(“制图模块39”)在分析计算机28上执行并应用算法，该算法利用根据训练数据35开发的连续分级模型34(“模型34”)检测不均匀缺陷的存在并提供每种缺陷的严重级别的连续制图。

训练数据35通常由一大组代表性样品数字图像组成，这些数字图像已被一个或多个专家38指定等级。先前自动分级的数据也可用于训练。数字图像可以例如表示从幅材20或由幅材生产线21先前生产的另一个幅材获取的样品。训练服务器36可以提供用于执行软件的操作环境，该软件提供计算机化专家评级工具37(“评级工具37”)，以辅助专家38对代表样品的大数字图像集合有效并一致地指定等级(即标签)。示例性专家评级工具37的其他细节可见于Ribnick等人提交于2010年10月19日的名称为“COMPUTER-AIDED ASSIGNMENT OF RATINGS TO DIGITALSAMPLES OF A MANUFACTURED WEB PRODUCT”(幅材制成品的数字采样评级的计算机辅助指定)的美国临时专利申请No.61/394,428。

制图模块39可以至少部分实施为由分析计算机28的一个或多个处理器执行的软件指令，所述处理器包括一个或多个硬件微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、或任何其他等同的集成或离散逻辑电路、以及此类组件的任何组合。可以将软件指令保存在非瞬时计算机可读介质中，例如随机存取存储器(RAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、硬盘、CD-ROM、软盘、盒式录音带、磁性介质、光学介质、或其他计算机可读存储介质。虽然出于示例性目的显示为设置在制造厂6A内部，但分析计算机28和制图模块39、以及训练服务器36和评级工具37可以位于制造厂外部，如位于中央位置或在转换位点处。例如，分析计算机28和训练服务器36可以在转换控制系统4内部运行。又如，制图模块39和评级工具37在单个计算平台上执行并且可以集成到同一个软件系统中。

一旦确立了训练数据35，训练模块41将处理训练数据，从而生成连续分级模块34，以便随后被制图模块39用于对从采集计算机27接收的幅材20的图像数据进行实时分析。因此，可根据连续分级模块34对幅材20各区域的新图像进行分级。可以检测到的示例性缺陷包括不均匀因素例如斑点、颤痕、条带和条纹，以及点缺陷，包括污点、刮痕和油滴。

分析计算机28在数据库32内存储幅材20的异常信息，包括幅材20的卷辨识信息和每一个异常的位置信息。例如，分析计算机28可以利用基准标记控制器30生成的位置数据，来确定每个异常在生产线坐标系内的空间位置或图像区域。也就是说，根据来自基准标记控制器30的位置信息，分析计算机28确定每个异常在当前生产线所用坐标系内的x、y以及可能的z位置或范围。例如，可以限定坐标系，使得x维度表示幅材20的横向距离，y维度表示幅材的纵向距离，z维度表示幅材的高度，所述高度取决于涂层的数量、材料或此前涂覆到幅材的其他层。此外，可以限定x、y、z坐标系在生产线内物理位置处的原点，其通常与幅材20的初始进料位置相关。数据库32可以按许多不同形式中的任一形式执行，包括数据存储文件或在一个或多个数据库服务器上执行的一个或多个数据库管理系统(DBMS)。数据库管理系统可以是例如关系(RDBMS)、分层(HDBMS)、多维(MDBMS)、面向对象(ODBMS或OODBMS)或对象关系(0RDBMS)数据库管理系统。例如，数据库32是作为由微软公司(Microsoft Corporation)的SQL Server^TM提供的关系数据库而执行的。

一旦该过程结束，分析计算机28可以将收集在数据库32中的数据通过网络9传送至转换控制系统4。例如，分析计算机28可以将卷信息和异常信息以及每个异常的相应子图像传送至转换控制系统4，用于根据连续分级模块34进行后续的离线详细分析。例如，信息可通过数据库32与转换控制系统4之间的数据库同步进行传送。在一些实施例中，转换控制系统4(并非分析计算机28)可确定出每一个异常可在产品12中引起缺陷的那些产品。一旦将成品幅材卷10的数据收集在数据库32中，就可将所述数据传送至转换位点8和/或用于标记幅材卷上的异常，方式为利用可移除或可擦洗标记直接在幅材表面上进行标记或者在覆盖片材上进行标记，所述覆盖片材可在幅材上的异常标记之前或期间被施加至幅材。

图3为提供训练模块41和制图模块39的操作概览的流程图。通常，该过程包括两个总体加工阶段：训练阶段45和在线评估阶段47。

首先，训练模块41接收通常为一组图像的形式的训练数据35作为输入，对于这组图像，严重性等级在可能粗略离散的刻度上是已知的(50)。也就是说，训练数据35可以是表示从幅材20获取的样品的数字图像，并且计算机化专家评级工具37(“评级工具37”)可以通过美国临时专利申请No.61/394,428中所述方式对每个数字图像指定离散等级53。

接下来，训练模块41的特征提取软件模块对每个图像进行处理，以提取特征(52)。特征提取提供每个图像的数字描述符，其形式为每个图像中内在的相关信息的紧凑型数字表示。可通过任何方式提取特征，所述方式保留了关于训练组中图像之间关系的可用信息，并同时消除不能提供信息的图像特征。常用特征提取技术的例子包括用一组过滤器进行图像卷积并计算过滤像的统计数字，或根据颜色或强度直方图提取特征。有时像素值可用作特征，但在这种情况下描述符不具有紧凑性，因为通常必须保存整个图像。通常，将所得特征处理为对应图像中相关信息的紧凑型描述。

本文所述技术不限于与任何特定特征提取方法一起使用，并且可以容易地应用到其他类型的特征更适合的应用中。通常，从图像提取的特征为描述性的，因为它们包含关于图像相对于特定类型的不均匀因素的辨别信息。这样，一旦提取了特征，对应于每个图像的特征向量将代表该图像中包含的大部分相关信息。

以紧凑形式封装相关图像信息(尤其在其涉及纹理时)的一个示例性方式是计算整个图像的像素特征的小型协方差矩阵。一旦提取了该小型协方差矩阵(如5×5)，则可仅根据这些矩阵而不是直接处理图像来有效地进行图像间的两两对比。例如，将灰度图像定义为由像素坐标x和y指示为I(x，y)的二维阵列。在每个像素位置(x，y)处，根据像素的强度值及其在该像素处的一阶和二阶导数提取特征向量：

$f(x,y)={\left(\begin{array}{ccccc}I(x,y)& \frac{\∂I(x,y)}{\∂x}& \frac{\∂I(x,y)}{\∂y}& \frac{{\∂}^{2}I(x,y)}{\∂x^2}& \frac{{\∂}^{2}I(x,y)}{\∂y}\end{array}\right)}^T.---\left(1\right)$

可简单地通过计算在每个像素处的强度值之间的前向差分或中心差分，而得到图像导数(梯度)的近似值。包括高阶导数或过滤图像结果的其他特征可结合在(公式1)向量中。相似地，并不需要包括所有导数，例如，如果给定方向的导数不能提供针对特定缺陷的信息，可将其从(公式1)中删除。最后，计算这些像素特征在整个图像上的协方差矩阵：

$C_I=\frac{1}{N-1}\underset{(x,y)\∈I}{\mathrm{\Σ}}(f(x,y)-\mathrm{\μ}){(f(x,y)-\mathrm{\μ})}^T,---\left(2\right)$

其中N为图像中的像素数，并且：

$\mathrm{\μ}=\frac{1}{N}\underset{(x,y)\∈I}{\mathrm{\Σ}}f(x,y)---\left(3\right)$

为像素特征的平均值。在后续的加工步骤中，其可用于计算图像之间的成对距离。就这些协方差矩阵描述符而言，按如下形式计算成对距离：

$d_C(I_1,I_2)=\sqrt{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}{\ln }^2{\mathrm{\λ}}_i(C_{I_1},C_{I_2})},---\left(4\right)$

其中λ_i(C_I1；C_I2)为两个协方差矩阵的第i个广义特征值。其他细节可见于O.Tuzel，F.Porikli，and P.Meer.“Region Covariance：A Fast Descriptor forDetection and Classification.”Proceedings of the European Conference onComputer Vision，2006(O.Tuzel、F.Porikli和P.Meer，“区域协方差：用于检测和分级的快速描述符”。《欧洲计算机视觉大会会议记录》，2006年)。

提取每个训练图像的特征后，训练模块41对特征向量进行处理，从而根据训练图像的不均匀因素的严重性认识其连续分级并生成连续分级模型34(54)。在训练阶段45期间，训练模块41根据训练图像的不均匀因素的严重性认识其连续分级。首先，有关每个训练图像的所有已知内容为专家评级，指示对应样品相对于特定类型的不均匀因素是“良好”或“差”、还是“1”、“3”或“5”。这些专家评级提供了训练图像的常用粗略次序，即训练图像可分为2或3个离散的类别，或者如果操作员能够提供此类信息，则可分为更多类别。训练模型41使用该粗略次序作为输入并认识连续分级，其中将训练图像相对于特定不均匀因素沿连续刻度从最好到最差分级。虽然良好的等级应该尽可能听从专家评级，例如对“良好”图像指定比标记为“差”的图像胶低的严重性等级，在某些情况下，并不能完全防止训练模块41违背由离散标签暗示的粗略分级，因为这是可能发生的，并且实际上由于手动标记训练数据的主观性，专家评级中通常存在错误。

在线评估阶段47期间，制图模块39在生产线上实时应用认识到的连续分级模型34。当捕获到正在生产的幅材的新图像时(56)，采用与训练图像相同的方式提取特征(58)。然后，使用来自训练阶段45的连续分级模型34，根据与训练图像的结构化比较，为新图像指定严重性等级(60)。

图4示出了称为“流形”80的连续三维(3D)表面，参考该表面容易理解通过训练模块41应用算法以生成连续分级模型34的过程。与每个图像相关的特征向量能够被认为是高维空间中的单个点。然而，因为所有图像均出自相同类型的材料，并且均由相同成像装置或其他传感器在相同成像条件和几何形状下获取，所以基础自由度数可小于嵌入特征空间的维度。因此，将每个训练图像视为位于流形80(即连续3D表面)或流形集合上的高维点中的一个是有用的，所述流形集合嵌入该空间但其可以具有比整个空间更低的本征维度(自由度)。图4中示出了三维空间的简单情况的示例性例子，该三维空间中嵌入了二维物体，但实际上特征向量的维度通常高得多。高维空间中流形嵌入体的另外的示例性细节在H.S.Seung andDaniel D.Lee，“Cognition：The Manifold Ways of Perception，”Science，vol.290，no.5500，pp.2268-2269，Dec.22，2000(H.S.Seung和Daniel D.Lee，“认知学：感知的流形方式”，《科学》，第290卷，第5500期，第2268-2269页，2000年12月22日)中有所描述。

一组训练图像作为相对于图4的一个简单例子，其中所有训练图像显示具有不同的幅材纵向颤痕水平的同一个幅材。在这种简单情况下，尽管每个训练图像可以通过捕获各种纹理相关特征的高维特征向量表示，但在这种情况下，这组图像中可能只有一个基础自由度对应于颤痕水平。因此，可将这些训练图像视为位于一维流形中的点，如在图4的高维空间中蜿蜒穿过弯曲路径的线。

这种将特征向量表示为流形上的点的一个优点在于，训练模块41的算法利用训练数据的这种基础结构，从而只利用其中包含的最相关和最有用的信息。此外，从相对较少高维特征向量认识时，嵌入低维空间可能是有用的。算法用于进行流形嵌入，“流形嵌入”为本文针对用于恢复高维数据的低维表示同时保留基础结构的任务所用的术语。此类算法的一些例子包括自组织(Kohonen)映射法、多维标度法、等距映射法和局部线性嵌入法。一种示例性算法为扩散映射，如下文进一步详细描述。扩散映射的其他细节可见于S.Lafon and A.B.Lee，“Diffusion Maps and Coarse-Graining：AUnified Framework for Dimensionality Reduction，Graph Partitioning，and DataSet Parameterization”，IEEE Transactions on Pattern Analysis and MachineIntelligence，vol.28，no.9，pp.1393-1403，Sep.2006(S.Lafon和A.B.Lee，“扩散映射和粗粒化：用于降维、图分割和数据集参数化的统一框架”，《IEEE模式分析与机器智能汇刊》，第28卷第9期，第1393-1403页，2006年9月)。

如果将每种训练图像表示为特征空间中流形上的点，则训练模块41的算法围绕特征空间进行离散随机游走。在该随机游走期间，对于每个时间步长，随机游走可从流形上的一点移动到另一点，而从不离开流形。在此背景下，算法计算出从流形上的一点转移到所有其他点的概率。通常，该转移概率对于流形中较近的点通常较高，而对于较远的点则较低。然而，算法考虑了专家评级，从而对具有不同离散标签的点之间的转移进行罚分。然后使用这些转移概率将专家评级从每个点传送到所有周围的点，以使得每个点均有以其他点的一定比例的离散标签，这使得我们可以计算对应于沿连续表面的训练图像中的一个的每个点的连续严重性值。在该阶段不仅利用提取的特征，还利用提供的(专家)分级。

图5为更详细地示出示例性工艺的流程图，训练模块41通过该工艺处理特征向量，从而认识训练图像的连续分级并生成连续分级模型34。

首先，训练模块41计算大小为N×N的相似度矩阵K，其中N为训练样品数(步骤100)。例如，要认识N个训练图像的连续分级，将特征向量组定义为x₁，x₂，…，x_N，它们具有对应的专家评级c₁，c₂，…，c_N。假定每个离散评级为“1”、“3”或“5”，即c_i∈{1，3，5}，其中“1”为合格的样品，“5”为明显不合格的样品。专家评级能够比该评级的离散细度更高或更低，并且算法不限于该特定例子。在给定特征向量的前提下，训练模块41计算大小为N×N的相似度矩阵K，其中可给定每个元素，例如通过

k(i，j)＝exp(-‖x_i-x_j‖²/σ²)。(5)

相似度矩阵给出特征空间中每对训练样品之间的相似度量度，并且可使用不同于(公式5)的其他公式，如多项式公式。带宽参数σ定义指数随一对点之间距离的增大而衰减的速度。在实施过程中，根据启发法估算每个训练样品的局部参数σ，例如距其K最近邻点的中位数距离。在这种情况下，公式(5)的分母变为对应于样品x_i和x_j的局部带宽的乘积。

相似度矩阵中所用距离可为如(5)中例子的简单的欧几里得距离，或根据特征为更复杂的距离，例如协方差距离或库尔贝克-莱布勒距离。

接下来，通过相似度矩阵，可根据下式计算转移概率(步骤102)：

p_a(i，j)＝k(i，j)/∑_lk(i，l)，(6)

其对应于仅根据点间的相似度，在特征空间中从x_i随机游走转移到x_j的概率。这是相似度矩阵K的归一化，确保了矩阵的行是有效的概率分布(即总和为1)。

为将专家评级给定的离散标签考虑在内，训练模块41计算从x_i转移到x_j的先验概率

$p_b(i,j)=\exp (-{|c_i-c_j|}^2/{\mathrm{\σ}}_p^2),---\left(7\right)$

其中σ_p为该先验概率项的带宽参数(步骤103)。p_b(i，j)的表达式对较远部分的专家评级进行更重的罚分，使得在这个背景下对为离散标签指定的数值的选择很重要。

然后，训练模块41通过p_a(i，j)与p_b(i，j)的乘积计算每对训练样品的总转移概率(在步骤104中)，

p(i，j)＝p_a(i，j)p_b(i，j)。(8)

自动扩散矩阵中的成分和对违背专家评级的罚分可采用其他方式结合。总体来说，总转移概率p(i，j)形成矩阵P。P中的每个条目代表一个时间步长中对应点对之间的转移概率。

训练模块41通过将矩阵P的幂升到t而传播t时间步长的随机游走转移概率(步骤105)

P_t＝P^t，(9)

其中P_t(i，j)对应于t时间步长中从x_i转移到x_j的概率。时间步长t的数值不具有物理意义，但为能够由用户设置在软件应用中的可配置参数。

根据这些转移概率，训练模块41计算扩散距离(步骤106)。每个此类距离为流形上每对点之间的差异性的量度。如果两点的转移概率分布相似，则对其指定更小的扩散距离(即，据说在扩散空间中彼此更接近)。换句话讲，如果矩阵P_t中两点的相应行彼此相似，则为其指定更小的扩散距离。在一个例子中，根据等效表达式计算扩散距离的平方：

$d^2(i,j)={\mathrm{\Σ}}_l{\mathrm{\λ}}_l^{2t}{({\mathrm{\ψ}}_l\left(i\right)-{\mathrm{\ψ}}_l\left(j\right))}^2,---\left(10\right)$

其中PΨ_l＝λ_lΨ_l，即Ψ_l和λ_l分别为P的特征向量和特征值。这可以避免使用与将矩阵P明确升幂至t相关的资源(如果许多训练样品可供使用，该升幂可能是计算成本高昂的操作)。能够使用计算特征向量的快速方法，特别是开发用于计算对应于最大特征值的第一特征向量的那些。

根据下式，通过训练模块41将这些扩散距离转变为与相似度成比例的权值，所述扩散距离与样品对之间的差异性成比例(步骤108)：

$w(i,j)=\exp (-d^2(i,j)/{\mathrm{\σ}}_w^2)/\mathrm{\η},---\left(11\right)$

其中σ_w为另一个带宽参数，并且η仅仅是归一化常数，这确保了权值矩阵W的行总和为1。最后，训练模块41通过由下式计算每个训练样品x_i的不均匀度严重性等级值，从而生成连续分级模型34(“模型34”)(步骤110)：

r_i＝∑_jw(i，j)c_j。(12)

所得等级值r_i为所有训练图像的专家评级的加权平均数。然而，尽管专家评级可为高度离散的(如“1”、“3”或“5”)，但等级值位于连续细分刻度上。此外，可通过用户界面调整算法参数，从而提供连续全面的等级。(公式12)中的权值由扩散距离方法得到，该方法结合了自动图像/特征比较与专家分级。可以考虑其他归一化加权方法，如指数加权函数。

上面相对于图5描述的方法可覆盖专家评级中的错误标签。也就是说，如果专家将某些图像错误地标记为例如“1”而非“5”，那么该方法仍可以为该点指定更接近于其他“5”点的等级值。这主要取决于公式(8)中相乘的两个不同项的影响。虽然第二项考虑了离散标签，但第一项仅基于流形上数据的内在结构。这些项的相对影响受其相应带宽参数的控制。如果为σp设定较大的值，那么先验概率项对转移概率几乎没有影响。

另外，也可结合多个专家。在这种情况下，训练模块41利用额外权值计算每一个专家的相似度矩阵。可以用相同的方式评估不同专家的可靠性。

图6为更详细地示出示例性工艺的流程图，制图模块39通过该工艺实时利用连续分级模型34(“模型34”)检测不均匀缺陷的存在，并提供每种缺陷的严重级别的连续制图。

当捕获到正在生产的幅材的新图像时(120)，采用与训练图像相同的方式提取特征(122)。特别地，在给定训练样品的特征向量x₁，x₂，…，x_N以及训练阶段中认识到的对应等级值r₁，r₂，…，r_N的情况下，实时制图模块39的功能为估算从新图像提取的新特征向量x_q的等级值，所述新特征向量在本文中被称为查询样品。

首先，制图模块39针对于给定缺陷，在训练样品x₁，x₂，…，x_N中定位x_q K个最近邻点(124)。在一个实施例中，制图模块39使用特征空间中的欧几里得距离找到最近邻点，由下式给出

d_i＝‖x_q-x_i‖₂。(13)

制图模块39可以呈现界面，用户通过该界面能够将最近邻点K的数量指定为可配置参数。图7为提供找到二维特征空间中K最近邻点的逻辑表示的图表。在该例子中，对于特征空间内的查询点135，识别出6个最近邻点。

可以使用若干技术定位K最近邻点。一种技术是通过计算从x_q(查询点)到训练集中每个样品x₁，x₂，…，x_N的距离，进行穷举搜索。然而，这类穷举搜索的计算成本可能很高昂，尤其是当训练样品数较大并且特征空间为高维时。描述了两种其他技术。一种技术是精确搜索，即，该技术返回与穷举搜索相同的结果，但以更有效的方式返回，另一种技术是近似搜索。与穷举搜索相比，这两种技术在计算开销方面均提供了显著的改善。可使用任何K最近邻点搜索方法，这里仅提供两个例子。

用于进行更有效的K最近邻点(kNN)搜索但仍提供与穷举搜索相同结果的一种技术是首先将训练样品x₁，x₂，…，x_N组织成“球树”。球树为数据结构，其根据训练样品在特征空间中的相似度，将训练样品组织成分层分组。在该树的最低层级，每个“叶”节点将包含一个或若干个紧挨在一起的样品。当制图模块39进展到树的较高层级时，分组包含较大数量的点，但仍根据相似度分组。最后，在树的顶层，“根”节点包含该训练集中的所有点。应注意的是，该结构仅针对训练样品计算一次，然后将多次用于查询。使用球树的其他细节在A.W.Moore，“The Anchors Hierarchy：Usingthe Triangle Inequality to Survive High Dimensional Data，”Proceedings of the12^th Conference on Uncertainty in Artificial Intelligence，pp.397-405，2000(A.W.Moore，“锚层次结构：使用三角形不等式在高维数据中生存”，《第十二届人工智能不确定性会议论文集》，第397-405页，2000年)中有所描述。

一旦将训练样品组织到该分层球树中，就能够对它们进行有效搜索，从而精确找到新查询点的kNN。进行该搜索的算法可为递归的，并且利用训练数据的内在结构以便有效地搜索。例如，如果已知查询点x_q接近球树中的一个特定节点，那么制图模块39不会浪费时间在较远的另一个节点处继续搜索查询点的kNN。搜索时间的这种效率提高的计算成本在于构建球树的复杂性，所述球树仅包含训练样品并因此能够离线构建。

又如，通过使用近似kNN搜索能够实现更高的计算效率，该近似搜索被设计用于提供接近于穷举搜索的结果，但不能保证它们完全相同。一种此类方法为位置敏感散列法(LSH)。如前所述，制图模块39根据训练样品在特征空间中的结构组织训练样品，从而确保快速kNN搜索。在这种情况下，形成了若干索引训练样品的散列表。通过进行训练样品的随机投射形成每个散列表，从而获得每个样品的一维表示，然后沿这条线将样品装入一组离散群中。重复该程序，形成了若干散列表，并且可根据这些散列表以较高概率快速找到点的近似kNN。图8以3个散列表140的简单情况示出了这种程序的示例，其中3个训练样品141A、141B和141C中的每一个以及查询样品142散列到这些表中。在这种情况下，索引所得散列表可正确辨识出查询样品的两个最近邻点141A、141B。位置敏感散列法(LSH)的另外细节在“Locality-sensitive hashing：A.Andoni and P.Indyk，\Near-Optimal Hashing Algorithms for Approximate Nearest Neighbor in HighDimensions，”Communications of the ACM，vol.51，no.1，pp.117-122，Jan.2008(A.Andoni和P.Indyk，“位置敏感散列法：针对高维度中近似最近邻点的近乎最佳的散列算法”，《美国计算机协会通讯》，第51卷第1期，第117-122页，2008年1月)中有所描述。

转到图6的流程图，在辨识出K最近邻点之后，制图模块39计算查询点的重构权值，该权值将查询点最佳地表示为其K最近邻点的线性组合(126)。权值可以为正值或负值，并且能够通过使以下误差最小化来计算：

ε＝‖x_q-∑_i∈Ωw_ix_i‖₂，(14)

其中w_i为重构权值，并且Ω为K最近邻点集。能够以封闭形式最小化误差函数(14)。还能够以封闭形式计算权值。

接下来，制图模块39计算查询点的特定缺陷的严重性等级值，作为其K最近邻点的该缺陷的等级值的加权平均数(128)。在一个例子中，可按如下方式计算严重性等级值：

r_q＝∑_i∈Ωw_ir_i。(15)

如前所述，查询点的不均匀度严重性等级值位于连续刻度上。该方法使得查询点能够接纳等级值，该等级值接近于训练集中最相似图像的等级值。已考虑能够使用其他样本外技术替代最近邻点技术。

最后，制图模块39向操作员输出计算的严重性等级值(130)。输出可以采用更新图表的形式，以便显示缺陷的严重性等级趋势，或者制图模块39可以只是以单个数字输出严重性等级值。例如，制图模块39可以在处理每个新图像时更新图表，以便用曲线图表示随时间推移幅材的不均匀缺陷的严重级别。计算机化检测系统或其他组件可以随后接收来自用户的输入，从而对制造工艺的工艺控制参数指定变化，并且可以响应于该输入调整工艺控制参数。

已经描述了本发明的各种实施例。这些和其他实施例均在所附权利要求书的范围内。

Claims (13)

1.一种方法，其包括：

在计算机上执行软件，用于通过从所述相应训练图像的像素值计算所述训练图像的每一个的数字描述符，来提取多个训练图像的每一个的特征，其中已对所述图像的每一个指定所述训练图像内存在的不均匀缺陷的一组离散等级标签中的一个；

用所述评级软件处理所述训练图像的所述数字描述符，从而根据对所述训练图像指定的所述离散标签计算所述训练图像的连续等级；以及

对从制成幅材捕获的新图像进行处理，以便从所述新图像提取特征，以及根据所述训练图像的所述连续等级计算所述幅材的所述不均匀缺陷的严重级别。

2.根据权利要求1所述的方法，还包括呈现用户界面，用于向用户输出所述严重级别。

3.根据权利要求2所述的方法，其中呈现用户界面包括更新图表，从而用曲线图表示随时间推移所述幅材的所述不均匀缺陷的所述严重级别。

4.根据权利要求2所述的方法，还包括：

接收来自所述用户的输入；和

响应于所述输入，调整所述制成幅材的工艺控制参数。

5.根据权利要求1所述的方法，其中计算所述训练图像的每一个的数字描述符包括计算多维特征空间内的特征向量。

6.根据权利要求5所述的方法，其中用所述评级软件处理所述训练图像的所述数字描述符以计算所述训练图像的连续等级，包括：

将所述训练图像的所述特征向量的每一个表示为所述多维空间内的一点；

计算从所述多维空间内的每一点转移到由所述特征向量表示的其他点中的每一个的概率，其中计算所述转移概率包括对表示指定了不同等级标签的训练图像的两点间的转移进行罚分；

根据所述转移概率，计算所述点的每一个之间的成对距离，其中所述成对距离的每一个指示由所述点表示的所述训练图像之间差异性的量度；以及

计算所述训练图像的每一个的不均匀度严重性等级，该等级为由所述训练图像表示的所述点与所述其他点的每一个之间的所述成对距离和所述多维特征空间的函数。

7.根据权利要求6所述的方法，其中处理新图像包括：

计算所述新图像在多维特征空间内的特征向量；

用所述软件辨识所述训练图像在所述多维特征空间内的多个最近邻点；

计算一组重构权值，所述权值将所述新图像的所述特征向量最佳地表示为所述多个最近邻点的线性组合；以及

根据由所述多维空间内的所述多个最近邻点表示的所述训练图像的所述不均匀度等级值的加权平均数，计算所述新图像的所述不均匀缺陷的所述严重级别。

8.一种设备，其包括：

处理器；

存储多个训练样品的存储器，其中已对所述图像的每一个指定了所述训练图像中存在的不均匀缺陷的一组离散等级标签的一个；以及

在所述处理器上执行的训练软件，其中所述软件包括特征提取模块，用于通过从所述相应训练图像的像素值计算所述训练图像的每一个的特征向量，来提取多个训练图像的每一个的特征，

其中所述训练软件将所述训练图像的所述特征向量的每一个表示为多维空间内的点，并且计算所述训练图像的连续等级，其中为所述训练图像的每一个指定在连续刻度上的不均匀度严重性等级值。

9.根据权利要求8所述的设备，其中所述训练软件计算从所述多维空间内的每一点转移到由所述特征向量表示的所述其他点的每一个的概率，其中所述训练软件包括对与表示指定了不同等级标签的训练图像的两点之间的转移对应的所述转移概率进行罚分。

10.根据权利要求8所述的设备，其中所述训练软件根据所述转移概率计算所述点的每一个之间的成对距离，其中所述成对距离的每一个指示由所述点表示的所述训练图像之间的差异性的量度；并且计算所述训练图像的每一个的所述不均匀度严重性等级值，所述等级为由所述训练图像表示的所述点与所述其他点的每一个之间的所述成对距离和所述多维特征空间的函数。

11.一种计算机化检测系统，包括：

存储器，用于存储将所述训练图像的连续等级表示为多维特征空间内的多个点的模型；其中所述多维空间内的每个点对应于不同所述训练图像的特征向量；

服务器执行软件，其中所述软件对从制成幅材捕获的新图像进行处理，以提取所述新图像的特征，以及根据所述训练图像的所述模型，计算所述幅材的不均匀缺陷在连续刻度上的严重级别；以及

用户界面，用于向用户输出所述严重级别。

12.根据权利要求11所述的计算机化检测系统，其中所述软件计算所述新图像在多维特征空间内的特征向量，辨识具有多个点的多维特征空间内的多个最近邻点，计算一组重构权值，所述权值将所述新图像的所述特征向量最佳地表示为所述多个最近邻点的线性组合，以及根据由所述多维空间内的所述多个最近邻点表示的所述训练图像的所述不均匀度等级值的加权平均数，计算所述幅材的所述不均匀缺陷的所述严重级别。

13.一种非瞬时计算机可读介质，包括软件指令，所述指令用于使计算机处理器：

在计算机上执行软件，用于通过从所述相应训练图像的像素值计算所述训练图像的每一个的数字描述符，来提取多个训练图像的每一个的特征，其中已对所述图像的每一个指定所述训练图像内存在的不均匀缺陷的一组离散等级标签中的一个；

用所述评级软件处理所述训练图像的所述数字描述符，从而根据对所述训练图像指定的所述离散标签计算所述训练图像的连续等级；

对从制成幅材捕获的新图像进行处理，以便从所述新图像提取特征，以及根据所述训练图像的所述连续等级计算所述幅材的所述不均匀缺陷的严重级别；以及

呈现用户界面，从而向用户输出所述严重级别。

Images