CN103778621A - 对外来物体碎片的识别方法 - Google Patents

Abstract

本发明涉及一种对外来物体碎片的识别方法和系统，是基于在一个参考时间点和后来的一个时间点样品图像中边缘的比较，通过补偿照相机和样品间的位移，来提高识别外来物体碎片的成功几率，补偿的方法包括放宽外来物体碎片边缘和侵蚀图像数据，还包括放宽外来物体碎片的边缘特征。

Description

对外来物体碎片的识别方法

技术领域

本发明是关于图像中外来事物的识别，尤其是基于识别样品图像中的边缘来识别被检测样品中的外来物体碎片。

背景技术

如本发明中所述的，外来物体碎片（FOD）指的是在被检测样品上可能导致其损坏的外来碎片或者其他外来物体。图1展示了一个在贝尔222U直升机的莱康明涡轮轴发动机引擎上的可以认为是外来物体碎片的小物体所造成的损坏（参见http://en.wikipedia.org/wiki/Foreign_object_damage）。这种类似的外来物体碎片对航空业以及相关产业产生了一个严重的阻碍。这种外来物碎片包括在制造或者维护后留在机器或者系统（如飞机）中的工具，这些遗留物会与控制电缆纠缠在一起，阻碍物体移动，使电路短路，或者影响飞行的安全性。在一般的制造业领域中，外来物体碎片也可以包括一个特定元件在大规模生产中的缺陷，这些缺陷（例如物体表面或边缘的损伤，或者是物体表面黏贴的碎片，或者物体表面的洞、划痕）可以引起制造出的原件具有缺陷，影响使用。

人为地去检查待检测物体上（例如包装、处理、航运、存储箱），有可能影响使用的刻痕、凹痕、划痕、孔洞、擦伤、烧伤，是一个昂贵并且涉及大量人力劳动的操作。因为油脂、防腐剂、腐蚀产物、焊渣、以及其他污垢和其他材料，如灰尘、污垢、碎片、金属屑或外来的物品的残留只有一定概率出现在一个设备或系统的制造或维护的任何一个步骤中，可靠地识别在不同物体中的外来碎片还是一个有待解决的重要问题。

发明内容

本发明的方案提供检测出样品中外来碎片的方法，这个方法包括获得（使用一个成像系统），用来表示参考样品的图像数据。这个方法还包括产生一个参考样品边缘的图像，这个图像基于(i)水平方向上图像的亮度函数的梯度值，(ii)垂直方向上图像的亮度函数的梯度值。这个方法还可以包括将参考样品图形转化为一个单一背景下包含样品边缘的二进制图像。这个方法也包括形成一个包含待检测样品边缘信息的图像，这个图像基于(i)水平方向上图像的亮度函数梯度值(ii)垂直方向上图像的亮度函数梯度值。这个方法还包括(a)基于参考样品和待检测样品的二进制图像，(b)确定待检测样品上是否有外来物体碎片。在检测过程中，待检测样品相对成像系统的位置可能与参考样品相对成像系统有一定位移，这个位移必须通过用预先设定的阈值来进行补偿。

在一个相关的方案中，这个方法还包括通过将代表参考样品边缘的二进制图像矩阵和一个特定矩阵进行二维卷积来放宽参考样品图像中的边缘这一步骤和过滤识别出的外来物体碎片大小。在一个具体的方案中，将参考样品图像转换成二进制图像的步骤为将参考样品图像中代表边缘的像素值赋为0，其他像素值赋为1。

本发明的方案提供检测出样品中外来碎片的方法，这个方法包括使用一个成像系统来获得表示参考样品的图像数据，并以此来得出参考样品图像的亮度函数梯度值图像。在亮度函数梯度值图像中，每一个像素的值由二维方向的亮度梯度值获得。这个方法还包括基于亮度函数梯度值来确定图像中参考样品边缘的位置。另外，这个方法通过(i)给参考样品亮度函数梯度值图像中边缘像素分配一个数值，(ii)给其他像素分配另一个数值来形成一个二进制图像。这个方法进一步包括通过对参考样品边缘的二进制图像取反得到一个反转的参考样品边缘的二进制图像的步骤和形成展示待检测样品边缘的待检测样品图像的一个步骤。这个形成的过程是基于利用成像系统取得待检测样品的图像，并计算其亮度函数梯度值图像。进一步，这个方法还包括结合参考样品边缘的翻转二进制图像和待检测样品的二维亮度函数梯度值图像来消除参考样品图像和待检测样品图像中共有的边缘数据来形成一个对比图像。

在一个其他相关的方案中，这个方法可以进一步包括以下步骤中至少一个，(i)在对比图像上应用一个低通滤波器来形成滤除高频噪声的的低频图像，(ii)通过对比低频图像中每一个像素的值与一个特定的阈值把低频的图像转为一个二进制图像，(iii)将二进制图像和一个侵蚀矩阵进行二维卷积运算，(iv)通过将二进制图像和一个单位矩阵卷积来放宽参考样品二进制边缘图像中的边缘。外来物体碎片的边缘从一个经过位移补偿的对比图像中获得，当外来物体碎片的尺寸（基于外来碎片的边缘计算得到）超出预设的数值范围时，被识别出的外来物体碎片可以被忽视。

在本发明的一个特定的方案中，处理参考样品图像数据的步骤可能包括识别参考样品亮度函数梯度值图像中超过图像平均值的像素。方案中计算参考样品图像边缘可以通过计算参考样品灰度图像的亮度函数梯度值来获得。方案中参考样品边缘的反转二进制图像还可以通过反转放宽边缘的参考样品二进制图像获得。

本发明的方案提供检测出样品中外来碎片的方法，这个方法包括获得（使用一个成像系统），用来表示参考样品的图像数据。这个方法还包括产生一个参考样品边缘的图像，这个图像基于(i)水平方向上图像的亮度函数的梯度值(ii)垂直方向上图像的亮度函数的梯度值。这个方法还可以包括将参考样品图形转化为一个单一背景下包含样品边缘的二进制图像。这个方法也包括形成一个包含待检测样品边缘信息的图像，这个图像基于(i)水平方向上图像的亮度函数梯度值(ii)垂直方向上图像的亮度函数梯度值。这个方法还包括(a)基于参考样品和待检测样品的二进制图像，(b)确定待检测样品上是否有外来物体碎片。在检测过程中，待检测样品相对成像系统的位置可能与参考样品相对成像系统有一定位移，这个位移必须通过用预先设定的阈值来进行补偿。

在一个相关的方案中，这个方法还包括通过将参考样品边缘的二进制图像和一个特定矩阵进行二维卷积来放宽参考样品的边缘。在一个具体的方案中，将参考样品亮度函数的梯度值图像转换成二进制图像的步骤包括分配0到代表参考样品边缘的像素，和1到其他像素点。

附图说明

图1是一个常见的外来物体碎片的图像；

图2是本发明的识别系统图；

图3是本发明的识别方法的优选方案的步骤图；

图4是本发明的识别方法的优选方案的细节步骤流程图；

图5是本发明的识别方法的优选方案的另外的细节步骤流程图；

图6是本发明的识别方法的优选方案的另外的细节步骤流程图；

图7A和7B是参考样品和待检测样品的图像（待检测样品具有外来碎片）；

图7C和7D是与图7A和7B中图像相关的灰度图像；

图7E和7F是参考样品和待检测样品的图像，展示了样品上亮度函数的梯度值的二维分布；

图8展示了参考样品边缘的二进制图像；

图9展示了根据本发明的识别方法对图8中二进制边缘图像放宽边缘的结果；

图10展示了图9中的反转的二进制边缘图像；

图11展示了在一个单一的背景上待检测样品的边缘特征；

图12展示了移除了图11中高频噪声的图像；

图13展示了根据本发明中的识别方法对待检测样品图像中外来碎片的识别，其中包括了位移补偿；

图14A和14B提供了成像系统得到的参考样品和待检测样品的图像案例，其中待检测样品包含一个外来碎片；

图15A和15B是对应于图14A和14B图像的灰度图；

图16是根据本发明的识别方法识别图14A参考样品的边缘特征的图像；

图17是图16中图像的二进制图像；

图18是根据本发明的识别方法对图17中二进制边缘图像放宽边缘的结果；

图19代表图14A参考样品边缘的二进制图像得到的反转二进制图像；

图20是根据本发明的识别方法识别图14B的待检测样品的边缘特征的图像；

图21是通过采用本发明的识别方法的边缘消除来识别图20中的外来物体碎片；

图22是图21的图像，其中移除了高频噪声；

图23是图22根据本发明的识别方法的低频图像的二进制图像；

图24是识别图14B中的外来碎片，其中包括了位移补偿。

具体实施方式

使用光学办法来识别外来物体碎片事实上是很有挑战性的，比如成像系统（例如一个摄像机）和一个物体样片之间的位置可能被抬高或者旋转，结果会导致在一系列的图像中被错误的探测外来物体碎片。同样地，识别外来碎片的算法对系统光照情况和阴影有时候是敏感的。例如，如果算法中的图像是在环境照明的状况下获得的，由于环境照明的改变是不可预见的，这样不利于识别外来碎片。

本发明的方案提供了一个可靠的识别外来碎片的方法。这个方法通过对比在一个相关时间点的不含外来碎片的参考样品图像和待检测样品图像来判定被识别出的外来物体碎片是噪声还是需要进一步处理的真实的外来物体碎片（已到达持续的安全的操作）。为了达到这个目的，本发明的方法采用一个合适的照明状况（例如，由选定的人工光源发出的红外光照明，光和热都是稳定的）。本发明的方法包含计算参考样品图像的所有边缘（例如在一个参考时间点得到的样品的图像），和在之后的时间点的待检测样品图像的边缘。消除待检测样品图像中和参考样品图像中的共同边缘以及之后的数据处理确保检测样品中的噪点不会影响外来物体碎片的判断和被误认为外来物体碎片。最后判断通过侵蚀过程的分割后的对比图像中的外来物体碎片尺寸是否在用户感兴趣的范围内。这套算法可以用于机器视觉和医学图像等等。

这个详细描述中用到的“一个方案”，“一个相关的方案”或相似的语言是指包括在本发明的至少一个方案中的特定的特征、结构或特性。因此，这些语句的出现指的都是本发明。需要指出的是，本发明披露的任何部分都不能单独提供本发明的完整的所有特性。

另外，下面的论述结合图像可以描述本发明的特征。其中的数字代表相同或相似的元素。在图片中，结构性的元素一般不按比例放大，出于强调和理解的目的，一些特定元素会被放大。任何一个单独的图像都不可以解释本发明的所有特性和细节。除非描述内容的需要，不然图片中的细节和特征可以被采用。在其他的例子中，为了避免模糊本发明方案中的概念，已知的结构、细节、材料或者操作可能没有在一个特定的图片中被展示出来。

如果在发明中包含原理流程图，其逻辑流程顺序和步骤是本方法中一个实施方案。其他步骤和方法在功能、逻辑上可能等同于本方法的一个，多个步骤或者部分。另外，在解释本方法中逻辑步骤使用的格式和符号不局限于本方法的范围。即使原理流程图中使用了许多不同的箭头类型和直线类型，它们的意义也不局限在相关方法的范围中。例如，一个箭头可以表示本发明描述的方法中列出的两个步骤之间未知的等待或者是监视时间。不失一般性的说，每个步骤的顺序可能不严格遵循所展示的步骤顺序。

图2展示了根据当前发明的一个实施方案图像系统200获得被测试的样品202图像数据的一个例子。这里，图形系统200最好包括稳定的光源（例如红外线灯）208，可以被用来照明被测试的样品202，来获得稳定的光源状况。图形系统202还包括一个（光学）探测单元210，例如一个摄像机，一个编程处理器220来控制图像采集和处理取得的图像数据，以及在一个显示设备230上显示样品202的图像（这里显示设备包括任何提供图像输出的设备；例如一个监视器或一个打印机）。处理器220可以由一个或多个微型处理器、数字信号处理器(DSP),专用集成电路(ASIC),可编程门阵列(FPGA),或其他等效集成或离散逻辑电路组成。系统通过多一个输入/输出（I/O）设备（没有展示出来）来取得外部用户信息或者输出系统信息。这个输入/输出设备可以被使用来调整本算法中使用相关的阈值参数。当启动系统200时，系统需要配置器各个部分和连接到这个系统的外围设备。当采用无线实施方案是，照相机210可以装备一个特殊的子系统来于处理器220通过无线电频率（RF）来交换数据。

存储器258可以用来提供来储存处理器220的指令和储存由成像系统获得的图像数据和处理后的图像像数据。例如，存储器258可以被用来储存程序，算法用到的不同参数和阈值。关于系统200的其他信息也可以储存在储存器258中。储存器258可以包括任何形式计算机可读媒介，例如随机存取存储器（RAM），只读存储器（ROM），可擦可编程只读存储器（EPROM或EEPROM），闪存或这些存储器的结合。电源262位系统200的各个部分提供电源。电源262可以包括一个可充电或者不可充电的电池或者一个隔离的电路来产生系统运行所需的电压。

图3-6中进一步讨论了本发明的一个实施方案。

如图3所示，步骤310用于初始化识别在样品上的外来物品碎片的过程。在步骤310中，相机在预先设定好的光照条件下获得参考样品的图像（此时是否存在外来碎片尚不明确），参考样品的图像被图2中处理器220转化为参考样品的亮度函数的梯度值图像。

步骤320使用此图像（指的是参考样品的亮度函数梯度图像），来确定参考样品图像中用来表示边缘的像素。步骤330用于产生一个表示参考样品图像中边缘的二进制图像。

本发明的方法还包括在另一个时间点的样品图像（在获取参考样品图像后的某个时间点）。步骤340所成的样品图像指的是可能包含外来物体碎片的待检测样品。步骤350利用与步骤320相似的方法识别待检测样品图像中的边缘。

图4详细的描述了关于图3中的步骤310到330以及步骤340和350可选择的子步骤。

在一个具体实施方案中，步骤310A、340A使用图2中的探测单元210取得每像素有24比特红黄蓝信息的VGA分辨率的参考样品图像和待检测样品图像，如图7A和7B。

这种参考的图像（也可称为背景图像）和/或待检测样品图像可能在尺寸上太大，不能直接储存在图像处理单元中。在这个案例中，图像存储在外部存储器258中。因为在外部存储器设备258中写入图像数据比存储图像在图像处理单元220中需要更多的时钟周期，由于时间上的限制，无法直接向外部存储空间写入图像数据。为了解决这个问题，在图像处理单元中的两个内置的存储器被使用来缓冲图像数据。在一个具体的实施方案中，内置存储空间的宽度是16比特，深度为640。在探测单元210中CCD图像传感器芯片逐行（在像素的基础上）传递图像数据，使得图像处理单元220可以将图像中数据一行存储到一个内置的存储空间中，将另一个内置存储器中的之前一行图像数据转移到外部存储器258中。完成存储前一行图像数据之后，内部存储器的图像数据就失效了。当下一行图像数据达到时，图像处理单元220将它存储在具有过期数据的内置存储器中，将没储存的成像数据转移到外置存储设备258中。

通过探测单元210获得的原始图像数据包括三个通道的颜色信息（红色、绿色和蓝色）。然而，图像中的颜色信息并不一定有利于图像中边缘的识别。并且探测器单元210得到的样品图像的颜色可能会被环境光线或照相机的设置所影响。因此，在一个方案中，最好消除图像数据的颜色内容来对图像作进一步的处理。例如，红R、绿G、蓝B通道的数据分别与不同的因子相乘，然后相加得到一个灰度成像图：

灰度值=因子1*R+因子2*G+因子3*B；

图7A和7B的图像被转化成如图7C和7D所示的灰度图像。

将图像转化成灰度图之后，系统200中的图像的每个像素可以通过8比特的灰度数值来表示。这有利于减少算法的复杂度和之后的运算时间。这样的图像数据处理也可以应用到代表参考样品和待检测样品的图像数据中。

再回到图3和图4中的步骤310和340，除了将参考样品图像和待检测样品图像转化为灰度图，还包括步骤310C、340C，将图像与一个特定的矩阵进行二维卷积，来找到给定的图像中的样品边缘。

这里，不管给定的图像是否被转化为一个灰度图，也不管是否直接用彩色的图像来进行图像数据处理，由于光线的改变和不同的反射，样品仍然可能具有不同的灰度数值。然而，不管光线状况的改变，样品图像中的边缘特征仍保持不变。外来碎片的识别是通过比较参考样品图像和检测样品图像中的边缘实现的。

在一个具体的实施方案中，样品图像中的边缘可以通过计算样品图像上每个像素的梯度向量的模来获得。图像中每个像素的梯度值展示了每个像素上亮度的变化率。在一个具体的实施方案中，如步骤310C和340C所示，通过将样品图像和两个特定的算子或是滤波器分别进行二维卷积分别得到两幅为样品图像亮度函数一维梯度值的图像。例如，如果算子S被用来在一个方向上进行卷积（例如在给定图像的x轴方向），之后再另一个方向在做二维卷积（例如y轴）。之后当处理参考样品和待检测样品的图像数据时，步骤310D和340D将两个一维的梯度图像结合在一起（例如将对应像素一个相加），形成相应的参考样品和待检测样品的二维梯度图像，步骤320和350中将进一步识别参考样品和待检测样品图像中的边缘。

参考图3和图4，尤其是步骤310、340、320、350，在一个具体的例子中，可以使用sobel算子（或者滤波器）在指定的图像中识别边缘。例如在一个特定的方案中，通过将sobel算子 $S=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right],$ 和代表图像的矩阵之间进行二维卷积，来得到亮度函数的x轴梯度值下的图像。样品图像中代表边缘的特定像素的亮度会发生突变，所以那些像素的亮度函数的梯度值可能比其他像素的要高。用相似的方法，将S^T矩阵和样品图像的矩阵进行二维卷积来得到样品图像y轴上的亮度函数的梯度值图像。然后，将这两个代表梯度的图像相加来形成一个二维梯度图像。通过分析样品的二维梯度图像，来确定样品的边缘。

在一个特定的实施方案中，sobel算子可以使用给定像素周围像素的信息来计算给定像素亮度函数的梯度值。因此，一个像素的梯度值需要周围以及其自己所有的九个像素来计算。考虑到处理器可用的资源和时间上的限制，图像处理单元可以一次读出连续的3行内的48个像素，每次将每行的16个像素从外部存储器读到本地存储器中，然后同时使用14个sobel算子计算14个像素的亮度函数的梯度数值。这样的计算方法使得计算时间降低为一次计算一个像素的1/14。然后将计算得出的亮度函数梯度值被储存在外部存储器258中。图7E和7F代表参考样品和待检测样品的二维梯度图像。

在形成了参考样品和待检测样品的二维梯度图像之后，步骤320和350中样品边缘的识别首先包括计算参考样品二维梯度图像的平均值。这个数值是作为确定样品边缘的阈值。当给定图像中像素的亮度函数梯度值比阈值大，则该像素可以被识别为样品边缘。直接将所有像素的梯度值相加求得图像平均值会造成图像处理单元的溢出。为了解决这个问题，图像处理单元首先计算每行的平均值，然后将每行的平均值存储至外部数据存储器的数据堆栈中。最后，图像处理单元从外部数据存储器的数据堆栈中读出每行的平均值计算整幅二维梯度图像的平均值。

图5详细的描述了本发明中图3步骤330的子步骤。

通过给之前步骤得到的图像中代表边缘的像素制定一个数值，其他像素指定一个不同的数值将之前得到的图像映射成一个二进制图像。在一个方案中，边缘可以用1表示，其他像素可以用0表示。所以，样品的二进制图像（也就是，边缘用黑色背景上的饱和像素表示）。另外，样品的二进制图像通过(i)步骤330A，二进制图像中代表图像边缘的图像像素被确定为数值1，图像中剩下的像素为数值0，(ii)步骤330C，将二进制图像反转得到反转的二进制图像。

如图5，二进制图像或者反转的二进制图像中的边缘可以通可选择的步骤330B被放宽。与直觉相反的，且没有相关技术的（以发明者的最大范围的知识），对边缘放宽的处理操作有利于补偿照相机和样品之间的位移，可以更精确有效地确定检测样品图像中的外来物体碎片。在实践当中，由于样品和照相机之间可能存在移动，在第一个时间点（拍摄参考样品时）和第二个时间点（拍摄待检测样品时）之间可能会发生几个像素的移动。这种移动会造成在参考样品图像和待检测样品图像中相同的边缘在两幅图像上可能处于相邻的像素。如果在第一时间点和第二时间点之间边缘被移动到图像上一个不同的位置，相同的边缘会被识别为不同的边缘（一个是在参考样品的图像的中，另一个是在待检测样品的图像中）。本发明的方法利用放宽边缘的方法消除了照相机移动造成的影响，至少使相同边缘的部分重合。在本发明方法的一个具体实施案例中（步骤330B）通过将参考样品的二进制图像与一个放宽算子，例如一个3*3的识别矩阵，进行二维卷积。不管是根据步骤330A的二进制图像，或者是根据步骤330C的反转的二进制图像，最好采用可选择的330B边缘放宽步骤。

在一个特定的实施案例中，图像处理单元通过步骤310得到参考样品的二维梯度图像。如步骤320所定义的，使用布尔数值代表样品边缘像素。如果亮度函数的梯度值大于阈值（由二维梯度图像的平均值确定），这个像素的数值为1。否则，这个像素的数值就为0。因此，在步骤330之后，代表样品边缘的参考样品的二维梯度图像被转化成参考样品的二进制图像，图像中得边缘与标准图像背景区分开来。最后，图8展示了步骤330A中得到的图7A中图像相关的代表边缘的二进制边缘图像。这里，被识别为红色的像素的数值为1，深蓝色的像素数值为0。图9展示了根据步骤330B的图8中边缘被放宽的二进制图像。图10展示了给步骤330C中得到的二进制图像重新赋值，将图像转化为参考样品的反转二进制图像。

得到了参考样品和待检测样品的边缘特征的预先处理图像后，根据图3中的步骤360和步骤370，进一步识别待检测样品图像中的外来物体碎片。

在步骤360中，代表外来物体碎片的边缘通过将步骤330中得到的参考样品的二进制图像和步骤350得到的待检测样品图像的二维梯度图像相结合来得到。这个步骤进行“边缘消除”的操作，形成了待检测样品的图像，每个像素有一个确定的值，将步骤330的反转的参考样品的二进制图像中每个像素和步骤350中的待检测样品的二维梯度图像相应像素相乘得到一个新的待检测样品图像。因为步骤330中反转的参考样品的二进制图像中边缘像素被零表示，步骤350的待检测图像的边缘数据被大于0的像素表示，相乘后两个图像中相同的边缘特征被除去，步骤360形成的图像仅包含仅参考样品具有的边缘特征。

如图6，识别外来物体碎片的边缘特征的步骤360包括步骤360A，将待检测样品的二维梯度图像和代表参考样品图像边缘特征的二进制图像（反转）相乘。另外的数据处理可以选择性地包括步骤360B将图像数据通过一个低通滤波器以去除高频率干扰，对图像数据可选择地使用低通滤波可以作如下解释，由于图7A和7B两个原始图像的不同状况，即使进行了消除边缘的操作，还是会留下高频率的特征，采用如将在步骤360A形成的图像和低通滤波器做二维卷积的低通滤波操作可以滤除其高频噪声。因此，边缘特征1110、1112、1114是可疑的外来物体碎片。

步骤360中的外来物体碎片的识别可选择性地包括步骤360C，其中将可疑的边缘特征1110、1112、1114分割。在这个步骤中，可疑的边缘特征1110、1112、1114的像素可能不代表外来物体碎片的边缘，但可能具较高的梯度数值，且仍然留在图像中。通过将图像分割来进一步消除图像中的这些干扰像素（与选定的另一个阈值对比，在步骤350确定的图像的平均值和待检测样品相关的最大梯度值之间）。任何比阈值大的像素被确定为一个选定的数值（例如数值0）。步骤360C的产生的分割图像数据被储存在外部存储器258中。

步骤360的另一个可选择子步骤360D有利于补偿对成像系统和样品之间的位移，这个移动是发生在拍摄参考样品的图7A和拍摄待检测样品的图7B的时间之间。特别地，一些如照相机移动等引起的干扰数据会仍然留在图像中。尤其因为参考样品的一些边缘在之前的图像数据处理步骤中被放宽，这些放宽的边缘的至少一部分可能留在步骤360C的分段图像中。将分割产生的二进制图像和一个3*3的矩阵（侵蚀矩阵）进行二维卷积。如果由于卷积的操作产生的图像中像素的数值小于预先设定的阈值，这个像素被确定为0。否则，这个像素被确定为1。在输出这个侵蚀图像的步骤中，外来碎片被识别的可能性会被大大的提高。

图11是基于图10和图7F和根据图3中步骤360形成的图像的一个例子（或者图6中相应的子步骤）。这里，边缘特征1110、1112、1114中的至少有一个可能是外来物体碎片。图11经过步骤360B的一个低通滤波器得到图12。这个例子中所选择的的低通滤波器为 $\left[\begin{array}{ccc}0.75& 1.00& 0.75\\ 1.00& 1.5& 1.00\\ 0.75& 1.00& 0.75\end{array}\right].$ 当低通滤波器包含浮点数，而图像像处理单元不直接支持浮点数时，低通滤波器的数值可以转化成整数，例如乘以128。图12的分割图像通过步骤360C用一个阈值，其计算公式为(i)步骤360B的图像的平均值（average value），(ii)图像的最大梯度值（maximum value）

threshold=average value+0.5(average irradiance value+0.9*

maximum irradiance value)

。

分割的图像根据步骤360D被侵蚀，通过使用3*3的侵蚀矩阵来补偿成像系统和样品间的位移，如图13。可以看见的是，由于图12中图像的分割，外来物体碎片的特征1110、1114从待检测样品图像上被移除。

如图3所示，本发明方法的方案可选择地包含步骤370，其中识别出的外来物体碎片根据它的大小决定外来碎片是否是重要的，进而决定被检测的样品是否需要清理，或者移除。在这个步骤中，计算被识别的外来物体碎片1112的大小，并与阈值对比。如果外来物体碎片太大或太小，可能被认为不需要进一步操作或者忽略外来物体碎片。在本发明的这个步骤或其他的步骤中，系统的处理器220（如图2）可能产生一个用户输出端，例如一个声音报警器或灯光警告器，在待检测样品的外来碎片被确定后可以为用户提供一个输入端。例如，在步骤370中，处理器控制的警钟可以暗示外来碎片1112的大小落在用户需要的尺寸范围内。

根据本发明上述的方案的成像数据处理的另外的例子被进一步展示在图14-24中。这里，图14A和图14B提供了本发明的成像系统取得的参考样品和待检测样品的图像的例子，待检测样品包含一个外来碎片1410。参考样品由四个方形区域在一个单一背景上，外来物体碎片为单一背景上另一个方形区域。图15A和15B代表图14A和图14B对应的灰度图，其中因子1=0.299，因子2=0.587，因子3=0.114。图16是根据图14A的用于边缘识别的图像，其通过使用下面的sobel算子得到。使用矩阵 $S=\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$ =计算代表x方向亮度函数的梯度值的参考样品图像；使用矩阵 $S^T\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ 计算代表y方向亮度函数的梯度的参考样品图像。图17是上述得到的图16的图像的二进制图像。放宽图17中边缘特征得到图18。图19是图14A的参考样品的反转二进制图片。

用于边缘识别的图20是根据本发明的方案使用得到图16相同的矩阵S和S^T计算得到。图21由图20通过采用边缘消除来得到。图22是去除图21的高频率噪声后得到的。图23是由图22被分割得到的。最后，图24是图14B通过补偿了样品和成像系统间位移后得到的。

本发明的一个系统最好包括一个光学探测器来获取图像数据，一个处理器用来选择和处理探测器得到的数据，可选择地，一个用于执行系统操作的电路。另外，本发明的方案需要储存在有形存储器中来执行上述系统操作的步骤，这个存储器可能是随机存取存储器（RAM），只读存储器（ROM），闪存或其他任何存储器，或者这些的结合，只要适合存储控制软件或其他执行数据。在另一个可选的方案中，整套系统可以通过一个电脑程序实现。这样的方案包括计算机执行指令存储在一个有形媒介中，例如一个计算机可读媒介（例如一个软盘、光盘，只读存储器或固定磁盘），也可以通过一个交互的设备（例如一个连接到因特网的通信调制器）连接到计算机系统上，流程图和模块图详细的描述了本发明的方案。本发明的功能、操作、决策等的全部或一部分，或流程图可以用计算机程序指令、软件、硬件、固件或它们的组合实现。另外，当本发明采用软件实现，例如程序编码，用于实现发明的功能可以选择地一部分或全部采用的固件和/或硬件元件、可编程门阵列或其他硬件或软件硬件固件的结合来实现。

本发明不应该局限于已知的方案。

Claims (13)

1.一种对外来物体碎片的识别方法，其特征在于，包括：

利用图像系统的一个探测器，得到参考样品的参考图像数据来形成相关梯度图像，其中的每个像素代表参考样品图像亮度函数的二维梯度数值；

基于相关梯度图像数据来确定参考样品的边缘图像数据；

形成一个参考样品边缘的二进制图像，

分配一个数值到参考样品的亮度函数梯度图像数据中对应边缘的像素，

分配另外一个值给相关梯度图像中剩下的像素，其中第二数值与第一数值不同；

形成由一个由二进制图像反转得到的反转二进制图像；

基于从成像系统取得的待检测样品图像和计算亮度函数的二维梯度值，形成用于显示待检测样品边缘的图像；

利用图像处理单元将参考样品反转的二进制图像和待检测样品的梯度图像结合起来得到一个没有参考样品和待检测样品共有边缘的图像。

2.根据权利要求1所述的方法，其特征在于：所述的得到参考样品的参考图像数据的步骤包括，确定一个用于识别参考样品梯度图像中超过图像平均值的像素数据。

3.根据权利要求1所述的方法，其特征在于：所述的得到参考样品的参考图像数据的步骤包括，决定一个参考图像边缘数据，这个数据是基于将参考样品图像转化为灰度图像而产生。

4.根据权利要求1所述的方法，其特征在于：形成待检测样品图像的步骤包括，将待检测样品图像转化为灰度图像。

5.根据权利要求1所述的方法，其特征在于：进一步包括，将对比图像通过一个低通滤波器来获得一个低频率图像，并且将低频率图像中的每个像素和一个预先设定的阈值对比，得到一个分割的二进制图像。

6.根据权利要求5所述的方法，其特征在于：进一步包括，将分割的二进制图像和一个侵蚀矩阵进行二进制卷积。

7.根据权利要求1所述的方法，其特征在于：形成反转二进制图像的步骤包括，其中二进制图像的形成包括确定二进制图像的底片，样品的每个边缘被放宽。

8.根据权利要求1所述的方法，其特征在于：进一步包括，通过对参考样品的二进制图像和一个单位矩阵进行二维卷积来放宽图像中得边缘。

9.根据权利要求1所述的方法，其特征在于：进一步包括，从经过位移补偿的对比图像提取外来物体碎片的边缘尺寸，当外来物体碎片的尺寸在范围之外时，忽视外来物体碎片。

10.一种对外来物体碎片的识别方法，其特征在于，包括：

使用图像系统的一个探测器，取得代表参考样品的图像数据；

形成代表参考样品的边缘位置的图像，基于(i)参考样品图像的一个方向上的亮度函数梯度值，(ii) 参考样品图像的另一个方向上的亮度函数梯度值，第一个和第二个改变发生在不同方向上；

将代表参考样品边缘位置的图像转化为参考样品的二进制图像；

形成代表待检测样品的边缘位置的图像，基于(i)待检测样品图像的一个方向上的亮度函数梯度值，(ii) 待检测样品图像的另一个方向上的亮度函数梯度值，第一个和第二个改变发生在不同方向上；

形成了基于参考样品的二进制图像和待检测样品图像的对比图，这个对比图中消除了参考样品和待检测样品中的共有边缘；

确定待检测样品上是否有外来碎片，通过补偿对比图像中待检测样品和成像系统间的位移，比较对比图像的梯度值和预定的阈值。

11.根据权利要求10所述的方法，其特征在于：进一步包括，通过将一个选定的矩阵和参考样品的二进制图像的矩阵进行二维卷积，进一步放宽参考样品的边缘。

12.根据权利要求10所述的方法，其特征在于：进一步包括，过滤外来物体碎片的尺寸。

13.根据权利要求10所述的方法，其特征在于：其中转化的过程包括分配数值0到参考样品中代表边缘的像素，分配数值1到参考样品中剩下的像素。

Images