CN109741302B - 基于机器视觉的sd卡形态识别系统和方法 - Google Patents

Abstract

本发明提供了基于机器视觉的SD卡形态识别系统和方法，属于视觉测量领域。通过采用自适应阈值分割算法和基于多特征融合的形态识别算法对SD卡图像进行形态识别；所述自适应阈值分割算法包括改进大津法阈值分割算法、基于改进模板匹配的定位算法；所述改进大津法阈值分割算法中增加自适应变量系数K以进行明暗场的自适应判断；所述基于改进模板匹配的定位算法利用SD卡中金手指模板的区域特征进行模板匹配定位；使得本发明提供的基于机器视觉的SD卡形态识别系统和方法拥有更高的识别速度，并且拥有良好的重复性，避免了人工识别带来的人为误差；同时，其软件接口能够很好地与计算机进行连接，发展和改良空间巨大，可以有效地代替人工识别。

Description

基于机器视觉的SD卡形态识别系统和方法

技术领域

本发明涉及基于机器视觉的SD卡形态识别系统和方法，属于视觉测量领域。

背景技术

SD卡(Secure Digital Memory Card)的生产过程中，彩喷质量保证了SD卡的封装质量。目前在彩喷过程中，打印料盘内SD卡的形态由人工来完成识别，存在人体视觉容易疲劳以及检验速度无法提升等缺点。因此，利用计算机视觉、图像处理来代替人工进行SD卡的形态识别势在必行。

机器视觉是利用计算机对图像或视频进行处理，实现对二维或三维场景的识别、检测、感知和理解等功能。目前，机器视觉已广泛应用于工业测量领域，而且具有非接触、高效、可靠、通用性好、易于实现自动化等优点。因此，机器视觉在大批量、连续自动化生产流水线上具有很高的应用价值，能够对产品进行辨识和外形尺寸测量等。

在用视觉传感器对不均匀光场下的对象进行形态识别时，面临着光照不均与随机姿态两个难题。一般的阈值分割算法只能分割明暗对比均匀或具有规则特性的不均匀光场。一般的模板匹配算法只能够完成姿态确定或姿态具有固定范围的目标识别；对于SD卡生产过程中的形态识别，由于光照不均匀现象存在于SD卡阵列区域内以及阵列区域间，其明暗对比具有渐进现象；且不同类型的SD卡与料盘，明暗对比关系会随之变化；另外，SD卡生产过程中，自由姿态下无法保证在料盘内存在SD卡；且姿态多种多样，无法对形态变化进行量化制作样本库。而且SD卡料盘尺寸较大，目前智能视觉传感器等无法同时满足精度以及实时性的要求。所以无法在SD卡生产过程中应用机器视觉。

发明内容

为了解决目前存在的SD卡识别过程中光照不均匀以及姿态随机的问题，本发明提供了基于机器视觉的SD卡形态识别系统和方法；

本发明的第一个目的在于提供一种基于机器视觉的SD卡形态识别系统，所述系统包括硬件系统和软件系统；

所述硬件系统包括光源、相机和机械装置；所述软件系统包括采用自适应阈值分割算法对SD卡图像进行分割与定位和基于多特征融合的算法对SD卡图像进行形态识别；其中，所述自适应阈值分割算法包括首先通过改进大津法对SD卡图像进行阈值分割，然后利用改进模板匹配算法对SD卡进行定位；

所述改进大津法对SD卡图像进行阈值分割算法为：在经典大津法计算公式中增加自适应变量系数k以进行明暗场的自适应判断；所述基于改进模板匹配的算法对SD卡进行定位为：利用SD卡中金手指模板的区域特征进行先粗后精的模板匹配定位。

可选的，所述自适应变量系数k的计算方法如式(1)：

式(1)中，u为SD卡图像灰度均值；u＝w₀u₀+w₁u₁，w₀、u₀分别为SD卡图像中背景的概率与均值，w₁、u₁为SD卡图像中前景的概率与均值，则SD卡图像的灰度均值更新为：u’＝w₀u₀+k*w₁u₁。

可选的，所述利用金手指模板的区域特征进行先粗后精的模板匹配定位，包括：根据SD卡中金手指图像的行列投影特征进行多次模板匹配得到金手指精确坐标。

可选的，根据金手指图像的行列投影特征对SD卡图像进行多次模板匹配得到金手指精确坐标，包括：

1)通过分别选用行或列投影特征进行归一化模板匹配，得到行列匹配定位结果，求得归一化系数最大的位置，所述归一化系数最大的位置即为SD卡图像中与模板最相似的金手指的位置；行或列匹配过程的数学描述为：

其中T为金手指模板投影向量，大小为M；S为SD卡的二值图像投影向量，大小为L；D(i)为对应的归一化系数；

2)以SD卡图像左上角为原点(0，0)，横向为X轴，纵向为Y轴；通过先粗后精多次模板匹配得到金手指的精确坐标，对SD卡灰度图像分割得到金手指灰度图像；

3)利用改进大津法对金手指灰度图像进行阈值分割获取金手指二值图像。

可选的，所述基于多特征融合的形态识别算法，包括：

根据得到的金手指精确坐标获取金手指二值图像，进而得到金手指的多个特征，所述多个特征包括：金手指的位置特征、形状特征、面积特征、倾斜度特征，以及与模板的匹配度特征，对所述金手指的多个特征提取特征向量，对特征向量进行分类，得到SD卡在料盘中的形态。

可选的，所述光源采用前向光源，所述前向光源采用条形光源。

可选的，所述相机的镜头焦距为8±1.5mm。

本发明的第二个目的在于提供一种基于机器视觉的SD卡形态识别方法，所述方法应用于上述基于机器视觉的SD卡形态识别系统中，所述方法包括：

采用条形的前向光源照射SD卡，并利用镜头焦距为8±1.5mm的相机获取SD卡图像，所述SD卡图像为SD卡处于打印料盘内的图像；

采用自适应阈值分割算法和基于多特征融合的形态识别算法对SD卡图像进行形态识别；所述自适应阈值分割算法包括改进大津法阈值分割算法、基于改进模板匹配的定位算法；

所述改进大津法阈值分割算法中增加自适应变量系数K以进行明暗场的自适应判断；所述基于改进模板匹配的定位算法利用SD卡中金手指模板的区域特征进行模板匹配定位。

可选的，所述自适应变量系数k的计算方法如式(1)：

式(1)中，u为SD卡图像灰度均值；u＝w₀u₀+w₁u₁，w₀、u₀分别为SD卡图像中背景的概率与均值，w₁、u₁为SD卡图像中前景的概率与均值，则SD卡图像的灰度均值更新为：u’＝w₀u₀+k*w₁u₁。

可选的，所述利用金手指模板的区域特征进行先粗后精的模板匹配定位，包括：根据SD卡中金手指图像的行列投影特征进行多次模板匹配得到金手指精确坐标。

可选的，所述采用基于多特征融合的形态识别算法对SD卡图像进行形态识别，包括：

根据得到的金手指精确坐标获取金手指二值图像，进而得到金手指的多个特征，所述多个特征包括：金手指的位置特征、形状特征、面积特征、倾斜度特征，以及与模板的匹配度特征，对所述金手指的多个特征提取特征向量，对特征向量进行分类，得到SD卡在料盘中的形态。

本发明有益效果是：

通过增加自适应变量系数k以进行明暗场的自适应判断，避免了SD卡表面的金手指作为前景相对背景在明场中具有较高对比度，但是在暗场中对比度较差，导致期望作为前景的金手指在灰度直方图中的灰度级较低的问题出现；通过采用基于改进模板匹配的定位算法，避免了采用传统的模板匹配算法计算量大、匹配过程计算较复杂，且SD卡像场中出现的料盘干扰信息过于敏感、易产生过匹配的问题；在形态识别时，采用基于多特征融合的形态识别算法由于选取了位置特征、形状特征、补充特征等多个特征，较好的克服了SD卡姿态多变的干扰，使系统的识别率大大提高，稳定性加强。对大量现场图片的识别测试显示其识别效果理想。且相比于人工识别，本发明提供的基于机器视觉的SD卡形态识别系统和方法拥有更高的识别速度，并且拥有良好的重复性，避免了人工识别带来的人为误差；同时，该系统的软件接口能够很好地与计算机进行连接，发展和改良空间巨大，可以有效地代替人工识别。进一步的，本发明提供的基于机器视觉的SD卡形态识别系统还通过采用前向光源且为条形光源，避免了拍摄的图像明暗不一导致后续图像处理出现不必要的问题，且条形光源的使用，也避免了与机械手干涉的可能；通过采用镜头焦距为8±1.5mm的相机，匹配所选择的相机以及视野内SD卡料盘的尺寸。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1 自适应阈值分割算法流程图。

图2 明场暗场图像及阈值分割结果。

图3 改进的模板匹配定位算法流程图。

图4 自适应阈值分割得到的图像。

图5 SD卡在料盘中的姿态与描述图。

图6 纵向截面数学模型图。

图7 本文算法系统流程图。

图8 SD卡在料盘中的阵列图像。

图9 模板匹配定位算法运行时间对比图。

图10 定位算法误差对比图。

图11 形态识别算法测试结果图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

实施例一：

本实施例提供一种基于机器视觉的SD卡形态识别系统，所述系统包括：SD卡形态识别硬件系统和SD卡形态识别软件系统。

所述SD卡形态识别硬件系统，包括光源、相机和镜头以及机械装置。

光源一般可分为背光光源和前向光源。背向光源通常能够获得较高的对比度，前向光源可以获得待测工件的表面信息，因此，本系统选用前向光源。而在SD卡图像采集过程中，如果没有合适的光源将会导致所拍摄的图像明暗不一，这会对后续的图像处理带来不必要的麻烦。针对待测SD卡的特点以及避免与机械装置中机械手干涉的要求，本系统采用条形光源。

对于相机，本系统采用成本低廉、原理简单的CMOS工业摄像机进行图像的采集。由于工件尺寸较大，本系统选取的是大恒公司生产的MER-1070-U3C-L型CMOS面阵摄像机。像素个数为3840*2748，CMOS传感器面积为1/2.3英寸，摄像机接口为Mini USB3.0。

对于相机镜头的选择，考虑到镜头的基本光学性能有焦距、分辨率和景深等，其中，焦距是确定镜头最主要的参数。

焦距f的计算公式为式(3)：

f＝wD/V (3)

式(3)中，w为CMOS芯片的靶面尺寸；V为视场尺寸；D为工作距离。

本系统中，SD卡料盘的尺寸为长度范围130mm×150mm，视场尺寸定为130mm×150mm。通过计算得到焦距为7.781mm，因此，本系统选用Computar品牌的8mm镜头，该镜头焦距为8±1.5mm。

所述SD卡形态识别软件系统，包括自适应阈值分割算法和基于多特征融合的形态识别算法。

其中，自适应阈值分割算法包括改进大津法阈值分割算法以及基于改进模板匹配的定位算法，算法流程图如图1所示。

所述的改进大津法阈值分割算法，请参考图2(a)和(b)，分别为明场与暗场灰度图像及其灰度直方图；由图2可知，在明场中SD卡表面的金手指作为前景相对于背景具有较高对比度；但是在暗场中灰度直方图对比度较差，并且由于光照不均匀的情况，导致期望作为前景的金手指在灰度直方图中的灰度级较低。

因此，本发明中对经典大津法(最大类间方差法，OSTU)进行改进：根据灰度图像的整体平均灰度进行明场暗场的自适应判断，在对SD卡图像灰度均值的计算式中加入自适应变量系数k，以提高期望作为前景的金手指灰度均值在整幅图像灰度均值中的比例，其中k取决于灰度图像的整体平均灰度，整幅图像的灰度均值记为u，

所述自适应变量系数k的计算方法如式(1)：

式(1)中，u为SD卡图像灰度均值；u＝w₀u₀+w₁u₁，w₀、u₀分别为SD卡图像中背景的概率与均值，w₁、u₁为SD卡图像中前景的概率与均值，则SD卡图像的灰度均值更新为：u’＝w₀u₀+k*w₁u₁。

对于图2(b)暗场灰度图像，分别使用经典大津法与改进大津法对其进行阈值分割，得到二值图像如图2(c)所示，由图2(c)可知，本申请采用改进大津法对SD卡图像进行阈值分割得到的图像中金手指非常清晰完整，可支持完成后续的模板匹配，而经典大津法分割得到的图像中只有部分金手指图像，无法完成后续的模板匹配定位。

所述的改进模板匹配的定位算法，具体是：经过改进大津法初次阈值分割后得到的二值图像，其中部分料盘的边沿经阈值分割后产生了白色矩形区域，与金手指形状类似，会对金手指的模板匹配造成较大干扰，因此传统的模板匹配算法有以下不足之处：

1)计算量大，匹配过程计算较复杂，计算量随图像所包含的像素增加而迅速增大，而且执行匹配运算的次数随着像场的大小而增多，匹配效率不高。

2)对于像场中金手指方位旋转和尺度缩放的适应性较差。

3)对于像场中出现的料盘干扰信息过于敏感，易产生过匹配。

金手指轮廓特征与料盘边沿产生的干扰块轮廓特征相似度较高。因此，需要取金手指模板的区域特征来进行模板匹配定位，以排除料盘边沿轮廓特征对金手指造成的干扰。行列投影特征主要反映了金手指的区域统计特性，既克服了逐像素特征提取运算量大的问题，又完好的保存了金手指的形状特征，突出了金手指与料盘干扰块的区别。

为排除料盘边沿产生的干扰以及缩短运行时间，本发明依据金手指图像的行列投影特征进行多次模板匹配得到金手指精确坐标。主要特点如下：

1)通过分别选用行或列投影特征进行归一化模板匹配，得到行列匹配定位结果，求得归一化系数最大的位置即为图像中与模板最相似的金手指的位置。行或列匹配过程的数学描述为：

其中T为金手指模板投影向量，大小为M；S为SD卡的二值图像投影向量，大小为L；D(i)为归一化系数。

2)为解决像场中出现的冗余信息干扰问题，进行多次匹配定位得到金手指精确位置。以图像左上角为原点(0，0)，横向为X轴，纵向为Y轴。定位算法流程图如图3所示。通过得到的金手指精确坐标对SD卡灰度图像分割得到图4(c)所示的金手指灰度图像，继而利用改进大津法对金手指灰度图像进行阈值分割得到金手指二值图像。

所述的基于多特征融合的形态识别算法，具体是：通过分析得到的金手指二值图像，以金手指的位置特征(XY坐标)、形状特征(长度宽度)、面积特征、倾斜度与模板匹配度特征(归一化相关系数的大小)等多个特征提取特征向量，对特征向量进行分类，得到SD卡在料盘中的形态。如图5所示为SD卡在料盘中的9类姿态描述。

在SD卡的生产工艺中，将SD卡的形态分为三类：

1)“0”类：正常形态，包括在料盘中正常放置姿态。

2)“1”类：翘料形态，包括压到料盘边沿、在料盘中翘曲、在料盘中旋转等姿态。

3)“2”类：少料形态，包括不在料盘中姿态。

形态识别特征如下：

a)位置特征：金手指坐标范围为(x0±ΔX，y0±ΔY)，其中(x0，y0)为SD卡在料盘正中时金手指坐标。ΔX为料盘左右边沿与边沿内壁的距离。ΔY为料盘上下边沿与边沿内壁的距离。金手指位置特征坐标为(0，0)说明未匹配到金手指，为少料形态；超出范围为翘料形态；

b)形状特征：金手指的长度与宽度范围为(H0±ΔH，W0±ΔW)，其中(H0，W0)为SD卡在料盘正中时金手指的长度与宽度。ΔH为料盘上下边沿高度与料盘中心高度差引起的金手指长度变化。数学模型如图6所示：SD卡压到料盘竖直方向边沿，H0为SD卡在料盘正中时金手指的长度，H为料盘边沿高度。H₀′为SD卡压到高度为H的边沿后，金手指长度方向在水平面的投影，即为翘料形态下的金手指长度，即：

可得：

同理可得ΔW为料盘左右边沿高度与料盘中心高度差引起的金手指宽度变化量。金手指形状特征为0，为少料形态；超出范围为翘料形态；

c)面积特征：SD卡在料盘中金手指的面积范围为(S0-ΔS，S0)，其中S0为SD卡在料盘正中时金手指面积。ΔS为压到料盘边沿后金手指面积变化量。金手指面积特征为0，为少料形态；超出范围为翘料形态；

d)补充特征：以上特征可以完成对大部分SD卡姿态的形态识别，但是对旋转姿态的形态识别不尽人意。因此加入倾斜度k与匹配度p作为补充特征。

其中k₀为金手指模板的倾斜度，L₀为金手指模板中最先出现白色像素点的行坐标，L₁为金手指模板中出现大量白色像素点的行坐标，colshadow为金手指模板列特征向量。当匹配到的金手指倾斜度k>k₀时，说明金手指发生旋转即SD卡为翘料形态；

p＝p₀+p₁ (7)

其中，p₀为行投影特征匹配时得到的归一化系数，p₁为列投影特征匹配时得到的归一化系数，p<1.5说明求得的金手指与金手指模板相似度差，即为翘料形态；

对金手指进行特征向量提取：金手指特征判断结果为正常放置形态时，该项元素为“0”；翘料形态时，该项元素为“1”；少料形态时，该项元素为“2”。全部特征向量元素提取完毕后，对特征向量进行分类：特征向量中存在元素“2”，即输出结果为：“少料”；特征向量中元素全部为“0”，即输出结果为：“正常”；其他情况时：输出结果为：“翘料”。

实施效果

如图7所示，为本发明的算法流程图。按照该流程，对实际采集到的100幅如图8所示的SD卡在料盘中8*8阵列图像进行形态识别，便可以得到SD卡的形态识别结果。在本发明的实验中，分别使用基于逐像素点的模板匹配算法、本文中的模板匹配算法、基于投影特征的模板匹配算法，对采集到的100幅图像进行对比试验。得到各匹配算法运行时间以及定位误差。其中，定位误差描述为匹配定位结果与实际位置的欧式距离：

其中，(x，y)为定位结果，(x0，y0)为实际位置。得到各定位算法在处理100幅图像时的平均运行时间以及误差对比如图9与图10所示。

利用改进模板匹配定位算法测得的平均运行时间为271ms，以及定位算法平均定位误差在3个像素以内。

对实际采集的100幅图像中SD卡形态进行识别，识别结果如图11所示，对于64*100＝

6400项，正确识别数为：6394，准确率为99.906％，满足实际要求。

本发明SD卡形态识别算法具有以下特点：

1)在分割存在不均匀明场暗场区域的图像时，改进的大津法与传统的大津法相比具有很大的优势。

2)在匹配性能上，传统的模板匹配定位算法在运行时间与抗干扰的能力方面无法达到实际需求。而文中提出的定位算法不仅运行时间短，并且抗干扰能力强，准确度高。

3)在形态识别时，基于多特征融合的形态识别算法由于选取了位置特征、形状特征、补充特征等多个特征，较好的克服了SD卡姿态多变的干扰，使系统的识别率大大提高，稳定性加强。对大量现场图片的识别测试显示其识别效果理想。

相比于人工识别，本发明提供的SD卡形态识别方法拥有更高的识别速度，并且拥有良好的重复性，避免了人工识别带来的人为误差；同时，本发明提供的SD卡形态识别系统的软件接口能够很好地与计算机进行连接，发展和改良空间巨大，可以有效地代替人工识别。

本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的SD卡形态识别系统，其特征在于，所述系统包括硬件系统和软件系统；

所述硬件系统包括光源、相机和机械装置；所述软件系统包括采用自适应阈值分割算法对SD卡图像进行分割与定位和基于多特征融合的算法对SD卡图像进行形态识别；其中，所述自适应阈值分割算法包括首先通过改进大津法对SD卡图像进行阈值分割，然后利用改进模板匹配算法对SD卡进行定位；

所述改进大津法对SD卡图像进行阈值分割为：在经典大津法计算公式中增加自适应变量系数k以进行明暗场的自适应判断；所述利用改进模板匹配算法对SD卡进行定位为：利用SD卡中金手指模板的区域特征进行先粗后精的模板匹配定位；

所述自适应变量系数k的计算方法如式(1)：

式(1)中，u为SD卡图像灰度均值；u＝w₀u₀+w₁u₁，w₀、u₀分别为SD卡图像中背景的概率与均值，w₁、u₁为SD卡图像中前景的概率与均值，则SD卡图像的灰度均值更新为：u’＝w₀u₀+k*w₁u₁。

2.根据权利要求1所述的系统，其特征在于，所述利用SD卡中金手指模板的区域特征进行先粗后精的模板匹配定位，包括：根据SD卡中金手指图像的行列投影特征进行多次模板匹配得到金手指精确坐标。

3.根据权利要求2所述的系统，其特征在于，所述基于多特征融合的算法，包括：

根据得到的金手指精确坐标获取金手指二值图像，进而得到金手指的多个特征，所述多个特征包括：金手指的位置特征、形状特征、面积特征、倾斜度特征，以及与模板的匹配度特征；对所述金手指的多个特征提取特征向量，对特征向量进行分类，得到SD卡在料盘中的形态。

4.根据权利要求3所述的系统，其特征在于，所述光源采用前向光源，所述前向光源采用条形光源。

5.根据权利要求4所述的系统，其特征在于，所述相机的镜头焦距为8±1.5mm。

6.一种基于机器视觉的SD卡形态识别方法，其特征在于，所述方法应用于权利要求1所述的基于机器视觉的SD卡形态识别系统中，所述方法包括：

采用条形的前向光源照射SD卡，并利用镜头焦距为8±1.5mm的相机获取SD卡图像，所述SD卡图像为SD卡处于打印料盘内的图像；

采用自适应阈值分割算法和基于多特征融合的形态识别算法对SD卡图像进行形态识别；所述自适应阈值分割算法包括改进大津法阈值分割算法、基于改进模板匹配的定位算法；

所述改进大津法阈值分割算法中增加自适应变量系数k以进行明暗场的自适应判断；所述基于改进模板匹配的定位算法利用SD卡中金手指模板的区域特征进行模板匹配定位；

所述自适应变量系数k的计算方法如式(1)：

式(1)中，u为SD卡图像灰度均值；u＝w₀u₀+w₁u₁，w₀、u₀分别为SD卡图像中背景的概率与均值，w₁、u₁为SD卡图像中前景的概率与均值，则SD卡图像的灰度均值更新为：u’＝w₀u₀+k*w₁u₁。

7.根据权利要求6所述的方法，其特征在于，所述利用SD卡中金手指模板的区域特征进行模板匹配定位，包括：根据SD卡中金手指图像的行列投影特征进行多次模板匹配得到金手指精确坐标。

8.根据权利要求7所述的方法，其特征在于，所述采用基于多特征融合的形态识别算法对SD卡图像进行形态识别，包括：

根据得到的金手指精确坐标获取金手指二值图像，进而得到金手指的多个特征，所述多个特征包括：金手指的位置特征、形状特征、面积特征、倾斜度特征，以及与模板的匹配度特征，对所述金手指的多个特征提取特征向量，对特征向量进行分类，得到SD卡在料盘中的形态。

Images