CN103994718A - 基于显微镜以及计算机视觉的微小电子元件定位识别方法 - Google Patents

Abstract

本发明公开了一种基于显微镜以及计算机视觉的微小电子元件定位识别方法，该方法包括以下步骤：使用工业电子CCD摄像头，连接光学显微镜，通过光学显微镜对载物台上的散落的大量电子元件进行拍摄，得到整幅图片；切割所述整幅图片，提取出其中的单个电子元件图片；对切割得到的各单个电子元件图片进行图像增强；依据上述步骤三图像增强的各单个电子元件图片，实现电子元件识别，重复步骤三、四，直至所有电子元件均完成识别定位。与现有技术相比，本发明能够极大地提高微小电子元件定位识别的效率，并且识别结果具有极好的稳定性和精度；同时，所使用的图像增强处理对显微镜采集的电子元件图像有明显的辨别度提升，能够帮助识别算法更好地界定边界。

Description

基于显微镜以及计算机视觉的微小电子元件定位识别方法

技术领域

本发明涉及电子元件工业识别技术，特别是涉及一种基于显微镜和工业摄像技术的元件定位识别方法。

背景技术

随着高新技术的发展，尤其是电子产业的飞速发展、质量规格标准化进程加速以及相关质量控制体系的完善，现代电子企业对于电子元件的几何尺寸和形状位置的检测精度、速度和效益提出了越来越高的要求。

对于电子元件生成厂商，如三星、Intel、京瓷、飞思卡尔等，每天都会产出上千万数量级的电子元件，而这些元件的良品率是对该电子元件生产线评价的重要标准，同时物理尺寸又是良品率的一个重要参考项。如何对超大量的电子元件更高效、更准确的进行物理识别成为了现代企业质量控制的关键环节。

目前大多数企业仍然在采用传统的识别方式，也就是人工进行识别的方式，通过千分尺和螺旋测微计进行识别。然而传统的人工识别有着极大的弊端：

1、识别效率低下

现今电子元件多是微小部件，人工拿放尚不易，操作对其的识别更是困难。对于越是尺寸小的电子元件，识别的速度就越慢。经调查，在实际生成过程中，需要进行尺寸识别的最小元件是长400um，宽约200um，高约200um的元件，人工采用螺旋测微器进行识别，每测1个元件，熟练的员工大概需要2分钟时间，一个人工作8小时每天，全时段高效工作，一天能识别240个此类零件，这样的数量对于上千万的电子元件的日产能，质量检测的效率太过低下。目前大多数厂商的应对方法都是增加人工以及减少抽样比，然而增加人工必定导致企业成本的迅速增长，减少抽样比会使得产品的品质得不到保障，所以这是目前大多数电子元件生产厂商面临的最为严峻的问题。

2、识别过程的人员差异性大，难以将识别标准化

由于识别效率比较低下，所以通常对于电子元件的尺寸识别都是由大量工作人员进行。同时由于采用的是千分尺以及螺旋测微器此类机械识别工具，操作过程很难进行标准化，每个人对于机械工具拧到位的认知不同，并且很大程度依赖于自己的主管触觉，这样的操作方式就导致了同样的一个元件，同样的识别工具给不同的工作人员进行识别仍然会出现很大的差异。同时由于电子制造业的工作不稳定性，工作人员经常变动，所以人员识别过程的差异性极大地影响了识别的可靠性。

3、识别设备容易产生损耗

传统识别过程采用的是千分尺以及螺旋测微器这类机械设备，在识别使用过程中，由于每次识别都需要与电子元件进行物理接触，所以非常容易造成识别工具的磨损，并影响识别结果。目前企业常用的应对方式就是加快识别设备的校准频率，然而这样的方式必然影响识别效率，同时也并没有从根本上解决问题。

4、识别容易被杂质影响

传统人工识别方式，识别过程电子元件必定会接触人手，人手上的杂质非常容易粘到电子元件上，虽然杂质都很微小，但是相对于微小的电子元件来说，这样的误差是很严重的。同时杂质有在识别过程中粘到识别工具的可能性，这样将对后续的所有识别都有影响。目前企业产用的解决方案是，定期使用如酒精的液体擦拭识别工具，以保证识别工具的洁净，然而这样的方式同样也会影响识别效率，同时解决不了太大的问题。

所以，目前对于微小电子元件的高效的、准确的、标准化的识别成为了工业识别领域一个亟待解决的问题，同时也是有着极大应用前景的技术。

现代视觉理论和技术的发展，不仅在于模拟人眼能完成的功能，更重要的是它能完成人眼所不能胜任的工作，所以计算机视觉识别技术作为当今最新技术，在电子、光学和计算机等技术不断成熟和完善的基础上得到了突飞猛进的发展。与计算机视觉侧重研究视觉模式识别、视觉理解等内容不同，计算机视觉识别技术重点研究物体的几何尺寸及物体的位置识别。

同时，基于计算机视觉的识别技术有以下几方面的优势：

1)提高效率；使用计算机视觉技术，通常可以在一幅图像中批量处理多个元件，从而极大提高了效率，并且计算机处理不需要对过小元件进行物理操作，能够加快操作流程。

2)消除差异性；机器容易标准化，容易消除不同个体带来的差异。

3)无识别损耗；

4)无需接触人体，不易受人体杂质影响。

参考文献：

[1]Breu H,Gil J,Kirkpatrick D,et al.Linear time Euclidean distance transform algorithms[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,1995,17(5):529-533.

[2]Beucher S.The watershed transformation applied to image segmentation[J].SCANNINGMICROSCOPY-SUPPLEMENT-,1992:299-299.

[3]Zheng-hu Z H U.Optimized Research on Assembly Quality of MLCC[J].ElectronicsProcess Technology,2008,6:003.

[4]Van der HeijdenF.Image based measurement systems:object recognition and parameterestimation[J].1994.

[5]Baird H S,Jones S E,Fortune S J.Image segmentation by shape-directedcovers[C]//Pattern Recognition,1990.Proceedings.,10th International Conference on.IEEE,1990,1:820-825.

[6]Nikolaidis A,Pitas I.Region-based image watermarking[J].IEEE Transactions on imageprocessing,2001,10(11):1726-1740.

[7]Wang J,Mei A.Industrial monitoring and controlling system for an integrated single-chipcomputer with a linear CCD image sensor[C].Nondestructive Evaluation Techniques forAging Infrastructures&Manufacturing.International Society for Optics and Photonics,1999:84-92.

[8]Sankowski D,Strzecha K,Jezewski S,et al.Computerized device with CCD camera formeasurement of surface tension and wetting angle in solid-liquid systems[C].Instrumentationand Measurement Technology Conference,1999.IMTC/99.Proceedings of the16th IEEE.IEEE,1999,1:164-168.

[9]张业鹏,何涛.机器视觉在工业识别中的应用与研究[J].光学精密工程,2001,9(4):324-329.

[10]席斌,钱峰.机器视觉识别系统在工业在线检测中的应用[J].工业控制计算机,2006,18(11):75-76.

[11]李庆利.尺寸识别中的边缘检测算法研究[J].计算机识别与控制,2004,12(4):334-337.

发明内容

为了克服上述现有技术存在的问题，本发明提出一种基于显微镜以及计算机视觉的微小元件定位识别方法，通过显微镜以及工业数字摄像头获取待识别工业元件图像，并使用图像分割、图像增强、图像识别等相应图像处理方式进行组合，实现全自动大批量的工业元件定位识别。

本发明提出了一种基于显微镜以及计算机视觉的微小电子元件定位识别方法，该方法包括以下步骤：

步骤一、使用工业电子CCD摄像头，连接光学显微镜，通过光学显微镜对载物台上的散落的大量电子元件进行拍摄，得到整幅图片；

步骤二、切割所述整幅图片，提取出其中的单个电子元件图片；

步骤三、对切割得到的各单个电子元件图片进行图像增强；

步骤四、依据上述步骤三图像增强的各单个电子元件图片，实现电子元件识别；

对切割得到的下一单个电子元件重复步骤三、四，直至整幅图片中所有电子元件均完成识别定位。

所述步骤二的切割所述整幅图片，提取出其中的单个电子元件图片，还包括以下处理：

对所述的整幅图片进行二值化操作，得到二值化图像，进行前景、后景标记；

对上述的二值化图像进行距离变换，得到灰度图像；

将灰度图像进行归一化处理并二值化，得到区域掩码(Mask)灰度图像；

以区域掩码(Mask)作为分水岭算法的各初始区域，依据分水岭算法进行所述整幅图片切割，最终得到各单个电子元件的位置和轮廓，提取出单个电子元件图片。

所述步骤三的对切割得到的各单个电子元件图片进行图像增强，还包括以下处理：

获取某单个电子元件图片，计算其灰度直方图；

记录下其主要集中分布区间，即找到直方图中灰度集中部分的最小点与最大点，分别为a_i与b_i；

将单个电子元件图片进行灰度压缩，将主要分布区间以外的灰度值都设置成相应的主要分布区间边界；即遍历所有像素点，对于灰度值小于a_i的将其灰度值设置为a_i，对于灰度值大于b_i的将其灰度值设置为b_i，以此将原灰度0-255的变化空间，压缩至a_i-b_i的空间中；

归一化图像，进行灰度空间拉伸恢复，使得图像的灰度空间再度扩充到0-255之间，增强电子元件的边缘图像细节，使得边缘部分的灰度变化更加细致，具阶梯化。

所述步骤四的对经图像增强的各单个电子元件图片，实现电子元件识别，还包括以下处理：

对经图像增强的各单个电子元件图片从图像中点进行漫水填充，使得图像变成电子元件为前景，其余为背景的二值图像；

使用连通区域标记，寻找最大连通区域，也就是电子元件的所在；

使用最小面积外包络矩形算法计算出电子元件的长与宽。

与现有技术相比，本发明的实验结果标明：提出的图像增强方法对显微镜采集的电子元件图像有明显的辨别度提升，能够帮助识别算法更好地界定边界。同时本发明的整套识别框架能够极大地提高微小元件的识别效率，并且识别结果具有极好的稳定性和精度。

附图说明

图1为本发明的基于显微镜以及计算机视觉的微小元件定位识别方法整体流程图；

图2为本发明的实施例的识别设备结构示意框图；

图3为微小元件切割标记流程图；

图4为微小元件切割标记示例效果图；

图5为对微小元件边缘图像增强示例效果图；

图6为多尺寸MLCC识别，与人工识别对比图。

具体实施方式

首先，使用工业电子CCD摄像头，连接光学显微镜采集系统，由测试人员在PC端控制摄像头拍摄包括散落在显微镜的载物台上的电子元件的整幅图片；之后，通过图像分割算法(距离变换和分水岭分割的方法)将元件轮廓提取分割出来；然后，通过对图像进行灰度空间压缩以及归一化操作增加图片，加强边缘灰度变化细节；最后，将加强的图片使用漫水填充以及最小包围矩形算法识别电子元件的长和宽的物理信息，将单个元件定位并把其图像片段提取出来，使用自主创新的方法对图片进行增强，最后进行图像识别。

下面将结合附图对本发明具体实施方式作进一步地详细描述。

第一步：架设光学显微镜，由测试人员在PC端控制工业电子CCD摄像头通过光学显微镜对载物台上的散落的大量电子元件的进行拍摄，得到整幅图片I，将图片I传输到计算机上。

在电子元件散落过程，如果采用人工摆放的方式将每个元件放置到预先设置的位置，达到某给定区域仅有此一元件，这样的摆放方式将极大方便后继的图像处理识别过程，然而这样的摆放方式极度耗时耗力，严重影响识别的效率。所以，本发明的解决方案仅需要测试工作人员随意洒落在显微镜的载物台上(没有遮挡即可)，并通过图片切割的处理方法将单个元件提取出来。

第二步：切割图片，对单个电子元件进行定位和提取。

2.1、对图片I选择合适阈值或者采用自适应阈值进行二值化操作，得到二值化图像图片I_bin，进行前景、后景标记；

2.2、对二值化图像I_bin进行距离变换，得到灰度图像I_distancs；

将前景的每个像素到其最近的后景像素的距离记录下来，用此距离作为结果图片的距离变换值

D(p)＝min{d(p，q)|q∈Q}

其中p表示前景的某一点，D(p)表示该点在结果图片的值，Q表示背景的所有点，q∈Q表示对背景的所有点进行遍历，d(p，q)表示两像素的距离。

2.3、将灰度图像I_distancs归一化并二值化，得到区域掩码(Mask)灰度图像I_mask；通过标记确定好切割区域边界的连通区域，另一方面，将各不连通区域用不同的标号和背景标记出来，得到一个标记好不同区域掩码(Mask)。

2.4、进行分水岭分割，标记各区域，并提取相应的小图片集合{I_i}。

上述切割图片的处理方法主要可以描述为以下几个步骤：

(1)对图片进行距离变换；首先对图片的图像选择合适阈值或者采用自适应阈值进行二值化操作，得到的二值图像进行前景、后景标记，距离变换就是将前景的每个像素到其最近的后景像素的距离记录下来，用此距离作为结果图片的距离变换值。

D(p)＝min{d(p，q)|q∈Q}

其中p表示前景的某一点，D(p)表示该点在结果图片的值，Q表示背景的所有点，q∈Q表示对背景的所有点进行遍历，d(p，q)表示两像素的距离；(请补充Q表示的含义)。

(2)、确定切割区域边界；对得到的图片的距离变换值D(p)进行归一化处理，然后通过选择合适阈值或者采用自适应阈值确定切割区域边界(也是采用二值化处理)。

(3)、做切割区域标记；通过连通区域标记方式，将确定好切割区域边界的各不连通区域用不同的标号标记出来，同时也将背景标记出来，此时将得到一个标记好不同区域掩码(Mask)。

(4)、使用分水岭算法进行图像切割；通过步骤(2)得到的掩码(Mask)作为分水岭算法的各初始区域，进行基于模拟浸水(Flooding)的分水岭切割，将得到最终各电子元件的位置，以及可提取出单个元件图片。

正如现有技术的记载：在该算法中，可将灰度图看做是地势图，也可叫做等高线图，每个像素的灰度值就可以看做该地点的高度。基于模拟浸水(Flooding)的分水岭切割设想此地形中的最低点(种子点)即盆地，当水从盆地底不断的浸入其中，则该地形由谷底向上将逐渐的被淹没，当两个集水盆地的水将要汇合时，可在汇合处建立堤坝，直到整个地形都被淹没，从而就得到了各个堤坝(分水岭)和一个个被堤坝分开的盆地(目标物体)。分水岭算法的优点在于它可以得到单一像素宽度的连续的边界，能检测出图像中粘连物体的微弱的边缘。

基于模拟浸水(Flooding)的分水岭变换算法分为3步：

a)按灰度值的递增顺序给像素排序并存储，以便于直接快速访问相关像素；

b)使用区域掩码(Mask)作为各目标物体的已有区域，并分别赋予相应的不同的盆地标号；

c)模拟浸水(Flooding)过程，步骤如下：①设置阈值h，对于所有未被标记的灰度值为h+1的像素，寻找其四连通区域像素，如其中有1个像素具有盆地标号，则将该灰度值为h+1的像素标记为对应的盆地标号，如果其中2个或以上的像素具有盆地标号，则将灰度值为h+1的像素标记为分水岭(也就是物体边界)，如果没有盆地标号则先不处理；②接着对h+2的像素进行如①的扫描过程，直到达到图像的最高灰度值，循环处理；③如果尚有没标记的像素，则将该像素设置为阈值，再进行①，②，③的处理。

第三步：对切割得到的各单个电子元件图片进行图像增强：

3.1、获取某单个元件图片I_i，计算其灰度直方图hist_i；

3.2、记录下其主要集中分布区间，即找到直方图中灰度集中部分的最小点与最大点，分别为a_i与b_i；

3.3、将单个元件图片进行灰度压缩，将主要分布区间以外的灰度值都设置成相应的主要分布区间边界；即遍历所有像素点，对于灰度值小于a_i的将其灰度值设置为a_i，对于灰度值大于b_i的将其灰度值设置为b_i，以此将原灰度0-255的变化空间，压缩至a_i-b_i的空间中；

3.4、归一化图像，进行灰度空间拉伸恢复，使得图像的灰度空间再度扩充到0-255之间，增强电子元件的边缘图像细节，使得边缘部分的灰度变化更加细致，具阶梯化。

未经过图像增强的单个电子元件图片边缘信息很模糊，如果直接将其应用到图像识别中将对识别结果的准确性产生不良影响，同时也易造成识别结果的不稳定。所以，本解决方案在测试了大量图像增强，边缘定位，以及亚像素边缘提取等方案后，因此上述图像增强是本发明自主创新的一种应用于电子元件识别效果很好的图像增强方法。

第四步：对单个元件图片进行图像识别：

4.1、对上述已经增强处理的电子元件图片从图像中点进行漫水填充，使得图像变成元件为前景，其余为背景的二值图像；

4.2、使用连通区域标记，寻找最大连通区域，也就是元件的所在；

4.3、使用最小面积外包络矩形算法计算出电子元件的长与宽。

实施效果验证，包括以下两个方面的验证结果：

与人工识别结果准确性比对验证：

使用对比试验的方法验证本发明的识别准确性。随机各挑选出20个0402,0603以及1005尺寸的MLCC电子元件，将电子元件编号保存。第一组使用本发明的方法进行识别，并记录下识别结果以及相应编号；第二组将同一批电子元件采用人工进行识别，让同一熟练工人使用全新识别设备进行识别，并且每次识别完一个零件均使用酒精清洗识别设备以保证测试准确性。

最终结果表明，本发明的识别结果与人工相比较，0402元件在±4um之间，0603元件在±5um之间，1005元件在±6um之间。具有很高的准确性。

表1：对于MLCC的0402尺寸多个元件识别，与人工识别准确度对比表

元件序号	人工测量L	本发明测量L	人工测量W	本发明测量W
					1	407	406	204	200
2	405	407	206	207
					3	406	402	193	195
4	401	405	195	193
					5	409	408	195	191
6	406	404	205	208
					7	413	411	203	207
8	405	407	203	205
					9	405	401	197	200
10	408	405	192	195
					11	408	410	203	206
12	398	401	203	200
					13	407	404	197	194
14	404	400	195	198
					15	407	410	205	202
16	406	402	201	204
					17	403	406	204	208
18	404	400	206	202
					19	402	400	193	197
20	397	401	195	191

与人工识别结果稳定性比对验证：

使用对比试验的方法验证本发明的识别准确性。随机各挑选出10个0402电子元件，将电子元件编号保存。第一组使用本发明随机拨动元件位置，翻滚元件，识别10次；第二组将同一批电子元件采用人工进行识别，随机挑选10个员工进行识别，分别记录下结果。

最终结果表明，本发明的识别同一个元件的不同识别结果间差别在±2um之间，而不同人工的识别结果在±10um之间波动。

表2：对于MLCC的0402尺寸一个元件识别，与人工识别稳定性对比表

测量次数	人工测量L	本发明测量L	人工测量W	本发明测量W
					1	404	400	208	203
2	400	402	199	201
					3	390	399	210	199
4	410	401	195	200
					5	405	401	190	201
6	408	400	204	199
					7	395	398	203	203
8	400	402	197	203
					9	397	401	208	199
10	401	398	196	200

通过实例论述本发明的技术效果：

在对于MLCC(片式多层陶瓷电容器)的0402尺寸(长400um，宽200um)的识别上，可以一张图片拍下60个可识别元件，识别过程约耗时1-2分钟。与此对比，传统的人工识别方式，每个元件需要花费约2分钟时间，共需话费约120分钟。本发明在效率上有极大提升。同时，对于同一个元件，使用本发明多次识别，识别结果的波动在±2um之间，具有很好的稳定性。最后，本发明的识别结果与一位熟练测试人员，使用全新传统识别设备并每次识别均擦拭设备进行比较，经过多次识别比较，结果误差在±4um之间，表示本发明的识别准确性也可以得到保证。

Claims (4)

1.一种基于显微镜以及计算机视觉的微小电子元件定位识别方法，其特征在于，该方法包括以下步骤：

步骤一、使用工业电子CCD摄像头，连接光学显微镜，通过光学显微镜对载物台上的散落的大量电子元件进行拍摄，得到整幅图片；

步骤二、切割所述整幅图片，提取出其中的单个电子元件图片；

步骤三、对切割得到的单个电子元件图片进行图像增强；

步骤四、依据上述步骤三图像增强的单个电子元件图片，实现电子元件识别，

对切割得到的下一单个电子元件重复步骤三、四，直至整幅图片中所有电子元件均完成识别定位。

2.如权利要求1所述的基于显微镜以及计算机视觉的微小电子元件定位识别方法，其特征在于，所述步骤二的切割所述整幅图片，提取出其中的单个电子元件图片，还包括以下处理：

对所述的整幅图片进行二值化操作，得到二值化图像，进行前景、后景标记；

对上述的二值化图像进行距离变换，得到灰度图像；

将灰度图像进行归一化处理并二值化，得到区域掩码灰度图像；

以区域掩码作为分水岭算法的各初始区域，依据分水岭算法进行所述整幅图片切割，最终得到各单个电子元件的位置和轮廓，提取出单个电子元件图片。

3.如权利要求1所述的基于显微镜以及计算机视觉的微小电子元件定位识别方法，其特征在于，所述步骤三的对切割得到的各单个电子元件图片进行图像增强，还包括以下处理：

获取某单个电子元件图片，计算其灰度直方图；

记录下其主要集中分布区间，即找到直方图中灰度集中部分的最小点与最大点，分别为a_i与b_i；

将单个电子元件图片进行灰度压缩，将主要分布区间以外的灰度值都设置成相应的主要分布区间边界；即遍历所有像素点，对于灰度值小于a_i的将其灰度值设置为a_i，对于灰度值大于b_i的将其灰度值设置为b_i，以此将原灰度0-255的变化空间，压缩至a_i-b_i的空间中；

归一化图像，进行灰度空间拉伸恢复，使得图像的灰度空间再度扩充到0-255之间，增强电子元件的边缘图像细节，使得边缘部分的灰度变化更加细致，具阶梯化。

4.如权利要求1所述的基于显微镜以及计算机视觉的微小电子元件定位识别方法，其特征在于，所述步骤四的对经图像增强的各单个电子元件图片，实现电子元件识别，还包括以下处理：

对经图像增强的各单个电子元件图片从图像中点进行漫水填充，使得图像变成电子元件为前景，其余为背景的二值图像；

使用连通区域标记，寻找最大连通区域，也就是电子元件的所在；

使用最小面积外包络矩形算法计算出电子元件的长与宽。