CN114049326A - 一种基于视觉的电子元器件大批量计数方法与装置 - Google Patents
一种基于视觉的电子元器件大批量计数方法与装置 Download PDFInfo
- Publication number
- CN114049326A CN114049326A CN202111354619.9A CN202111354619A CN114049326A CN 114049326 A CN114049326 A CN 114049326A CN 202111354619 A CN202111354619 A CN 202111354619A CN 114049326 A CN114049326 A CN 114049326A
- Authority
- CN
- China
- Prior art keywords
- counting
- image
- connected domain
- components
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000000463 material Substances 0.000 claims abstract description 42
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 230000007613 environmental effect Effects 0.000 claims abstract description 6
- 238000003709 image segmentation Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 46
- 238000012360 testing method Methods 0.000 claims description 14
- 238000005286 illumination Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000033001 locomotion Effects 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000003860 storage Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 9
- 238000005259 measurement Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 6
- 239000012535 impurity Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 102000020897 Formins Human genes 0.000 description 1
- 108091022623 Formins Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明涉及电子元器件用计数方法技术领域,具体涉及一种基于视觉的电子元器件大批量计数方法与装置,包括如下步骤:步骤一:料仓上料,控制振动盘振动,使元器件物料被均匀打散;步骤二:利用工业相机采集元器件第一目标图像;步骤三:对第一目标图像进行傅里叶变换转换到频域范围内,并使用预先设计好的高斯带通滤波器进行滤波,去除环境噪音,生成高斯椭圆;步骤四:进行基于灰度的图像分割,生成代表着元器件分布的高斯密度图,同时计算得出每块独立的连通域的各自面积;步骤五:计算全局平均连通域面积,通过特定规则将其与每个独立的连通域分别进行分析计算;在生产线实测过程中,学习成本低,易于上手,准确率可达99.9%。
Description
技术领域
本发明涉及电子元器件用计数方法技术领域,具体涉及一种基于视觉的电子元器件大批量计数方法与装置。
背景技术
随着我国科技的飞速发展,电子元器件的地位日趋重要,应用范围也越来越大。特别是在如今全球缺芯、各国间贸易摩擦频繁的大背景下,国内对于芯片等电子元器件的需求也随之暴增。不论对于哪种电子元器件而言,历经从最初设计到最终生产的整个流程,合格的产品在定量包装之前,都会进行多次计数操作,这样才能保证每额定数量的元器件充足且无多余,从而使得电子元器件在工业生产的各个环节都能得到有力的管控,同时也能避免由元器件计数不准而导致的物料缺少或者是浪费等问题。电子元器件生产的数量众多,目标尺寸越来越小,检测过程极易受外界因素干扰。尽管机器检测逐渐取代人工劳作,但基于以上特点,其检测精度仍然不能满足现代化生产的需求,高精度且智能化的检测手段是解决这一问题的重要途径。
在实际生产中,检测目标常常成千上万,这就给每一批产品的计数时间带来了很大的挑战。另外,面对如此庞大的数量,特别是微小元器件,各个元器件之间难以避免地会出现重叠、粘连等现象,再加上外界杂质等一些不可控环境因素的干扰,以上众多问题都会对最终的计数结果造成糟糕的影响。目前,很多生产现场仍然才有人工点数的方法来应对技术的需求,这样耗工耗时、准确率低下的作业方式急需被取代。也有一些机械的方法(例如定数栅格盘计量法),效率有所提升,但还需要大量的人工参与,成本、效率和准确率仍然不能满足要求。现在比较流行视觉的方法,多采用模板匹配的方法进行元器件计数,但该方法速度较慢,且只能对一种特定的元器件做计数检测,针对其他型号的元器件,则需要人工重新去建立合适的模板图像,而且对于小目标的检测还不理想。还有人在元器件X光图像上使用单一阈值分割的方法来进行计数,这种方法速度较快,但分割的精度对周围环境要求过高,对于堆叠、粘连元器件的计数效果较差。且X射线等设备成本高昂,维护困难,且对人体有伤害性,不利于产品批量的部署与应用,与此同时,此方法也易受到杂质等外界因素影响,检测效率较低。
综上,现有电子元器件计数检测技术存在难以检测大批量的细小、粘连目标,且易受外界环境干扰、专用性过强、硬件成本过高、人工参与量过高、检测效率低的问题。
发明内容
针对现有技术的不足,本发明提供了一种基于视觉的电子元器件大批量计数方法与装置,基于该方法的系统能满足日常各类计数需求,并具有面简单易用的操作界面,学习成本低,易于上手。在生产线实测过程中,准确率可达99.9%。
本发明通过以下技术方案予以实现:
一种基于视觉的电子元器件大批量计数方法,包括如下步骤:
步骤一:料仓上料,控制振动盘振动,使元器件物料被均匀打散;
步骤二:利用工业相机采集元器件第一目标图像;
步骤三:对第一目标图像进行傅里叶变换转换到频域范围内,并使用预先设计好的高斯带通滤波器进行滤波,去除环境噪音,生成高斯椭圆;
步骤四:进行基于灰度的图像分割,生成代表着元器件分布的高斯密度图,同时计算得出每块独立的连通域的各自面积;
步骤五:计算全局平均连通域面积,通过特定规则将其与每个独立的连通域分别进行分析计算,得到粘连元器件第一次计数结果;
步骤六:根据高斯椭圆灰度渐变的特性,通过计算与统计粘连高斯椭圆最大灰度峰值数,得到粘连元器件第二次计数结果;
步骤七:通过两次对粘连元器件物料的计算,分析得到最终的计数结果,将其写入文档,并及时传输给上位机软件进行显示;
步骤八:形成计数报告。
优选的,所述步骤一中的具体使用方法为:料仓上料,首先使一批元器件装载于料仓内,在上位机软件界面上设置料仓振动方式和持续时间来适应不同种类的物料,其值的大小根据现场实际情况设置,同时系统也给出了部分的专家库,供用户直接调用或参考调用;当物料就位后,通过预先设置好的程序,控制振动盘进行有规律的振动,使物料均匀分散开来。
优选的,所述步骤二中的具体使用方法为:部署工业相机、光源设备,在调试好各项参数的情况下,采集元器件第一目标图像,对采集到的样本图像的要求为光照均匀、细节清晰、视野合适、曝光及对比度得当。
优选的,所述步骤三中的具体使用方法为:首先对工业相机采集的目标图像通过设定合适的阈值进行形态学处理,去除噪点使图像更加平滑,得到经过增强的灰度图像,由于光源采用的是高强度白色背光,此时元器件会在相机下呈现黑色,为了更好地凸显检测目标,灰度图像会进行一次反色操作,随后再将此反色后的灰度图像利用傅里叶运算变换到频域中,并在其基础上根据图像中目标元器件的像素大小,设计合适的高斯带通滤波器进行滤波,一方面是为了进一步排除无关背景噪声对检测结果的干扰,另一方面是为了在每一个元器件的中心位置坐标上生成对应大小的高斯椭圆。
优选的,所述步骤四中的具体使用方法为:经过步骤三得到的图像,是一幅由一个个均匀分布的高斯椭圆所组成的密度图,此密度图直观展现了所有被检测目标的分布状态,在此基础上通过设置一个最大灰度阈值与最小灰度阈值,找出在此范围内的检测目标;
最大灰度阈值与最小灰度阈值的选取的条件:满足不漏掉任何一个目标,同时也不能包含任何一个虚景的原则;在此条件下检测到的目标为相互独立、互不包含的连通域,与此同时可以计算出总数与单个连通域面积的大小。
优选的,所述步骤五中的具体使用方法为:步骤四中所得到的连通域包含两种类别:一类是只含有一个目标的连通域,另一类则是多个元器件连在一起的连通域;
由于当元器件数量基数足够大时,第二类情况的出现次数远小于第一类,于是在已知连通域总数与每个连通域面积大小的情况下,通过求得平均连通域面积并将其与单个连通域面积进行比较,通过确定一个合适的阈值,可以初步判断每个连通域里的目标数量;
阈值大小由单个连通域面积与平均连通域面积的比值确定,遵照的原则为不漏掉任何一个目标,同时也不能包含任何一个虚景。通过此方法即可得到粘连元器件的初步计数结果。
优选的,所述步骤六中的具体使用方法为:由于在步骤三中可以得到代表着每个元器件位置的高斯椭圆,依据高斯椭圆的灰度渐变特性,随后在步骤五所初步确定的粘连元器件目标中,计算得出连通域内符合条件的最大灰度峰值数,得到粘连元器件的第二次计数结果。
优选的,所述步骤七中的具体使用方法为:对粘连目标区域的两次计数结果进行分析;
当两次计数结果保持一致时,直接将其数量作为粘连目标的最终检测结果;
当两次计数结果不一样时,此时系统会预先按照用户的偏好设置取最大值或是最小值,然后给出最后的计数结果;
当在保存检测结果图像时,会将此类区域单独标出并显示在上位机软件界面上,以便在有需要的时候及时进行查验与追溯;
在进行一次计数任务后,系统会将获取到的元器件批号、检测时间、计数结果信息;一方面遵照一定的命名规则以原图与结果图的形式保存在当前检测批号的文件夹内,另一方面在检测过程中也会同步将这些信息进行整理写入txt文档,将其传送到上位机储存,并在屏幕上进行显示。
优选的,所述步骤八中的具体使用方法为:上位机软件将接收到的元器件计数结果和与其相关的测试信息分别以原图、结果图、日志文档的形式分批进行整合,最终形成测试报告并永久保存;在检测完一批物料之后,如下一批产品类型特征变化较大,则切换至预先设置好的保存了对应固定参数阈值的品类模式,即可展开下一步的物料检测工作。
本发明还提供了如下技术方案:一种采用上述所述的基于视觉的电子元器件大批量计数方法进行工作的装置,包括自动上料机构、振动盘、光学系统和上位机;
其中所述振动盘包括V1、V2、V3、V4四个振动马达;且所述振动盘在进行工作时,包括如下七种振动模式:上下聚中、左右聚中、振散、向上/下/左/右移动;
所述振动盘进行使用时,首先执行上下聚中的振动模式,再执行左右聚中的振动模式,最后执行振散的振动模式,达到均匀振散元器件物料的目的,极大提升了后期检测精度。
本发明的有益效果为:基于该方法的系统在生产线实测过程中,准确率可达99.9%,具有以下优点:
1、柔性振动盘模块一方面能连续、稳定、精确地输送所需物料,另一方面能在最大程度上均匀打散待测目标,且具有智能补料功能,大大减少了因人工取料而造成的时间浪费,从而提高生产效率;
2、能一次性对上千颗最小尺寸为0.3mm*0.5mm的元器件等微小电子器原件进行大批量计数,并根据振动盘面积的大小,理论最大可计数数量峰值可达10000;
3、配合振动盘模块,能迅速、准确地识别物料数量,平均精度为99.9%;
4、单帧图像的检测速度远小于行业平均水平,单次计数时间均小于0.5秒;
5、对粘连物料有着较好的检测效果,并具备通信传输功能,具体情况能及时显示于上位机软件;
6、对于环境噪声以及不同类物料,系统均能高效地进行识别,具有很好的抗干扰能力与鲁棒性,解决了以往视觉检测系统易受环境杂质干扰,系统泛化能力不强等问题;
7、能将物料计数结果通过网口发送到检测机台,检测机台上位机软件在接收到数据会后将其立即写入到输出文件中,在每一批物料完成计数后,均会生成对应检测结果测试报告;
8、视觉系统具有单次、连续计数、历史数据储存等功能,满足日常各类计数需求,且具有清晰简明的操作界面,学习成本低,易于上手。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的工作流程图;
图2是本发明的上位机软件界面图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1~2所示,本实施例具体公开提供了元器件用码盘机构的技术方案,包括:使用特定方法控制柔性振动盘模块,对元器件进行智能装载与理料,以达到最大限度上计数对象均匀分布的效果;在可见光条件下使用视觉设备对振动盘上的物料进行拍摄,并将振动盘上计数区域单独提取出来,使其为第一图像;设计合适的高斯带通滤波器,对第一图像进行预处理,得到去除背景噪声以及外界杂质后的第二图像;对第二图像做包含膨胀、腐蚀、高帽变换在内的进一步增强,得到较高质量的第三图像;在第三图像上进行基于灰度的图像分割,分离出代表着元器件位置的高斯密度图,作为第四图像;根据高斯密度图上目标的分布特点,计算出每块区域的连通域面积,同时得出第一次包含粘连元器件的计数的结果;由于粘连元器件仅占少数,再通过平均连通域面积的计算,便可以将粘连目标单独提取出来,此为第五图像;单一基于连通域面积的方法存在会一定的误判,此时在第五图像上,根据高斯椭圆灰度渐变的特性,通过计算与统计特定区域目标高斯椭圆最大灰度峰值数,便能进一步判定粘连区域的元器件数量;随后将检测结果记录下来,并将其发送给客户端并显示于上位机软件界面;最终,系统会将这一批批历史数据进行整理、打包,并生成相应结果报告。
具体的,包括如下步骤:
S1:步骤一:料仓上料,首先使一批元器件装载于料仓内,在上位机软件界面上设置料仓振动方式和持续时间的来适应不同种类的物料,其值的大小根据现场实际情况设置,同时系统也给出了部分的专家库,供用户直接调用或参考调用。当物料就位后,通过预先设置好的程序,控制振动盘进行有规律的振动,使物料在最大限度上均匀分散开来。
而且还具体包括如下:自动上料机构,在上位机软件界面上修改上料机构的运动方式和上料时间参数来调节送料量,对于数量较大且尺寸较小的元器件元件而言,振幅的大小取10较为合适。在此状态下送料速度可达500片/秒。对于上千片目标的计数任务而言,送料时间通常只需3秒即可。
振动盘理料,在上位机软件界点击振动按钮,即可开始执行物料的理料工作。振动盘包含V1、V2、V3、V4四个振动马达,和组成7种运动方案(上下聚中、左右聚中、振散、向上/下/左/右移动)。根据元器件的物理特性,根据测试发现首先执行上下聚中的振动模式(此时V1、V2的开始相位置为0,终止相位置为50。V3、V4的开始相位置为50,终止相位为100。振动频率为25,振动功率为100,持续1秒),再执行左右聚中的振动模式(此时V1、V3的开始相位置为0,终止相位置为50。V2、V4的开始相位置为50,终止相位为100。振动频率为25,振动功率为100,持续1秒),最后执行振散的振动模式(此时V1、V2、V3、V4的开始相位置为0,终止相位置为50。振动频率为25,振动功率为100,持续1秒)可以更为出色地达到均匀振散元器件物料的目的,极大提升了后期检测精度。
S2:步骤二:部署工业相机、光源等设备,在调试好各项参数的情况下,采集电子元器件第一图像。对采集到样本图像的要求为光照均匀、细节清晰、视野合适、曝光及对比度得当。
而且部署相机、光源等设备,采集高质量的电子元器件样本图像。图像的采集依赖于一套完善的光学系统,本设备的光学系统由2200万像素的工业相机、25毫米焦距的镜头以及振动盘上的点阵背光所组成。光源的目的是为了辅助成像设备,提高成像质量。通过调节相机焦距、光圈大小、光照亮度、曝光时间、对比度、白平衡等参数,最终得到光照均匀、细节清晰、曝光及对比度得当的检测图像作为系统输入。随后会对相机的各项参数进行储存与锁定,在外界环境保持不变的情况下,这套参数将持续使用。
S3:步骤三:首先对相机采集的目标图像通过设定合适的阈值进行形态学处理,去除噪点使图像更加平滑,得到经过增强的灰度图像。由于光源采用的是高强度白色背光,此时元器件会在相机下呈现黑色,为了更好地凸显检测目标,灰度图像会进行一次反色操作。紧接着再将此反色后的灰度图像利用傅里叶运算变换到频域中,并在其基础上根据图像中目标元器件的像素大小,设计合适的高斯带通滤波器进行滤波。一方面是为了进一步排除无关背景噪声对检测结果的干扰,另一方面是为了在每一个元器件的中心位置坐标上生成对应大小的高斯椭圆。
而且对采集到的第一图像进行初步形态学处理,去除噪点使其更加平滑,并最终得到经过增强的灰度图像。本方法所用到的形态学处理方式包含膨胀、腐蚀、高帽变换以及中值滤波。首先对图像中的某一像素f(x,y),使用结构元g进行灰度形态学腐蚀运算,腐蚀可以使目标缩小,目标内的孔洞增大,能起到消除孤立噪声的作用,具体公式如下:
随后将腐蚀后的图像进行膨胀运算,使其恢复到与原来相似的大小,具体公式如下:
通过对采集到的图像先进行腐蚀再进行膨胀,整个过程也被称为图像的开运算,开运算能去除图像的一些“毛刺”,从而达到平滑图像的效果。但拍摄到的图像往往还会因为光源光照不均等影响,出现局部亮度变化明显的问题,使得振动盘周围四个角的对比度较低,因此还需要对图像进行光照校正。光照矫正采用的是高帽变换的方法,用较大的结构元对图像先进行开运算,然后再用原图像减去开运算的结果。具体公式如下:
h=f-fog
经过光照校正后的图像还会有很多噪声,对后续处理产生干扰,需要对图像进行滤波。试验发现,图像中噪声多为孤立亮点,中值滤波器能有效去除图像中较小的孤立亮点。为此,本例选用一个大小为3×3的中值滤波器,处理方法是用滤波模板在图像上逐个像素滑动,使其遍历整幅图像,对模板覆盖的像素亮度进行排序,选取中间值替换模板中心所在的像素值。
由于光源采用的是高强度白色背光,此时元器件会在相机下呈现黑色,为了更好地凸显检测目标,经过以上步骤处理过的灰度图像会最终进行一次反色操作。对于原图中的某一像素f(x,y),经反色操作后的对应新像素f’(x,y)满足:
f′(x,y)=255-f(x,y)
利用傅里叶运算变换到频域中。rft_generic(ImageGray,ImageFFT,Direction,Norm,ResultType,Width)算子提供了一种快速傅里叶变换方法,ImageGray为上一步所得到的灰度图像,ImageFFT为转换之后的频域图像,将第三个参数傅里叶变换的方向设置为频域方向'to_freq',将第四个参数变换的归一化因子设置为'none',将第五个参数图像的输出类型设置为'complex',将最后一个参数运行时优化的图像宽度设置为原图像的宽度Width即可。
在获取到对应的频域图像之后,首先通过gen_gauss_filter(GaussFilter,sigma1,sigma12,Phi,Norm,Mode,Width,Height)算子创建两个一定大小的高斯带通滤波器,GaussFilter1与GaussFilter12,并在其基础上根据图像中目标元器件的像素大小确定算子内7个参数的大小。这里对于GaussFilter1而言,这7个参数分别为(GaussFilter1,30.0,30.0,0.0,'none','rft',Width,Height)。对于GaussFilter2而言,这7个参数分别为(GaussFilter2,3.0,3.0,0.0,'none','rft',Width,Height)。在经过数次实验后发现,将这两个高斯带通滤波器利用算子sub_image(GaussFilter1,GaussFilter2,Filter,1,0)相减,得到的最终滤波器Filter有着优于Filter1与Filter2的表现。于是使用convol_fft(ImageFFT,Filter,ImageConvol)算子,将频域内的图像基于Filter进行滤波,再通过rft_generic(ImageConvol,ImageFiltered,'from_freq','n','real',Width)算子,将处理好的图像从频域中复原进行下一步的处理。
S4:步骤四:经过步骤三得到的图像,是一幅由一个个均匀分布的高斯椭圆,所组成的密度图。此密度图直观展现了所有被检测目标的分布状态,在此基础上通过设置一个最大灰度阈值与最小灰度阈值,找出在此范围内的检测目标。最小与最大灰度的阈值的选取要满足不漏掉任何一个目标,同时也不能包含任何一个虚警的原则。在此条件下检测到的目标为相互独立,互不包含的连通域,与此同时可以计算出总数与单个连通域面积的大小。
在此基础上使用threshold(ImageScaled,Region,min,max)算子,通过设置一个最大灰度阈值与最小灰度阈值,找出在此范围内的计数目标。在满足不漏掉任何一个目标,同时也不能包含任何一个虚警的原则下,得出min与max的最佳参数分别为10与255。随后使用connection(Region,ConnectedRegions)算子,将相连像素以连通域的形式显示出来。
S5:步骤五:步骤四中所得到的连通域包含两种类别。一类是只含有一个目标的连通域,另一类则是多个元器件连在一起的连通域。由于当元器件数量基数足够大时,第二类情况的出现次数远小于第一类,于是在已知连通域总数与每个连通域面积大小的情况下,通过求得平均连通域面积并将其与单个连通域面积进行比较,通过确定一个合适的阈值,可以初步判断每个连通域里的目标数量。阈值大小由单个连通域面积与平均连通域面积的比值确定,遵照的原则依然是不漏掉任何一个目标,同时也不能包含任何一个虚景。通过此方法即可得到粘连元器件的初步计数结果。
在生成图像目标连通域后,使用area_center(ConnectedRegions,Area,Row,Column)算子可以求得每个连通域的面积Area,使用count_obj(ConnectedRegions,Number1)算子,则可以得到连通域的总个数,即第一次包含粘连元器件在内的计数结果Number1。随后再通过tuple_mean(Area,Mean)算子求得连通域的平均面积Mean,以一定的阈值使用select_shape(ConnectedRegions,SelectedRegions,'area','or',Mean*1.5,2000)算子,可以定位出粘连元器件的数量以及位置,通过实验得出,当最小阈值取平均连通域面积的1.5倍,最大阈值取2000时,效果出色。
S6:步骤六:对于数量成千上万的元器件而言,仅仅依赖连通域面积来判断粘连元器件数量的方法较为单一,在某些条件下会受到例如光源不均等因素的影响。由于在步骤三中我们可以得到代表着每个元器件位置的高斯椭圆,依据高斯椭圆的灰度渐变特性,随后在步骤五所初步确定的粘连元器件目标中,计算得出连通域内符合条件的最大灰度峰值数,得到粘连元器件的第二次计数结果。
仅包含粘连元器件的目标区域使用count_obj(SelectedRegions,Number2)算子,可以得到粘连元器件连通域的数量Number2。但此时的数值并非粘连元器件的实际数量,还需要进一步作出判断。通过将单个连通域的面积Area与平均面积Mean相除,再将结果分别取余和取整。其中把整数部分记为n1,余数部分记为n2,粘连元器件实际数量Number3按照如下公式进行判定:
S7:步骤七:对粘连目标区域的两次计数结果进行分析,在此分为两种情况进行讨论。第一种为当两次计数结果保持一致时,直接将其数量作为粘连目标的最终检测结果。第二种情况是当两次计数结果不一样时,此时系统会事先按照用户的偏好设置取最大值或是最小值,然后给出最后的计数结果。但是在保存检测结果图像时,会将此类区域单独标出并显示在上位机软件界面上,以便在有需要的时候及时进行查验与追溯。在进行一次计数任务后,系统会将获取到的元件批号、检测时间、计数结果等信息,一方面遵照一定的命名规则以原图与结果图的形式保存在当前检测批号的文件夹内。另一方面在检测过程中也会同步将这些信息进行整理写入txt文档,将其传送到上位机储存,并在屏幕上进行显示。
为了进一步提高粘连区域元器件计数的检测精度,依据高斯椭圆的灰度渐变特性,在初步确定的粘连元器件目标中,首先找到当前连通域内的最大灰度值,再以此为基准搜索差距在10以内的,平均灰度直方图中所出现的峰值顶点个数,将其记为Number4。
当两次计数结果一致时,对于粘连元器件的实际检测数量Number5可以确定为Number5=Number4=Number3。当两次结果不一致时,系统可根据用户偏好设置,能预先将计数结果确定为:
Number5=Min(Number4,Number3)
或Number5=Max(Number4,Number3)。
但与此同时会将此区域在上位机软件显示界面,以及日志资料中单独列出并进行说明,以便在有需要的时候及时进行查验与追溯。那么最终元器件的实际数量ChipNum可以表示为:
ChipNum=Number1-Number2+Number5
S8:步骤八:上位机软件将接收到的元器件计数结果与它相关的测试信息分别以原图、结果图、日志文档的形式分批进行整合,最终形成测试报告并永久保存。在检测完一批物料之后,如下一批产品类型特征变化较大,则切换至预先设置好的保存了对应固定参数阈值的品类模式,即可展开下一步的物料检测工作。在上位机软件界面上点击计数按钮后,系统会将获取到的元件批号、检测时间、计数结果等信息,一方面按照“元件批号_检测时间_计数结果”的命名规则分别以原图与结果图的形式保存在当前检测批号的文件夹内。另一方面在检测过程中也会同步将这些信息进行整理写入txt文档,再将其通过TCP/IP通讯协议及时传送到上位机软件储存,并在屏幕上进行显示。
上位机软件将接收到的元器件计数结果与它相关的测试信息分别以原图、结果图、日志文档的形式分批进行整合,最终形成测试报告并永久保存。在检测完一批物料之后,如下一批产品类型特征变化较大,则切换至预先设置好的保存了对应固定参数阈值的品类模式,即可展开下一步的物料计数工作。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于视觉的电子元器件大批量计数方法,其特征在于,包括如下步骤:
步骤一:料仓上料,控制振动盘振动,使元器件物料被均匀打散;
步骤二:利用工业相机采集元器件第一目标图像;
步骤三:对第一目标图像进行傅里叶变换转换到频域范围内,并使用预先设计好的高斯带通滤波器进行滤波,去除环境噪音,生成高斯椭圆;
步骤四:进行基于灰度的图像分割,生成代表着元器件分布的高斯密度图,同时计算得出每块独立的连通域的各自面积;
步骤五:计算全局平均连通域面积,通过特定规则将其与每个独立的连通域分别进行分析计算,得到粘连元器件第一次计数结果;
步骤六:根据高斯椭圆灰度渐变的特性,通过计算与统计粘连高斯椭圆最大灰度峰值数,得到粘连元器件第二次计数结果;
步骤七:通过两次对粘连元器件物料的计算,分析得到最终的计数结果,将其写入文档,并及时传输给上位机软件进行显示;
步骤八:形成计数报告。
2.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤一中的具体使用方法为:料仓上料,首先使一批元器件装载于料仓内,在上位机软件界面上设置料仓振动方式和持续时间来适应不同种类的物料,其值的大小根据现场实际情况设置,同时系统也给出了部分的专家库,供用户直接调用或参考调用;当物料就位后,通过预先设置好的程序,控制振动盘进行有规律的振动,使物料均匀分散开来。
3.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤二中的具体使用方法为:部署工业相机、光源设备,在调试好各项参数的情况下,采集元器件第一目标图像,对采集到的样本图像的要求为光照均匀、细节清晰、视野合适、曝光及对比度得当。
4.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤三中的具体使用方法为:首先对工业相机采集的目标图像通过设定合适的阈值进行形态学处理,去除噪点使图像更加平滑,得到经过增强的灰度图像,由于光源采用的是高强度白色背光,此时元器件会在相机下呈现黑色,为了更好地凸显检测目标,灰度图像会进行一次反色操作,随后再将此反色后的灰度图像利用傅里叶运算变换到频域中,并在其基础上根据图像中目标元器件的像素大小,设计合适的高斯带通滤波器进行滤波,一方面是为了进一步排除无关背景噪声对检测结果的干扰,另一方面是为了在每一个元器件的中心位置坐标上生成对应大小的高斯椭圆。
5.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤四中的具体使用方法为:经过步骤三得到的图像,是一幅由一个个均匀分布的高斯椭圆所组成的密度图,此密度图直观展现了所有被检测目标的分布状态,在此基础上通过设置一个最大灰度阈值与最小灰度阈值,找出在此范围内的检测目标;
最大灰度阈值与最小灰度阈值的选取的条件:满足不漏掉任何一个目标,同时也不能包含任何一个虚景的原则;在此条件下检测到的目标为相互独立、互不包含的连通域,与此同时可以计算出总数与单个连通域面积的大小。
6.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤五中的具体使用方法为:步骤四中所得到的连通域包含两种类别:一类是只含有一个目标的连通域,另一类则是多个元器件连在一起的连通域;
由于当元器件数量基数足够大时,第二类情况的出现次数远小于第一类,于是在已知连通域总数与每个连通域面积大小的情况下,通过求得平均连通域面积并将其与单个连通域面积进行比较,通过确定一个合适的阈值,可以初步判断每个连通域里的目标数量;
阈值大小由单个连通域面积与平均连通域面积的比值确定,遵照的原则为不漏掉任何一个目标,同时也不能包含任何一个虚景,通过此方法即可得到粘连元器件的初步计数结果。
7.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤六中的具体使用方法为:由于在步骤三中可以得到代表着每个元器件位置的高斯椭圆,依据高斯椭圆的灰度渐变特性,随后在步骤五所初步确定的粘连元器件目标中,计算得出连通域内符合条件的最大灰度峰值数,得到粘连元器件的第二次计数结果。
8.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤七中的具体使用方法为:对粘连目标区域的两次计数结果进行分析;
当两次计数结果保持一致时,直接将其数量作为粘连目标的最终检测结果;
当两次计数结果不一样时,此时系统会预先按照用户的偏好设置取最大值或是最小值,然后给出最后的计数结果;
当在保存检测结果图像时,会将此类区域单独标出并显示在上位机软件界面上,以便在有需要的时候及时进行查验与追溯;
在进行一次计数任务后,系统会将获取到的元器件批号、检测时间、计数结果信息;一方面遵照一定的命名规则以原图与结果图的形式保存在当前检测批号的文件夹内,另一方面在检测过程中也会同步将这些信息进行整理写入txt文档,将其传送到上位机储存,并在屏幕上进行显示。
9.根据权利要求1所述的一种基于视觉的电子元器件大批量计数方法,其特征在于,所述步骤八中的具体使用方法为:上位机软件将接收到的元器件计数结果和与其相关的测试信息分别以原图、结果图、日志文档的形式分批进行整合,最终形成测试报告并永久保存;在检测完一批物料之后,如下一批产品类型特征变化较大,则切换至预先设置好的保存了对应固定参数阈值的品类模式,即可展开下一步的物料检测工作。
10.一种采用权利要求1-9任一项所述的基于视觉的电子元器件大批量计数方法进行工作的装置,其特征在于,包括自动上料机构、振动盘、光学系统和上位机;
其中所述振动盘包括V1、V2、V3、V4四个振动马达;且所述振动盘在进行工作时,包括如下振动模式:上下聚中、左右聚中、振散、向上/下/左/右移动;
所述振动盘进行使用时,首先执行上下聚中的振动模式,再执行左右聚中的振动模式,最后执行振散的振动模式,达到均匀振散元器件物料的目的,极大提升了后期检测精度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111354619.9A CN114049326B (zh) | 2021-11-16 | 2021-11-16 | 一种基于视觉的电子元器件大批量计数方法与装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111354619.9A CN114049326B (zh) | 2021-11-16 | 2021-11-16 | 一种基于视觉的电子元器件大批量计数方法与装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114049326A true CN114049326A (zh) | 2022-02-15 |
CN114049326B CN114049326B (zh) | 2024-06-25 |
Family
ID=80209278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111354619.9A Active CN114049326B (zh) | 2021-11-16 | 2021-11-16 | 一种基于视觉的电子元器件大批量计数方法与装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049326B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107239762A (zh) * | 2017-06-06 | 2017-10-10 | 电子科技大学 | 一种基于视觉的公交车内乘客人数统计方法 |
US20180005071A1 (en) * | 2013-06-25 | 2018-01-04 | University Of Central Florida Research Foundation, Inc. | Multi-Source, Multi-Scale Counting in Dense Crowd Images |
CN109934802A (zh) * | 2019-02-02 | 2019-06-25 | 浙江工业大学 | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 |
WO2021093283A1 (zh) * | 2019-11-14 | 2021-05-20 | 青岛理工大学 | 基于多传感融合的海面小面积溢油区域检测系统及检测方法 |
-
2021
- 2021-11-16 CN CN202111354619.9A patent/CN114049326B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180005071A1 (en) * | 2013-06-25 | 2018-01-04 | University Of Central Florida Research Foundation, Inc. | Multi-Source, Multi-Scale Counting in Dense Crowd Images |
CN107239762A (zh) * | 2017-06-06 | 2017-10-10 | 电子科技大学 | 一种基于视觉的公交车内乘客人数统计方法 |
CN109934802A (zh) * | 2019-02-02 | 2019-06-25 | 浙江工业大学 | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 |
WO2021093283A1 (zh) * | 2019-11-14 | 2021-05-20 | 青岛理工大学 | 基于多传感融合的海面小面积溢油区域检测系统及检测方法 |
Non-Patent Citations (1)
Title |
---|
肖昌炎;邱华林;赵宏;曹三;蒋仕龙;: "低对比度叠层薄片的机器视觉计数测量方法", 湖南大学学报(自然科学版), no. 04, 25 April 2018 (2018-04-25) * |
Also Published As
Publication number | Publication date |
---|---|
CN114049326B (zh) | 2024-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110766679B (zh) | 镜头脏污检测方法、装置及终端设备 | |
AU2007324081B2 (en) | Focus assist system and method | |
CN1904545A (zh) | 用于高精度机器视觉测量的测量被遮蔽特征的方法 | |
CN113379734A (zh) | 质量检测方法、装置、设备及计算机可读存储介质 | |
CN113763350B (zh) | 一种胶线检测方法、装置、胶线检测设备及存储介质 | |
CN113421230B (zh) | 基于目标检测网络的车载液晶屏导光板缺陷视觉检测方法 | |
JPH10318904A (ja) | 粒子画像分析装置およびその分析用プログラムを記録した記録媒体 | |
CN112534243A (zh) | 检查装置及方法 | |
CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
JP2023542619A (ja) | 試料のデジタル画像の品質管理のためのコンピュータ実装方法 | |
CN108288274A (zh) | 模具检测方法、装置以及电子设备 | |
CN108107611A (zh) | 一种自适应缺陷检测方法、装置及电子设备 | |
CN114049326A (zh) | 一种基于视觉的电子元器件大批量计数方法与装置 | |
CN112075876A (zh) | 基于机器视觉的产线智能吸尘机器人 | |
US11756190B2 (en) | Cell image evaluation device, method, and program | |
CN111917986A (zh) | 图像处理方法及其介质和电子设备 | |
CN116256366A (zh) | 一种芯片缺陷的检测方法、检测系统及存储介质 | |
CN111524102B (zh) | 一种液晶显示器的屏幕脏污检测方法及装置 | |
CN115494062A (zh) | 一种基于机器视觉识别缺陷的印刷方法 | |
CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
US6771804B1 (en) | Method and apparatus for signal segmentation | |
CN112465782A (zh) | 一种基于数字图像处理的水体浑浊程度判定装置及方法 | |
CN114730070A (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
JP2000206027A (ja) | 粒子画像領域分割方法 | |
CN117011269A (zh) | 一种基于云平台的石英砂粒度自动分析系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |