发明内容
本发明实施方式主要解决的技术问题是提供一种低对比度成像的图像分割处理方法、电子设备及系统,能够更快地区分同颜色的焊盘和焊点,摆脱依靠抽检在显微镜下人工目检的方式进行辨别的繁琐性、低效率和不准确性。
为解决上述技术问题,本发明实施方式采用的一个技术方案是:
第一方面,本发明实施例提供一种低对比度成像的图像分割处理方法,所述方法包括:由原始图像获取焊盘的掩膜轮廓信息;通过所述掩膜轮廓信息,获取分类特征轮廓图;通过所述掩膜轮廓信息,获取一组细化特征轮廓图;根据所述分类特征轮廓图,获取焊点的拟合的圆形轮廓和焊点的第一定位区域;根据所述细化特征轮廓图和所述第一定位区域,获取焊点的第二定位区域;根据所述第二定位区域,获取所述第一定位区域内对应的一组所述细化特征轮廓图中的焊点最终位置和焊点最终轮廓;将所述焊点最终轮廓、样本中与所述焊点最终位置对应的焊点轮廓进行比对,得到所述焊点的偏移值。
在本实施例中,图像分割处理方法还包括:
将所述焊点最终轮廓、样本中与所述焊点最终位置对应的焊点轮廓进行比对,得到所述焊点的面积。
在本实施例中,所述焊盘的掩膜轮廓信息,包括:将所述原始图像转化为任一色彩模型图像;对所述任一色彩模型图像的预设通道图像进行开运算降噪处理,得到降噪图像;对所述降噪图像进行像素二值化反转操作,得到掩膜区域;对所述掩膜区域进行边缘提取,获取掩膜轮廓信息。
在本实施例中,所述获取分类特征轮廓图,包括:对原始图像进行灰度化处理得到灰度图;对所述灰度图进行索贝尔算法处理得到索贝尔特征图;对所述索贝尔特征图进行列扫描处理,使用掩膜轮廓信息进行边缘像素擦除处理,得到第一边缘特征图;对所述第一边缘特征图进行空间密度聚类算法处理,得到分类特征轮廓图。
在本实施例中,所述获取细化特征轮廓图,包括:对原始图像就进行二阶边缘提取算法处理,得到二阶边缘提取特征图;对所述二阶边缘提取特征图,使用掩膜轮廓信息进行像素擦除处理,得到第二边缘特征图;对所述第二边缘特征图进行细化操作,得到一组对应不同偏移量的细化特征轮廓图。
在本实施例中,所述焊点的拟合的圆形轮廓和焊点的第一定位区域,是根据所述分类特征轮廓图,使用随机抽样一致圆形轮廓算法处理得到的;所述焊点的第二定位区域,是根据所述第一定位区域,使用随机抽样一致算法对每个所述细化特征轮廓图对应的所述第一定位区域进行处理得到的。
在本实施例中,所述根据所述第二定位区域,获取所述第一定位区域内对应的一组所述细化特征轮廓图中的焊点最终位置和焊点最终轮廓,包括:对一组所述第二定位区域进行去重处理,得到一组精确圆形轮廓;对所述一组精确圆形轮廓取圆形拟合度最高的一个轮廓;得到所述第一定位区域内对应的一组所述细化特征轮廓图中的焊点最终位置和焊点最终轮廓。
第二方面,本发明实施例提供了一种电子设备,电子设备包括:至少一个处理器;与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令程序,所述指令程序被所述至少一个处理器执行,以使所述至少一个处理器执行上述低对比度成像的图像分割处理方法。
第三方面,本发明实施例提供了一种低对比度成像的图像分割处理系统,其特征在于,包括:摄像组件,用于采集焊盘原始图像;上述的电子设备,所述电子设备与所述摄像组件通信连接。
第四方面,本发明实施例提供了一种非易失性计算机存储介质,其特征在于,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,可使得所述一个或多个处理器执行上述的低对比度成像的图像分割处理方法。
本发明实施方式的有益效果是:区别于现有技术的情况,本发明实施例提供了一种低对比度成像的图像分割处理方法、电子设备及系统,该图像分割处理方法由原始图像获取焊盘的掩膜轮廓信息;通过所述掩膜轮廓信息,获取分类特征轮廓图;通过所述掩膜轮廓信息,获取一组细化特征轮廓图;根据所述分类特征轮廓图,获取焊点的拟合的圆形轮廓和焊点的第一定位区域;根据所述细化特征轮廓图和所述第一定位区域,获取焊点的第二定位区域;根据所述第二定位区域,获取每个所述第一定位区域内对应的一组所述细化特征轮廓图中的焊点最终位置和焊点最终轮廓;将所述焊点最终轮廓、样本中与所述焊点最终位置对应的焊点轮廓进行比对,得到所述焊点的偏移值。通过以上的方式,更快地区分相同颜色的焊盘和焊点,摆脱依靠抽检在显微镜下人工目检的方式进行辨别的繁琐性、低效率和不准确性
具体实施方式
参阅图1,本发明实施例提供的是一种低对比度成像的图像分割处理方法,具体地,该图像分割处理方法包括:
步骤S100:由原始图像获取焊盘的掩膜轮廓信息;
具体地,请参阅图2,图2为图1所示的步骤S100的流程示意图,步骤S100包括:
步骤S101:将原始图像转化为任一色彩模型图像;
具体地,本实施例所使用的为12MP工业相机,分辨率为3.45μm,镜头为远心镜头,采用的光源为RGBW四色光源。原始图像为采用了该相机所采集到的RGBA四通道图像,采集目标为流量计模组的金手指焊盘。原始图像中包括了焊盘图像和焊点图像。
具体地,RGBA代表Red(红色)、Green(绿色)、Blue(蓝色)和Alpha的色彩空间,Alpha为不透明度参数。可将原始图像转化为任一色彩模型的图像,任一色彩模型包括HLS、HSV和LAB等。也可不对原始图像进行转化,直接对RGBA四通道中的R、G或B任一通道图像进行下一步骤。在本实施例中,默认将原始图像转化为HSV三通道图像。
步骤S102:对任一色彩模型图像的预设通道图像进行开运算降噪处理,得到降噪图像;
在本实施例中,默认任一色彩模型图像为HSV三通道图像,预设通道图像为H通道图像。
具体地,开运算属于形态学图像处理,是对图像先腐蚀后膨胀。目的是为了平滑图像的轮廓,消弱狭窄的部分,去掉细小的突出,保持面积不变等。在本实施例中,进行开运算所使用的卷积内核为3*3的卷积内核,使用该卷积内核对H通道图像进行遍历处理,此时的遍历处理进行的是腐蚀操作;然后再对经过腐蚀操作后的图像再此使用3*3的卷积内核进行遍历处理,此时的遍历处理进行的是膨胀操作。通过上述的操作,可以得到去除了细小孤立的小点、毛刺和小桥的降噪图像。
步骤S103:对降噪图像进行像素二值化反转操作,得到掩膜区域;
图像像素二值化就是将图像上的所有像素点的灰度值设置为0或255,从视觉上看就是将整个图像转化为明显的黑白效果图。像素二值化反转操作就是对图像进行像素二值化操作后,再对其进行反转操作,将灰度值为0的像素点设置为灰度值255,将灰度值为255的像素点设置为灰度值0。图像像素二值化的作用是为了大幅减少图像中的数据量,从而凸显出目标的轮廓。同理,像素二值化反转的作用也是为了答复减少图像中的数据量,从而凸显出目标的轮廓。图像像素二值化可通过现有的算法实现,图像像素二值化反转则在此基础上增加一步反转运算。
在本实施例中,通过现有算法对上述的降噪图像进行像素二值化反转处理,将该降噪图像上的所有像素点的灰度值设置为0或者255,大幅减少了该图像的数据量,进而凸显出焊盘的轮廓,本实施例针对焊盘区域进行图像处理,因此经过像素二值化反转处理后的图像中焊盘区域也称为掩膜区域。
步骤S104:对掩膜区域进行边缘提取,获取焊盘的掩膜轮廓信息。
在半导体制造中,许多芯片工艺步骤采用光刻技术,用于这些工艺步骤的图形“底片”称为掩膜,其作用是:在硅片上选定的区域中对一个不透明的图形模板遮盖,继而下面的腐蚀或扩散将只影响选定的区域以外的区域。图像掩膜与其类似,用选定的图像、图形或物体,对待处理的图像(全部或局部)进行遮挡,来控制图像处理的区域或处理过程。
在本实施例中,掩膜区域的作用是用于结构特征提取,用相似性变量或者图像匹配方法检测或提取图像中与掩膜区域相似的特征结构,即焊盘的轮廓信息。
进一步地,如图1所示,步骤S200分为两个步骤,其中一个步骤为:
步骤210:获取分类特征轮廓图;
具体地,请参阅图3,图3为图1所示的步骤S210的流程示意图,步骤S210包括:
步骤S211:对原始图像进行灰度化处理得到灰度图;
在RGBA色彩空间中,在不计Alpha(不透明度)的前提,RGB的每个值为0-255其中一个值,因此总共约有一千六百万种颜色。如果R=G=B,则彩色表示为一种灰度颜色,经过灰度处理后,图像只会出现255种颜色。灰度处理的作用是为了减少图像中的数据量,方便处理图像。灰度处理可通过算法实现。
在本实施例中,对原始图像,即RGBA四通道图像进行运用平均算法或最大算法等进行灰度处理,得到灰度图。
步骤S212:对灰度图进行Sobel算法处理得到索贝尔特征图;
Sobel Operator(索贝尔算子,也可称为索贝尔算法)是把图像中每个像素点的上下左右四个领域的灰度值加权差,在边缘处达到极值从而检测边缘。Sobel算子主要用于作边缘检测。在技术上,它是一离散性差分算子,用来运算图像亮度函数的梯度之近似值。
在本实施例中,为了更好的检测边缘,没有用Sobel算子直接对原始图像进行处理,而是先将原始图像进行灰度化处理,得到灰度图,再使用Sobel算子对灰度图进行处理,检测该灰度图的边缘,得到索贝尔边缘特征图。
步骤S213:对索贝尔特征图进行列扫描处理,使用掩膜轮廓信息进行边缘像素擦除,得到第一边缘特征图;
在本实施例中,处理对象为焊盘图像,目标对象为焊点位置和焊点面积,上述索贝尔边缘特征图所述的边缘则包括了焊盘边缘和焊点边缘。对所述索贝尔边缘特征图的所有像素点按列进行扫描,获取各个像素点的信息。由于Sobel算子没有基于图像灰度进行处理,即Sobel算子没有将本实施例中图像的焊盘和背景严格区分开来,因此需要用步骤S104得到的掩膜轮廓进行边缘像素擦除,去除背景像素点的影响,得到第一边缘特征图。
步骤S214:对第一边缘特征图进行DBSCAN算法处理,得到分类特征轮廓图。
DBSCAN(Density-Based Spatial Clustering of Application with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间密度聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,它将簇定义为密度相连的点的最大集合。DBSCAN中有两个重要的参数,分别为Eps(半径)和MinPts(给定点在Eps领域内成为核心对象的最小邻域点数)。DBSCAN算法将数据点分为三类:
核心点:在Eps内含有超过MinPts数目的点;
边界点:在Eps内点的数量小于MinPts,但是落在核心点的邻域的点;
噪声点:既不是核心点也不是边界点的点。
在本实施例中,对Eps和MinPts取不同的值,根据Eps和MinPts的值将第一边缘特征图的所有像素点标记为核心点、边界点和噪声点,删除所有噪声点,然后为距离在Eps之内的所有核心点之间赋予一条边,因此每组连通的核心点就形成一个簇,之后将每个边界点指派到一个与之关联的核心点的簇中,因此对图像中的不同轮廓进行了分类,得到分类特征轮廓图。
步骤S200的另外一个步骤为:
步骤220:获取细化特征轮廓图;
具体地,请参阅图4,图4为图1所示的步骤S220的流程示意图,步骤S220包括:
步骤S221:对原始图像进行LoG算法处理,得到LoG特征图;
LoG(Laplacian of Gaussian,二阶拉普拉斯-高斯边缘提取)算法,Laplace算子对图像进行操作实现边缘检测时,对离散点和噪声比较敏感,于是,首先对图像进行高斯卷积滤波进行降噪处理,再采用Laplace算子进行边缘检测,就可以提高算子对噪声抗干扰能力。该算法可通过现有算法实现。
在本实施例中,可直接用原始图像进行LoG算法处理,LoG算法对图像先进行高斯卷积滤波进行降噪处理,降低噪声和离散点的影响,然后再采用Laplace算子进行边缘检测,得到LoG边缘特征图,所述LoG边缘特征图所述的边缘则包括了焊盘边缘和焊点边缘。
步骤S222:对LoG特征图使用掩膜轮廓信息进行像素擦除处理,得到第二边缘特征图;
在本实施例中,与步骤S213相似,由于LoG算法没有将本实施例中图像的焊盘和背景严格区分开来,因此需要用步骤S104得到的掩膜轮廓进行边缘像素擦除,去除背景像素点的影响,得到第二边缘特征图。
步骤S223:对第二边缘特征图进行thinning操作,得到一组对应不同偏移量的细化特征轮廓图。
Image Thinning(图像细化),就是寻找图形的中轴线或骨架,以其骨架取代该图形。在遵循对图像的细化要保持图像连通性的最基本原则的前提下,细化之后的图形的像素宽度为1。细化过程就是对图像逐层剥落的过程,随着细化的进行,图像有规律地缩小。用骨架表示图像能够有效减少数据量,降低图像的存储难度和识别难度,减少图像处理的计算开销。
在本实施例中,用第二边缘特征图减去不同数值的logshift偏移量,再对其进行细化操作,偏移量从0开始依次减0.1,最后一张偏移量为0.8,得到一组对应不同偏移量的细化特征轮廓图。
进一步地,分别得到分类特征轮廓图和细化特征轮廓图后,进行下一步骤。
步骤S300:获取焊点的拟合的圆形轮廓和焊点的第一定位区域;
具体地,步骤S300根据步骤S200所得到的分类特征轮廓图,对每一个分类特征轮廓图运用随机抽样一致(Random Sample Consensus,RANSAC)算法进行运算。RANSAC算法采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。
进一步地,由于检测对象为圆形焊点,根据S200所获得的分类特征轮廓图,为了得到一个圆形模型,在分类特征轮廓图的各个簇中随机选取两个点,分别确定圆心和半径,通过这两个点计算该模型的方程,再将该模型所处的簇中的所有数据点套入该模型方程中计算误差,找到所有满足误差阈值的点。重复进行如上所述操作,直到达到一定的迭代次数,选择出被支持的最多的模型,即圆上像素点最多的那个圆形模型,即可得到焊点的拟合的圆形轮廓和粗略的定位区域,在本文中定义为第一定位区域。
步骤S400:获取焊点的第二定位区域;
具体地,根据步骤S300得到的第一定位区域,对步骤S220得到的一组细化特征轮廓图对应第一定位区域的目标区域进行RANSAC算法处理,在目标区域中的所有像素点选取两个点,分别确定圆心和半径,通过这两个点计算该模型的方程,再将目标区域所有数据点套入该模型方程中计算误差,找到所有满足误差阈值的点。重复进行如上所述操作,直到达到一定的迭代次数,选择出被支持的最多的模型,即圆上像素点最多的那个圆形模型,即可得到焊点较为精准的定位区域,在本文中定义为第二定位区域。对每一个细化特征轮廓图进行上述操作,得到一组第二定位区域。
步骤S500:获取焊点最终位置和焊点最终轮廓;
具体地,请参阅图5,图5是图1所示步骤S500的流程示意图,步骤S500包括:
步骤S501:对一组第二定位区域进行去重处理,得到一组精准圆形轮廓;
具体地,根据圆心距离判断是否为相同的圆,对一组第二定位区域进行去重处理,得到一组精准圆形轮廓。
步骤S502:对一组精准圆形轮廓取圆形拟合度最高的一个轮廓;
具体地,从步骤S501得到的一组精准圆形轮廓中,选取圆形拟合度最高的一个圆形轮廓,该圆形轮廓即为目标轮廓。
步骤S503:得到第一定位区域内对应的一组细化特征轮廓图中的焊点最终位置和焊点最终轮廓。
具体地,根据步骤S502得到的圆形拟合度最高的圆形轮廓,可以得到该圆形轮廓的模型方程,根据该方程,可以得到焊点的最终位置和最终轮廓。
步骤S600:得到所述焊点的偏移值。
具体地,将焊点的最终轮廓、样本中与焊点最终位置对应的焊点轮廓进行比对,从而得到焊点的面积和计算所得焊点位置与实际焊点位置的偏移值。
请参阅图6,图6是本发明实施例提供的一种电子设备110的结构示意图,该电子设备110包括一个或多个处理器111以及存储器112,处理器111和存储器112可以通过总线或者其他方式连接。存储器112存储有可被上述至少一个处理器111执行的指令程序,该指令程序被至少一个处理器111执行,以使至少一个处理器111执行上述的低对比度成像的图像分割处理方法。
请参阅图7,图7是本发明实施例提供的一种低对比度成像的图像分割处理系统100的结构示意图,该系统100包括上述的电子设备110和摄像组件120,摄像组件120用于采集焊盘原始图像,与电子设备110建立通信连接。
本发明实施例还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图6中的一个处理器111,可使得上述一个或多个处理器可执行上述任意方法实施例中的低对比度成像的图像分割处理方法。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。