CN106780440A - 爆炸电路板残片图像自动比对识别方法 - Google Patents

Abstract

本发明公开了一种爆炸电路板残片图像自动比对识别方法，属于模式识别和图像处理技术领域。所述方法首先将残片图像基于概率图模型的图像分割算法进行对象分割，再采用基于概率抽样的颜色模型进行元器件的对象精定位，然后提取特征点并过滤，将过滤后的特征点与检索库中的电路板特征点进行比对识别，确定残片所属的源电路板。本发明首次提出并实现了根据爆炸电路板残片图像自动识别印刷电路板同型号原板的方法。所述比对识别方法能够准确地分割出电路板中的元器件及字符区域，抑制噪声干扰，比对时同时考虑特征点描述与空间几何关系的相似性，该方法在电路板残片图像自动识别中TOP1准确率高于99％。

Description

爆炸电路板残片图像自动比对识别方法

技术领域

本发明属于模式识别和图像处理技术领域，具体是指一种爆炸电路板残片图像自动比对识别方法。

背景技术

遥控/定时类智能爆炸装置中的核心部件-电子线路板炸后识别比对并进一步溯源追踪，对侦破非现场智能启动爆炸案件具有重要意义。目前，对于电子线路板的甄别和辨识由专业人士人工摸排完成，需要熟练的专业知识和大量的精力；若能将图像模式技术用于爆炸电路板残片自动识别，将节省相关专家的大量排查工作、提高案件侦破的可能性。目前，通过图像模式识别技术，自动比对爆炸电路板残片、识别出同类型同型号电路板(此后简称原板)的技术和方法，国内外鲜有研究成果发表。

爆炸残片图像识别，涉及问题之一是电路板元器件分割，在电路板回收再利用的研究中，已有文献发表利用图像处理技术分割电路板图像元器件的方法；爆炸残片图像识别中的另一个重要问题，即识别方法，在图像检索领域，基于局部特征点的图像识别方法具有鲁棒的识别性能。

基于装配框标识的分割方法利用了电路板自身结构的特点，对焊接的元器件具有较好的分割结果。参考文献[1](参考文献[1]:Li,Wei,Bernhard Esders and MatthiasBreier.“SMD segmentation for automated PCB recycling.”INDIN(2013).)通过局部自适应阈值的方式检测装配框边界像素，边界框用于初始化分割候选区域，进一步通过分层评估的方法将边界框中只有焊点的区域删除，最后所有有框的元器件将被分割出。基于装配框标识的分割方法充分利用了电路板上的装配标识框，特征选择比较合理，但是准确率不高，特别是对电路板上元器件周边无装配框的情况，则无法分割元器件，该方法具有局限性。

基于阈值的分割方法，有比较多的文献发表。该类方法将电路板中的像素分为前景(元器件对象)与背景(主板)，通过颜色模型来自适应选取分割阈值。对于颜色种类少，颜色值差异大的电路板，阈值的选取相对容易；对于颜色种类丰富复杂的电路板，参考文献[2](参考文献[2]:Herchenbach,Daniel,Wei Li and Matthias Breier.“Segmentationand classification of THCs on PCBAs.”INDIN(2013))考虑多阈值的策略，通过分层优化代价函数来得到逐层的最优阈值，迭代地分割出元器件对象。在使用阈值分割的方法中，多数研究仅采用单一的颜色特征，研究的关键在于如何更准确地选取阈值，而阈值是否准确不仅与选取方法有关，也与不同来源的数据相关(拍摄条件、板子的新旧等)，各种影响因素使此类方法鲁棒性不好。电路板图像不仅颜色多样，而且纹理、边缘丰富，更合理的方案应该是考虑多特征的融合。

图像检索技术中，局部特征点匹配具有鲁棒的识别性能。Lowe提出的SIFT特征(参考文献[4]：Lowe,David G..“Distinctive Image Features from Scale-InvariantKeypoints.”IJCV(2004).)因其在图像局部特征描述方面的优越性能而被广泛应用，该特征对图像的光照、旋转变化、噪声以及尺度等都表现出较强的鲁棒性。SIFT匹配方法的实质是在不同的尺度空间上检测关键点(特征点)，并计算出关键点的方向及其特征描述。Lowe的SIFT特征提取算法分为四步：

(1)尺度空间极值检测：搜索图像所有尺度的位置，通过高斯差分函数来识别潜在的尺度不变极值点。

(2)关键点定位：对于离散空间中检测的极值点，通过拟合三维二次函数来精确定位关键点的位置和尺度，同时滤除低对比度的关键点和不稳定的边缘响应点。

(3)主方向确定：基于图像局部的梯度方向，分配给每个关键点位置一个或两个主方向，之后对于图像数据的所有操作都相对于关键点的主方向进行变换，从而提供旋转不变性。

(4)关键点描述：在每个关键点周围的邻域内，在选定的尺度上计算图像局部的梯度，生成128维梯度方向直方图作为特征点的特征描述。

参考文献[4]提出的特征比对方案是：

(1)先对两幅图像的特征点描述建立匹配关系，对于一幅图像中的每个特征点在另一幅图像上寻找与其欧氏距离最近与次近的特征点，如果最近距离小于次近的0.8倍，则认为最近距离的两个特征点匹配。

(2)使用霍夫变换或者RANSAC算法，从匹配上的所有特征点对中去除错误匹配。基于剩下的特征点匹配结果作为两幅图像的匹配指标。此方法对于不同类别物体间的比对检索效果较好，但对相同类别的物体识别性能不佳。其原因在于该算法将特征描述比对和特征点空间关系比对分别独立进行，如果在特征描述的匹配环节就产生大量的错误匹配，那么利用空间位置约束就会滤除大量的特征点对，最后两幅图像几乎无法确定匹配关系。而在电路板型号识别中由于：1.同种电路板不同批次生产，会有局部的差异；2.不同电路板之间也会存在元器件相同或者功能结构近似相同的局部—导致特征点的相似性，独立考虑问题时，非常容易造成错误匹配关系，使算法比对性能会大幅下降。

参考文献[3]提出了一种同时考虑特征点描述相似性与空间位置相似性的特征点比对方法，其匹配的准确率高于参考文献[4]提出的比对方法。该方法步骤如下：

(1)设两幅图像上提取的SIFT特征点数目分别是m个和n个，计算所有m*n个特征点对的特征欧氏距离并排序，选择欧式距离最小的10组特征点对。在10组特征点对中检测出满足如下条件的3组特征点对(basis_set)：

①3组特征点对组成的两个三角形相似，即对应边长比例相同。

②3组特征点对中每两组特征点的主方向夹角对应相同。

记录满足条件的所有basis_set。

(3)对每个basis_set，计算仿射变换矩阵。通过仿射关系将一幅图像剩下的特征点投影到另一幅图像中，在新的位置附近寻找是否存在欧氏距离小于一定阈值的特征点。若存在，则认为构成匹配对。记录每个basis_set对应的匹配总数，最终以最大匹配数目作为图像的匹配指标。

相对于独立考虑特征点描述和空间位置的相似性，同时考虑两者相似性显得更为合理。参考文献[3]实验表明，参考文献[4]的方法最多能达到70％的特征点匹配正确(TruePositive Rate)的情况下，该方法能达到90％；同时参考文献[4]的方法约有5％的特征点匹配错误(False Positive Rate)的情况下，该方法只有1％。但是上述算法适用场景较简单，仅适用于不同类别物体之间的图像识别。将参考文献[3]方法应用于电路板残片比对识别中，实验测试准确率仅为60％。

发明内容

本发明旨在解决由爆炸电路板残片自动识别其同类型同型号电路板这一实际中迫切需要解决的问题，属于根据局部识别整体的图像识别研究范畴。由于电路板爆炸受损，采集的残片图像中存在大量噪声干扰；而且，残片图像仅仅是小的局部图像，只能依据有限的局部描述来识别其同型号电路板整体，使得自动比对识别难度加大；为此，本发明提出了一种基于元器件对象分割与局部特征点空间关系相似性的残片自动识别方法。本发明提出的方法能够以高于99％的TOP1准确率识别残片所属电路板同型号原板。

由于电路板中主板颜色单一并无区分作用，具有区分力的区域应属元器件、字符及布线，而这些区域中提取到的局部特征点及其描述，是能够描述这些区域且易于自动比对的鲁棒特征。在电路板图像上提取这些局部特征时，存在的问题是：(1)由于爆炸残片表面受损，残片图像特征点提取会受到干扰；(2)爆炸残片面积较小，所提取的特征点数目远小于同型号整板图像上的特征点数目，且电路板上也会提取出无用的(甚至干扰的)特征点。为解决这些问题，首先，本发明提出一种基于概率图模型与概率抽样颜色模型的融合对象分割方法，能够准确地分割出电路板中的元器件及字符区域，抑制噪声干扰，其分割结果优于当前已有的电路板元器件分割方法。其次，本发明采用SIFT特征作为局部特征点描述，对电路板图像提取出SIFT特征后，根据前述对象分割方法所得的结果，保留分布在元器件及字符区域中的特征点，滤除电路板主板上的特征点，以避免这些无区分力的特征点对比对算法的干扰。最后，提出一种基于匹配特征点几何相似性的比对方法，比对时同时考虑特征点描述与空间几何关系的相似性，该方法在电路板残片图像自动识别中TOP1准确率高于99％。

本发明提供的爆炸电路板残片图像自动比对识别方法，具体包括如下步骤：

第一步，对原电路板图像进行对象分割，具体为：

在原电路板图像上，在电路板外围人工画矩形框，再执行基于概率图模型的图像分割算法，得到电路板前景图像区域；

在电路板前景图像区域，采用K-means算法聚类电路板像素颜色值，像素数目最多的那一类簇则认为是主板像素，作为初始背景，其余簇均作为初始前景，以此分别初始化高斯混合模型，进而执行基于概率图模型的图像分割算法，得到电路板对象分割结果；

对于电路板对象分割结果，执行基于概率抽样的颜色模型，对元器件对象进行的对象精定位；

第二步，特征提取和特征点过滤：对象分割后的原电路板图像分别进行SIFT特征点提取和特征点过滤；

第三步，对所有的原电路板执行第一步～第二步，存储原电路板图像、原电路板过滤后的SIFT特征点及其描述，构建检索库；

第四步，对待识别残片图像进行对象分割和SIFT特征点提取；

第五步，特征比对：将第四步中获得的待识别残片图像的SIFT特征点与第三步建立的检索库中的特征点进行比对，确定残片所属的源电路板。

本发明的优点在于：

(1)首次提出并实现了根据爆炸电路板残片图像自动识别印刷电路板同型号原板的方法。

(2)提出一种基于概率图模型与概率抽样颜色模型的融合对象分割方法，能够准确地分割出电路板中的元器件及字符区域，抑制噪声干扰，其分割结果优于当前已有的电路板元器件分割方法。

(3)提出一种基于匹配特征点几何相似性的比对方法，比对时同时考虑特征点描述与空间几何关系的相似性，该方法在电路板残片图像自动识别中TOP1准确率高于99％。

附图说明

图1为本发明的爆炸电路板残片图像自动比对识别方法框图。

图2为图像对象分割方法框图。

图3为s-t图及切割示意图。

具体实施方式

下面结合附图是实施例对本发明进行详细说明。

本发明提供一种爆炸电路板残片图像自动比对识别方法，如图1所示，所述的识别方法分为两个阶段，分别为构建检索库阶段和比对识别阶段，具体的，通过如下步骤实现：

第一步，构建检索库。

步骤1.1：将原电路板图像进行对象分割；

步骤1.2：特征提取，即提取SIFT特征点及其描述；然后用对象分割结果滤除无用的特征点，即特征点过滤；

Lowe提出的SIFT特征(参考文献[4])因其在图像局部特征描述方面的优越性能而被广泛应用，SIFT特征对图像的光照、旋转变化、噪声以及尺度等都表现出较强的鲁棒性。本发明也采用了SIFT特征点及其描述作为电路板识别的特征，特征提取算法参见参考文献[4]。对于所提取的SIFT特征点，基于前述图像对象分割得到的结果，对电路板主板上的一些特征点进行屏蔽即过滤，以避免对后续比对识别的干扰。

步骤1.3：存储原电路板图像、过滤后的特征点及其描述，构建出检索库。

第二步，对待识别残片进行对象分割、特征提取及特征点过滤，具体为：

步骤2.1：将待识别残片图像进行对象分割；

步骤2.2：提取SIFT特征点并用对象分割结果滤除无用特征点。

第三步，将第二步中得到的残片图像的特征点与检索库中每一幅原电路板图像的特征点进行比对识别，并将匹配的特征点数目作为检索相似性指标，返回前10个最相似的原电路板图像，确定残片所属的源电路板。

在电路板残片识别中，存在：①同种电路板不同批次生产，会有局部的差异；②不同电路板之间也会存在结构近似相同的局部；③残片特征点数量远小于原板，局部描述有限。考虑这些因素，本发明的特征比对方案设计如下。

设电路板残片图像有m个特征点，待匹配的原电路板图像有n个特征点(m＜＜n)，特征比对过程如下：

(3.1)对残片图像的每个特征点，选择出与其欧氏距离最小的5组特征点对，总共选择出k＝5*m组；此策略一方面使得残片图像的每个特征点都可能对后续检测相似的空间结构有贡献，另一方面增大了正确匹配的可能性，同时也使得检测相似三角形结构变得容易。

(3.2).在k组特征点对中检测空间位置相似的3组特征点对，满足以下约束：

(1)3组特征点对组成的两个三角形相似。

(2).3组特征点对中每两组特征点的主方向夹角对应相同。

(3).相似三角形的边长比例等于两幅图像的尺度比例。由于电路板实物具有各自固定的大小，且同类型电路板的实际尺寸必定是相同的，通过在采集图像时添加标尺，可以得到电路板图像对应的尺度大小，所以特征点空间位置的相对比例应该等于图像的尺度比例，此约束符合同类型电路板具有相同尺寸这一实际特点。

(4).相似三角形的旋转角度等于两幅图像的旋转角度。与约束(3)同理，相似三角形具有的性质应该与实际图像的特点相符合。

(5).相似三角形为锐角三角形。在实验中发现，若相似结构为钝角三角形，则计算的仿射变换系数往往不准确，映射后的点几乎处在一条直线上，从而造成错误的匹配关系。因此为了避免建立错误的仿射关系，本发明中约束相似结构必须为锐角三角形。

(6).相似三角形不应满足翻转变换的性质。由于图像采集自电路板实物，采集图像并不会作镜像翻转，那么满足仿射性质的两个相似三角形结构也不可能是翻转变换的关系。

记录满足条件的所有构成匹配三角形的特征点组(basis_set)。

(3.3).利用每个basis_set，计算仿射变换矩阵；通过仿射关系将残片图像其余的特征点投影到原电路板图像中，在新的位置附近(5×5)寻找是否存在特征欧氏距离小于规定阈值(选取阈值为0.6)的特征点。若存在，则认为构成匹配对。记录每个basis_set对应的匹配总数，最终以特征点对最大匹配数目作为图像的匹配得分指标。

步骤1.1和步骤2.1中所述的对原电路板图像和待识别残片图像进行对象分割，如图2所示，以原电路板图像的对象分割为例，在拍摄的原电路板图像中，不可避免地存在电路板之外的拍摄背景，因此第一步需要在输入的图像中提取电路板区域子图像(前景图像)，进而在前景图像中执行对象(元器件及字符)分割算法，再对对象分割算法的结果进行精细修正，实现对象精定位，得到最终的对象分割结果。所述的对象分割算法采用基于概率图模型的图像分割算法来实现。所述的对象精定位采用基于概率抽样的颜色模型来实现。

所述的基于概率图模型的图像分割算法(Grab cut)，是把图像分割问题用概率图模型表示，采用图的最小割算法求解。将图像映射为带权无向图G＝<V，E>，V表示带权无向图中节点的集合，E表示带权无向图中边的集合。所述的带权无向图中每个节点N∈V对应于图像中每个像素，每条边连接着一对相邻的像素，边的权值表示了相邻像素之间在灰度、颜色或者纹理方面的相似度。而对图像的一个分割就是对带权无向图的一个剪切，被分割的每个图像区域对应一个带权无向图的子图，分割的最优原则就是使划分后的子图在内部保持相似度最大，子图之间的相似度最小。基于概率图模型的图像分割算法本质就是移除特定的边，将带权无向图划分为若干子图从而实现分割。

Grab cut(参见参考文献[6]：Rother，Carsten，Vladimir Kolmogorov andAndrew Blake.“″GrabCut″：interactive foreground extraction using iteratedgraph cuts.’ACM Trans.Graph(2004)。)是一种经典的图像分割方法。用一个无向图G＝<V，E>表示要分割的图像，在此基础上增加2个顶点，分别用符号“S”和“T”表示，分别称为源点和宿点，各自代表了对象端和背景端，其他所有的顶点必须和这两个顶点相连。

图3是一个图像对应的S-T图及切割示意图，在前背景分割中，参见参考文献[5]，S一般表示前景目标(1abel设为1，以下称为标签1)，T一般表示背景目标(1abel设为0，以下称为标签0)。图3示意了一种切割方式，每条边都有一个非负的权值，一个割就是边集合E的一个子集C，该边集合E中所有边的断开会导致“S”和“T”图的分开。如果一个割，它的边的所有权值之和最小，那么称为最小割，即图像分割法寻找的结果，也即带权无向图中边的权值决定了分割结果。

Grab cut假定图像的分割为L时，图像的能量表示为：

E(L)＝E_R(L)+E_B(L) (1)

式中，E_R(L)表示区域项，E_B(L)表示边界项。E(L)表示总权值，也叫能量函数，图像分割的目标就是优化能量函数使其达到最小值。

①区域项

E_R(L)＝∑_p∈PR_p(l) (2)

式中，P表示像素集合，R_p(l)表示像素集合P中的任意一个像素p属于标签l的概率，我们希望像素p分配为其概率最大的标签时能量最小，所以一般取概率的负对数值：

R_p(1)＝-lnPr(I_p|′obj′)R_p(0)＝-lnPr(I_p|′bkg′) (3)

其中，R_p(1)表示像素p属于标签1的能量，R_p(0)表示像素p属于标签0的能量；IP表示像素点p的RGB值；o均表示前景对象，bkg表示背景对象；Pr表示像素p属于各类(前景/背景)的概率，其值可以通过分别计算像素p的RGB值属于前景/背景各自的高斯混合模型的概率得到。

高斯混合模型(GMM)，顾名思义，就是数据可以看作是从若干个高斯分布中生成而来。一个GMM由K个高斯分布组成，这些高斯分布线性加权就组成了GMM的概率密度函数：

其中，π_k表示加权值，N(x|μ_k，∑_k)表示一个均值为μ_k、协方差为∑_k高斯分布，x为自变量；d表示特征维数，T表示转置；k＝1，..，K。

采用RGB颜色空间，分别用一个由K个高斯分量(一般取K＝5)组成的全协方差GMM来对目标和背景进行建模。对于每个像素，要么来自于目标GMM的某个高斯分量，要么来自于背景GMM的某个高斯分量。

②边界项

E_B(L)＝∑_{p，q}∈VB_<p，q>*δ(l_p，l_q) (6)

其中，

式(6)中，p和q为邻域像素，边界项主要体现分割L的边界属性，如果p和q越相似那么权值越大，反之越接近于0。l_p和l_q分别表示像素p和像素q的标签，I_p和I_q分别表示像素p和像素q的像素值，B_<p，q>为像素点p和q之间的代价，σ²为指数的尺度。

当带权无向图的权值确定后，就可以通过最小割算法将带权无向图切割成前景与背景两部分，而福特-富克森定理表明，网络的最大流与最小割等价，因此可以将最小割转化成最大流算法来求解。

本发明中将基于概率图模型的图像分割算法Grab cut应用于电路板图像对象分割，包括如下两步：

步骤1：电路板所在区域的提取，此次分割的目的是从所拍摄的包含电路板的图像中分离出电路板所在区域。由于Grab cut属于半自动分割算法，首先需要在图像上框出一个矩形框，矩形框内像素初始化为前景，框外像素初始化为背景，进而初始化前景和背景高斯混合模型。因此这一步先在电路板外围人工画矩形框，再执行基于概率图模型的图像分割算法，得到电路板前景图像区域。

步骤2：电路板对象分割，这一次分割的目的是要将电路板前景图像区域上的元器件与电路板主板分开。电路板中主板颜色基本单一，主板像素占据电路板的大部分面积，但由于元器件分布结构复杂，以人工画框的进行前景模型和背景模型的初始化方式不再适用，且不利于自动化。基于对这些特点的分析，本发明采用K-means算法聚类电路板像素颜色值(聚类数k＝5较好)，像素数目最多的那一类簇则认为是主板像素，作为初始背景，其余簇均作为初始前景，以此分别初始化高斯混合模型，进而执行基于概率图模型的图像分割算法，得到电路板对象分割结果。

Grab cut图像分割算法考虑图像整体的能量最小化，由于拍摄光照条件等因素的存在，与背景相接的或者处于阴影区域的部分元器件对象的局部颜色值在前景或背景高斯混合模型中可能属于背景的概率更大，因此执行基于概率图模型的图像分割算法后会导致部分元器件分割不完整的现象，需要在元器件的局部区域对对象分割结果进行精细修正。

对于电路板图像整体而言，认为元器件对象是前景，主板是背景；而对每个元器件局部而言，认为该元器件自身是前景，主板以及周边的元器件是背景。基于这样的概念，本发明提出基于概率抽样的颜色模型，对元器件对象进行精定位。本发明中以矩形框来框定元器件对象，首先对基于概率图模型的图像分割算法分割出的元器件轮廓求取外接矩形，进而利用所述的基于概率抽样的颜色模型对外接矩形的四条边进行调整。认为当矩形边界恰好贴合元器件的边界时，对元器件的分割定位是最精准的。

基于概率抽样的颜色模型，即分别抽取k个像素(一般取k＝20)来表示元器件局部的前景或背景颜色模型。根据前述图像对象分割的结果，位于分割轮廓内部的像素必属于元器件前景，因此在轮廓内部基于均匀分布抽取k个像素即可组成前景颜色模型，这k个像素在轮廓内部位置分布均匀，足以描述元器件自身的颜色。而在分割轮廓外部，可能存在主板、其他元器件以及该元器件自身被分割成背景的部分，因此在轮廓外部的一定范围内同样基于均匀分布抽取k个像素，需满足以下任意一个条件：

(1)抽取像素在前景或背景颜色模型中最近邻类别为背景；

(2)抽取像素的最近邻类别虽为前景，但是与最近邻的颜色欧氏距离足够大。

符合条件(1)的像素一般为电路板主板颜色，符合条件(2)的像素一般为其他元器件颜色，这样的约束避免了元器件自身颜色加入背景模型中，而组成背景模型的k个像素也足以描述元器件外局部区域的颜色。

当构建好颜色模型后，利用最近邻思想，对待判决的像素计算其在颜色模型中与其欧氏距离最近的像素点，该最近像素点的类别即为待判决像素的类别。由于元器件外接矩形的四条边都是包含多个像素的线段，因此定义一条边属于前景/背景的概率为该条边上判决为前景/背景的像素数目与边所占像素总数之比。进一步的，定义与边界两侧紧紧相邻的两条边的概率分别表示边界外部属于背景的概率以及内部属于前景的概率。以矩形顶部的边(x＝[x_I，x₂]，y)为例，与其相邻的两条边则为(x＝[x₁，x₂]，y-1)以及(x＝[x₁，x₂]，y+1)，那么边界外部属于背景的概率为：

式中，P_b(x，y-1)表示垂直坐标为y-1、水平坐标在[x₁，x₂]的边属于背景的概率，N_b表示该垂直坐标为y-1的边上属于背景的像素数目，N₁₂表示该垂直坐标为y-1的边上的像素数目。同理边界内部属于前景的概率为：

式中，P_f(x，y+1)表示垂直坐标为y+1、水平坐标在[x₁，x₂]的边属于前景的概率，N_f表示该垂直坐标为y+1的边上属于前景的像素数目，N₁₂表示该垂直坐标为y+1的边上的像素数目。

最后，给定两个阈值T_f和T_b，当内部属于前景概率大于T_f时，认为边界内部为前景；当外部属于背景概率大于T_b时，认为边界外部为背景。于是边界内外的判决结果会出现如下四种状态：

(a)外部为背景，内部为前景。此时边界恰好位于元器件边界处，不调整。

(b)外部为背景，内部为背景。此时边界处于元器件外，应向内调整。

(c)外部为前景，内部为前景。此时边界处于元器件内，应向外调整。

(d)外部为前景，内部为背景。此时属于异常情形，不作调整。

基于如上的状态，可以对外接矩形的每条边界进行不断调整，当边界处于状态(a)时即可停止调整，此时矩形边界恰好贴合元器件对象的边界处，达到了精细定位的目的。

上述采用的基于概率抽样的颜色模型的对象精准定位算法伪码如下：

输入：元器件分割轮廓点集r＝{(x₁，y₁)，(x₂，y₂)，...，(x_m，y_m)}，颜色欧式距离阈值T_D，背景概率阈值T_b，前景概率阈值T_f。

输出：元器件外接矩形R＝(X₁，Y₁，X₂，Y₂)。

开始

1.根据轮廓点集r求其外接矩形r′＝(x′₁，y′_１，x′_２，y′_２)。

2.建立颜色模型，包括前景模型fg和背景模型bg。

(2.1)前景模型：元器件轮廓内等概率随机抽样20个像素，组成前景模型

fg＝{I₁，I₂，...，I₂₀}。

(2.2)背景模型：首先加入主板像素颜色，其次对r′扩充20个像素，即

r″＝(x′₁-10，y′₁-10，x′₂+10，y′₂+10)，

在r″内部与轮廓外部的区域间等概率随机抽样20个像素，满足以下任意一个条件即可：

(1)该像素在前/背景模型中最近邻类别为背景。

(2)最近邻类别虽为前景，但最近邻欧氏距离大于T_D。

最终组成背景模型bg＝{I₁，I₂，...，I₂₀}

3.对矩形r′顶部边界(x＝[x′₁，x′₂]，y＝y′₁)进行调整：

(3.1)计算边界外部属于背景的概率P_b(x，y-1)。

(3.2)计算边界内部属于前景的概率P_f(x，y+1)。

(3.3)判断当前位置所处状态：

(1)P_b(x，y-1)＞T_b&&P_f(x，y+1)＞T_f，外部属于背景；

内部属于前景，则无需调整。

(2)P_b(x，y-1)＞T_b&&P_f(x，y+1)＜T_f，外部属于背景；

内部属于背景，需向内部调整，y＝y+1。

(3)P_b(x，y-1)＜T_b&&P_f(x，y+1)＞T_f，外部属于前景；

内部属于前景，需向外部调整，y＝y-1。

(4)P_b(x，y-1)＜T_b&&P_f(x，y+1)＜T_f，外部属于前景；

内部属于背景，异常情形，不作调整。

(3.4)重复(3.1)～(3.3)直到当前位置达到状态a，更新Y₁为当前位置的y。

4.重复步骤3，分别对矩形r′底部Y₂、左侧X₁、右侧X₂边界进行调整。

本发明的比对识别方法在电路板残片识别中准确率高于99％，该方法在同类别物体(例如电路板)间的图像识别中极具鲁棒性。参考文献[3]提出的特征点比对方法不适于电路板残片自动识别，实验测试电路板残片图像识别准确率仅为60％。

Claims (4)

1.爆炸电路板残片图像自动比对识别方法，其特征在于：包括如下步骤，

第一步，对原电路板图像进行对象分割，具体为：

在原电路板图像上，在电路板外围人工画矩形框，再执行基于概率图模型的图像分割算法，得到电路板前景图像区域；

在电路板前景图像区域，采用K-means算法聚类电路板像素颜色值，像素数目最多的那一类簇则认为是主板像素，作为初始背景，其余簇均作为初始前景，以此分别初始化高斯混合模型，进而执行基于概率图模型的图像分割算法，得到电路板对象分割结果；

对于电路板对象分割结果，执行基于概率抽样的颜色模型，对元器件对象进行的对象精定位；

第二步，特征提取和特征点过滤：对象分割后的原电路板图像分别进行SIFT特征点提取和特征点过滤；

第三步，对所有的原电路板执行第一步～第二步，存储原电路板图像、原电路板过滤后的SIFT特征点及其描述，构建检索库；

第四步，对待识别残片图像进行对象分割和SIFT特征点提取；

第五步，特征比对：将第四步中获得的待识别残片图像的SIFT特征点与第三步建立的检索库中的特征点进行比对，确定残片所属的源电路板。

2.根据权利要求1所述的爆炸电路板残片图像自动比对识别方法，其特征在于：第五步中所述的特征比对，设电路板残片图像有m个特征点，待匹配的原电路板图像有n个特征点，m＜＜n，特征比对过程如下：

(3.1)对待识别残片图像的每个特征点，选择出与其欧氏距离最小的5组特征点对，总共选择出k＝5*m组；

(3.2)在k组特征点对中检测空间位置相似的3组特征点对，满足以下约束：

(1).3组特征点对组成的两个三角形相似；

(2).3组特征点对中每两组特征点的主方向夹角对应相同；

(3).相似三角形的边长比例等于两幅图像的尺度比例；

(4).相似三角形的旋转角度等于两幅图像的旋转角度；

(5).相似三角形为锐角三角形；

(6).相似三角形不应满足翻转变换的性质；

记录满足条件的所有构成匹配三角形的特征点组；

(3.3)利用每个特征点组，计算仿射变换矩阵；通过仿射关系将残片图像其余的特征点投影到原电路板图像中，在新的位置附近寻找是否存在特征欧氏距离小于规定阈值的特征点，若存在，则认为构成匹配对，记录每个特征点组对应的匹配总数，最终以特征点对最大匹配数目作为图像的匹配得分指标。

3.根据权利要求1所述的爆炸电路板残片图像自动比对识别方法，其特征在于：所述的基于概率图模型的图像分割算法，用一个无向图G＝<V,E>表示要分割的图像，在此基础上增加2个顶点，分别用符号“S”和“T”表示，分别称为源点和宿点，各自代表了对象端和背景端，其他所有的顶点必须和这两个顶点相连；假定图像的分割为L时，图像的能量表示为：

E(L)＝E_R(L)+E_B(L) (1)

式中，E_R(L)表示区域项，E_B(L)表示边界项，E(L)表示总权值，也叫能量函数，图像分割的目标就是优化能量函数使其达到最小值，

①区域项

E_R(L)＝∑_p∈PR_p(l) (2)

式中，P表示像素集合，R_p(l)表示像素集合P中的任意一个像素p属于标签l的概率，取概率的负对数值：

R_p(1)＝-lnPr(I_p|′obj′) R_p(0)＝-lnPr(I_p|′bkg′) (3)

其中，R_p(1)表示像素p属于标签1的能量，R_p(0)表示像素p属于标签0的能量；I_P表示像素点p的RGB值；obj表示前景对象，bkg表示背景对象；Pr表示像素p属于前景/背景的概率，其值通过分别计算像素p的RGB值属于前景/背景各自的高斯混合模型的概率得到；

一个高斯混合模型GMM由K个高斯分布组成，这些高斯分布线性加权就组成了GMM的概率密度函数:

$p\left(x\right)={\mathrm{\&Sigma;}}_{k=1}^K{\mathrm{\&pi;}}_{k}N\left(x\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)---\left(4\right)$

$N\left(x\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)=\frac{1}{\sqrt{{\left(2\mathrm{\&pi;}\right)}^d\left|{\mathrm{\&Sigma;}}_k\right|}}\exp \&lsqb;-\frac{1}{2}{(x-{\mathrm{\&mu;}}_k)}^T{\mathrm{\&Sigma;}}^{-1}(x-{\mathrm{\&mu;}}_k)\&rsqb;---\left(5\right)$

其中，π_k表示加权值，N(x|μ_k,∑_k)表示一个均值为μ_k、协方差为Σ_k高斯分布，x为自变量；d表示特征维数，T表示转置；k＝1,…,K；

采用RGB颜色空间，分别用一个由K个高斯分量组成的全协方差GMM来对目标和背景进行建模；

②边界项

E_B(L)＝∑_{p,q}∈VB_<p,q>*δ(l_p,l_q) (6)

其中，

式(6)中，p和q为邻域像素，l_p和l_q分别表示像素p和像素q的标签，I_p和I_q分别表示像素p和像素q的像素值，B_<p,q>为像素点p和q之间的代价，σ²为指数的尺度；

当带权无向图的权值确定后，通过最小割算法将带权无向图切割成前景与背景两部分，将最小割转化成最大流算法来求解。

4.根据权利要求1所述的爆炸电路板残片图像自动比对识别方法，其特征在于：所述的基于概率抽样的颜色模型，在轮廓内部基于均匀分布抽取k个像素组成前景颜色模型；在分割轮廓外部，同样基于均匀分布抽取k个像素，需满足以下任意一个条件：

(1)抽取像素在前景或背景颜色模型中最近邻类别为背景；

(2)抽取像素的最近邻类别虽为前景，但是与最近邻的颜色欧氏距离足够大；

当构建好颜色模型后，利用最近邻思想，对待判决的像素计算其在颜色模型中与其欧氏距离最近的像素点，该最近像素点的类别即为待判决像素的类别；定义一条边属于前景/背景的概率为该条边上判决为前景/背景的像素数目与边所占像素总数之比；进一步的，定义与边界两侧紧紧相邻的两条边的概率分别表示边界外部属于背景的概率以及内部属于前景的概率，以矩形顶部的边(x＝[x₁,x₂],y)为例，与其相邻的两条边则为(x＝[x₁,x₂],y-1)以及(x＝[x₁,x₂],y+1)，那么边界外部属于背景的概率为：

$P_b(x,y-1)=\frac{N_b}{N_{12}}---\left(7\right)$

式中，P_b(x,y-1)表示垂直坐标为y-1、水平坐标在[x₁,x₂]的边属于背景的概率，N_b表示该垂直坐标为y-1的边上属于背景的像素数目，N₁₂表示该垂直坐标为y-1的边上的像素数目；

同理边界内部属于前景的概率为：

$P_f(x,y+1)=\frac{N_f}{N_{12}}---\left(8\right)$

式中，P_f(x,y+1)表示垂直坐标为y+1、水平坐标在[x₁,x₂]的边属于前景的概率，N_f表示该垂直坐标为y+1的边上属于前景的像素数目，N₁₂表示该垂直坐标为y+1的边上的像素数目；

最后，给定两个阈值T_f和T_b，当内部属于前景概率大于T_f时，认为边界内部为前景；当外部属于背景概率大于T_b时，认为边界外部为背景；于是边界内外的判决结果会出现如下四种状态：

(a)外部为背景，内部为前景。此时边界恰好位于元器件边界处，不调整；

(b)外部为背景，内部为背景。此时边界处于元器件外，应向内调整；

(c)外部为前景，内部为前景。此时边界处于元器件内，应向外调整；

(d)外部为前景，内部为背景。此时属于异常情形，不作调整；

基于如上的状态，对外接矩形的每条边界进行不断调整，当边界处于状态(a)时即停止调整，此时矩形边界恰好贴合元器件对象的边界处，达到了精细定位的目的。