CN110148133A - 基于特征点及其结构关系的电路板残片图像识别方法 - Google Patents

Abstract

本公开涉及基于特征点及其结构关系的电路板残片图像识别方法，其中在样本库中保存有样本图像及其特征点和特征描述，该方法包括步骤：1、提取残片图像的特征点；2、计算特征点的SIFT描述；3、分别计算每个特征点的SIFT描述与每个样本图像的每个特征点的SIFT描述的第一欧式距离；4、对第一欧式距离由小到大排序，选择特征点集中第一欧式距离排序靠前的多个特征点，作为的该特征点的候选匹配点；5、计算候选匹配点与该特征点的形状上下文描述之间的第二欧氏距离，保留第二欧式距离不大于预定阈值的候选匹配点，作为该特征点的匹配点集；6、在样本图像中寻找与残片图像的第一星型结构匹配的第二星型结构；7、根据星型结构之间的相似性，获得样本图像与残片图像的匹配度。

Description

基于特征点及其结构关系的电路板残片图像识别方法

技术领域

本公开本涉及计算机图像处理技术领域，更具体地，涉及一种爆炸装置电路板残片识别方法。

背景技术

电路板残片图像识别的原理即：在获取电路板残片图像(例如，公安机关获取爆炸装置(爆炸后)的电路板残片，将其拍摄为图像)之后，通过特定技术手段，识别出该电路板残片图像属于电路板原板图像库中的哪个型号的电路板原板图像，由此可确定该电路板残片源自何种型号的电路板。

电路板残片图像识别主要涉及电路板图像分割以及残片图像识别两个重要问题：1)电路板图像分割(感兴趣区域提取)，即，从电路板图像中自动提取元器件、字符、焊点等所处的感兴趣区域，是电路板图像描述以及残片图像识别的基础；2)电路板残片图像识别，其属于图像模式识别的一个实际应用。

在图像识别领域，研究人员已经取得诸多成果，例如人脸、指纹、文字、车牌等图像对象的识别，已应用于实际生活中；但通过图像识别技术来识别电路板残片的研究并不多见。与一般图像对象识别任务不同，电路板残片仅是整个电路板很小的局部，残片图像不具备整体图像对象全部特征；识别过程中，只能依据有限的局部描述来识别其所属整体，这在图像模式识别领域属于少有的特殊的研究问题，因此，与本发明相关的研究具有一定的开创性。

下面举例说明现有技术的技术方案，以便理解本发明的背景。

现有技术一的技术方案

在传统图像模式识别领域，利用局部特征点进行图像识别是比较好的策略，一些稳定存在的特征点可以表示图像的局部信息。基于局部特征点的匹配方法，即分别提取待识别对象和样本集图像中的局部特征点描述，利用合适的匹配策略进行识别。Sushkov[1]等人提出的局部特征点比对方法称为BPM(Bipartite Matching)方法，利用SIFT特征点[2]特征描述的相似性以及相似特征点构成的三角形结构约束，进行图像比对识别；对于一般的图像识别问题，该方法识别准确率较高。

现有技术一的缺点

李想[3]将文献[1]中提出的基于局部特征点的匹配方法进行了改进，用于电路板残片图像识别，对于局部特征较多的残片图像，可以进行较准确的识别；但仍存在以下问题：

(1)电路板图像提取的SIFT特征点并不都是稳定的关键点，由于光照、拍摄角度的原因，电路板底板的纹理、元器件的金属等部分可能会提取出不稳定的特征点；

(2)特征点描述匹配过程中只考虑了其SIFT描述的相似性，而没有考虑特征点间的严格的结构关系，由此会造成特征点的误匹配；

(3)三角形相似的约束较弱，且没有考虑到匹配三角形之间的结构关系，可能导致存在相似结构的不同电路板间的误匹配；

(4)如果电路板图像中不存在稳定的特征点，例如，有些背面板只有形状各异的焊锡，则基于特征点SIFT描述的匹配方法很难实现残片对象的准确匹配。

发明内容

考虑到现有技术的上述问题，发明人提出了本发明，其涉及一种基于特征点以及元器件结构关系的电路板残片自动识别方法，能够准确识别不同种类的残片图像。将该识别方法应于爆炸案件中爆炸装置电路板残片的溯源追踪，可节省人工摸排比对所需的大量时间和人力，为公安机关侦破爆炸案件工作提供重要的技术支持。

根据本发明的实施例，提供了一种基于特征点及其结构关系的电路板残片图像识别方法，其中，在样本库中保存有与已知电路板对应的样本图像I_i、及其特征点和特征描述，爆炸装置电路板残片对应有残片图像I₀，所述方法包括以下步骤：

步骤1、提取残片图像I₀的特征点；

步骤2、计算所述特征点的SIFT描述，形成特征点集为S₀；

步骤3、分别计算特征点集为S₀中的每个特征点的SIFT描述与每个样本图像I_i的特征点集S_i中的每个特征点的SIFT描述的第一欧式距离；

步骤4、对所述第一欧式距离由小到大排序，选择特征点集S_i中所述第一欧式距离排序靠前的多个特征点，作为S₀的该特征点的候选匹配点；

步骤5、计算候选匹配点与S₀的该特征点的形状上下文描述之间的第二欧氏距离，保留第二欧式距离不大于预定阈值的候选匹配点，作为S₀的该特征点的匹配点集；

步骤6、建立残片图像I₀的特征点的第一星型结构，并在样本图像I_i中寻找与第一星型结构匹配的第二星型结构，其中，所述第二星型结构是基于所述匹配点集建立的；

步骤7、根据第二星型结构与第一星型结构的相似性，获得各个样本图像I_i与残片图像I₀的匹配度。

本发明可用于爆炸装置残片溯源追踪中，为侦破爆炸案件提供技术支持。将图像处理与模式识别技术用于爆炸装置的电路板残片识别，检索出同类型原板，在保证识别准确率的同时，节省了专业人员进行人工摸排所需的大量时间和精力，对打击爆炸犯罪具有重要意义。

附图说明

图1为根据本发明的实施例的基于特征点及其结构关系的电路板残片图像识别方法的原理示意图；

图2和3为说明根据本发明的实施例的类形状上下文的概念的示意图；

图4至6为根据本发明的实施例的基于特征点及其结构关系的电路板残片图像识别方法的流程示意图；

图7和8为根据本发明的实施例的星型结构匹配的概念示意图；

图9为根据本发明的实施例的爆炸装置电路板残片识别系统的功能模块示意图；

图10为根据本发明实施例的安装了应用程序的系统的运行环境的示意图。

具体实施方式

下面，结合附图对技术方案的实施作进一步的详细描述。

本领域的技术人员能够理解，尽管以下的说明涉及到有关本发明的实施例的很多技术细节，但这仅为用来说明本发明的原理的示例、而不意味着任何限制。本发明能够适用于不同于以下例举的技术细节之外的场合，只要它们不背离本发明的原理和精神即可。

另外，为了避免使本说明书的描述限于冗繁，在本说明书中的描述中，可能对可在现有技术资料中获得的部分技术细节进行了省略、简化、变通等处理，这对于本领域的技术人员来说是可以理解的，并且这不会影响本说明书的公开充分性。

下文中，将描述用于进行本发明的实施例。注意，将以下面的次序给出描述：1、发明构思的概要(图1)；2、基于特征点及其结构关系的电路板残片图像识别方法(图2至8)；3、爆炸装置电路板残片识别系统(图9)；4、根据本发明的实施例的安装了应用程序的系统(图10)。

1、发明构思的概要

本发明设计实现的电路板残片识别方法同时考虑了特征描述的相似性以及特征点空间结构的一致性，识别算法的核心思想是构建并寻找星型结构匹配对，文献[3]采用基于特征点对的平行四边形结构进行匹配区域的查找，这种方法对特征点的空间结构约束不够强，易出现误匹配的情况。为更准确地找到匹配区域，本发明采用基于星型结构的比对方法，星型结构匹配对要满足描述一致性、空间一致性以及结构一致性；同时为剔除不同种类电路板上相似结构间的误匹配，采用高层匹配准则是：要求多组匹配的星型结构对之间的空间结构也要一致，才可以被认为匹配。

基于特征点结构关系和基于元器件结构关系这两种比对方法的比对过程基本类似，区别在于(1)前者比对过程中将特征点作为结点构建匹配的星型结构，后者比对过程中将电路板图像分割结果中的每个元器件都看做一个结点构建匹配结构；(2)前者结点特征为SIFT描述及类形状上下文，后者特征为元器件的尺寸、形状、颜色、纹理等外观信息。

由于电路板残片远小于原板，在识别中可利用的图像区域十分有限，为得到准确的残片识别结果，本发明在设计残片识别方案时充分考虑了残片的各级特性，提出了分层次进行残片比对识别的方案，使用局部特征与全局特征相结合的策略，分层次进行残片比对识别。

比对过程分为以下三层：第一层比对，基于特征描述考察局部特征点的相似性；第二层比对，利用匹配图像其特征点间结构必须相同的规则，引入由特征点构成的星型结构进行比对，根据残片识别匹配电路板图像；第三层比对，属于高层匹配策略，从残片图像全局考虑识别问题，对匹配图像的约束是：匹配电路原板图像上各个匹配的星型结构间的空间分布结构必须同残片图像上所有找到匹配对的星型结构间的空间分布结构一致，从更高的层次和全局的角度保证匹配的准确性。

电路板残片具有多样性，有些残片图像中存在多个稳定的特征点，例如，电路板的正面图像；而有些残片图像中存在很少甚至不存在稳定的特征点，例如电路板背面图像，有时仅有焊点，难以提取稳定的特征点。为此，本发明对能够提取出足够稳定特征点的电路板图像，采用基于特征点及其结构关系相结合的比对识别方法；对于缺乏稳定特征点的电路板图像，采用基于元器件及其结构关系相结合的比对识别方法；这样，不同的残片均能使用合适的比对方法，达到根据局部图像识别匹配的整体图像的目的。

具体地，对于能够提取出稳定特征点的电路板图像，提取图像的Harris角点[4]作为比对的特征点，并计算各个特征点的SIFT描述、类形状上下文描述，作为局部特征描述；并据此进行局部特征比对，以识别出相似的特征点；以这些特征点为结点，构造星型结构，在进行比对的图像间寻找匹配的星型结构。对于不存在稳定特征点的残片图像，采用基于元器件结构关系的残片识别方法，利用电路板图像分割算法得到残片图像的元器件分割结果，元器件的尺寸、形状、颜色作为其特征描述，并根据这些特征描述进行局部特征比对，以识别出相似的元器件；以这些元器件为结点构建星型结构，并在进行比对的图像间寻找匹配的星型结构。

不同的电路板上可以存在相同的元器件，而这相同的元器件会产生局部特征点匹配，甚至个别星型结构的匹配，从而造成残片与非同源电路板的错误匹配。为避免存在相似结构的不同种类电路板间的误匹配，高层匹配策略要求各个匹配的星型结构间必须满足空间分布结构的一致性。

本发明充分考虑了特征点描述以及特征点间拓扑结构关系，其中，使用特征点星型结构匹配约束的优点为：(1)一个星型结构可以关联多个特征点，不似三角形结构仅仅关联3个特征点，从而对匹配特征点有更强的空间结构约束；(2)比三角形结构更具有灵活性。本发明的方法对不同种类的电路板残片都能准确识别，在包含2707幅有效残片的数据集中进行残片图像自动识别的测试，该方法的Top1准确率达到91.9％，Top5准确率达到96.0％。

图1为根据本发明的实施例的基于特征点及其结构关系的电路板残片图像识别方法的总体流程示意图。

如图1所示，本发明提出的基于特征点及其结构关系的电路板残片图像识别方法可分为以下两阶段：

1)样本库建立阶段，需要对样本库中的每幅图像都进行元器件分割以及特征点提取操作，最后计算特征描述并保存到样本库中。

2)残片比对识别阶段，首先判断残片图像中是否存在稳定特征点，若残片中存在多个稳定特征点，则提取残片图像的特征点，否则，对残片图像进行元器件分割；然后，计算特征点或元器件的特征描述，最后与样本库中的每幅样本库图像进行特征及结构比对来判断是否匹配。

文献[1]、[3]中基于特征点的比对方法均采用SIFT特征点，但电路板图像上提取到的SIFT特征点中存在大量不稳定的关键点，极大地影响了比对算法的准确度和运算速度。图像的Harris角点[4]能够很好地表示图像中的角点，具有对亮度和对比度变化不敏感以及旋转不变性等优点，更适用于作为电路板图像识别中的特征点，因此，本发明以Harris角点作为电路板图像的特征点。

在Harris角点提取过程中，由于电路板上不同位置角点呈现的区域大小不同，笔画较细的字符的角点可以在很小的区域内确定，较大元器件的角点则需要在较大区域才能确定，而传统Harris角点检测算法只能检测出单一尺度下的特征点，不具备尺度不变性。因此，本发明采用多尺度Harris角点检测方法，综合不同尺度下检测到的角点结果，确定Harris角点的位置、响应、主方向等信息，具有尺度不变性。将该角点检测算法应用在电路板图像上，提取到的Harris角点位置准确、覆盖全面且符合电路板图像的实际特征点分布。

在特征描述方面，本发明采用SIFT描述和类形状上下文描述这两种方式：

1)SIFT描述[2]

基于特征点结构关系的比对算法中，需要对特征点进行准确且有区分力的描述，用以匹配相似特征点、区分不同的特征点。SIFT描述对旋转、亮度、尺度等不敏感，且抗噪声能力较强，因此采用SIFT描述特征点的局部信息。残片图像经过特征点提取，得到特征点的位置以及主方向等信息；以特征点为中心取W×W邻域窗口，求取每个像素点的梯度幅度及方向，利用高斯函数对窗口内各像素点梯度幅度进行加权。将窗口内的像素分成16块，在每个小块上统计8个方向梯度分布，即在各个方向上累加加权后的梯度幅度值，并级联这些统计值，形成128维的特征向量，并进行归一化处理，去除光照的影响。SIFT描述准确反映了特征点的局部信息，是特征点比对阶段的重要依据

2)类形状上下文描述

电路板残片图像识别，最突出的难点：残片面积小，特征信息少，仅仅使用单一特征点局部描述的相似关系，极容易造成不同特征点的错误匹配；为了能够准确识别残片图像，除了利用局部特征点的描述信息外，还必须使用电路板特征点空间分布结构关系以约束特征点的匹配，以尽可能地抑制特征点的错误匹配。考虑到同源电路板图像，其特征点的空间分布是一致的；为此，将形状上下文特征引入电路板残片图像识别任务，以描述特征点空间分布结构关系。

形状上下文特征[5]描述对象的轮廓结构信息，其对对象轮廓上点的相对位置进行编码，提取轮廓点间的结构信息，以描述对象整体结构。形状上下文描述的提取方法如图2所示，其中(a)为一幅字符图像；(b)为形状上下文提取示意图，图中黑点是字符轮廓边缘等间隔采样得到一组离散点集，以一点为中心按对数距离等间隔建立N个同心圆，将区域沿圆周M等分；统计落在每个区域的边缘点的个数，得到极坐标系下的轮廓采样点直方图如(c)所示，每小块的颜色表示落在该区域边缘取样点的个数，颜色越深，区域内包含边缘点个数越多。这个二维直方图即为(b)中位于圆心位置的轮廓采样点的形状上下文描述，对字符轮廓所有采样点计算形状上下文描述特征，就得到了描述字符轮廓结构的形状上下文特征。

为了既能描述电路板图像特征点空间分布结构关系，又能够实现快速比对识别，本发明对原创的形状上下文描述特征进行了改进，为提高统计速度，用直角坐标系取代对数极坐标系统计以各个特征点为中心的一定窗口大小内各个特征点的空间分布，以此描述邻近特征点之间的结构关系。具体做法：如图3所示，以当前特征点为中心取49×49邻域窗口，将窗口内的像素等分为7×7块，每个小块尺寸为7×7，统计落在各小块内特征点的个数，最终得到49维特征点的类形状上下文描述，该特征描述了特征点与其近邻其它特征点的空间结构关系，因此将该特征命名为类形状上下文特征；在特征点匹配时，要求匹配特征点对的类形状上下文特征要足够相似，从特征点空间分布的结构关系约束匹配的特征点，抑制了仅仅因为单一特征点的SIFT描述相似而造成的错误匹配。

如下所述，本发明还利用了星型结构匹配作为高层匹配策略。

在特征点匹配阶段，考察了特征点个体的相似性，据此，还不能完全保证匹配点对的准确性。因为，即使同型号的电路板，不同的实体对象制作过程会造成它们之间并非百分百地相似；更何况不同型号的电路板会有相同的元器件区域，而这又造成不同型号电路板具有相似区域；再加之图像采集时的各种干扰因素的存在；所以，仅仅依据各个特征点的相似性是不够的；实验中也发现，存在不匹配的特征点间的相似度分值高于真实匹配特征点间的相似度分值的情况。

现实世界中，人类要识别人脸，也需要观察人脸区域整体及细节，不会仅仅依靠一只眼睛或者鼻子就可以断定是某某人；这也说明了通过图像识别一个对象，不仅需要考察关键局部的相似性，也需要考察各个相似局部之间存在的关系是否匹配。基于此，在设计残片图像识别方法过程中，使用了特征点间的结构关系来约束匹配的特征点，以使特征点能够正确匹配，并剔除错误的匹配对；考虑到电路板图像特征点出现位置的多样性，本发明中，使用星型结构描述特征点间的拓扑结构关系，相互匹配的特征点之间，不仅需要满足局部描述特征的相似性约束，而且需要满足与其它特征点构成的星型结构关系的相似性的约束。具体实现，首先，在残片图像的特征点集中，选择位于残片非边缘区域的特征点为中心结点构建星型结构；其次，对于任意一幅样本图像I_i(i＝1,…,N)，在其特征点集S_i中的候选匹配点集上寻找与残片上相应结构匹配的星型结构，如果存在多个星型结构匹配对，匹配对之间也要满足空间结构一致性的约束，称之为高层匹配准则。

下面具体说明本发明的基于特征点及其结构关系的电路板残片图像识别方法的实现方式。

2、基于特征点及其结构关系的电路板残片图像识别方法

如上所述，根据本发明的基于特征点及其结构关系的电路板残片图像识别方法包括样本库建立阶段、残片比对识别阶段，即，在进行残片比对识别之前，需要完成样本库的建立。

1)在样本库建立阶段，所述基于特征点及其结构关系的电路板残片图像识别方法包括以下步骤：

S100、提取并计算每个样本图像I_i的特征点，并形成特征点的SIFT描述、类形状上下文描述；

S200、将上述特征描述保存到样本库(底库)中，即，在底库中，每个样本图像I_i均具有相应的特征点的SIFT描述、以及类形状上下文描述。

具体地，通过上述步骤，在底库中记录的特征点集为S_i，i＝1,…,N,这里，N为样本库中不同型号电路板原板数目，S_i为第i个样本图像I_i的特征点集。

2)在残片比对识别阶段，所述基于特征点及其结构关系的电路板残片图像识别方法包括特征点匹配和星型结构匹配这两个匹配阶段，

2-1)所述特征点匹配阶段包括以下步骤：

步骤S300、提取待识别的电路板残片图像I₀的Harris特征点，作为电路板图像的特征点；

步骤S400、计算所述Harris特征点的SIFT描述，形成特征点集为S₀；

步骤S500、分别计算特征点集为S₀中的每个特征点的SIFT描述与每个样本图像I_i的特征点集S_i中的每个特征点的SIFT描述的欧式距离；

步骤S600、对于残片图像I₀的特征点集S₀的每个特征点，进行如下步骤：

步骤S610、遍历样本图像I_i的特征点集S_i，计算S₀的该特征点与S_i中的各个特征点的SIFT描述的欧氏距离，选择S_i中所述欧式距离最小的多个特征点(例如，15个)，作为S₀的该特征点的候选匹配点；

这样，能够保证匹配点对间的局部描述的相似性；

步骤S620、计算候选匹配点与S₀的该特征点的形状上下文描述之间的欧氏距离，保留欧式距离不大于预定阈值(例如5)的候选匹配点，作为S₀的该特征点的匹配点集；

该步骤用以约束匹配特征点对邻域内特征点空间分布一致，留下的特征点构成残片该特征点的候选匹配点集。上述特征点匹配综合考虑了特征点的SIFT描述以及类形状上下文描述，根据特征点的局部描述相似性以及特征点空间分布结构关系相似性，确定匹配点对，以保证方法的准确性。

通过为S₀的每个特征点重复上述步骤S610和S620，得到S₀的每个特征点的匹配特征点，其中，S₀中的特征点记为p_k(k＝1,…K，K为该残片图像特征点数目)。

这样，对于残片图像I₀的每个特征点，每个样本图像I_i各得到不超过15个最匹配的特征点(部分样本图像因为匹配点不足而被丢弃)。

2-2)进入所述星型结构匹配阶段。

2-2-1)首先，建立残片图像I₀的特征点的星型结构。

具体地，所述方法包括：

步骤S700、初始化当前特征点p_k，令k＝1；

步骤S800、如果当前特征点p_k不在图像边缘区域、且不属于已确定的有效星型结构，则将其作为星型结构中心点，否则将下一特征点p_k+1作为当前特征点，重复此步骤；

步骤S900、将S₀中的与当前特征点p_k的距离不小于星型结构阈值T_d(例如5)的特征点作为以p_k为中心的星型结构的末端结点p_e；

步骤S1000、如果以p_k为中心的星型结构的所述末端结点不少于3个，则将以p_k为中心的星型结构作为有效星型结构，将当前中心点p_k记为末端结点p_e记为

步骤S1100、将下一特征点p_k+1作为当前特征点，返回到步骤S800，如果不存在下一特征点p_k+1，则记录全部有效星型结构，例如其数量为M个，m＝1,…,M。

2-2-2)接下来，在样本图像中寻找星型结构的中心匹配点。

具体地，所述方法还包括：

步骤S1200、在样本图像I_i的匹配点集(即，在步骤S620之后得到的对应于S₀，S_i的子集)中，遍历的匹配点集，分别以匹配点集中每个不在边缘的特征点作为星型结构的中心匹配点(M_c)。

2-2-3)接下来，在样本图像中寻找星型结构的末端匹配点。

与中心匹配点的寻找方式不同，由于匹配星型结构对应该具有空间结构相似，因此末端匹配点的寻找不需要遍历其匹配点集，只需在p_e对应到样本图像位置的邻域内寻找即可。

具体地，所述方法还包括：

步骤S1300、设p_cp_e是残片图像中的一个星型结构从中心点p_c到末端点p_e的连线，在样本图像I_i上以中心匹配点(M_c)为起点，建立一条与p_cp_e连线长度和方向均一致的线段，以该线段的终点为中心取矩形邻域(例如，15*15)，如图7所示；

步骤S1400、遍历落在该矩形邻域内的所有特征点M_e，若满足以下条件，则该点为末端匹配点：

a)M_e与p_e的SIFT描述的欧式距离不大于0.6；

b)线段p_cp_e与线段M_cM_e夹角小于10度，短边与长边的边长比大于0.97。

步骤S1500、如果残片图像的某个星型结构的多个末端点(例如，不少于3个)在样本图像中找到匹配点，则可以构成一组星型结构匹配候选对；

为了避免误匹配的情况，还需考察两个星型结构进行空间结构以及区域图像结构的相似性，如下所述。

步骤S1600、将满足以下4个条件的星型结构匹配候选对作为最终的星型结构匹配对：

(1)匹配成功的末端点个数不少于3；

(2)两匹配星型结构任意两组边的角度差小于12度，且特征点的邻接关系相同；

(3)两匹配星型结构任意两组末端点连线，短边与长边距离之比大于0.87；

这可确保在星型结构边长很长时，末端点的偏移也不会很大；

(4)包含两星型结构的两外接矩形图像区域的结构相似性(SSIM)大于0.3。

前三个约束限制了星型结构的空间一致性(外接矩形)，为保证星型结构匹配的准确匹配，更进一步考察匹配的星型结构图像子区域的结构相似性，为此，引入SSIM特征进行相似区域的鉴别。SSIM[6]从亮度(l)、对比度(c)、结构(s)三方面度量图像的相似性，更符合人眼的视觉感知，SSIM为亮度、对比度、结构相似性的乘积：

SSIM(X,Y)＝l(X,Y)c(X,Y)s(X,Y) (1)

其中，

式中，X、Y表示图像(即，样本图像和残片图像)，μ_X和μ_Y表示图像的均值，σ_X和σ_Y表示图像的方差，σ_XY表示图像X与Y的协方差，C1、C2、C3为预设的常数。

为准确计算两匹配星型区域的SSIM，以星型结构中心点为对齐位置，取两星型结构的等尺寸外接矩形，计算对齐后的两矩形区域图像的SSIM，以此鉴别两星型的结构所在区域图像结构相似度。SSIM值越大，表示两星型结构相似度越高；对星型结构匹配的区域加入SSIM限制对残片比对算法的准确率有较大幅度的提升。

不同种类的电路板中可能存在相似结构，对于这种局部相似的情况，传统的基于特征点的匹配方法可能因这种局部相似结构而形成错误匹配。

为解决此问题，还可进一步引入高层匹配准则，要求：残片上匹配的星型结构组间的空间位置关系，在匹配底库图像也必须存在具有同样空间位置关系的匹配的星型结构组，如图8所示，在残片上存在3组星型结构A、B、C，其中心点构成几何形状ABC，与其匹配的底库图像1上与之匹配的星型结构分别为A′、B′、C′，则高层匹配准则是这3个星型结构的中心构成的几何形状A′B′C′与ABC相同，如果满足，则图8中残片图像与底库图像1匹配成功；而底库图像2尽管部分星型结构与残片图像匹配，但其匹配的星型结构中心构成的几何结构不满足高层匹配准则，则残片图像与底库图像2不匹配。这样，即使不同种类的电路板的局部星型结构与残片上某个星型结构匹配成功，但很难同时满足高层匹配准则中多个匹配星型结构空间位置关系的一致性，从而极大降低误匹配情况的发生。

2-3)匹配结果排序

接下来，由于一幅电路板残片图像可能与多幅样本库电路板图像匹配成功，还需根据星型结构匹配对的特性对匹配结果进行排序。一幅残片图像I₀与一幅样本图像I_i匹配得分为：

式中，i为星型结构匹配对的序号，e_i为匹配星型结构的边数，为匹配特征点间SIFT描述距离的平方，SSIMmax为残片星型结构区域与样本图像I_i相关区域的结构相似性的最大值。匹配分数与星型结构包含的边数、特征描述的相似度以及星型结构区域的SSIM正相关，匹配得分越高，残片与该样本库图像的匹配程度高，排名越靠前。

由此，可选择匹配得分S最高的样本图像，将其所对应的电路板识别为爆炸电路残片所属的电路板。

可选地，在残片比对识别阶段之前，还可包括预处理步骤，其中，根据电路板残片的特点选择比对识别方案，即，基于特征点结构关系或者基于元器件结构关系，提取残片特征点或进行元器件分割操作，计算并保存特征描述。后续以基于特征点结构关系比对识别方案描述残片识别过程，基于元器件结构关系的比对过程与此类似。

具体地，对于不能提取稳定特征点的电路板图像，例如仅有焊点的背面板图像，可以提取焊点等元器件对象的区域(可采用任意已知方法)，将之抽象为特征点，提取相关颜色等特征替代特征点，之后采用前述比对过程，进行残片图像识别。

综上所述，本发明的残片识别充分考虑了残片的不同特性，提出了适合不同电路板残片图像的识别方法，该方法使用残片图像的局部特征与全局特征相结合的策略，分层次进行残片比对识别。比对过程中，第一层比对是考察局部特征点的相似性；第二层比对充分利用图像结构必须相似的要素，引入星型结构进行比对；第三层比对属于高层约束，用星型结构间的空间关系为约束，保证匹配的准确性，利用的是全局信息。基于特征点的匹配方法适用于有多个稳定特征点的残片识别，其中提取的特征点采用多尺度Harris角点，对亮度、对比度不敏感且具有旋转、尺度不变性，而且准确地描述了电路板识别中最稳定的关键点；对特征点进行特征描述时，除了采用SIFT描述局部特征点的相似性，还增加了类形状上下文特征描述特征点间的拓扑结构，有效抑制了特征点间的误匹配。对于不存在稳定特征点的残片，采用基于元器件结构关系的匹配方法，将元器件当作特征点进行后续的匹配，作为基于特征点匹配的补充和完善。匹配阶段，采用基于星型结构建立并寻找具有相似结构关系的匹配对，星型结构匹配对要满足描述一致性、空间结构一致性；而利用SSIM对两匹配图像区域的结构相似性进行约束，极大减少了误匹配情况的出现。由于不同种类的电路板中可能存在相似结构，为避免相似结构间的误匹配，还增加了星型结构之间的空间结构保持一致的限制，有效避免了相似结构的误匹配。整体匹配方法准确，Top1匹配准确率为91.9％，Top5准确率达到96.0％。

3、爆炸装置电路板残片识别系统

图9为根据本发明的实施例的爆炸装置电路板残片识别系统的功能模块示意图。

本发明的实施例提供了一种爆炸装置电路板残片识别系统，其用来执行上述基于特征点及其结构关系的电路板残片图像识别方法，所述爆炸装置电路板残片识别系统主要包括样本库建立模块、预处理模块、特征提取模块、特征匹配模块、结构匹配模块。

其中，所述样本库建立模块用于提取并计算每个样本图像I_i的特征点，并计算特征点的SIFT描述、类形状上下文描述，将上述特征描述保存到样本库中。

所述预处理模块用于判断从残片图像是否提取稳定特征点，如果不能，则提取焊点等元器件对象的区域，将之抽象为特征点，提取相关颜色等特征替代特征点。

所述特征提取模块用于从提取待识别的电路板残片图像I₀的Harris特征点，作为电路板图像的特征点，并计算所述Harris特征点的SIFT描述，形成特征点集为S₀。

所述特征比对模块用于比对特征点间的相似性，形成匹配点集。

所述结构比对模块用于进一步比对匹配点集组成的星型结构，并还用星型结构间的空间关系作为约束，输出每个样本图像最终的匹配分数。

此外，本发明的不同实施例也可以通过软件模块或存储在一个或多个计算机可读介质上的计算机可读指令的方式实现，其中，所述计算机可读指令是当被处理器或设备组件执行时，执行本发明所述的不同的实施例。类似地，软件模块、计算机可读介质和硬件部件的任意组合都是本发明预期的。所述软件模块可以被存储在任意类型的计算机可读存储介质上，例如RAM、EPROM、EEPROM、闪存、寄存器、硬盘、CD-ROM、DVD等等。

4、根据本发明的实施例的安装了应用程序的系统

图10示出了根据本发明实施例的安装了应用程序的系统的运行环境。

在本实施例中，所述的安装应用程序的系统安装并运行于电子装置中。所述电子装置可以是桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该电子装置可包括但不限于存储器、处理器及显示器。该图仅示出了具有上述组件的电子装置，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器在一些实施例中可以是所述电子装置的内部存储单元，例如该电子装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述电子装置的外部存储设备，例如所述电子装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述电子装置的内部存储单元也包括外部存储设备。所述存储器用于存储安装于所述电子装置的应用软件及各类数据，例如所述安装应用程序的系统的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所述处理器在一些实施例中可以是中央处理单元(Central Processing Unit，CPU)、微处理器或其他数据处理芯片，用于运行所述存储器中存储的程序代码或处理数据，例如执行所述安装应用程序的系统等。

所述显示器在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器用于显示在所述电子装置中处理的信息以及用于显示可视化的客户界面，例如应用菜单界面、应用图标界面等。所述电子装置的部件通过系统总线相互通信。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解，上述实施方式中的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件商品的形式体现出来，该计算机软件商品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明本申请各个实施例所述的方法。

也就是说，根据本发明的实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有用于执行根据本发明的实施例的所述方法的程序，所述程序被处理器执行时，执行所述方法的各个步骤。

由上，将理解，为了说明的目的，这里已描述了本发明的具体实施例，但是，可作出各个修改，而不会背离本发明的范围。本领域的技术人员将理解，流程图步骤中所绘出或这里描述的操作和例程可以多种方式变化。更具体地，可重新安排步骤的次序，可并行执行步骤，可省略步骤，可包括其它步骤，可作出例程的各种组合或省略。因而，本发明仅由所附权利要求限制。

参考文献列表

[1]Sushkov O O,Sammut C.Local image feature matching for objectrecognition[C]//International Conference on Control Automation Robotics&Vision.IEEE,2011:1598-1604.

[2]Lowe D G.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110.

[3]李想.电路板残片图像识别.北京邮电大学硕士论文.2017.28-43.

[4]Harris C.A combined corner and edge detector[J].Proc Alvey VisionConf,1988,1988(3):147-151.

[5]Simon J.D.Prince.Computer Vision:Models,Learning,and Inference[M].Cambridge University Press,2012.

[6]Wang Z,Bovik A C,Sheikh H R,et al.Image quality assessment:fromerror visibility to structural similarity.[J].IEEE Trans Image Process,2004,13(4):600-612。

Claims (10)

1.一种基于特征点及其结构关系的电路板残片图像识别方法，包括以下步骤：

步骤1、提取与待识别的电路板残片对应的残片图像I₀的特征点；

步骤2、计算所述特征点的SIFT描述，形成特征点集S₀；

步骤3、分别计算所述特征点集S₀中的每个特征点的SIFT描述与每个样本图像I_i的特征点集S_i中的每个特征点的SIFT描述的第一欧式距离，其中，所述样本图像I_i与已知电路板对应，并且，所述样本图像I_i及其特征点和特征描述被保存在样本库中；

步骤4、对所述第一欧式距离由小到大排序，选择特征点集S_i中所述第一欧式距离排序靠前的多个特征点，作为S₀的该特征点的候选匹配点；

步骤5、分别计算每个所述候选匹配点与S₀的该特征点的形状上下文描述之间的第二欧氏距离，保留第二欧式距离不大于预定阈值的候选匹配点，作为S₀的该特征点的匹配点集；

步骤6、建立所述残片图像I₀的特征点的第一星型结构，并在样本图像I_i中寻找与第一星型结构匹配的第二星型结构，其中，所述第二星型结构是基于所述匹配点集建立的；

步骤7、根据第二星型结构与第一星型结构的相似性，获得各个样本图像I_i与残片图像I₀的匹配度。

2.根据权利要求1所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，步骤1中的所述特征点是Harris特征点。

3.根据权利要求1所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，在步骤6中，如下建立所述残片图像I₀的特征点的第一星型结构：

步骤6-1、获取所述残片图像I₀的当前特征点p_k，令k＝1；

步骤6-2、如果当前特征点p_k不在所述残片图像I₀的图像边缘区域、且不属于已确定的有效星型结构，则将其作为星型结构中心点，否则将下一特征点p_k+1作为当前特征点，重复此步骤；

步骤6-3、将特征点集S₀中的与当前特征点p_k的距离不小于星型结构阈值T_d的特征点作为以p_k为中心的星型结构的末端结点p_e；

步骤6-4、如果以p_k为中心的星型结构的所述末端结点p_e不少于预定数量，则将以p_k为中心的星型结构作为有效星型结构，将当前中心点p_k记为末端结点p_e记为

步骤6-5、如果不存在下一特征点p_k+1，则记录全部有效星型结构，将当前中心点p_k记为末端结点p_e记为其中m＝1、…、M，M为有效星型结构的数目，如果存在下一特征点p_k+1，则将下一特征点p_k+1作为当前特征点，返回到步骤6-2。

4.根据权利要求3所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，在步骤6中，通过以下步骤，在样本图像I_i中寻找与第一星型结构匹配的第二星型结构：

步骤6-6、在样本图像I_i的匹配点集中，遍历的匹配点集，分别以匹配点集中每个不在边缘的特征点作为星型结构的中心匹配点M_c；

步骤6-7、在样本图像I_i上以中心匹配点(M_c)为起点，建立一条与线段的长度和方向均一致的线段，以该线段的终点为中心取矩形邻域；

步骤6-8、遍历落在该矩形邻域内的所有特征点M_e，若满足以下条件，则该点为末端匹配点：

a)M_e与的SIFT描述的欧式距离不大于0.6；

b)线段与线段M_cM_e的夹角小于10度，短边与长边的边长比大于0.97；

步骤6-9、如果残片图像I₀的某个星型结构的多个末端点在样本图像中找到匹配点，则构成一组星型结构匹配候选对。

5.根据权利要求4所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，步骤6-9还包括：

将满足以下条件的星型结构匹配候选对作为最终的星型结构匹配对：

1)末端匹配点的个数不少于3；

2)两匹配星型结构任意两组边的角度差小于12度，且特征点的邻接关系相同；

3)两匹配星型结构任意两组末端点连线，短边与长边距离之比大于0.87；

4)包含两星型结构的两外接矩形图像区域的结构相似性SSIM大于0.3，

其中，SSIM(X，Y)＝l(X，Y)c(X，Y)s(X，Y) (1)

其中，

式中，X、Y分别代表图像样本图像和残片图像的像素值阵列，μ_X和μ_Y表示图像的均值，σ_X和σ_Y表示图像的方差，σ_XY表示图像X与Y的协方差，C1、C2、C3为预设的常数。

6.根据权利要求5所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，在步骤7中，如下计算各个样本图像I_i与残片图像I₀的匹配度S：

式中，i为星型结构匹配对的序号，e_i为匹配星型结构的边数，为匹配特征点间SIFT描述距离的平方，SSIMmax为残片图像的星型结构与样本图像I_i的匹配星型结构的结构相似性中的最大值。

7.根据权利要求1所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，如下建立所述样本库：

步骤0-1、提取并计算每个样本图像I_i的特征点，并形成特征点的SIFT描述、形状上下文描述；

步骤0-2、将上述特征描述保存到样本库中，其中，每个样本图像I_i均具有相应的特征点的SIFT描述、以及形状上下文描述。

8.根据权利要求1所述的基于特征点及其结构关系的电路板残片图像识别方法，其中，在计算所述形状上下文描述的过程中，用直角坐标系取代对数极坐标系，统计以各个特征点为中心的一定窗口大小内各个特征点的空间分布，以此描述邻近特征点之间的结构关系。

9.根据权利要求1所述的基于特征点及其结构关系的电路板残片图像识别方法，其在步骤1之前还包括预处理步骤，其中，对于不能提取稳定特征点的残片图像，提取元器件对象的区域，将之抽象为特征点，提取相关颜色等特征替代所述特征点，之后转到步骤2至7。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有用于执行根据权利要求1至9中的任一个所述的方法的程序，所述程序被处理器执行时，执行所述方法的步骤。