CN113139540A - 背板检测方法及设备 - Google Patents

Abstract

本公开提供一种背板检测方法及设备，获取包含至少一个待检测背板的待检测图像，并提取待检测图像的不同分辨率的特征以生成特征图集合；利用预先构建的锚框，对特征图集合进行目标分类和边框回归，生成区域建议框；对区域建议框进行感兴趣区域池化，生成感兴趣区域特征图；对感兴趣区域特征图进行目标分类和边框回归，生成检测框；对检测框去重，得到标记了待检测目标的检测结果图像。本公开提供的背板检测方法，通过预先构建的锚框，获取并分析了待检测背板中不同待检测目标的不同特征，检测目标多元，并且提高了检测结果图像中背板的组成结构的完整性和准确性。

Description

背板检测方法及设备

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种背板检测方法及设备。

背景技术

目标检测是计算机视觉领域的重要分支，旨在检测图像中所包含目标的类别与位置。

交换机、路由器等网络设备的背板承载了大量接口与设备信息，对背板主体进行目标检测能够自动获取背板的组成结构、带宽容量、运行状态等关键数据，可广泛应用于机器人巡检、设备信息采集、运维可视化等场景中，是网络设备运维管理自动化、智能化的重要环节，关系到网络基础设施的建设与运行质量。

然而，使用相关技术进行背板检测时，检测目标的种类局限于网口等元器件，检测对象较为单一，例如忽略了光纤口、usb口、状态指示灯等其他重要元器件，检测结果不能完整地描述背板的组成结构，准确性较低。

发明内容

有鉴于此，本公开的目的在于提出一种背板检测方法及设备。

基于上述目的，本公开提供了一种背板检测方法，包括：

获取包含至少一个待检测背板的待检测图像，并提取所述待检测图像的不同分辨率的特征以生成特征图集合；所述待检测背板上包括至少一个待检测目标；

利用预先构建的锚框，对所述特征图集合进行目标分类和边框回归，生成区域建议框；

对所述区域建议框进行感兴趣区域池化，生成感兴趣区域特征图；

对所述感兴趣区域特征图进行目标分类和边框回归，生成检测框；其中，至少部分所述检测框标记了所述待检测目标；

对所述检测框去重，得到标记了所述待检测目标的检测结果图像。

基于同一发明构思，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。

从上面所述可以看出，本公开提供的背板检测方法及设备，获取包含至少一个待检测背板的待检测图像，并提取待检测图像的不同分辨率的特征以生成特征图集合；利用预先构建的锚框，对特征图集合进行目标分类和边框回归，生成区域建议框；对区域建议框进行感兴趣区域池化，生成感兴趣区域特征图；对感兴趣区域特征图进行目标分类和边框回归，生成检测框；对检测框去重，得到标记了待检测目标的检测结果图像。本公开提供的背板检测方法，通过预先构建的锚框，获取并分析了待检测背板中不同待检测目标的不同特征，检测目标多元，并且提高了检测结果图像中背板的组成结构的完整性和准确性。

附图说明

为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的背板检测方法的应用场景示意图；

图2为本公开实施例提供的背板检测方法的一种流程示意图；

图3为本公开实施例提供的锚框尺寸生成方法的一种流程示意图；

图4为本公开实施例提供的待检测目标的尺寸聚类的场景示意图；

图5为本公开实施例提供的IoU的计算方法的示意图；

图6为本公开实施例提供的相关技术中重叠框去重结果的示意图；

图7为本公开实施例提供的检测框去重方法的一种流程示意图；

图8为本公开实施例提供的边框回归的示意图；

图9为本公开实施例提供的背板检测模型的一种结构示意图；

图10为本公开实施例提供的一种更为具体的电子设备硬件结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

目标检测是计算机视觉领域的重要分支，旨在检测图像中所包含目标的类别与位置。

交换机、路由器等网络设备的背板承载了大量接口与设备信息，对背板主体进行目标检测能够自动获取背板的组成结构、带宽容量、运行状态等关键数据，可广泛应用于机器人巡检、设备信息采集、运维可视化等场景中，是网络设备运维管理自动化、智能化的重要环节，关系到网络基础设施的建设与运行质量。

然而，使用相关技术进行背板检测时，检测目标的种类局限于网口等元器件，检测对象较为单一，例如忽略了光纤口、usb口、状态指示灯等其他重要元器件，检测结果不能完整地描述背板的组成结构，准确性较低。

具体的，基于深度学习的目标检测技术主要分为以Faster R-CNN为代表的two-stage方法和以YOLO为代表的one-stage方法。Faster R-CNN使用RPN网络对锚框(anchorbox)进行分类与边框回归生成区域建议框，再提取区域建议框的特征图计算生成检测框，检测准确率更高；YOLO利用卷积神经网络提取特征后，直接计算N*N的图像区域中每个锚框的类别与位置，从而生成检测框，检测的实时性更高。

相关技术中，在进行网口检测时，采用的是以YOLO为代表的one-stage方法，其仅实现了对网口进行检测，忽略了背板上如光纤口、usb口、状态指示灯等其他重要元器件。同时，相关技术中还认为，采用以Faster R-CNN为代表的two-stage方法在识别背景时假阳性很高，因网口对应的背景比较复杂，Faster R-CNN不适用于检测网口。

发明人提出，YOLO模型的优点是速度较快，但是其准确性较低，那么，在面临进行背板检测的任务时，为了提高背板检测的准确性，本公开基于改进的Faster R-CNN模型，提供一种背板检测方法，对Faster R-CNN模型进行改进并应用到背板检测的场景中去。

本公开提供一种背板检测方法及设备，获取包含至少一个待检测背板的待检测图像，并提取待检测图像的不同分辨率的特征以生成特征图集合；利用预先构建的锚框，对特征图集合进行目标分类和边框回归，生成区域建议框；对区域建议框进行感兴趣区域池化，生成感兴趣区域特征图；对感兴趣区域特征图进行目标分类和边框回归，生成检测框；对检测框去重，得到标记了待检测目标的检测结果图像。本公开提供的背板检测方法，通过预先构建的锚框，获取并分析了待检测背板中不同待检测目标的不同特征，检测目标多元，并且提高了检测结果图像中背板的组成结构的完整性和准确性。

参考图1，其为本申请实施例提供的背板检测方法的应用场景示意图。该应用场景包括终端设备101、服务器102、和数据存储系统103。其中，终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant，PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

服务器102用于向终端设备101的用户提供背板检测服务，终端设备101中安装有与服务器102通信的客户端，用户可通过该客户端输入一张待检测背板图像，点击检测按钮后，客户端将待检测背板图像发送给服务器102，服务器102将待检测背板图像输入已训练的背板检测模型，获得背板检测模型输出的待检测背板图像对应的待检测背板的背板组成结构图像，将背板组成结构图像发送给客户端，客户端向用户展示背板组成结构图像，以帮助用户进行背板检测。

数据存储系统103中存储有大量训练数据，每个训练数据包括一个背板图像和该背板图像对应的背板组成结构图像，服务器102可基于大量训练数据对背板检测模型进行训练，使得背板检测模型能够对输入的背板图像进行检测，如检测背板图像中的厂商型号、网口、光纤口、usb口和状态指示灯等设备信息、接口以及元器件等信息，训练数据的来源包括但不限于已有的数据库、从互联网爬取的数据或者在用户使用客户端时上传的数据。当背板检测模型输出的准确率达到一定要求时，服务器102可基于背板检测模型向用户提供背板检测服务，同时，服务器102还可以基于新增的训练数据不断优化背板检测模型。

本申请实施例的背板检测模型可应用于检测背板上的厂商型号、网口、光纤口、usb口和状态指示灯等设备信息、接口以及元器件等信息等场景。进一步的，对背板进行检测获取背板的组成结构、带宽容量和运行状态等关键数据，可广泛应用于机器人巡检、设备信息采集、运维可视化等场景中。可基于不同背板的训练数据分别对背板检测模型进行训练，以获得应用于不同背板的背板检测模型。

下面结合图1的应用场景，来描述根据本申请示例性实施方式的背板检测模型的训练方法以及背板检测方法。需要注意的是，上述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

图2为本公开实施例提供的背板检测方法的一种流程示意图；背板检测方法，包括：

S210、获取包含至少一个待检测背板的待检测图像，并提取待检测图像的不同分辨率的特征以生成特征图集合。

待检测背板上包括至少一个待检测目标。

待检测背板包括各种网络设备的背板，例如交换机和路由器等的背板。背板上设置有厂商型号、网口、光纤口、usb口和状态指示灯等设备信息、接口以及元器件等。

待检测目标包括背板主体、厂商型号、网口、光纤口、usb口和状态指示灯等。

在一些实施例中，提取待检测图像的特征以生成特征图集合，包括：

提取待检测图像的特征，生成不同分辨率的特征图；

对不同分辨率的特征图进行融合，生成特征图集合。

在一些实施例中，利用Resnet-50网络提取待检测图像的特征。

在Resnet-50网络中，每个卷积模块卷积，要做下采样，使分辨率降低，即高和宽减半，因此，输出的不同层次的特征图即为不同分辨率的特征图。不同分辨率的特征图中特征的维度不同。

相关技术中，一般仅输出卷积网络中最后一层的特征图，而在本公开中，输出多个不同层次即不同分辨率的特征图。例如，在一种可能的实施方式中，输出1/4原图尺寸的特征图、1/8原图尺寸的特征图、1/16原图尺寸的特征图和1/32原图尺寸的特征图。不同分辨率的特征图中特征的维度不同，例如，在1/4原图尺寸的特征图中，可能既存在较大的目标的特征又存在较小目标的特征，在1/32原图尺寸的特征图中，可能仅存在较大的目标的特征而不存在较小目标的特征。而在背板检测的场景下，待检测目标包括背板主体、厂商型号、网口、光纤口、usb口和状态指示灯等，其中，既存在较大的目标例如背板主体，也存在较小的目标例如状态指示灯，在这种情况下，如果仅获取深层网络输出的特征图，虽然，深层网络特征图的特征更具有代表性，但是，会忽略较小的目标，即会导致检测目标的单一化，致使背板检测结果图像中目标的不完整和不准确。所以，本公开输出多个不同层次的(既有深层也有浅层)不同分辨率的特征图，能够实现检测目标的多元化，提高了背板检测结果图像中目标的完整性和准确性。

在一些实施例中，利用FPN网络对不同分辨率的特征图进行融合。

FPN网络可以将每一层的特征图进行卷积计算处理，生成通道数相同的不同层次特征图，将深层特征图等比例放大后与浅层特征图作element-wise相加来完成多维度特征融合。例如，1/4原图尺寸的特征图的通道数为256、1/8原图尺寸的特征图的通道数为512、1/16原图尺寸的特征图的通道数为1024和1/32原图尺寸的特征图的通道数为2048，经过FPN网络处理后，通道数均为256。卷积神经网络中不同深度的特征图包含了不同层次的特征表达，浅层网络生成的特征图包含边缘梯度等细节特征，有利于目标的定位和小目标的检测，深层网络生成的特征图包含了目标的抽象语义信息，有利于目标形状的识别与分类。本公开利用FPN网络融合卷积神经网络中不同层次的特征图，来增强图像不同维度特征的表达，对小目标的检测有较为明显的提升效果。

S220、利用预先构建的锚框，对特征图集合进行目标分类和边框回归，生成区域建议框。

在一些实施例中，利用RPN网络对特征图集合进行目标的分类和边框回归，生成多个区域建议框。RPN网络采用滑动窗口机制，在每个滑动窗口内设置K个预先构建的锚框。

RPN网络以从待检测图像中获取的特征图集合作为输入，经过卷积神经网络计算，输出若干个可能包含待检测目标的区域建议框，包括区域建议框的位置与是否为目标的置信度。RPN网络采用滑动窗口机制，在每个滑动窗口内设置K个预先构建的锚框，通过将滑动窗口与特征图全连接，将每个滑动窗口映射为d维向量，并送入并行的两个卷积神经网络分支中。其中一个分支输出2K维向量，代表K个锚框的前景(包含待检测目标)与背景分类置信度，另一个分支输出4K维向量，代表K个锚框的位置回归量(dx,dy,dw,dh)。RPN网络选取前景分类置信度最高的前N个锚框，经过位置回归后得到区域建议框。

锚框的尺寸是对目标检测影响较大的超参数，相关技术中，锚框尺寸的设置可分为人为设计和K-means生成两种方法。但是，由于不同背板上不同类别的目标尺寸差异大、数量不均衡以及宽高比不统一，人为设计的锚框尺寸与目标尺寸的匹配度较低。K-means方法对所有目标的尺寸聚类，选取聚类中心点作为锚框尺寸，同样由于不同背板上不同类别的目标尺寸差异大、数量不均衡以及宽高比不统一，目标的尺寸分布较为离散，难以选取合适的聚类参数，生成的锚框尺寸也无法保证与目标尺寸的一致性。

在实现本公开的过程中，发明人进一步提出，根据背板上目标在尺寸、空间分布上的特点，背板检测场景中，锚框的尺寸应与待检测目标的尺寸具有较高的一致性，从而增加锚框正样本的数量，提高模型的召回率，同时减少锚框相对于目标的宽高偏移量，提升目标定位的准确性。

图3为本公开实施例提供的锚框尺寸生成方法的一种流程示意图；锚框尺寸生成方法，包括：

S310、获取训练用背板图像数据集。

其中，训练用背板图像数据集中的每个训练用背板图像中包括至少一个标注框。

获取多种厂商的多种型号的设备的背板图像，以构成原始的背板图像数据集。获取尽可能多的厂商以及型号的设备的背板图像，获取的不同的背板图像越多，背板检测的结果越准确。在获取到新的背板图像时，可以对原始的背板图像数据集进行更新，以保证背板检测的准确性和时效性。

可选的，通过网络获取各种厂商的各种型号的设备背板图像。在一种可能的实施方式中，通过图像爬虫获取，例如通过随机User-agent字段和自动限速等方法实现不易被限制的广泛性爬虫。

可选的，对于同一设备背板，获取不同背景以及不同角度的设备背板图像。

可选的，获取的每个背板图像中均包括背板主体、厂商型号、网口、光纤口、usb口和状态指示灯等类别的目标的一种或几种。

其中，训练用背板图像数据集由原始的背板图像数据集处理得到，对原始的背板图像数据集进行预处理，包括：

对原始的背板图像数据集进行去重。

可选的，对于原始的背板图像数据集中的背板图像，根据汉明距离做相似度判断，去除相似度较高的背板图像。

对去重后的原始的背板图像数据集中的背板图像进行标注。

使用标注框标注每个背板图像中背板主体、厂商型号、网口、光纤口、usb口和状态指示灯等，并制作数据标签。标注框可以是矩形框。

其中，本公开根据网口多以偶数个成组分布的特点，标注时将网口分为单网口、双网口和四网口等，将成组的单网口拟合成双网口、四网口等成组网口，使得检测模型学习拟合的成组网口在几何位置上的连续性特征，从而避免了检测结果中包含大量位置相近、区域重叠的单网口检测框。

对标注后的背板图像进行增强。

使用水平翻转的增强手段对标注后的背板图像进行变换，扩充背板图像数据集。

随机选取80％的图像组成训练集，剩余20％的图像可以组成测试集。

可选的，还包括：

对于背板图像数据集中的每个背板图像，将该背板图像的尺寸变换为预设尺寸，并对该背板图像中的标注框作同等比例的尺寸变换。

例如，将背板图像的尺寸标准化至W×H，并对该背板图像中的标注框作同等比例的尺寸变换。其中，W表示宽，H表示高。

S320、对于每个标注框，获取该标注框的尺寸和类别，将该尺寸加入到该类别对应的尺寸集合中，得到多个尺寸集合。

对于背板图像中的标注框(标注框包括：背板主体、厂商型号、网口、光纤口、usb口和状态指示灯等的标注框)，读取该标注框的尺寸(尺寸由位置坐标计算得到)和类别(类别包括：背板主体、厂商型号、网口、光纤口、usb口和状态指示灯等)，将该尺寸加入到该类别的尺寸集合中，得到多个尺寸集合。

例如，读取标注框i的位置坐标(x_min,y_min,x_max,y_max)和类别n，将位置坐标转换为描述标注框尺寸的二元组s(width,height)：

width＝x_max-x_min,height＝y_max-y_min；

s表示尺寸，将尺寸s加入到类别n的尺寸集合S_n中，最后输出标注框尺寸集合S，S＝{S_n|n∈N}，其中N是标注框类别集合。

S330、对每个尺寸集合进行聚类，生成锚框尺寸候选集。

响应于确定尺寸集合中的所有尺寸到预设数量个聚类中心点尺寸的平均距离小于距离阈值，将聚类中心点尺寸加入到锚框尺寸候选集中；不同的尺寸集合的聚类中心点尺寸的预设数量不同。

参考图4，由于不同类别的目标的尺寸分布不同，如果直接利用K-means对所有的待检测目标聚类以得到锚框候选尺寸，则无法保证与目标尺寸的一致性。因此本公开分别对每个尺寸集合S_n进行聚类，并且不同的尺寸集合的聚类中心点的预设数量不同。

定义D_n为S_n中的所有尺寸到K_n个聚类中心点的平均距离，K_n的设定需满足D_n小于阈值D_threshold。

定义S_n中的任意两个目标尺寸s₁(w₁,h₁),s₂(w₂,h₂)间的距离为d(s₁,s₂)，其计算公式为：

其中，IoU(s₁,s₂)为s₁s₂在左上角对齐时的交集面积与并集面积之比，如图5所示。

平均距离D_n计算方式为：

其中，D_n为尺寸集合S_n中的所有尺寸到预设数量K_n个聚类中心点尺寸的平均距离，S_n为任一尺寸集合，K_n为预设数量，|S_n|为尺寸集合S_n中的尺寸的总数量，s为尺寸集合S_n中的任一尺寸，c_i为任一聚类中心点尺寸，d(s,c_i)为尺寸s和聚类中心点尺寸c_i间的距离。

当满足D_n小于D_threshold时，输出K_n个聚类中心点集合C_n＝{c_i|1≤i≤K_n}，否则调整聚类参数K_n后重新执行聚类算法。对每个S_n进行K-means聚类得到锚框尺寸候选集C＝{C_n|n∈N}。

S340、根据锚框尺寸候选集中的每两个锚框候选尺寸间的相似度，对锚框尺寸候选集去重，得到锚框尺寸集。

在一些实施例中，具体包括：

根据锚框尺寸候选集中的每两个锚框候选尺寸间的相似度，得到锚框候选尺寸相似度集合；

根据锚框候选尺寸相似度集合对锚框尺寸候选集进行去重，得到锚框尺寸集。

以IoU指标衡量锚框候选尺寸间的相似度，IoU越大，相似度越高。计算任意两个锚框候选尺寸间的相似度，得到锚框候选尺寸相似度集合{(IoU(c_i,c_j),c_i,c_j)|1≤i,j≤|C|且i≠j}。

RPN网络中设置的锚框数量C_a有限，即C_a≤|C|，因此对C中相似度较高的锚框候选尺寸去重。按IoU从大到小的顺序遍历集合，对于c_i,c_j两个相似度较高的锚框候选尺寸，保留宽高比较大的一方，另一方从锚框候选集合C中移除，重复这个过程直至C_a＝|C|，此时C即为生成的锚框尺寸集。

还包括：按照面积的大小顺序对锚框尺寸集中的锚框尺寸进行排序，分别作为特征图集合中不同的特征图所对应的滑动窗口中的锚框的锚框尺寸。

对C中锚框按照面积(w×h)从小到大排序，分别作为不同层次特征图对应的滑动窗口中的锚框参数。对于面积较大的锚框，可以用于检测深层的特征图，深层的特征图一般用于检测特征较多的大目标；对于面积较小的锚框，可以用于检测浅层的特征图，浅层的特征图一般用于检测特征较少小目标。

本公开充分考虑背板及其组成结构的特点，生成与目标尺寸一致性更高的锚框尺寸，从而提高了背板检测的准确率。

S230、对区域建议框进行感兴趣区域池化，生成感兴趣区域特征图。

在一些实施例中，利用ROI Align层对区域建议框进行感兴趣区域池化。

ROI Align层根据区域建议框的位置坐标在特征图中将相应区域池化为固定尺寸的特征图，以便进行后续的分类和边框回归操作。相关技术中，通常采用ROI Pooling层对区域建议框进行感兴趣区域池化，但是，ROI Pooling操作中两次量化造成的区域容易存在不匹配mis-alignment的问题。mis-alignment问题对小目标的影响较为明显，比如，同样是0.5个像素点的偏差，对于较大的目标而言显得微不足道，但是对于小目标，误差的影响就要高很多。本公开在提取背板图像的特征的过程中，输出了不同层次即不同分辨率的特征图，在这些特征图中，一些分辨率的特征图中存在较多的小目标特征，而mis-alignment问题对这些小目标的影响是较大的，会影响到背板检测的准确性，因此，本公开将ROIPooling层改进为ROI Align层，可以提升背板检测的准确性。

S240、对感兴趣区域特征图进行目标分类和边框回归，生成检测框。

其中，至少部分检测框标记了待检测目标。

检测框对应有类别、置信度和位置属性的信息。

利用全连接层对感兴趣区域特征图进行维数转换。

在一些实施例中，利用Softmax Loss(探测分类概率)和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练。对进行维数转换后的感兴趣区域特征图进行目标分类和边框回归，生成检测框。生成区域建议框的CNN和生成检测框的CNN共享。

S250、对检测框去重，得到标记了待检测目标的检测结果图像。

相关技术中，采用NMS算法在后处理阶段用于去除检测模型生成的重叠框，保留最佳的检测框。检测结果中对同一目标存在若干个位置相近的重叠框，NMS算法以检测框之间的位置与置信度作为输入，每次选取置信度最高的检测框，对与其具有较大IoU的检测框采用完全抑制策略，最后输出去除重叠框后的检测结果。

但是，由于网口多以偶数个在背板上成组分布，导致网口具有密集排列以及位置连续的空间特征，使得模型的检测结果中包含较多的重叠框。NMS算法及其改进后的SoftNMS算法对重叠框采用完全或部分抑制策略，破坏了网口在几何位置上的连续性，同时固定的置信度阈值在复杂的密集网口场景下自适应性较差，去重后网口漏检或误检较多。NMS算法对重叠框的抑制策略会导致IoU阈值设定较低时网口漏检较多，参考图6中的(1)，而IoU阈值设定较高时网口误检较多参考图6中的(2)，无法有效地去除网口的重叠框。

因此，本公开提供一种针对密集网口的去重机制，通过对于密集网口进行分组后再去重，同时在去重的过程中同步采取融合机制，改善了相关技术中去重导致的网口在几何位置上不连续以及去重效果不佳的问题。

图7为本公开实施例提供的检测框去重方法的一种流程示意图；检测框去重方法，包括：

S710、基于检测框对于待检测背板的从属度，获取从属于同一待检测背板的至少一个检测框，并生成该待检测背板的检测框集合。

在背板检测的场景中，对于检测框的去重主要针对于成组、密集排布的网口，因此在本实施例中，以网口检测框的去重为例进行说明，对于其他成组、密集排布的组成结构的去重，与网口检测框的去重机制相同或者类似。

一张背板图像中可能包括多张背板，由于背板位置的远近关系导致不同背板上网口尺寸的差异性，同类别的目标的尺寸分布也较为离散，对网口根据所属背板分组保证了每组内网口尺寸的一致性。

可选的，计算网口对于背板的从属度，根据从属度对网口进行分组，得到背板的网口集合。

网口对于背板的从属度指标H_ij为：

其中，i是检测框i，j是检测框j，Intersection(i,j)表示检测框i与检测框j的交集面积，S(i)表示检测框i的面积。

在计算网口对于背板的从属度时，检测框i对应的是网口，检测框j对应的是背板。

对每个网口，计算其与所有背板的从属度，选取具有最大从属度的背板，将该网口加入该背板的网口集合。若该网口为复数网口，将该网口拆分成单网口后加入该背板的网口集合。

对于检测框集合，

S720、计算该检测框集合中每个检测框的尺寸近邻度，去除尺寸近邻度高于近邻度阈值的检测框。

网口间尺寸相对距离d(i,j)为：

其中，scale(i)表示检测框i的宽或高，scale(j)表示检测框j的宽或高。scale(i)的正负由复数网口的排列方向(横排或纵排)而定。

网口尺寸近邻度w_i为与同一背板内尺寸最近的K个网口的距离平均值：

通过网口尺寸近邻度来衡量网口尺寸的离群程度。根据同一背板上的网口尺寸具有一致性的特点，当网口i的网口尺寸近邻度w_i大于近邻度阈值w_threshold时，去除离群网口i。

S730、计算置信度阈值，去除置信度低于置信度阈值的检测框。

计算动态置信度阈值，去除置信度低于阈值的网口。

二阶差分可以衡量数据间的变化趋势，因此采用置信度的二阶差分相对值来计算置信度阈值，该方法相比NMS算法的人为设定阈值，对于复杂的网口场景具有自适应性。对网口i的置信度C_i按从大到小的顺序排序，对每个置信度C_i计算其二阶差分相对值f(C_i)。

取f(C_i)最大时的置信度C_i作为置信度阈值C_threshold，去除置信度低于C_threshold的网口。

S740、计算该检测框集合中每两个检测框的面积的交集和并集的比值，对于比值高于比值阈值的两个检测框进行融合。

计算网口间的IoU值，对于超过IoU阈值的网口使用融合策略。

本公开使用融合策略来代替NMS算法中的抑制策略，以保持网口在几何位置上的连续性。融合后的网口区域为两个重叠网口区域的并集，置信度为两个重叠网口置信度的较大值。之后将位置连续的网口组合成相应的复数网口。

在生成区域建议框和生成检测框的过程中，均包括进行目标分类和边框回归，在进行目标分类和边框回归的过程中，定义多任务损失函数L为：

其中，p_i为模型预测的目标类别置信度，

为目标的真实类别标签，N_cls为计算分类损失的目标数量，L_cls为分类损失函数(多分类交叉熵函数)：

其中，M代表类别的数量，c代表某种类别，p_ic为模型预测目标为类别c的置信度；

其中，t_i为模型预测的目标边框回归量，

为目标的真实边框量，N_reg为计算边框回归损失的目标数量，λ为平衡参数，L_reg为边框回归损失函数：

其中，smooth_L1为平滑函数。

如图8所示，目标i初始边框A用(x_a,y_a,w_a,h_a)表示，模型预测的边框R为(x_r,y_r,w_r,h_r)，目标的真实边框G为(x^*,y^*,w^*,h^*)，预测的边框量和真实边框回归量计算公式为：

边框回归损失函数L_reg使用smooth-L1距离函数表示：

可选的，设定损失函数L为背板检测模型训练的损失函数，初始化训练参数，设置初始学习率base_lr＝0.01，学习率调整策略采用MultiStepLR，优化器采用随机梯度下降SGD算法，设置训练轮数epoch。模型根据配置的组件结构初始化并加载训练参数，从ImageNet下载预训练权重，将训练集与真实标签信息输入到背板检测模型中，在自建GPU服务器上进行训练并保存。使用测试集评估训练后的检测模型的准确率，根据测试结果调整训练参数与检测模型的超参数后重新训练模型，不断迭代该过程直到得到最优结果。使用调整后的检测模型对背板图像进行检测并可视化检测结果。

通过损失函数，训练背板检测模型并保存结果。定义损失函数为分类损失与边框回归损失的线性叠加，其中分类损失使用交叉熵函数，边框回归损失使用smooth-L1距离函数；设定相关训练参数，使用训练集训练检测模型；使用测试集评估检测模型的准确率，根据测试结果调整参数并迭代训练模型，直至模型准确率达到预定值后保存模型；使用训练好的模型对背板图像进行检测并可视化检测结果。

本公开提供一种背板检测方法，能够识别出背板主体及其中的网线接口、光纤接口、usb接口、状态指示灯、厂商型号等元器件和设备信息，同时提出生成与目标尺寸一致性更高的锚框尺寸，在此基础上，提出密集网口的识别机制来完成密集网口的全部检测与有效去重，从而提高模型的检测准确率。在改进的Faster R-CNN检测模型的基础上，提出一种锚框生成机制，可以实现生成的锚框尺寸与所有类别的目标尺寸具有较高的一致性，从而提升目标的召回率和定位的准确性；提出一种密集网口的识别机制，可以实现对密集网口的全部检测并有效去重，大幅减少网口的漏检和误检。提升了图像中的背板主体及网口、光纤口、usb口、厂商型号、状态指示灯等各类别目标的检测准确率。

需要说明的是，本公开实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

图9为本公开实施例提供的背板检测模型的一种结构示意图；背板检测模型，包括输入层模块910、Resnet-50网络模块920、FPN网络模块930、RPN网络模块940、ROI Align层模块950、全连接层模块960、检测框去重模块970和输出层模块980。

输入层模块910，用于输入待检测背板的背板图像，并发送至Resnet-50网络模块920。

Resnet-50网络模块920，用于提取背板图像的特征，生成不同分辨率的特征图，并发送至FPN网络模块930。

FPN网络模块930，用于对不同分辨率的特征图进行融合，生成特征图集合，并发送至RPN网络模块940。特征图集合包含多维度特征。

RPN网络模块940，用于利用预先构建的锚框，对特征图集合进行目标分类和边框回归，生成区域建议框，并发送至ROI Align层模块950。利用并行的两个卷积层分别进行目标类别和边框回归，生成若干个形状尺寸各异的区域建议框。

ROI Align层模块950，用于对区域建议框做感兴趣区域池化，生成感兴趣区域特征图，并发送至全连接层模块960。

全连接层模块960，用于对感兴趣区域特征图进行维数转换，对进行维数转换后的感兴趣区域特征图进行目标分类和边框回归，生成检测框，并发送至检测框去重模块970。

检测框去重模块970，用于对检测框进行去重，生成待检测背板的背板组成结构图像，并发送至输出层模块980。

输出层模块980，用于输出待检测背板的背板组成结构图像。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述任一实施例中相应的背板检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的背板检测方法。

图10示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的背板检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的背板检测方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的背板检测方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

需要说明的是，本公开的实施例还可以以下方式进一步描述：

一种背板检测方法，包括：

获取包含至少一个待检测背板的待检测图像，并提取所述待检测图像的不同分辨率的特征以生成特征图集合；所述待检测背板上包括至少一个待检测目标；

利用预先构建的锚框，对所述特征图集合进行目标分类和边框回归，生成区域建议框；

对所述区域建议框进行感兴趣区域池化，生成感兴趣区域特征图；

对所述感兴趣区域特征图进行目标分类和边框回归，生成检测框；其中，至少部分所述检测框标记了所述待检测目标；

对所述检测框去重，得到标记了所述待检测目标的检测结果图像。

可选的，其中，还包括生成所述锚框的锚框尺寸集：

获取训练用背板图像数据集；所述训练用背板图像数据集中的每个训练用背板图像中包括至少一个标注框；

对于每个所述标注框，获取该标注框的尺寸和类别，将该尺寸加入到该类别对应的尺寸集合中，得到多个尺寸集合；

对每个所述尺寸集合进行聚类，生成锚框尺寸候选集；

根据所述锚框尺寸候选集中的每两个锚框候选尺寸间的相似度，对所述锚框尺寸候选集去重，得到所述锚框尺寸集。

可选的，其中，所述对每个所述尺寸集合进行聚类，生成锚框尺寸候选集，包括：

响应于确定所述尺寸集合中的所有尺寸到预设数量个聚类中心点尺寸的平均距离小于距离阈值，将所述聚类中心点尺寸加入到所述锚框尺寸候选集中；不同的所述尺寸集合的所述聚类中心点尺寸的所述预设数量不同。

可选的，其中，还包括计算所述尺寸集合中的所有尺寸到预设数量个聚类中心点尺寸的平均距离的公式为：

其中，D_n为尺寸集合S_n中的所有尺寸到预设数量K_n个聚类中心点尺寸的平均距离，S_n为任一尺寸集合，K_n为预设数量，|S_n|为尺寸集合S_n中的尺寸的总数量，s为尺寸集合S_n中的任一尺寸，c_i为任一聚类中心点尺寸，d(s,c_i)为尺寸s和聚类中心点尺寸c_i间的距离。

可选的，其中，所述根据所述锚框尺寸候选集中的每两个锚框候选尺寸间的相似度，对所述锚框尺寸候选集去重，得到所述锚框尺寸集，包括：

按照所述相似度从大到小的顺序，对于每个所述相似度对应的两个所述锚框候选尺寸，去除宽高比小的所述锚框候选尺寸，直到所述锚框尺寸候选集中的所述锚框候选尺寸的数量与预设的尺寸数量相同，将剩余的所述锚框候选尺寸加入到所述锚框尺寸集中。

可选的，其中，还包括：

按照面积的大小顺序对所述锚框尺寸集中的锚框尺寸进行排序，分别作为所述特征图集合中不同的特征图所对应的滑动窗口中的所述锚框的锚框尺寸。

可选的，其中，所述对所述检测框去重，得到标记了所述待检测目标的检测结果图像，包括：

基于所述检测框对于所述待检测背板的从属度，获取从属于同一所述待检测背板的至少一个检测框，并生成该待检测背板的检测框集合；

对于所述检测框集合，

计算该检测框集合中每个所述检测框的尺寸近邻度，去除所述尺寸近邻度高于近邻度阈值的所述检测框，

计算置信度阈值，去除置信度低于所述置信度阈值的所述检测框，

计算该检测框集合中每两个所述检测框的面积的交集和并集的比值，对于所述比值高于比值阈值的两个所述检测框进行融合。

可选的，其中，还包括计算该检测框集合中每个所述检测框的尺寸近邻度的公式为：

其中，w_i为检测框i的尺寸近邻度；d(i,j)为检测框i和检测框j间的尺寸相对距离；

其中，scale(i)表示检测框i的宽或高，scale(j)表示检测框j的宽或高。

可选的，其中，还包括计算置信度阈值的公式为：

其中，C_threshold为置信度阈值，argmax为自变量最大值函数，f(C_i)为置信度C_i的二阶差分相对值，C_i为检测框i的置信度，C_i+1为检测框i+1的置信度，C_i-1为检测框i-1的置信度，

表示取f(C_i)最大时的置信度C_i作为置信度阈值C_threshold。

一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的方法。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种背板检测方法，包括：

获取包含至少一个待检测背板的待检测图像，并提取所述待检测图像的不同分辨率的特征以生成特征图集合；所述待检测背板上包括至少一个待检测目标；

利用预先构建的锚框，对所述特征图集合进行目标分类和边框回归，生成区域建议框；

对所述区域建议框进行感兴趣区域池化，生成感兴趣区域特征图；

对所述感兴趣区域特征图进行目标分类和边框回归，生成检测框；其中，至少部分所述检测框标记了所述待检测目标；

对所述检测框去重，得到标记了所述待检测目标的检测结果图像。

2.根据权利要求1所述的方法，其中，还包括生成所述锚框的锚框尺寸集：

获取训练用背板图像数据集；所述训练用背板图像数据集中的每个训练用背板图像中包括至少一个标注框；

对于每个所述标注框，获取该标注框的尺寸和类别，将该尺寸加入到该类别对应的尺寸集合中，得到多个尺寸集合；

对每个所述尺寸集合进行聚类，生成锚框尺寸候选集；

根据所述锚框尺寸候选集中的每两个锚框候选尺寸间的相似度，对所述锚框尺寸候选集去重，得到所述锚框尺寸集。

3.根据权利要求2所述的方法，其中，所述对每个所述尺寸集合进行聚类，生成锚框尺寸候选集，包括：

响应于确定所述尺寸集合中的所有尺寸到预设数量个聚类中心点尺寸的平均距离小于距离阈值，将所述聚类中心点尺寸加入到所述锚框尺寸候选集中；不同的所述尺寸集合的所述聚类中心点尺寸的所述预设数量不同。

4.根据权利要求3所述的方法，其中，还包括计算所述尺寸集合中的所有尺寸到预设数量个聚类中心点尺寸的平均距离的公式为：

其中，D_n为尺寸集合S_n中的所有尺寸到预设数量K_n个聚类中心点尺寸的平均距离，S_n为任一尺寸集合，K_n为预设数量，|S_n|为尺寸集合S_n中的尺寸的总数量，s为尺寸集合S_n中的任一尺寸，c_i为任一聚类中心点尺寸，d(s,c_i)为尺寸s和聚类中心点尺寸c_i间的距离。

5.根据权利要求2所述的方法，其中，所述根据所述锚框尺寸候选集中的每两个锚框候选尺寸间的相似度，对所述锚框尺寸候选集去重，得到所述锚框尺寸集，包括：

按照所述相似度从大到小的顺序，对于每个所述相似度对应的两个所述锚框候选尺寸，去除宽高比小的所述锚框候选尺寸，直到所述锚框尺寸候选集中的所述锚框候选尺寸的数量与预设的尺寸数量相同，将剩余的所述锚框候选尺寸加入到所述锚框尺寸集中。

6.根据权利要求2所述的方法，其中，还包括：

按照面积的大小顺序对所述锚框尺寸集中的锚框尺寸进行排序，分别作为所述特征图集合中不同的特征图所对应的滑动窗口中的所述锚框的锚框尺寸。

7.根据权利要求1所述的方法，其中，所述对所述检测框去重，得到标记了所述待检测目标的检测结果图像，包括：

基于所述检测框对于所述待检测背板的从属度，获取从属于同一所述待检测背板的至少一个检测框，并生成该待检测背板的检测框集合；

对于所述检测框集合，

计算该检测框集合中每个所述检测框的尺寸近邻度，去除所述尺寸近邻度高于近邻度阈值的所述检测框，

计算置信度阈值，去除置信度低于所述置信度阈值的所述检测框，

计算该检测框集合中每两个所述检测框的面积的交集和并集的比值，对于所述比值高于比值阈值的两个所述检测框进行融合。

8.根据权利要求7所述的方法，其中，还包括计算该检测框集合中每个所述检测框的尺寸近邻度的公式为：

其中，w_i为检测框i的尺寸近邻度；d(i,j)为检测框i和检测框j间的尺寸相对距离；

其中，scale(i)表示检测框i的宽或高，scale(j)表示检测框j的宽或高。

9.根据权利要求7所述的方法，其中，还包括计算置信度阈值的公式为：

其中，C_threshold为置信度阈值，argmax为自变量最大值函数，f(C_i)为置信度C_i的二阶差分相对值，C_i为检测框i的置信度，C_i+1为检测框i+1的置信度，C_i-1为检测框i-1的置信度，

表示取f(C_i)最大时的置信度C_i作为置信度阈值C_threshold。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至9任意一项所述的方法。

Images