CN110011727B - 一种面向odf设备端口的检测系统 - Google Patents

Abstract

本发明公开一种面向ODF设备端口的检测系统，包括端口定位检测模型和端口遮挡遗漏检测模型两部分；其中所述端口定位检测模型基于目标检测网络YOLOv3模型建立，对ODF设备端图像进行检测，识别出ODF设备部分被遮挡以及无遮挡的端口；所述端口遮挡遗漏检测模型基于返回的端口数据进行分析以及整理，并对遮挡端口以及检测缺失的端口进行补充，将补充的端口作为漏检区域截取出来，输入到二分类器中进行端口状态分类，根据端口类别对端口状态进行填充，识别ODF设备全部端口的状态。

Description

一种面向ODF设备端口的检测系统

技术领域

本发明涉及一种光纤配线设备的检测系统，具体是一种面向ODF设备端口的检测系统。

背景技术

ODF设备是专为光纤通信机房设计的光纤配线设备。设备在通信建设中的是必不可少的基础设备。但设备的管理运维随着设备部署广泛变得很艰难。目前普遍采取现场工程师手动标注的方式记录设备端口的使用情况，然后逐级反馈汇总。在这“记录-反馈-汇总-统计”流程十分耗时和低效。

随着图像处理技术的发展，使用图像识别技术取代上述场景的人工标注已成为可能。通过现场采集设备图像，输入到识别系统进行识别获得设备端口的使用情况，并将识别结果立刻上传汇总，这将大大提高设备管理运维的效率。

ODF设备端口的检测问题其实是目标检测的问题，对端口进行定位并分类主要的难点：

1、检测图像的多分辨率。设备端口数量较多，在真实场景中端口密度不同导致了不同样本之间端口的大小存在一定差异。

2、小物体检测。端口属于小物体，在目标检测领域属于具有一定的检测难度的检测问题。

3、遮挡遗漏检测。端口由于连接网线容易出现遮挡或遗漏的情况。对遮挡端口以及检测缺失的端口进行补充是提高端口检测准确率的重要保证以及实际场景推广的必然要求。

发明内容

发明目的：本发明目的在于针对现有技术的不足，提供一种面向ODF设备端口检测系统，通过ODF设备图像对该设备的端口使用状态进行检测，解决人工检测的耗时长、效率低的情况。

技术方案：本发明所述面向ODF设备端口的检测系统，包括端口定位检测模型和端口遮挡遗漏检测模型两部分；

其中所述端口定位检测模型基于目标检测网络YOLOv3模型建立，对ODF设备端图像进行检测，识别出ODF设备部分被遮挡以及无遮挡的端口；

所述端口遮挡遗漏检测模型基于返回的端口数据进行分析以及整理，并对遮挡端口以及检测缺失的端口进行补充，将补充的端口作为漏检区域截取出来，输入到二分类器中进行端口状态分类，根据端口类别对端口状态进行填充，识别ODF设备全部端口的状态。

本发明进一步优选地技术方案为，所述端口定位检测模型在YOLOv3模型的检测层前增加空间金字塔池化层，并在对YOLOv3模型进行训练时的少量样本进行数据增强，网络训练过程中，对训练图像进行随机尺度变化。

优选地，所述端口遮挡遗漏检测模型包括端口对齐模块、遮挡遗漏检测模块和区域重识别模块；所述端口对齐模块将端口定位检测模型获得的端口位置与设备端口号相对应，所述遮挡遗漏检测模块对端口检测缺失以及全遮挡的情况进行补充；所述区域重识别模块截取漏检区域，输入到二分类器中进行端口状态分类，根据端口类别对端口状态进行填充。

优选地，所述端口对齐模块基于端口定位检测模型返回的检测端口信息进行分析，获取端口数据，该数据中包括端口的状态类别、置信度和基于图片的坐标信息，通过对坐标信息的分析获得每行端口的顺序，将端口顺序与设备端口号对应。

优选地，所述端口对齐模块将端口顺序与设备端口号对应的具体方法为：先对设备的端口进行分行，对端口的坐标进行由小到大的排序，然后对排序进行遍历，在出现当前的坐标值与前一个坐标值相差大于阈值1时，判定当前坐标对应的端口与前一批端口不在同一列，对该端口之前的端口进行封装，获得该设备一行的端口数据集，由此对端口数据进行行分类；然后对行数据的端口中心坐标进行由小到大的排序，通过排序获得的该行端口顺序，该顺序与设备端口号相对应。

优选地，所述遮挡遗漏检测模块对端口检测缺失以及全遮挡的情况进行补充，在前一端口的中心坐标与后一端口的中心坐标的差值大于阈值2时，判定检测端口与端口之间存在未被检测的端口，对该位置进行补充；当未被检测的端口位于行数据的两端时，通过统计各行的最大右坐标以及左坐标作为设备端口的起始和终止坐标，计算行数据的第一个数据的左坐标与起始坐标的间隙，大于阈值2时，进行起始端的端口插入，计算行数据的最后一个数据的右坐标与终止坐标的间隙，大于阈值2时，进行终止端的端口插入，使各端口位置信息与设备的端口一一对应。

优选地，所述二分类器的训练方式为：将端口区域裁剪出来后构造一个数据集用于训练ResNet-34，最终构造一个判别端口是否被占用的二分类模块。

本发明基于深度学习的目标检测方法是通过训练特提取网络提取原图像的特征，不需要手工设计特征，经过大量样本训练后具有较高的鲁棒性。通过创建深度学习中的目标检测网络YOLOv3模型并应用到专用领域下的ODF设备端口的目标检测中，旨在在复杂场景中准确定位ODF设备中各个端口的位置与状态（占用、未占用），以达到提高检测效率、检测准确率的目的。

区别于传统人工设备状态检测，本发明的检测系统具有以下几个优点：

（1）高效。通过图像来对ODF设备端进行检测，大大提高了现场运维人员的工作效率。从传统的人工逐个端口确认到通过图像对设备批量确认，大大提高了设备检测的效率。

（2）迅速。本发明提出的系统识别速度快，能快速给出结果。无论图片包含多少端口，系统均能1s内反馈对图像的检测结果。

（3）准确。针对端口定位检测模块返回的结果，根据其位置信息进行了端口对齐、遗漏检测操作，并使用深度神经网络进行二次分类，提高实际场景的准确率，整体模型准确率达到90%。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

实施例：一种面向ODF设备端口的检测系统，包括端口定位检测模型和端口遮挡遗漏检测模型两部分。

所述端口定位检测模型基于目标检测网络YOLOv3模型建立，对ODF设备端图像进行检测，识别出ODF设备部分被遮挡以及无遮挡的端口。

为了使YOLOv3适应ODF设备端口的目标检测任务，对YOLOv3模型进行改进优化：

（1）优化网络结构。在YOLOv3检测层前增加空间金字塔池化层（spp），这既实现了多分辨率输入的情况下的特征输出维度归一化问题，同时也对网络Darknet53输出的特征进行多尺度特征提取。提高多分辨率图像识别的精度。

（2）针对ODF设备端口样本的数据集的目标检测框的维度进行分析，并选择最优的anchor数。YOLOv3的默认anchor数以及维度是基于COCO数据集聚类获得，虽然具备一定的泛用性，但针对ODF设备端口检测的应用显然不需要如此的泛用性。针对ODF设备端口数据集重新计算合适的anchor数和维度能明显提高ODF设备端口检出率。

（3）基于少量样本的数据增强。少量样本的训练通常容易出现过拟合的情况，为了避免这种情况的出现，适当的数据增强能在丰富训练样本量的同时，避免网络训练的过拟合，提高网络的泛化能力。

（4）网络训练过程中，对训练图像进行随机尺度变化，实现多多尺度的网络训练，从而增强对不同尺度下图像的检测的鲁棒性。

针对端口被遮挡的情况，端口定位检测模型只能检测到部分被遮挡以及没有遮挡的情况。对于全遮挡的情况，端口定位检测模型也不能给出比较好的检测效果。基于返回端口数据进行分析以及整理，并对遮挡端口以及检测缺失的端口进行补充是提高端口检测准确率的重要保证以及实际场景推广的必然要求。这就是端口遮挡遗漏检测模型的作用。所述端口遮挡遗漏检测模型基于返回的端口数据进行分析以及整理，并对遮挡端口以及检测缺失的端口进行补充，将补充的端口作为漏检区域截取出来，输入到二分类器中进行端口状态分类，根据端口类别对端口状态进行填充，识别ODF设备全部端口的状态。

端口遮挡遗漏检测模型包括下面几个模块：

（1）端口对齐模块：

基于定位模型返回的检测端口信息进行分析，该数据的结构为类别+置信度+基于图片的坐标信息（为左坐标、右坐标、上坐标以及下坐标）。通过对坐标信息的排列能获得端口的大概排列状态。先对设备的端口进行分行，设备一行的端口一般为12个，对于截断对图片少于12个。对端口的上坐标进行由小到大的排序，然后对这个排序进行遍历，当出现当前的上坐标值与前一个上坐标值相差大于阈值1的情况，可断定当前上坐标对应的端口与前一批端口不在同一列，对该端口之前的端口进行封装获得该设备一行的端口数据集，如此类推。由此对端口数据进行行分类。其中阈值1为遍历的端口的高（上坐标-下坐标）均值乘以比例系数获得。然后对行数据的端口中心坐标(（左坐标+右坐标）/2)，进行由小到大的排序，通过排序获得的该行端口顺序，该顺序能与设备端口好对应起来。

（2）遮挡遗漏检测模块：

通过对齐模块后，需要对端口检测缺失以及全遮挡的情况进行补充。若出现端口检测缺失或者全遮挡检测不到的情况，就会出现端口与端口的位置之间出现比较大的间隙，这里的间隙定义为前一端口的中心坐标与后一端口的中心坐标的差值。当间隙大于阈值2，即可判定检测端口与端口之间存在未被检测的端口，需对该位置进行补充。阈值2为遍历端口的平均宽度（右坐标-左坐标）乘以比例系数。补充规则1为在端口与端口之间插入一个端口，间隙减去阈值2，若此时间隙让大于阈值2的1.5倍，继续插入端口，直至间隙少于阈值2的1.5倍。另外，当未被检测的端口位于行数据的两端时，按补充规则2进行补充，通过统计各行的最大右坐标以及左坐标作为设备端口的起始和终止坐标，通过计算行数据的第一个数据的左坐标与起始坐标的间隙，参照补充规则1进行起始端的端口插入，另外，还需计算行数据的最后一个数据的右坐标与终止坐标的间隙，进行终止端的端口插入。至此，各端口位置信息基本与设备的端口一一对应。

（3）区域重识别模块：

将漏检区域截取出来，现在需要将输入到二分类器中进行端口状态分类，根据端口类别对端口状态进行填充占用/未占用。将端口区域裁剪出来后构造一个数据集用于训练ResNet-34，最终构造一个判别端口是否被占用的二分类模块。

如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (3)

1.一种面向ODF设备端口的检测系统，其特征在于，包括端口定位检测模型和端口遮挡遗漏检测模型两部分；

其中所述端口定位检测模型基于目标检测网络YOLOv3模型建立，对ODF设备端图像进行检测，识别出ODF设备部分被遮挡以及无遮挡的端口；

所述端口遮挡遗漏检测模型包括端口对齐模块、遮挡遗漏检测模块和区域重识别模块；

所述端口对齐模块基于端口定位检测模型返回的检测端口信息进行分析，获取端口数据，该数据中包括端口的状态类别、置信度和基于图片的坐标信息，通过对坐标信息的分析获得每行端口的顺序，将端口顺序与设备端口号对应；

端口对齐模块将端口顺序与设备端口号对应的具体方法为：先对设备的端口进行分行，对端口的坐标进行由小到大的排序，然后对排序进行遍历，在出现当前的坐标值与前一个坐标值相差大于阈值1时，判定当前坐标对应的端口与前一批端口不在同一列，对该端口之前的端口进行封装，获得该设备一行的端口数据集，由此对端口数据进行行分类；然后对行数据的端口中心坐标进行由小到大的排序，通过排序获得的该行端口顺序，该顺序与设备端口号相对应；

所述遮挡遗漏检测模块对端口检测缺失以及全遮挡的情况进行补充，在前一端口的中心坐标与后一端口的中心坐标的差值大于阈值2时，判定检测端口与端口之间存在未被检测的端口，对该位置进行补充；当未被检测的端口位于行数据的两端时，通过统计各行的最大右坐标以及左坐标作为设备端口的起始和终止坐标，计算行数据的第一个数据的左坐标与起始坐标的间隙，大于阈值2时，进行起始端的端口插入，计算行数据的最后一个数据的右坐标与终止坐标的间隙，大于阈值2时，进行终止端的端口插入，使各端口位置信息与设备的端口一一对应；

所述区域重识别模块截取漏检区域，输入到二分类器中进行端口状态分类，根据端口类别对端口状态进行填充。

2.根据权利要求1所述的面向ODF设备端口的检测系统，其特征在于，所述端口定位检测模型在YOLOv3模型的检测层前增加空间金字塔池化层，并在对YOLOv3模型进行训练时的少量样本进行数据增强，网络训练过程中，对训练图像进行随机尺度变化。

3.根据权利要求1所述的面向ODF设备端口的检测系统，其特征在于，所述二分类器的训练方式为：将端口区域裁剪出来后构造一个数据集用于训练ResNet-34，最终构造一个判别端口是否被占用的二分类模块。