CN109635875A - 一种基于深度学习的端到端网口检测方法 - Google Patents

Abstract

本发明提出一种基于深度学习的端到端网口检测方法，包括：(1)获取机房不同背景、不同机柜的交换机网口图像；(2)对交换机网口图像进行分类；标注每个图像，制作数据标签；(3)使用数据增强技术，制作交换机网口图像数据集；(4)训练深度网络YOLO v3模型，保存模型结果。本发明通过从智能室内巡检机器人摄像头获取网口图像，通过算法处理得到图像中网口的位置和类别，进而做到现场实时部署。本发明能够提高机房内交换机网口检测的准确率，从而提高智能巡检机器人部署时的效率。

Description

一种基于深度学习的端到端网口检测方法

技术领域

本发明属于机器视觉领域，更进一步涉及机器视觉技术领域中的一种基于深度学习的端到端网口检测方法。

背景技术

目前设备机房、数据机房、仓库等室内环境均采用传统的固定式、离散式检测系统，不能实现对室内的情况完全覆盖，人工巡检的频率至多只能达到每周一次，当发生紧急情况时，无法在必要时对室内的特定部位采取有效处理措施，无法第一时间将现场的清晰信息采集到监控中心，情况严重时还可能发生重大社会安全事故。

现有技术中虽然有一些机房采集机器人进行检测，但是由于智能化程度低，最终信息核对以及分析任务都需要人工来进行，所以这些巡检方式劳动强度大、工作效率低、主观因素多，因此巡检准确性难以保证。

同时，随着传感器、互联网、人工智能等科技的不断发展，利用智能巡检机器人完成巡检工作，提高巡检工作质量、实现减员增效的目的已经成为可能，但是，智能室内巡检机器人完成巡检时，前期需要进行部署，获取室内待检目标的图像信息。传统的方法是人工对每个机房的各个场景进行采集图片，然后进行数据整理保存，最后将数据存至智能巡检机器人的数据库中，这种方法费时费力，而且难以将不同环境的数据采集完整，效果较差，研发出一种端到端的目标检测方法能很大程度上提高智能巡检机器人部署时的效率。

传统的目标检测方法如“一种基于HOG与SVM的马铃薯定位方法”(申请号：201610786647.0，公开号：106355615A)中是通过利用HOG等图像特征信息，结合SVM算法进行图像分类，有的方法进一步通过滑动窗口进行图像的全局扫描，以此得到检测结果。这些方法多是基于图像的梯度特征，忽视了图像包含的深层信息，泛化能力低、鲁棒性不强而且检测准确率低、时间长，难以做到准确的实时检测，难以应用在复杂的机房巡检现场。

近年来，卷积神经网络被证明能够很好的去理解图片的内容信息。作为一种深度学习模型，卷积神经网络具有多层，底层能够学习到图片信号层的信息，例如边缘和角等，高层则能学习到边缘的组合和图片中物体的类别等。将深度学习应用于目标检测也有越来越多的尝试，常用的有Faster R-CNN，如“基于Faster R-CNN的声呐目标检测方法”(申请号：201810229078.9，公开号：108596030 A)中使用深度学习网络Faster R-CNN检测人体各部件矩形框位置，但是这种模型在定位识别背景时假阳性很高，难以处理本发明专利场景中很复杂的网口背景。

发明内容

本发明提供了一种基于深度学习的端到端网口检测方法,从智能室内巡检机器人摄像头获取网口图像，通过算法处理得到图像中网口的位置和类别，提高机房内交换机网口检测的准确率，进而做到现场实时部署，提高智能巡检机器人部署时的效率。

为达到上述目的，本发明的技术方案是这样实现的：

一种基于深度学习的端到端网口检测方法，包括：

(1)获取机房不同背景、不同机柜的交换机网口图像；

(2)对交换机网口图像进行分类；标注每个图像，制作数据标签；

(3)使用数据增强技术，制作交换机网口图像数据集；

(4)训练深度网络YOLO v3模型，保存模型结果。

进一步的，步骤(1)中具体包括：通过调整智能室内巡检机器人的云台的高度，同时改变摄像头的视野角度，获取机房不同背景、不同机柜的交换机网口图像。

进一步的，步骤(2)中所述分类依据网口有无网线、有无遮挡、网线颜色进行划分，并使用矩形框标注网口。

进一步的，步骤(3)具体包括：

(3.1)在步骤(1)获取的交换机网口图像中选取不同条件下的图像，组成数据集；

(3.2)使用数据增强技术，将数据集中的每幅图像依次做水平翻转、随机裁剪、平移变换、仿射变换、颜色变换、光照变换、旋转变换后得到的网口图像分别存入数据集中；

(3.3)从数据集的所有图像中随机选取80％的图像，组成训练集，将剩余的20％图像组成测试集。

进一步的，步骤(4)具体包括：

(4.1)定义算法目标，算法全部使用均方和误差作为Loss函数，算法最终迭代Loss函数，使其收敛至最小，Loss函数由三部分组成：坐标误差、IOU误差和分类误差；

(4.2)K-means计算初始化时锚盒anchor boxes尺寸；YOLO v3使用anchor boxes来预测bounding boxes的坐标；

(4.3)初始化训练参数；设置初始学习率base_lr为0.001，学习率调整策略采用ReduceLROnPlateau，优化器采用随机梯度下降SGD算法，设定迭代次数step；

(4.4)开始训练模型；将训练集图像与对应标签类别输入到深度网络YOLO v3模型，加载(4.3)中的配置训练参数，下载ImageNet预训练权重，在自主搭建的GPU服务器上进行模型训练；

(4.5)可视化模型检测结果；载入训练好的深度网络YOLO v3模型的训练参数，将测试集图像输入到深度网络中，通过可视化技术进行检测；

(4.6)调整训练网络模型，如果模型输出误差和理想误差超过允许范围，则在(4.4)的基础上继续训练，直至模型效果达到要求。

本发明的另一方面，还提出一种基于深度学习的端到端网口检测系统，包括：

获取模块,用于获取机房不同背景、不同机柜的交换机网口图像；

分类标注模块，对交换机网口图像进行分类；标注每个图像，制作数据标签；

数据增强模块，使用数据增强技术，制作交换机网口图像数据集；

数据训练模块，训练深度网络YOLO v3模型，保存模型结果。

进一步的，获取模块包括调整单元，用于调整智能室内巡检机器人的云台的高度，同时改变摄像头的视野角度，获取机房不同背景、不同机柜的交换机网口图像。

进一步的，分类标注模块包括：

分类单元，用于依据网口有无网线、有无遮挡、网线颜色进行划分；

标注单元，用于使用矩形框标注网口。

进一步的，数据增强模块包括：

选取单元，用于在获取模块获取的交换机网口图像中选取2000张不同条件下的图像，组成数据集；

增强单元，用于使用数据增强技术，将数据集中的每幅图像依次做水平翻转、随机裁剪、平移变换、仿射变换、颜色变换、光照变换、旋转变换后得到的网口图像分别存入数据集中；

集合单元，用于从数据集的所有图像中随机选取80％的图像，组成训练集，将剩余的20％图像组成测试集。

进一步的，数据训练模块包括：

算法目标单元，用于定义算法目标，算法全部使用均方和误差作为Loss函数，算法最终迭代Loss函数，使其收敛至最小，Loss函数由三部分组成：坐标误差、IOU误差和分类误差；

尺寸计算单元，用于K-means计算初始化时锚盒anchor boxes尺寸；YOLO v3使用anchor boxes来预测bounding boxes的坐标；

初始化单元，用于初始化训练参数；设置初始学习率base_lr为0.001，学习率调整策略采用ReduceLROnPlateau，优化器采用随机梯度下降，迭代次数step为2000；

训练单元，用于开始训练模型；将训练集图像与对应标签类别输入到深度网络YOLO v3模型，加载初始化单元中的配置训练参数，下载ImageNet预训练权重，在自主搭建的GPU服务器上进行模型训练；

检测单元，用于可视化模型检测结果；载入训练好的深度网络YOLO v3模型的训练参数，将测试集图像输入到深度网络中，通过可视化技术进行检测；

调整单元，用于调整训练网络模型，如果模型输出误差和理想误差超过允许范围，则在训练单元的基础上继续训练，直至模型效果达到要求。

与现有技术相比，本发明具有如下的有益效果：

本发明通过从智能室内巡检机器人摄像头获取网口图像，通过算法处理得到图像中网口的位置和类别，进而做到现场实时部署。本发明能够提高机房内交换机网口检测的准确率，从而提高智能巡检机器人部署时的效率。

附图说明

图1是本发明实施例的算法流程示意图；

图2是本发明实施例的anchor box位置预测示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，本发明的具体步骤如下：

(1)获取交换机网口图像：

通过调整智能室内巡检机器人的云台的高度(1.2m-1.8m)，同时改变摄像头的(0-360度)视野角度获取机房不同背景、不同机柜的交换机网口图像；

(2)对交换机网口图像进行分类：

将交换机网口图像分为有遮挡和无遮挡以及空网口三大大类。其中有遮挡网口分为蓝色网线遮挡、黑色网线遮挡、橙色网线遮挡、白色网线遮挡以及其他异物遮挡；无遮挡网口分为插有蓝色网线头、插有黑色网线头、插有橙色网线头、插有白色网线头；共计10个类别。

(3)制作交换机网口图像数据集：

(3.1)在(1)获取的交换机网口中选取2000张不同条件下的图像，组成数据集；

(3.2)通过图像标注工具，用矩形框标注训练集中每幅图像中的每个网口，得到10个图像标签类别；

(3.3)使用数据增强技术，将数据集中的每幅图像依次做水平翻转(Flip)、随机裁剪、平移变换(Crops/Scales)、仿射变换、颜色变换、光照变换、旋转变换后得到的网口图像分别存入数据集中；

(3.4)从数据集的所有图像中随机选取80％的图像，组成训练集，将剩余的20％图像组成测试集。

(4)训练深度网络YOLO v3模型：

(4.1)定义算法目标。算法全部使用了均方和误差作为Loss函数，算法最终迭代Loss函数，使其收敛至最小(一般情况下为0.6即可)。Loss函数由三部分组成：坐标误差、IOU误差和分类误差，具体计算公式如下：

其中均方和误差是指均方误差的和。数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较方便的方法，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。一般地，在样本量一定时，评价一个点估计的好坏标准使用的指标总是点估计与参数真值的距离的函数，最常用的函数是距离的平方，由于估计量具有随机性，可以对该函数求期望，这就是下式给出的均方误差：

其中IOU定义是指交并比(Intersection-over-Union，IoU)，目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。最理想情况是完全重叠，即比值为1。具体计算公式为：

模型将输入图像划分为S×S网格，如果目标的中心落入网格单元，那么网格单元就负责检测该目标，每个网格要预测B个边界框，在本发明中，取S＝13，B＝3；

x_i，y_i，w_i，h_i分别表示模型训练标注的坐标值，x_i表示边界框左上角顶点的横坐标，y_i表示边界框左上角顶点的纵坐标，w_i表示边界框的宽度值，h_i表示边界框的高度值，C_i表示模型预测的边界框的置信度，p_i(c)表示模型预测的类别的概率值，分别对应相应变量的归一化处理值，表示目标是否出现在网格i中；表示网格i中的第j个边界框预测到正确类别。

(4.2)K-means计算初始化时锚盒(anchor boxes)尺寸。YOLO v3使用anchor boxes来预测bounding boxes的坐标。具体计算按以下方式进行：

网口数据集标注文件格式：<object-class><x><y><width><height>，其中object-class是类的索引，后面的4个值都是相对于整张图片的比例。x是感兴趣区域(ROI)中心的x坐标，y是ROI中心的y坐标，width是ROI的宽，height是ROI的高。卷积神经网络具有平移不变性，且锚盒(anchor boxes)的位置被每个栅格固定，因此我们只需要通过k-means计算出anchor boxes的width和height即可，即object-class,x,y三个值我们不需要。由于从数据集标注文件的width，height计算出的anchor boxes的width和height都是相对于整张图片的比例，通过anchor boxes直接预测bounding boxes的坐标时，坐标是相对于栅格边长的比例(0到1之间)，因此要将anchor boxes的width和height也转换为相对于栅格边长的比例。转换公式如下：

w＝anchor_width*input_width/downsamples，

h＝anchor_height*input_height/downsamples

距离公式：因为使用欧式距离会让大的边界框(bounding boxes)比小的边界框产生更多的误差，而我们希望能够通过anchor boxes获得更好的IOU分数(score)，且IOU scores是与box的尺寸无关的。为此，定义了新的计算公式d(box,centroid)＝1-IOU(box,centroid)。在计算anchor boxes时我们将所有boxes中心点的x，y坐标都置为0，这样所有的boxes都处在相同的位置上，方便我们通过新距离公式计算boxes之间的相似度。

其中，边界框的预测采用逻辑回归(logistic regression)方式，具体计算示意图见下图2，计算公式如下：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中c_x,c_y是网格的坐标偏移量，p_w,p_h是预设的anchor box的边长.最终得到的边框坐标值是b_x,y,w,h，而网络学习目标是t_x,y,w,h。

(4.3)初始化训练参数。初始学习率base_lr为0.001，学习率调整策略采用ReduceLROnPlateau，优化器采用随机梯度下降(SGD)，迭代次数step为2000。

(4.4)开始训练模型。将训练集图像与对应标签类别输入到深度网络YOLO v3模型，利用上述参数进行初始化，模型采用全卷积和跨层跳跃连接(类似残差网络)结构的网络结构Darknet-53对输入图像提取特征，得到一定尺寸的特征映射(feature map)。然后将输入图像分成13*13个栅格(grid cell)，接着如果真值(ground truth)中某个目标(object)的中心坐标落在哪个栅格中，那么就由该栅格来预测该目标，因为每个栅格都会预测3个边界框，通过计算交并比，边界框中只有和真值的交并比最大的边界框用来预测该目标。

模型中采用多标签多分类的逻辑回归层做类别预测，常用分类网络中的softmax层都是假设一张图像或一个目标只属于一个类别，但是在一些复杂场景下，一个类别可能属于多个类，比如你的类别中有woman和person这两个类，那么如果一张图像中有一个woman，那么你检测的结果中类别标签就要同时有woman和person两个类，这就是多标签分类，需要用逻辑回归层来对每个类别做二分类。逻辑回归层主要用到sigmoid函数，该函数可以将输入约束在0到1的范围内，因此当一张图像经过特征提取后的某一类输出经过sigmoid函数约束后如果大于0.5，就表示属于该类。

模型中采用多个尺度融合的方式做边框位置预测，用类似FPN的upsample和融合做法(最后融合了3个scale，其他两个scale的大小分别是26*26和52*52)，在多个scale的feature map上做检测。预测得到的输出feature map有两个维度是提取到的特征的维度，还有一个维度(深度)是B*(5+C)，其中B表示每个grid cell预测的bounding box的数量，本发明专利中的值为3个，C表示bounding box的类别数，5表示4个坐标信息和一个目标置信度(objectness score)。

加载(4.3)中的配置训练参数，下载ImageNet预训练权重，按照上述训练思路，在自主搭建的GPU服务器上进行模型训练，得到训练好的深度网络YOLO v3模型的训练参数。

(4.5)可视化模型检测结果。载入训练好的深度网络YOLO v3模型的训练参数，将测试集图像输入到深度网络中。通过可视化技术，得到10个小类别对应的矩形检测框，每张图片实时显示每个矩形检测框的对应分数、目标类别以及目标相对位置。

(4.6)调整训练网络模型。可视化后的输出结果与实际结果进行比较，如果模型输要求。

保存模型结果。按照(4)的流程，得到理想输出模型结果，将理想输出结果保存至自主搭建的GPU服务器上，供智能室内巡检机器人巡检时，前期进行部署使用。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (10)

1.一种基于深度学习的端到端网口检测方法，其特征在于，包括：

(1)获取机房不同背景、不同机柜的交换机网口图像；

(2)对交换机网口图像进行分类；标注每个图像，制作数据标签；

(3)使用数据增强技术，制作交换机网口图像数据集；

(4)训练深度网络YOLO v3模型，保存模型结果。

2.根据权利要求1所述的方法，其特征在于，步骤(1)中具体包括：通过调整智能室内巡检机器人的云台的高度，同时改变摄像头的视野角度，获取机房不同背景、不同机柜的交换机网口图像。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述分类依据网口有无网线、有无遮挡、网线颜色进行划分，并使用矩形框标注网口。

4.根据权利要求1所述的方法，其特征在于，步骤(3)具体包括：

(3.1)在步骤(1)获取的交换机网口图像中选取不同条件下的图像，组成数据集；

(3.2)使用数据增强技术，将数据集中的每幅图像依次做水平翻转、随机裁剪、平移变换、仿射变换、颜色变换、光照变换、旋转变换后得到的网口图像分别存入数据集中；

(3.3)从数据集的所有图像中随机选取80％的图像，组成训练集，将剩余的20％图像组成测试集。

5.根据权利要求1所述的方法，其特征在于，步骤(4)具体包括：

(4.1)定义算法目标，算法全部使用均方和误差作为Loss函数，算法最终迭代Loss函数，使其收敛至最小，Loss函数由三部分组成：坐标误差、IOU误差和分类误差；

(4.2)K-means计算初始化时锚盒anchor boxes尺寸；YOLO v3使用anchor boxes来预测bounding boxes的坐标；

(4.3)初始化训练参数；设置初始学习率base_lr为0.001，学习率调整策略采用ReduceLROnPlateau，优化器采用随机梯度下降SGD算法，设定迭代次数step；

(4.4)开始训练模型；将训练集图像与对应标签类别输入到深度网络YOLO v3模型，加载(4.3)中的配置训练参数，下载ImageNet预训练权重，在自主搭建的GPU服务器上进行模型训练；

(4.5)可视化模型检测结果；载入训练好的深度网络YOLO v3模型的训练参数，将测试集图像输入到深度网络中，通过可视化技术进行检测；

(4.6)调整训练网络模型，如果模型输出误差和理想误差超过允许范围，则在(4.4)的基础上继续训练，直至模型效果达到要求。

6.一种基于深度学习的端到端网口检测系统，其特征在于，包括：

获取模块,用于获取机房不同背景、不同机柜的交换机网口图像；

分类标注模块，对交换机网口图像进行分类；标注每个图像，制作数据标签；

数据增强模块，使用数据增强技术，制作交换机网口图像数据集；

数据训练模块，训练深度网络YOLO v3模型，保存模型结果。

7.根据权利要求6所述的系统，其特征在于，获取模块包括调整单元，用于调整智能室内巡检机器人的云台的高度，同时改变摄像头的视野角度，获取机房不同背景、不同机柜的交换机网口图像。

8.根据权利要求6所述的系统，其特征在于，分类标注模块包括：

分类单元，用于依据网口有无网线、有无遮挡、网线颜色进行划分；

标注单元，用于使用矩形框标注网口。

9.根据权利要求6所述的系统，其特征在于，数据增强模块包括：

选取单元，用于在获取模块获取的交换机网口图像中选取2000张不同条件下的图像，组成数据集；

增强单元，用于使用数据增强技术，将数据集中的每幅图像依次做水平翻转、随机裁剪、平移变换、仿射变换、颜色变换、光照变换、旋转变换后得到的网口图像分别存入数据集中；

集合单元，用于从数据集的所有图像中随机选取80％的图像，组成训练集，将剩余的20％图像组成测试集。

10.根据权利要求6所述的系统，其特征在于，数据训练模块包括：

算法目标单元，用于定义算法目标，算法全部使用均方和误差作为Loss函数，算法最终迭代Loss函数，使其收敛至最小，Loss函数由三部分组成：坐标误差、IOU误差和分类误差；

尺寸计算单元，用于K-means计算初始化时锚盒anchor boxes尺寸；YOLO v3使用anchor boxes来预测bounding boxes的坐标；

初始化单元，用于初始化训练参数；设置初始学习率base_lr为0.001，学习率调整策略采用ReduceLROnPlateau，优化器采用随机梯度下降，迭代次数step为2000；

训练单元，用于开始训练模型；将训练集图像与对应标签类别输入到深度网络YOLO v3模型，加载初始化单元中的配置训练参数，下载ImageNet预训练权重，在自主搭建的GPU服务器上进行模型训练；

检测单元，用于可视化模型检测结果；载入训练好的深度网络YOLO v3模型的训练参数，将测试集图像输入到深度网络中，通过可视化技术进行检测；

调整单元，用于调整训练网络模型，如果模型输出误差和理想误差超过允许范围，则在训练单元的基础上继续训练，直至模型效果达到要求。