CN114677329A - 基于移动边缘计算的坑洞边缘图像目标检测系统 - Google Patents

Abstract

本发明公开了一种基于移动边缘计算的坑洞边缘图像目标检测系统。包括可见光摄像头、车端计算机、无线通讯设备和远端服务器；可见光摄像头安装在车辆上，在车辆行驶的过程中，由可见光摄像头对前方路面图像进行采集，通过车端计算设备，对图像进行边缘的提取并灰度化，初步减小图像的大小，并对图像进行分辨率的缩小，将缩小过后的图像通过车联网进行传输，传输到远端服务器；在远端服务器上，通过针对边缘图像设计的超分辨率算法将边缘图像还原为原来的分辨率，进行道路坑洞的目标检测，识别出道路坑洞的位置。通过提取图像边缘并压缩传输，大大减少了传输所需的带宽，提高整个系统的实时性。

Description

基于移动边缘计算的坑洞边缘图像目标检测系统

技术领域

本发明涉及图片超分辨率重构，边缘计算以及目标检测，具体涉及一种基于移动边缘计算的坑洞边缘图像目标检测系统。

背景技术

近年来，利用神经网络来实行目标检测的方法得到了快速的发展，被运用到了诸如自动驾驶等许多实际生活中的场景。在我们平时的驾车过程中，车辆驶过路面的坑洞会给驾驶人员带来强烈的震荡感，同时容易造成车辆轮胎的磨损，因此，经验丰富的驾驶人员通常会避开坑洞行驶。

如今，如特斯拉等许多汽车品牌的车辆搭载有行人检测以及车辆检测系统，通过计算机视觉的辅助能够进一步提高驾驶人的行车体验。同样的，对于路面坑洞的检测识别也能够进一步帮助驾驶人来应对不同的路况。在现有车辆上搭载的目标检测模型多是直接利用车载高性能计算机完成模型的计算，识别出道路前方的物体。这一类型的方法优点在于识别较快，只需要在汽车端就可以完成整个流程，且可以使用无压缩的原图进行目标检测，准确率不会因为压缩而降低。但是对车载计算机的性能要求较高，且在后续的更新维护中只能将车上搭载的设备拆卸下来进行维护，维护费用较高。

还有一种类型的方法则是通过车载的基础计算设备，将摄像头获取的路面图像经过JPEG等传统压缩方式先进行压缩，将图像压缩之后再通过车联网，将图像传输到云端服务器，通过云端服务器强大的计算能力迅速的推演出路面坑洞的识别结果，并再次将识别出来的坑洞坐标通过无线网络传输回车端。这一方法在车辆上所需要的计算设备成本很低，而且在后续的更新维护中并不需要在车辆端花费太多，只需要联网进行软件的更新即可。但这一方式的缺点在于传统的JPEG压缩方式在提高压缩率的同时会降低图像的质量，特别是在低比特率下，压缩的图像难以恢复，从而导致在云端服务器进行的目标检测准确率大大下降。而若是想保证检测的准确率不会受到太大的影响，图片的压缩比率就不能够太高，在传输图片的过程中就会需要很高的传输带宽，提高了技术难度，以及整个系统的费用。

除了JPEG压缩外，随着神经网络的飞速发展，利用深度神经网络来实现的图像超分辨率重构技术不断涌现，超分辨率技术旨在将低分辨率的图片恢复成其对应的高分辨率图片。通过超分辨率技术可以将图像的长宽分辨率各放大四倍，是整个图像放大十六倍。反之，若是我们将一张高清图像的分辨率先缩小到十六分之一，再用超分辨率算法进行恢复，这样就可以达到一个压缩图片的效果。同时，考虑到在坑洞检测的应用场景下，只需要图像的边缘就可以达到一个较高的准确率，将图像提取边缘并且灰度化之后，图像的大小能够进一步的缩减。大大提高了图像的传输速率。然而，现有的超分辨率算法都是基于彩色的现实图片而言的，对于提取出来的边缘灰度图恢复效果并不理想。

综上，需要研究一种坑洞边缘图像超分辨率重构算法，并结合移动边缘计算以及后续的目标检测算法来搭建整个基于移动边缘计算的坑洞边缘图像目标检测系统。

发明内容

为了解决背景技术中的问题，本发明提供了一种基于移动边缘计算的道路坑洞边缘图像目标检测系统。通过提取图像边缘并压缩传输，大大减少了传输所需的带宽，提高整个系统的实时性。

本发明采用如下的技术方案：

基于移动边缘计算的坑洞边缘图像目标检测系统包括安装于车辆前方的可见光摄像头、搭载于车辆内部的车载计算机和无线通讯设备，还包括远端服务器；车辆行驶的过程中，可见光摄像头对车辆前方的路面进行图像采集，并将捕获到的道路图像传输至车载计算机进行图片预处理，经过车载计算机预处理的图片通过无线通讯设备传输给远端服务器进行超分辨率重构以及坑洞目标检测，远端服务器通过无线通信模块将从图片中检测到的坑洞坐标传回车载计算机。

所述图片预处理为先通过拉普拉斯算子提取图像边缘，然后进行灰度化处理，再通过图像缩放算法将灰度处理后的边缘灰度图像的分辨率压缩至1/16。

所述图像缩放算法包括最近邻插值算法、双线性插值算法、双三次插值算法。

所述远端服务器进行超分辨率重构以及坑洞目标检测的过程具体为：

步骤1)在远端服务器上通过边缘图像超分辨率重构算法将分辨率压缩后的边缘灰度图像恢复成原分辨率。

所述步骤1)具体为：

1.1)将边缘灰度图像随机裁剪成256*256大小的图片块，将图片块作为超分辨率重构网络模型的输入；超分辨率重构网络模型包括预处理网络层、核心层、掩码层和输出层。

1.2)将图片块输入预处理网络层，初步提取图像的高维度特征，预处理网络层包括依次连接的七个卷积层。

所述步骤1.2)中的七个卷积层设计如下：

每个卷积层的卷积核大小均为3，步长均为1，填充(padding)大小均为1；第一卷积层和第二卷积层的通道数为64，第三卷积层、第四卷积层和第七卷积层的通道数为128，第五卷积层和第六卷积层的通道数为256。

1.3)将预处理网络层输出的高维度特征输入网络核心层；核心层包括三个卷积层、多个依次连接的RRDB模块和一个激活层，高维度特征经第一卷积层、多个RRDB模块后输入第二卷积层，第一卷积层的输出与第二卷积层的输出相加后输入第三卷积层，第三卷积层的输出经激活层后输出，并作为网络核心层的输出；RRDB为残差连接的残差密集块(Residual in Residual Dense Block)，由多个卷积层通过残差连接和密集连接组成。

1.4)将预处理网络层输出的高维度特征作为掩码层的输入，掩码层通过注意力机制学习后输出；掩码层包括三个卷积层和三个激活层，激活层采用Leaky ReLU激活函数，第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层依次连接；掩码层的输出作用在于与核心层的输出相乘，去除图像中的噪声。

所述步骤1.4)中的三个卷积层具体参数设置如下：第一卷积层的卷积核大小为3，通道数为256，步长为1，填充为1；第二卷积层的卷积核大小为3，通道数256，步长为1，填充为1；第三卷积层的卷积核大小为3，通道数128，步长为1，填充为1。

1.5)掩码层的输出与核心层的输出相乘后分别与掩码层的输出和预处理网络层的输出相加，进行残差连接。

1.6)步骤1.5)的输出通过输出层进行图像的上采样，得到分辨率放大后的图像；输出层包括两个上采样层、两个激活层和两个卷积层，上采样层采用pixel shuffle的上采样方法，激活层采用Leaky ReLU激活函数；第一上采样层、第一激活层、第一卷积层、第二上采样层、第二激活层、第二卷积层依次连接。

步骤2)将步骤1)超分辨率重构过后的边缘灰度图像输入图像检测模型识别图像中的坑洞，输出坑洞坐标。

所述步骤2)中，图像检测模型包括YOLOV5算法、Efficientdet算法、YOLOV4算法；图像检测模型以超分辨率重构过后的边缘灰度图像作为为训练集进行训练。

本发明的有益效果：

与现有技术相比，使用压缩后的边缘灰度图像来进行目标检测，这将大大减少在图片传输过程中产生的延迟，亦即对传输带宽的要求比较低。其次，本发明设计了针对于边缘灰度图像的超分辨率算法，可以使恢复后的图片在后续的目标检测模型中达到接近于原图的准确率。

附图说明

图1为本发明基于移动边缘计算的坑洞边缘图像目标检测系统的结构示意图；1为车载计算机，2为远端服务器。

图2为本发明超分辨率重构网络模型的结构示意图。

图3为本发明基于边缘计算的坑洞边缘图像目标检测方法的流程框图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细说明。

如图1，基于移动边缘计算的坑洞边缘图像目标检测系统：可见光摄像头、车载计算机1、无线通讯设备和远端服务器2。

车辆行驶的过程中，可见光摄像头对车辆前方的路面进行图像采集，车载计算机进行边缘提取，再对图像进行分辨率的压缩，通过无线通讯设备将图像传输到远端服务器。在远端服务器使用本发明设计的针对边缘图像的超分辨率重构算法进行图像恢复，在输入目标检测模型进行坑洞目标检测。并将所得坑洞坐标传回车辆。

具体实施中，通过拉普拉斯算子对道路图像提取边缘，然后进行灰度化处理，再将提取的边缘灰度图像分辨率压缩为1/16(长宽各为原图的1/4)。

拉普拉斯算子的基本流程是：判断图像中心像素灰度值与它周围其他像素的灰度值，如果中心像素的灰度更高，则提升中心像素的灰度；反之降低中心像素的灰度，从而实现图像锐化操作。在算法实现过程中，拉普拉斯算子通过对邻域中心像素的四方向或八方向求梯度，再将梯度相加起来判断中心像素灰度与邻域内其他像素灰度的关系，最后通过梯度运算的结果对像素灰度进行调整。

经过车端计算机预处理的图片将通过无线通讯设备传输给远端服务器进行超分辨率重构以及坑洞目标检测。

具体实施中，目标检测算法包括但不限于YOLOV5算法、Efficientdet算法、YOLOV4算法，所属领域技术人员可以根据算法精度要求、拟合特性、泛化性能以及硬件内存等相关指标，选择不同的视觉识别算法，本发明的优选实施例是一种非限制性的较优选择。

具体实施中，图像的缩放算法包括但不限于最近邻插值算法，双线性插值算法，双三次插值算法，所属领域技术人员可以根据算法精度要求以及硬件内存等相关指标，选择不同的缩放算法，本发明的优选实施例是一种非限制性的较优选择。

如图2所示，基于移动边缘计算的坑洞边缘图像目标检测方法包括：

步骤1：利用可见光摄像头采集前方路面图像；

步骤2：利用车端计算机对图像进行边缘提取以及分辨率缩放，实现预处理；

步骤3：基于无线通讯模块，将处理过后的图像传输到远端服务器；

步骤4：在远端服务器上通过边缘图像超分辨率重构算法将图像恢复成原分辨率；

步骤5：将超分辨率重构过后的图像输入图像检测模型识别其中的坑洞，返回坑洞坐标；

步骤6：基于无线通信模块，将路面坑洞坐标传输回车端。

其中，步骤4的边缘图像超分辨率重构算法具体为：

基于ESRGAN构建超分辨率重构网络模型，创新性地将注意力机制加入了超分辨率网络中，具体的超分辨率网络模型训练过程以及结构如下：

4.1)将输入的图像随机裁剪成256*256大小的图片块，将图片块作为训练网络的输入。

4.2)将数据输入预处理网络层，初步提取图像的高维度特征。

4.3)将步骤4.2输出的高维度特征作为模型核心层的输入，核心层由多个RRDB模块组成，RRDB全称为残差连接的残差密集块(Residual in Residual Dense Block)，由多个卷积层通过残差连接和密集连接组成。

4.4)将步骤4.2的输出作为掩码层的输入，掩码层通过注意力机制学习，掩码层的输出作用在于与步骤4.3的输出相乘，去除图像中的噪声。

4.5)将步骤4.2，步骤4.3，以及步骤4.4的输出相加，进行残差连接。

4.6)将步骤4.5的输出通过pixel shuffle进行图像的上采样，得到分辨率放大后的图像。

Claims (8)

1.一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，包括安装于车辆前方的可见光摄像头、搭载于车辆内部的车载计算机和无线通讯设备，还包括远端服务器；

车辆行驶的过程中，可见光摄像头对车辆前方的路面进行图像采集，并将捕获到的道路图像传输至车载计算机进行图片预处理，经过车载计算机预处理的图片通过无线通讯设备传输给远端服务器进行超分辨率重构以及坑洞目标检测，远端服务器通过无线通信模块将从图片中检测到的坑洞坐标传回车载计算机。

2.根据权利要求1所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述图片预处理为先通过拉普拉斯算子提取图像边缘，然后进行灰度化处理，再通过图像缩放算法将灰度处理后的边缘灰度图像的分辨率压缩至1/16。

3.根据权利要求2所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述图像缩放算法包括最近邻插值算法、双线性插值算法、双三次插值算法。

4.根据权利要求1所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述远端服务器进行超分辨率重构以及坑洞目标检测的过程具体为：

步骤1)在远端服务器上通过边缘图像超分辨率重构算法将分辨率压缩后的边缘灰度图像恢复成原分辨率；

步骤2)将步骤1)超分辨率重构过后的边缘灰度图像输入图像检测模型识别图像中的坑洞，输出坑洞坐标。

5.根据权利要求4所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述步骤1)具体为：

1.1)将边缘灰度图像随机裁剪成256*256大小的图片块，将图片块作为超分辨率重构网络模型的输入；

超分辨率重构网络模型包括预处理网络层、核心层、掩码层和输出层；

1.2)将图片块输入预处理网络层，初步提取图像的高维度特征，预处理网络层包括依次连接的七个卷积层；

1.3)将预处理网络层输出的高维度特征输入网络核心层；

核心层包括三个卷积层、多个依次连接的RRDB模块和一个激活层，高维度特征经第一卷积层、多个RRDB模块后输入第二卷积层，第一卷积层的输出与第二卷积层的输出相加后输入第三卷积层，第三卷积层的输出经激活层后输出，并作为网络核心层的输出；

1.4)将预处理网络层输出的高维度特征作为掩码层的输入，掩码层通过注意力机制学习后输出；

掩码层包括三个卷积层和三个激活层，激活层采用Leaky ReLU激活函数，第一卷积层、第一激活层、第二卷积层、第二激活层、第三卷积层、第三激活层依次连接；

1.5)掩码层的输出与核心层的输出相乘后分别与掩码层的输出和预处理网络层的输出相加，进行残差连接；

1.6)步骤1.5)的输出通过输出层进行图像的上采样，得到分辨率放大后的图像；

输出层包括两个上采样层、两个激活层和两个卷积层，上采样层采用pixel shuffle的上采样方法，激活层采用Leaky ReLU激活函数；第一上采样层、第一激活层、第一卷积层、第二上采样层、第二激活层、第二卷积层依次连接。

6.根据权利要求5所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述步骤1.2)中的七个卷积层设计如下：

每个卷积层的卷积核大小均为3，步长均为1，填充大小均为1；第一卷积层和第二卷积层的通道数为64，第三卷积层、第四卷积层和第七卷积层的通道数为128，第五卷积层和第六卷积层的通道数为256。

7.根据权利要求5所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述步骤1.4)中的三个卷积层具体参数设置如下：

第一卷积层的卷积核大小为3，通道数为256，步长为1，填充为1；第二卷积层的卷积核大小为3，通道数256，步长为1，填充为1；第三卷积层的卷积核大小为3，通道数128，步长为1，填充为1。

8.根据权利要求4所述的一种基于移动边缘计算的坑洞边缘图像目标检测系统，其特征在于，所述步骤2)中，图像检测模型包括YOLOV5算法、Efficientdet算法、YOLOV4算法；图像检测模型以超分辨率重构过后的边缘灰度图像作为为训练集进行训练。

Images