CN109447047A - 无人机载的路面检测系统及检测方法 - Google Patents

Abstract

本发明公开了无人机载的路面检测系统及检测方法，包括无人机，所述无人机上设置有GPS系统及无人机飞行高度控制系统；所述无人机上搭载有摄像头，所述摄像头连接图像传感器；所述图像传感器的输出端连接至信号放大电路的输入端，所述信号放大电路的输出端连接至信号转换电路的输入端；所述信号转换电路的输出端连接至无线数传电台；所述信号放大电路的输入端连接信号检测及处理电路的输出端，信号检测及处理电路的输入端连接控制器；地面无线数传电台由电平转接板连接地面服务器，搭载在无人机上的无线数传电台与地面无线数传电台通过无线方式通信。能够采集不同的路面信息并分别进行图像处理，建立相应的模型，能够实时动态对路面进行检测。

Description

无人机载的路面检测系统及检测方法

技术领域

本公开涉及交通路面检测技术领域，特别是涉及无人机载的路面检测系统及检测方法。

背景技术

随着道路交通的发展，道路交通在经济发展中扮演着重要的角色，也给人们出行带来极大便利。然而，其伴随产生的问题也尤为突出，如，路面下陷，路面断裂，遗撒物体，施工中产生的固体废物未及时清理，道路中间停留的小动物等一系列问题，严重影响车辆正常行驶，造成大量交通事故。目前国内部分路面检测系统只用于解决其中有些问题，无法全面快速，高效解决道路所产生的问题。如高速公路上的遗撒物，依赖于两人驾驶一辆工程车，每天沿高速公路完成50公里的目测检查全国高速公路里程13.6万公里耗费大量人力物力。

发明内容

为了解决现有技术的不足，本公开实施例子提供了无人机载的路面检测系统，能够实时动态对路面进行检测。

为了实现上述目的，本申请采用以下技术方案：

无人机载的路面检测系统，包括无人机，所述无人机上设置有GPS系统及无人机飞行高度控制系统；

所述无人机上搭载有摄像头，所述摄像头连接图像传感器；所述图像传感器的输出端连接至信号放大电路的输入端，所述信号放大电路的输出端连接至信号转换电路的输入端；所述信号转换电路的输出端连接至无线数传电台；

所述信号放大电路的输入端连接信号检测及处理电路的输出端，信号检测及处理电路的输入端连接控制器；

地面无线数传电台由电平转接板连接地面服务器，搭载在无人机上的无线数传电台与地面无线数传电台通过无线方式通信。

进一步的技术方案，在地面服务器中用于对采集的图像进行图像的处理，包括灰度化、图像平滑和锐化、图像灰度变换、图像分割；

将图像处理后的图片提取相应的物体特征；

针对拍摄的不同图像分别进行图像处理，获得图像数据集，对采集的数据集进行分类处理，使用图像数据集在卷积网络中进行预训练，对模型进行优化。

进一步的技术方案，在卷积网络中进行预训练：将数据集中的每一幅图特征参数采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直到模型的loss值趋向于收敛时，停止训练模型，得到深度学习模型，在图像的倒数第二层全卷积层提取深度学习特征；

对于给定任意一幅待识别的图像，输入到训练好的深度学习模型中，提取样本的深度学习特征，判别该图像属于哪个类别。

进一步的技术方案，图像数据集所包括的图像种类包括但不限于路面下陷图像，路面断裂图像，遗撒物体图像，施工中产生的固体废物未及时清理图像，道路中间停留的小动物图像。

本公开的实施例子还公开了无人机载的路面检测系统的检测方法，包括：

定位无人机所在的位置，判断无人机所检测的道路，并控制无人机沿着所检测道路飞行；

无人机飞行高度控制系统根据垂直向下发射的电波以及由地面发射回来的电波控制无人机的输出功率，以调整无人机的飞行高度；

根据无人机所在的检测路面，由摄像头拍摄图像，使拍摄的道路图像能够前后对接连续，并将图像经过处理后发送给控制器，控制器将图像数字信号通过无线数传电台发送至地面无线数传电台，由地面无线数传电台传至地面服务器；

在地面服务器中进行图像的处理，包括灰度化、图像平滑和锐化、图像灰度变换、图像分割；

将图像处理后的图片提取相应的物体特征；

针对拍摄的不同图像分别进行图像处理，获得图像数据集，对采集的数据集进行分类处理，使用自制数据集在卷积网络中进行预训练，对模型进行优化。

进一步的技术方案，在卷积网络中进行预训练：将数据集中的每一幅图特征参数采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直到模型的loss值趋向于收敛时，停止训练模型，得到深度学习模型，在图像的倒数第二层全卷积层提取深度学习特征；

对于给定任意一幅待识别的图像，输入到训练好的深度学习模型中，提取样本的深度学习特征，判别该图像属于哪个类别。

进一步的技术方案，图像数据集所包括的图像种类包括但不限于路面下陷图像，路面断裂图像，遗撒物体图像，施工中产生的固体废物未及时清理图像，道路中间停留的小动物图像。

进一步的技术方案，灰度化具体为：

摄像机采集到计算机的图像是RGB格式的，转换后的灰度图像中，一个像素表示其灰度值，则据公式：

Y＝0.299R+0.587G+0.114B

R、G、B分别为每一点像素值红、绿、蓝的值，范围为0到255，这样将R、G、B都赋给Y，图像中的每一点的像素只有一个值。

进一步的技术方案，灰度处理后，进行灰度变换。令Y为变换前的灰度，S为变换后的灰度，采用对数变换的通用公式是：

S＝clog(1+Y)

其中，c是一个常数，Y≥0,对数变换将源图像中范围较窄的低灰度值映射到范围较宽的灰度区间，同时将范围较宽的高灰度值区间映射为较窄的灰度区间。

进一步的技术方案，图像平滑：在同一图像中勾选出区域，采用邻域平均法对图像进行处理。其原理是将原图中每一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后将求得的平均值(除以9)作为新图中该像素的灰度值。即:

M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数。

进一步的技术方案，图像锐化处理：采用线性锐化处理，线性高通滤波器是最常用的线性锐化滤波器，可在在MATLAB中可通过调用filter2函数和fspecial函数来实现。

进一步的技术方案，图像分割：基于边缘检测的图像分割方法，先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。

进一步的技术方案，将图像处理后的图片提取相应的物体特征，图像特征有颜色特征、纹理特征、形状特征、空间特征；

颜色特征：采用颜色矩的方法提取物体颜色特征，颜色分布信息主要集中在低阶矩中，采用颜色的一阶矩、二阶矩、三阶矩可以表达物体颜色特征；

纹理特征：图像纹理特征是提取图像区域内部灰度级变化的特征量化，采用统计方法，从图像的自相关函数即图像的能量谱函数提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性特征参数。

形状特征：傅里叶形状描述符法，用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题，由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

空间特征：对分割的图像划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引。

与现有技术相比，本公开的有益效果是：

本公开的技术方案能够采集不同的路面信息并分别进行图像处理，建立相应的模型，能够实时动态对路面进行检测。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开一个或多个实施例子的检测流程图；

图2为本公开一个或多个实施例子的检测系统框架图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

本申请的一种典型的实施方式中，如图2所示，提供了无人机载的路面检测系统，包括无人机，GPS系统，无人机飞行高度控制系统，无人机上搭载有摄像头，图像传感器，控制器，两台无线数传电台(一台由无人机搭载，另一台连接电脑)，电平转接板，电脑。所述摄像头连接图像传感器；所述图像传感器与控制器之间依次连接有信号放大电路和信号转换电路；即图像传感器的输出连接信号放大电路的输入，信号放大电路的输出连接信号转换电路的输入；所述信号转换电路的输出连接无线数传电台。所述信号放大电路和控制器之间连接有信号检测及处理电路，即信号放大电路的输入连接信号检测及处理电路的输出，信号检测及处理电路的输入连接控制器。地面无线数传电台由电平转接板连接电脑。

本申请的一种典型的实施方式中，如图1所示，公开了无人机载的路面检测方法，具体操作步骤如下：

步骤一：无人机的控制系统

无人机控制系统包括GPS系统和无人机飞行高度控制系统。

采用GPS实现无人机自主导航是根据机载全球定位系统(GPS)接收机提供的无人机经、纬度、时间等信息，作为规划的航线信息的反馈数据，结合其它参数共同作为控制参数，主要针对无人机的升降舵和副翼舵进行控制，改变无人机飞行姿态，从而使无人机按规划航线自主飞行

无人机飞行高度控制系统是基于PI控制的无人机高度设计出一种运用比例+积分控制的方法来实现无人机的高度控制,采用从内回路到外回路逐层设计的方法；运用回路分离法对闭环传递函数进行分析,确定高度控制系统的近似数学模型。再根据时域法及频域法,在取值范围内反复比较各组参数的时域和频域响应指标,直至得出一组最佳参数值控制系统根据垂直向下发射的电波以及由地面发射回来的电波控制无人机的输出功率，以调整无人机的飞行高度。

步骤二：图像的获取：

根据无人机所在的检测路面，由摄像头拍摄图像，控制无人机拍摄图像的时间间隔，使拍摄的道路图像能够前后对接连续，并将图像发送给图像传感器，图像传感器将图像转换成电子信号并传输至信号放大电路，信号放大电路将电子信号放大后并传输至信号转换电路，信号转换电路将模拟信号转换为数字信号并传输至控制器，控制器通过信号检测及处理电路检测并处理电子信号，反馈给信号放大电路，最终使信号稳定，控制器将稳定的图像数字信号通过无线数传电台发送至地面无线数传电台，由地面无线数传电台传至电脑。控制器也可以将图像信号存储至存储器。

步骤三：图像处理：图像处理在地面进行。图像处理一般包括四个步骤：(1)灰度化、(2)图像灰度变换、(3)图像锐化和平滑、(4)图像分割等。其中图像锐化和平滑可在同一图像中分区进行，也可针对道不同图像采取其中的一个方法。

1)灰度化

摄像机采集到计算机的图像是RGB格式的，转换后的灰度图像中，一个像素表示其灰度值，则据公式：

Y＝0.299R+0.587G+0.114B

R、G、B分别为每一点像素值红、绿、蓝的值，范围为0到255，这样将R、G、B都赋给Y，图像中的每一点的像素只有一个值。

2)图像灰度变换

灰度处理后，进行灰度变换。令Y为变换前的灰度，S为变换后的灰度，采用对数变换对数变换的通用公式是：

S＝clog(1+Y)

其中，c是一个常数，Y≥0,对数变换将源图像中范围较窄的低灰度值映射到范围较宽的灰度区间，同时将范围较宽的高灰度值区间映射为较窄的灰度区间，从而扩展了暗像素的值，压缩了高灰度的值，能够对图像中低灰度细节进行增强。

3)图像平滑

在同一图像中勾选出区域，采用邻域平均法对图像进行处理。其原理是将原图中每一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后将求得的平均值(除以9)作为新图中该像素的灰度值。即:

M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数。

4)图像锐化处理

采用线性锐化处理，线性高通滤波器是最常用的线性锐化滤波器，可在在MATLAB中可通过调用filter2函数和fspecial函数来实现。

5)图像分割

基于边缘检测的图像分割方法，先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。

步骤四：提取特征参数

根据路面不同情况，提取不同的物体特征。常用的图像特征有颜色特征、纹理特征、形状特征、空间特征等。

1)颜色特征

采用颜色矩的方法提取物体颜色特征，颜色分布信息主要集中在低阶矩中，采用颜色的一阶矩、二阶矩、三阶矩可以表达物体颜色特征。

2)纹理特征

图像纹理特征是提取图像区域内部灰度级变化的特征量化，采用统计方法，从图像的自相关函数(即图像的能量谱函数)提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性等特征参数。

3)形状特征

傅里叶形状描述符法，用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题。由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数。

4)空间特征

对分割的图像划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引。

步骤五：建立模型

1)构造自制数据集

通过路面可能出现的各种情况进行图像采集，采集的图像经过步骤三和步骤四得到大量的物体数据集(特征参数)，为建立模型做准备。

2)建立模型

提取采集的数据集，对采集的数据集进行分类处理，处理得到的结果为路面出现的各种情况。利用OpenCV和Visual Studio编写无人机载的路面检测系统。

系统包括路面出现的各种情况，如，路面下陷，路面断裂，遗撒物体，施工中产生的固体废物未及时清理，道路中间停留的小动物等一系列问题。训练卷积神经网络：将数据集中的每一幅图特征参数采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直到模型的loss值趋向于收敛时，停止训练模型，得到深度学习模型，在图像的倒数第二层全卷积层提取深度学习特征。对于给定任意一幅待识别的图像，输入到训练好的深度学习模型中，提取样本的深度学习特征，通过训练的方法来有效的判别该图像属于哪个类别。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.无人机载的路面检测系统，其特征是，包括无人机，所述无人机上设置有GPS系统及无人机飞行高度控制系统；

所述无人机上搭载有摄像头，所述摄像头连接图像传感器；所述图像传感器的输出端连接至信号放大电路的输入端，所述信号放大电路的输出端连接至信号转换电路的输入端；所述信号转换电路的输出端连接至无线数传电台；

所述信号放大电路的输入端连接信号检测及处理电路的输出端，信号检测及处理电路的输入端连接控制器；

地面无线数传电台由电平转接板连接地面服务器，搭载在无人机上的无线数传电台与地面无线数传电台通过无线方式通信；

在地面服务器中用于对采集的图像进行图像的处理，包括灰度化、图像平滑和锐化、图像灰度变换、图像分割；

将图像处理后的图片提取相应的物体特征；

针对拍摄的不同图像分别进行图像处理，获得图像数据集，对采集的数据集进行分类处理，使用图像数据集在卷积网络中进行预训练，对模型进行优化。

2.如权利要求1所述的无人机载的路面检测系统，其特征是，在卷积网络中进行预训练：将数据集中的每一幅图特征参数采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直到模型的loss值趋向于收敛时，停止训练模型，得到深度学习模型，在图像的倒数第二层全卷积层提取深度学习特征；

对于给定任意一幅待识别的图像，输入到训练好的深度学习模型中，提取样本的深度学习特征，判别该图像属于哪个类别。

3.如权利要求1所述的无人机载的路面检测系统，其特征是，图像数据集所包括的图像种类包括但不限于路面下陷图像，路面断裂图像，遗撒物体图像，施工中产生的固体废物未及时清理图像，道路中间停留的小动物图像。

4.无人机载的路面检测系统的检测方法，其特征是，包括：

定位无人机所在的位置，判断无人机所检测的道路，并控制无人机沿着所检测道路飞行；

无人机飞行高度控制系统根据垂直向下发射的电波以及由地面发射回来的电波控制无人机的输出功率，以调整无人机的飞行高度；

根据无人机所在的检测路面，由摄像头拍摄图像，使拍摄的道路图像能够前后对接连续，并将图像经过处理后发送给控制器，控制器将图像数字信号通过无线数传电台发送至地面无线数传电台，由地面无线数传电台传至地面服务器；

在地面服务器中进行图像的处理，包括灰度化、图像平滑和锐化、图像灰度变换、图像分割；

将图像处理后的图片提取相应的物体特征；

针对拍摄的不同图像分别进行图像处理，获得图像数据集，对采集的数据集进行分类处理，使用自制数据集在卷积网络中进行预训练，对模型进行优化。

5.如权利要求4所述的无人机载的路面检测系统的检测方法，其特征是，在卷积网络中进行预训练：将数据集中的每一幅图特征参数采用反向传播算法和随机梯度下降方法，根据前向传播的loss值的大小，来进行反向传播迭代更新每一层的权重，直到模型的loss值趋向于收敛时，停止训练模型，得到深度学习模型，在图像的倒数第二层全卷积层提取深度学习特征；

对于给定任意一幅待识别的图像，输入到训练好的深度学习模型中，提取样本的深度学习特征，判别该图像属于哪个类别。

6.如权利要求4所述的无人机载的路面检测系统的检测方法，其特征是，图像数据集所包括的图像种类包括但不限于路面下陷图像，路面断裂图像，遗撒物体图像，施工中产生的固体废物未及时清理图像，道路中间停留的小动物图像。

7.如权利要求4所述的无人机载的路面检测系统的检测方法，其特征是，灰度化具体为：

摄像机采集到计算机的图像是RGB格式的，转换后的灰度图像中，一个像素表示其灰度值，则据公式：

Y＝0.299R+0.587G+0.114B

R、G、B分别为每一点像素值红、绿、蓝的值，范围为0到255，这样将R、G、B都赋给Y，图像中的每一点的像素只有一个值。

进一步的技术方案，灰度处理后，进行灰度变换，令Y为变换前的灰度，S为变换后的灰度，采用对数变换的通用公式是：

S＝clog(1+Y)

其中，c是一个常数，Y≥0,对数变换将源图像中范围较窄的低灰度值映射到范围较宽的灰度区间，同时将范围较宽的高灰度值区间映射为较窄的灰度区间。

8.如权利要求4所述的无人机载的路面检测系统的检测方法，其特征是，图像平滑：在同一图像中勾选出区域，采用邻域平均法对图像进行处理。其原理是将原图中每一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后将求得的平均值作为新图中该像素的灰度值，即:

M是所取邻域中各邻近像素的坐标，N是邻域中包含的邻近像素的个数；

图像锐化处理：采用线性锐化处理，线性高通滤波器是最常用的线性锐化滤波器，可在在MATLAB中可通过调用filter2函数和fspecial函数来实现。

9.如权利要求4所述的无人机载的路面检测系统的检测方法，其特征是，图像分割：基于边缘检测的图像分割方法，先确定图像中的边缘像素，然后再把这些像素连接在一起就构成所需的区域边界。

10.如权利要求4所述的无人机载的路面检测系统的检测方法，其特征是，将图像处理后的图片提取相应的物体特征，图像特征有颜色特征、纹理特征、形状特征、空间特征；

颜色特征：采用颜色矩的方法提取物体颜色特征，颜色分布信息主要集中在低阶矩中，采用颜色的一阶矩、二阶矩、三阶矩可以表达物体颜色特征；

纹理特征：图像纹理特征是提取图像区域内部灰度级变化的特征量化，采用统计方法，从图像的自相关函数即图像的能量谱函数提取纹理特征，即通过对图像的能量谱函数的计算，提取纹理的粗细度及方向性特征参数；

形状特征：傅里叶形状描述符法，用物体边界的傅里叶变换作为形状描述，利用区域边界的封闭性和周期性，将二维问题转化为一维问题，由边界点导出三种形状表达，分别是曲率函数、质心距离、复坐标函数；

空间特征：对分割的图像划分出图像中所包含的对象或颜色区域，然后根据这些区域提取图像特征，并建立索引。