CN112666963A - 基于四轴无人机的公路路面裂缝检测系统及其检测方法 - Google Patents

Abstract

本发明公开了基于四轴无人机的公路路面裂缝检测系统及其检测方法，涉及公路检测技术领域，系统包括四轴无人机、数据传输子系统、地面控制子系统、图像处理子系统，利用地面控制子系统完成对巡检路径的规划，设置飞行高度和速度，依靠数据传输子系统将信息发送给四轴无人机，四轴无人机按照规划的路径飞行，并通过摄像头采集原始图像，在图像处理单元中分别利用OpenCV分割锁定道路使四轴无人机沿其自主飞行，利用神经网络自动检测裂缝，依靠GPS模块标定裂缝位置。本发明的检测系统技术使用门槛低，自动化程度高，其检测公路路面裂缝的方法相较于传统的人工检测和道路检测车方案，能够显著地提高公路路面裂缝检测的效率，节省时间，降低人力物力成本。

Description

基于四轴无人机的公路路面裂缝检测系统及其检测方法

技术领域

本发明涉及公路检测技术领域，具体涉及基于四轴无人机的公路路面裂缝检测系统及其检测方法。

背景技术

在公路养护过程中，公路路面裂缝溯源检测是提高工作效率的重中之重，传统公路路面裂缝多通过人工巡查检测，检测效率较低，影响到对路面施工的及时性，随着科技的发展有采用无人机对路面机械能拍摄采样的新型公路路面裂缝检测方法，但无人机拍摄画面精度不足，并且拍摄视屏图片筛选效率较低，仍不能很好的满足公路路面裂缝检测需要。

同时无人机在人工操作时，会因操控及时性不足影响到对公路障碍物的识别辨认，中国专利文献CN110456805A公开了一种无人机智能循迹飞行系统及方法，所述飞行系统包括用于进行图像采集的图像采集单元、用于检测飞行惯量的飞行姿态测量单元、用于进行神经网络处理的神经网络处理单元、及控制无人机飞行动作的控制单元，并将无人机前方的摄像头采集的图像作为输人，通过卷积神经网络对此输入进行识別，并给出避障策略，在飞行过程中，采用基于高灵敏特性的隧道磁阻效应的飞行姿态测量单元，通过所述飞行姿态测量单元获取无人机在飞行姿态的变化关键位置，并启动所述图像采集单元进行重点捕获图像，形成飞行环境的立体模型，为无人机循迹飞行路线提供关键位置图像，但该飞行系统仅通过图像采集单元实线避障效果，但缺乏对公路路面的适配能力，并且缺乏对公路路面裂纹的识别检测能力，具有一定的缺陷。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，如：仅通过图像采集单元实线避障效果，但缺乏对公路路面的适配能力，并且缺乏对公路路面裂纹的识别检测能力，具有一定的缺陷，而提出的基于四轴无人机的公路路面裂缝检测系统及其检测方法。

为了实现上述目的，本发明采用了如下技术方案：

基于四轴无人机的公路路面裂缝检测系统，包括四轴无人机、数据传输子系统、地面控制子系统、图像处理子系统，所述四轴无人机包括机架，所述的四轴无人机顶部四角处固定安装有动力装置，所述机架中心固定安装有个传感元件，且机架前方固定安装有第一云台，且机架正下方固定安装有第二云台，且第一云台上固定安装有第一摄像头，且第二云台上固定安装有第二摄像头，所述机架内固定安装有控制模块，且控制模块与动力模块以、传感元件和避障模块通讯连接；

所述数据传输子系统包括5G数传模块、接收机模块和云端服务器，所述的图像处理子系统包括：循迹图像处理单元和裂缝检测图像处理单元。

进一步地，所述机架包括：作为机轴的碳纤维圆管、机身碳纤维板，所述的动力装置包括：无刷电机、玻璃纤维桨叶、锂电池，所述的传感元件包括：陀螺仪、加速度计、电子罗盘、GPS模块、气压计，所述第一云台和第二云台结构箱相同，且第一云台和第二云台均包括：无刷电机、陀螺仪，所述控制模块采用以STM32F407ZGT6为芯片的单片机，所述摄像头采用广角无畸变摄像头，所述避障模块采用超声波模块。

进一步地，所述地面控制子系统包括：手机APP、PC上位机和航模遥控器，所述的手机APP、PC上位机都是基于移动终端的软件，这二者通过无线网络将数据发送到云端服务器，所述四轴无人机上的 5G数传模块访问云端服务器获取数据，所述航模遥控器是独立的控制装置，且航模遥控器与机架上的接收机模块通讯连接。

进一步地，所述云端服务器为租用的阿里云服务器，所述5G数传模块位于机架下方左侧，所述接收机模块位于机架下方右侧，其通信天线与5G数传模块的通信天线朝向相反。

进一步地，所述循迹图像处理单元负责处理摄像头获取的前方公路图像，判断四轴无人机的姿态、位置偏差，使四轴无人机精确锁定公路，自主沿公路循迹飞行，所述裂缝检测图像处理单元负责处理摄像头获取的下方公路路面图像，利用神经网络检测图像中是否存在裂缝以及裂缝的相关信息。

基于四轴无人机的公路路面裂缝检测方法，依靠手机APP或PC 上位机对四轴无人机的飞行路径做出规划，在GPS定位的前提下，结合四轴无人机上的摄像头和相应图像处理单元，利用OpenCV使四轴无人机精确锁定公路，自主沿公路循迹飞行，并在飞行过程中利用神经网络直接检测公路路面的裂缝，具体包括以下步骤：

S1、针对具体任务，通过手机APP或PC上位机对四轴无人机做出路径规划，设定四轴无人机的飞行高度和速度，然后根据飞行高度和第二摄像头的拍摄有效角度计算出第二摄像头的有效视野长度，再根据有效视野长度和四轴无人机半机身长度计算出第二摄像头的拍摄间隔距离，数据首先通过无线网络发送到云端服务器，然后四轴无人机通过5G数传模块从云端服务器获取数据；

S2.所述机架上的第一云台和第二云台根据设定的默认飞行高度和速度，自动初始化自身的姿态角度，并在后续飞行过程中维持该姿态，所述第一云台通过改变俯仰角使得所述摄像头1与前方公路路面呈固定角度，所述第二云台通过改变俯仰角和横滚角使得第二摄像头始终与下方公路路面平行；

S3.四轴无人机在平地自动起飞达到设定高度，然后以设定速度按照所规划的路径飞行；

S4.受GPS模块定位精度的影响，四轴无人机依靠第一云台上的第一摄像头获取前方公路图像，在循迹图像处理单元中利用OpenCV 提取公路的边界信息并判断四轴无人机的姿态、位置偏差，使四轴无人机精确锁定公路，自主沿公路循迹飞行，并将第一摄像头和第二摄像头获取的实时画面通过5G数传模块发送到云端服务器，在飞行过程中，每隔S1中所述的拍摄间隔距离通过第二摄像头获取水平的公路路面图像，在裂缝检测图像处理单元中利用神经网络对图像进行识别，判断是否有裂缝，如果有裂缝，则对该裂缝进行位置标定，并将裂缝有关的原始图像、识别后的图像、长度数据、位置数据通过5G 数传模块发送到云端服务器，在公路上方飞行时，四轴无人机的默认飞行高度不会影响公路上正在行驶的车辆，依靠所述的避障模块检测前方是否有路牌等障碍物；

S5.当四轴无人机飞行到规划路径的终点时，按照直线路径直接返回出发点，并且在飞行过程中不断检测锂电池电压判断是否在当前点有足够电量能够返回出发点，若中途检测到锂电池电量不够则放弃后续未检测的路径，直接返回出发点；

S6.通过手机APP或PC上位机依靠无线网络获取云端服务器中与裂缝有关的原始图像、识别后的图像、长度数据和位置数据。

进一步地，还包括在循迹图像处理单元中利用OpenCV使四轴无人机精确锁定公路的方法，具体包括以下步骤：

S1.对所述第一摄像头获取的前方公路图像进行预处理，其步骤为：

①平均灰度化，采用加权平均值法求取图像中每一个像素点的 RGB三通道的平均值，再将平均值向上取整赋值给三个通道；

②通过中值滤波去噪，通过对3*3的9个数据进行排序，将中间值重新填入，即滤波完成，原本的噪声点被去掉，该区域恢复平缓；

③大津法OTSU图像分割，步骤为首先求类间方差，然后分割；

④Canny算子提取边缘，步骤为：首先，计算梯度幅度和方向来估计每一点处的边缘强度与方向，采用soble算子，利用soble水平和垂直算子与输入图像卷积计算水平和垂直方向的梯度dx、dy：

进一步可以得到图像梯度的幅值，

为了简化计算，幅值作如下近似：

M(x,y)＝|d_x(x,y)|+|d_y(x,y)|

最后，梯度的角度为：

θ_M＝arctan(d_y/d_x)

然后，根据梯度方向，对梯度幅值进行非极大值抑制，3*3区域内，边缘可以划分为垂直、水平、45°、135°4个方向，同样，梯度反向也为四个方向并与边缘方向正交，因此为了进行非极大值，将所有可能的方向量化为4个方向，非极大值抑制即为沿着上述4种类型的梯度方向，比较3*3邻域内对应邻域值的大小；在每一点上，领域中心x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘，最后用双阈值处理和连接边缘；

S2.霍夫变换提取边界线，在笛卡尔坐标系下一条直线可由两个点A＝(X1,Y1)和B＝(X2,Y2)确定，在霍夫空间下，y＝kx+q可以写成关于(k,q)的函数表达式，变换后的空间成为霍夫空间，笛卡尔坐标系中一条直线，对应霍夫空间的一个点，取整后将交点对应的坐标进行累加，最后找到数值最大的点就是求解的[ρ,θ]，也就求解出了直线；

S3.获取四轴无人机姿态和位置偏差，其步骤为：

①根据提取出的两条道路边界线，绘制出两条线所相交角的角平分线作为道路中线；

②根据道路中线在图像中的斜率判断无人机偏航角与道路方向的角度偏差α，根据道路中线末端与图像中线末端O的像素位置差e 来判断无人机与道路的位置偏差。

进一步地，利用Tensoflow搭建神经网络框架，在服务器中对神经网络进行训练，训练得到的神经网络模型部署在所述四轴无人机的裂缝检测图像处理单元中进行应用，所述对神经网络进行训练包括以下步骤：

S1.利用公开的公路裂缝数据集和通过无人机自主采集的公路路面的大量原始图像作为数据集。训练集和测试集，训练集中划分一部分为验证集；

S2.将数据集中的原始高分辨率图像裁剪为200*200的多个区块，将每一区块标注为有裂缝区块或无裂缝区块，将所有区块图像分为训练集、验证集和测试集三个子集，其比例为6：2：2，每一个子集中的有裂缝区块和无裂缝区块的比例都为1：1；

S3.对训练集中所有标注后的区块图像进行随机旋转、翻转、斜切，调整对比度、色度和亮度，以增广训练集图像，最后将三个子集中的两类区块分类保存；

S4.构建以ResNet18残差神经网络为基本框架的神经网络，其是一种卷积结构的网络；

S5.所述神经网络的卷积结构共包含5个模块。每个网络层级里面包含一个卷积模块，一个跳层叠加模块，每个卷积模块由两个卷积层组成，与输入信息叠加后再次激活，输入下一个网络层级，在最后两个网络层级中，由输入端输入的数据会经过两种卷积之后叠加，一种是上面提到的卷积模块，一种是普通单层2d卷积。最后一层是全连接输出层，其采用Softmax激活函数独立生成每个像素的概率值。上述所提及的每个卷积层之后还附加了一个归一化层，以加快训练过程的收敛速度，使训练数据的分布固定在样本空间中，并且每个卷积层的激活函数都为ReLU函数，加强网络的非线性特性，使特征更加鲜明；

S6.采用Adadelta优化器和交叉熵损失函数对网络进行训练；

S7.采用precision(精度)和recall(回召率)两个参数指标评估训练结果：

①precision

精度的计算表示为如下公式：

其中，TP为判断为真实则也为真的裂缝区块，FP为判断为真但实则为假的裂缝区块。精度越高则神经网络的训练结果越好。

②recall

回召率的计算表示为如下公式：

其中，TP为判断为真实则也为真的裂缝区块，FN为判断为假但实则为真的裂缝区块。回召率越高则神经网络的训练结果越好。

进一步的，所述将训练得到的神经网络模型部署应用包括以下步骤：

S1.所述裂缝图像处理模块采用NVIDIA Jetson TX2开发板，在该硬件平台上创建虚拟环境，在虚拟环境中运行训练好的神经网络模型；

S2.在四轴无人机飞行的过程中，每隔拍摄间隔距离利用第二摄像头获取水平的公路路面图像，将其按照固定窗口裁剪成尺寸为 4096*3112的图像送入神经网络模型进行裂缝的检测识别，一次检测识别的时间为0.2s，若检测到裂缝，则标定裂缝的GPS坐标位置，并计算出它的最大外接矩形框，从而计算出裂缝的长度，最大外接矩形框的计算过程如下：

对于每张图像，以左上角顶点为像素坐标系原点，朝右为x轴正方向，朝下为y轴正方向，像素坐标为：

(x₁,y₁),(x₂,y₂),······,(x_i,y_i)，

最大外接矩形框的四个顶点与四个角处区块的顶点重合，四个顶点的像素坐标按照从左至右再从上至下的顺序依次为： (x_min,y_min),(x_max,y_min),(x_min,y_max),(x_max,y_max)

其中，x_min，x_max分别为在x轴上有裂缝区块中像素的最小、最大坐标值，y_min，y_max分别为在y轴上由裂缝区块中像素的最小、最大坐标值。将矩形框的最长边作为裂缝的长度，可以表示为如下公式：

其中，length为裂S6.缝的长度；

S3.将裂缝的原始图像、经过识别后被划分为一个个区块的图像、长度数据、位置数据发

S7.采用送到云端服务器；若没有检测到裂缝，则继续正常飞行。

与现有技术相比，本发明的有益效果是：

(1)本发明通过利用地面控制子系统完成对巡检路径的规划，设置飞行高度和速度，依靠数据传输子系统将信息发送给四轴无人机，四轴无人机按照规划的路径飞行，并通过摄像头采集原始图像，在图像处理单元中分别利用OpenCV分割锁定道路使四轴无人机沿其自主飞行，利用神经网络自动检测裂缝，依靠GPS模块标定裂缝位置。该检测系统技术使用门槛低，自动化程度高，其检测公路路面裂缝的方法相较于传统的人工检测和道路检测车方案，能够显著地提高公路路面裂缝检测的效率，节省时间，降低人力物力成本。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提出的基于四轴无人机的公路路面裂缝检测系统系统框图；

图2为本发明的拍摄间隔距离示意图；

图3为本发明的中值滤波示意图；

图4为本发明的梯度方向示意图；

图5为本发明的梯度幅值示意图；

图6为本发明的笛卡尔坐标系示意图；

图7为本发明的y＝kx+q的函数表达式；

图8为本发明笛卡尔坐标系图像表示示意图；

图9为本发明笛卡尔坐标系图像变换示意图；

图10为本发明笛卡尔坐标系三点共线示意图；

图11为本发明笛卡尔坐标系多点示意图；

图12为本发明笛卡尔坐标系交汇示意图；

图13为本发明笛卡尔坐标系交点求解示意图；

图14为本发明路面前偏航角偏差示意图；

图15为本发明神经网络训练示意图。

图中各标号所代表的部件列表如下：1、四轴无人机；101、轴架；102、动力装置；103、传感元件；104、云台；105、控制模块；106、摄像头；107、避障模块；2、数据传输系统；201、云端服务器；202、接收机模块；203、5g数传模块；3、地面控制子系统；301、手机APP；302、PC上位机；303、航模遥控器；4、图像处理子系统；401、循迹图像处理单元；402、裂缝检测图像处理单元；。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

实施例一

参照图1-15，基于四轴无人机的公路路面裂缝检测系统，包括四轴无人机、数据传输子系统、地面控制子系统、图像处理子系统，所述四轴无人机包括机架，所述的四轴无人机顶部四角处固定安装有动力装置，所述机架中心固定安装有个传感元件，且机架前方固定安装有第一云台，且机架正下方固定安装有第二云台，且第一云台上固定安装有第一摄像头，且第二云台上固定安装有第二摄像头，所述机架内固定安装有控制模块，且控制模块与动力模块以、传感元件和避障模块通讯连接；

所述数据传输子系统包括5G数传模块、接收机模块和云端服务器，所述的图像处理子系统包括：循迹图像处理单元和裂缝检测图像处理单元。

所述的动力装置包括：无刷电机、玻璃纤维桨叶、锂电池；

所述的传感元件包括：陀螺仪、加速度计、电子罗盘、GPS模块、气压计；

所述第一云台和第二云台结构箱相同，且第一云台和第二云台均包括：无刷电机、陀螺仪；

所述控制模块采用以STM32F407ZGT6为芯片的单片机；

所述摄像头采用广角无畸变摄像头；

所述避障模块采用超声波模块。

所述地面控制子系统包括：手机APP、PC上位机和航模遥控器，所述的手机APP、PC上位机都是基于移动终端的软件，这二者通过无线网络将数据发送到云端服务器，所述四轴无人机上的5G数传模块访问云端服务器获取数据，所述航模遥控器是独立的控制装置，且航模遥控器与机架上的接收机模块通讯连接。

所述云端服务器为租用的阿里云服务器，所述5G数传模块位于机架下方左侧，所述接收机模块位于机架下方右侧，其通信天线与 5G数传模块的通信天线朝向相反。

所述循迹图像处理单元负责处理摄像头获取的前方公路图像，判断四轴无人机的姿态、位置偏差，使四轴无人机精确锁定公路，自主沿公路循迹飞行，所述裂缝检测图像处理单元负责处理摄像头获取的下方公路路面图像，利用神经网络检测图像中是否存在裂缝以及裂缝的相关信息。

实施方式具体为：四轴无人机以机架为载体，动力装置位于机架的四个角点处，四轴无人机的飞行提供动力；传感元件位于其中的陀螺仪、加速度计为四轴无人机的姿态解算提供原始角速度、加速度等数据，其中的电子罗盘为四轴无人机提供精确的偏航角数据，其中的 GPS模块为四轴无人机的导航提供目标点位并完成对裂缝的位置标定，其中的气压计根据不同海拔的气压不同从而为四轴无人机提供海拔高度数据；云台1位于机架前方，即四轴无人机机头处，在其上安装有摄像头1，云台1通过改变俯仰角使得摄像头1与前方公路路面呈固定角度；云台2位于机架正下方，在其上安装有摄像头2，云台2通过改变俯仰角和横滚角使得摄像头2始终与下方公路路面平行；控制模块位于机架中心，其作为四轴无人机的控制中心单元，完成对传感元件提供的原始数据的解算，并控制动力装置以改变四轴无人机的姿态；避障模块位于机架上方前侧，其采用超声波模块检测障碍物并测量四轴无人机与障碍物之间的距离，接收机模块位于机架下方右侧其通信天线与5G数传模块的通信天线朝向相反，防止二者信号干扰；阿里云服务器，其配备4个CPU核心八个线程，拥有50M的专用上下行带宽，能够满足各类型数据包括实时图像画面的传输以及各终端在线访问的需求，手机APP、PC上位机都是基于移动终端的软件，这二者通过无线网络将数据发送到云端服务器，所述四轴无人机上的 5G数传模块访问云端服务器获取数据，航模遥控器是独立的控制装置，其发出的控制指令被所述机架上的接收机模块接收，其延迟低于 5G数传模块，有着较高的实时性，以便对四轴无人机做出紧急调整，循迹图像处理单元和裂缝检测图像处理单元都作为软件嵌入在 NVIDIA Jetson TX2开发板硬件开发平台中，循迹图像处理单元负责处理第一摄像头获取的前方公路图像。

基于四轴无人机的公路路面裂缝检测方法，依靠手机APP或PC 上位机对四轴无人机的飞行路径做出规划，在GPS定位的前提下，结合四轴无人机上的摄像头和相应图像处理单元，利用OpenCV使四轴无人机精确锁定公路，自主沿公路循迹飞行，并在飞行过程中利用神经网络直接检测公路路面的裂缝，具体包括以下步骤：

S1、针对具体任务，通过手机APP或PC上位机对四轴无人机做出路径规划，设定四轴无人机的飞行高度和速度，然后根据飞行高度和第二摄像头的拍摄有效角度计算出第二摄像头的有效视野长度，再根据有效视野长度和四轴无人机半机身长度计算出第二摄像头的拍摄间隔距离，

如图2所示，上述计算可表示为如下公式：

其中，h为设定的飞行高度，α为摄像头2的有效拍摄角度，f为摄像头2的有效视野长度，L为摄像头2的拍摄间隔距离。

数据首先通过无线网络发送到云端服务器，然后四轴无人机通过 5G数传模块从云端服务器获取数据；

S2.所述机架上的第一云台和第二云台根据设定的默认飞行高度和速度，自动初始化自身的姿态角度，并在后续飞行过程中维持该姿态，所述第一云台通过改变俯仰角使得所述摄像头1与前方公路路面呈固定角度，所述第二云台通过改变俯仰角和横滚角使得第二摄像头始终与下方公路路面平行；

S3.四轴无人机在平地自动起飞达到设定高度，然后以设定速度按照所规划的路径飞行；

S4.受GPS模块定位精度的影响，四轴无人机依靠第一云台上的第一摄像头获取前方公路图像，在循迹图像处理单元中利用OpenCV 提取公路的边界信息并判断四轴无人机的姿态、位置偏差，使四轴无人机精确锁定公路，自主沿公路循迹飞行，并将第一摄像头和第二摄像头获取的实时画面通过5G数传模块发送到云端服务器，在飞行过程中，每隔S1中所述的拍摄间隔距离通过第二摄像头获取水平的公路路面图像，在裂缝检测图像处理单元中利用神经网络对图像进行识别，判断是否有裂缝，如果有裂缝，则对该裂缝进行位置标定，并将裂缝有关的原始图像、识别后的图像、长度数据、位置数据通过5G 数传模块发送到云端服务器，在公路上方飞行时，四轴无人机的默认飞行高度不会影响公路上正在行驶的车辆，依靠所述的避障模块检测前方是否有路牌等障碍物；

S5.当四轴无人机飞行到规划路径的终点时，按照直线路径直接返回出发点，并且在飞行过程中不断检测锂电池电压判断是否在当前点有足够电量能够返回出发点，若中途检测到锂电池电量不够则放弃后续未检测的路径，直接返回出发点；

S6.通过手机APP或PC上位机依靠无线网络获取云端服务器中与裂缝有关的原始图像、识别后的图像、长度数据和位置数据。

在循迹图像处理单元中利用OpenCV使四轴无人机精确锁定公路的方法，具体包括以下步骤：

S1.对所述第一摄像头获取的前方公路图像进行预处理，其步骤为：

①平均灰度化，采用加权平均值法求取图像中每一个像素点的 RGB三通道的平均值，再将平均值向上取整赋值给三个通道，其计算表示为如下公式：

R＝G＝B＝(ω_RR+ω_GG+ω_BB)/3

其中，R、G、B分别为三通道的像素值，ω_R、ω_G、ω_B分别为三通道像素值的权重系数；

②通过中值滤波去噪，如图3所示，左侧是没有处理的原图，250 在该区域由为突出，通过对3*3的9个数据进行排序，将中间值150 重新填入，即滤波完成，原本的噪声点被去掉，该区域恢复平缓。同理，在边缘区域中，对于边界来说，高频不会影响，而过低数值将会突出，中值的选择将不会受到影响；

③大津法OTSU图像分割，A.求类间方差

OTSU算法假设存在阈值TH将图像所有像素分为两类C1(小于TH) 和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG。同时像素被分为C1和C2类的概率分别为p1、p2。其计算表示为如下公式：

p₁×m₁+p₂×m₂＝mG (1)

p₁+p₂＝1 (2)

根据方差的概念，类间方差表达式为：

σ²＝p₁(m₁-mG)²+p₂(m₂-mG)² (3)

将上式简化，然后将式(1)代入式(3)，可得：

σ²＝p₁p₂(m₁-m₂)² (4)

通过以下三个式子，便利0～255个灰度级别，求取使式(4)最大化的灰度级k，以取得OTSU阈值：

B.分割

对图像进行二值化分割，设定一个阈值threshold，对大于该阈值的像素点灰度值放大到255，对小于该阈值的像素点灰度值减小到 0，其计算表示为如下：

其中，p_i为某像素点的灰度值；

④Canny算子提取边缘，步骤为：首先，计算梯度幅度和方向来估计每一点处的边缘强度与方向，采用soble算子，利用soble水平和垂直算子与输入图像卷积计算水平和垂直方向的梯度dx、dy：

进一步可以得到图像梯度的幅值，

为了简化计算，幅值作如下近似：

M(x,y)＝|d_x(x,y)|+|d_y(x,y)|

最后，梯度的角度为：

θ_M＝arctan(d_y/d_x)

如图4表示了中心点的梯度向量、方位角以及边缘方向任一点的边缘与梯度向量正交，如图5所示，

水平边缘梯度方向为垂直：θ_M∈[0,22.5)∪(-22.5,0]∪(-180,157.5]

135°边缘梯度方向为45°：θ_M∈[22.5，67.5)∪[-157.5,-112.5)

垂直边缘梯度方向为水平：θ_M∈[67.5，112.5]∪[-112.5,-67.5]

45°边缘梯度方向为135°：θ_M∈[67.5，112.5]∪[-112.5,-67.5]

非极大值抑制即为沿着上述4种类型的梯度方向，比较3*3邻域内对应邻域值的大小；在每一点上，领域中心x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置 0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘，最后用双阈值处理和连接边缘，选取系数TH和TL，比率为2:1 或3:1。(一般取TH＝0.3或0.2,TL＝0.1)；将小于低阈值的点抛弃，赋0；将大于高阈值的点立即标记(这些点为确定边缘点)，赋1或 255；将小于高阈值，大于低阈值的点使用8连通区域确定(即：只有与TH像素连接时才会被接受，成为边缘点，赋1或255)；

S2.霍夫变换提取边界线，如图6所示，在笛卡尔坐标系下一条直线可由两个点A＝(X1,Y1)和B＝(X2,Y2)确定，如图7-9所示，在霍夫空间下，y＝kx+q可以写成关于(k,q)的函数表达式，变换后的空间成为霍夫空间，笛卡尔坐标系中一条直线，对应霍夫空间的一个点，反过来同样成立(霍夫空间的一条直线，对应笛卡尔坐标系的一个点)；

如图10所示，在三点共线情况下，如果笛卡尔坐标系的点共线，这些点在霍夫空间对应的直线交于一点。

如图11所示，多个点的情况(有两条直线)：(3，2)与(4， 1)也可以组成直线，不过需要两个点确定，图中A、B两点是由三条直线汇成，这是霍夫变换的后处理的基本方式：选择由尽可能多直线汇成的点。

如图12所示，霍夫空间：选择由三条交汇直线确定的点(中间图)，对应的笛卡尔坐标系的直线(右图)。

如图13所示，交点的求解：细化成坐标形式，取整后将交点对应的坐标进行累加，最后找到数值最大的点就是求解的[ρ,θ]，也就求解出了直线；

S3.获取四轴无人机姿态和位置偏差，其步骤为：

如图14所示，①根据提取出的两条道路边界线，绘制出两条线所相交角的角平分线作为道路中线；

②根据道路中线在图像中的斜率判断无人机偏航角与道路方向的角度偏差α，根据道路中线末端与图像中线末端O的像素位置差e 来判断无人机与道路的位置偏差。

实施例二

如图15所示，利用Tensoflow搭建神经网络框架，在服务器中对神经网络进行训练，训练得到的神经网络模型部署在所述四轴无人机的裂缝检测图像处理单元中进行应用，所述对神经网络进行训练包括以下步骤：

S1.利用公开的公路裂缝数据集和通过无人机自主采集的公路路面的大量原始图像作为数据集。训练集和测试集，训练集中划分一部分为验证集；

S2.将数据集中的原始高分辨率图像裁剪为200*200的多个区块，将每一区块标注为有裂缝区块或无裂缝区块，将所有区块图像分为训练集、验证集和测试集三个子集，其比例为6：2：2，每一个子集中的有裂缝区块和无裂缝区块的比例都为1：1；

S3.对训练集中所有标注后的区块图像进行随机旋转、翻转、斜切，调整对比度、色度和亮度，以增广训练集图像，最后将三个子集中的两类区块分类保存；

S4.构建以ResNet18残差神经网络为基本框架的神经网络，其是一种卷积结构的网络；

S5.所述神经网络的卷积结构共包含5个模块。每个网络层级里面包含一个卷积模块，一个跳层叠加模块，每个卷积模块由两个卷积层组成，与输入信息叠加后再次激活，输入下一个网络层级，在最后两个网络层级中，由输入端输入的数据会经过两种卷积之后叠加，一种是上面提到的卷积模块，一种是普通单层2d卷积。最后一层是全连接输出层，其采用Softmax激活函数独立生成每个像素的概率值。上述所提及的每个卷积层之后还附加了一个归一化层，以加快训练过程的收敛速度，使训练数据的分布固定在样本空间中，并且每个卷积层的激活函数都为ReLU函数，加强网络的非线性特性，使特征更加鲜明；

S6.采用Adadelta优化器和交叉熵损失函数对网络进行训练；

S7.采用precision(精度)和recall(回召率)两个参数指标评估训练结果：

①precision

精度的计算表示为如下公式：

其中，TP为判断为真实则也为真的裂缝区块，FP为判断为真但实则为假的裂缝区块。精度越高则神经网络的训练结果越好。

②recall

回召率的计算表示为如下公式：

其中，TP为判断为真实则也为真的裂缝区块，FN为判断为假但实则为真的裂缝区块。回召率越高则神经网络的训练结果越好。

实施例三

所述将训练得到的神经网络模型部署应用包括以下步骤：

S1.所述裂缝图像处理模块采用NVIDIA Jetson TX2开发板，在该硬件平台上创建虚拟环境，在虚拟环境中运行训练好的神经网络模型；

S2.在四轴无人机飞行的过程中，每隔拍摄间隔距离利用第二摄像头获取水平的公路路面图像，将其按照固定窗口裁剪成尺寸为 4096*3112的图像送入神经网络模型进行裂缝的检测识别，一次检测识别的时间为0.2s，若检测到裂缝，则标定裂缝的GPS坐标位置，并计算出它的最大外接矩形框，从而计算出裂缝的长度，最大外接矩形框的计算过程如下：

对于每张图像，以左上角顶点为像素坐标系原点，朝右为x轴正方向，朝下为y轴正方向，像素坐标为：

(x₁,y₁),(x₂,y₂),······,(x_i,y_i)，

最大外接矩形框的四个顶点与四个角处区块的顶点重合，四个顶点的像素坐标按照从左至右再从上至下的顺序依次为： (x_min,y_min),(x_max,y_min),(x_min,y_max),(x_max,y_max)

其中，x_min，x_max分别为在x轴上有裂缝区块中像素的最小、最大坐标值，y_min，y_max分别为在y轴上由裂缝区块中像素的最小、最大坐标值。将矩形框的最长边作为裂缝的长度，可以表示为如下公式：

其中，length为裂S6.缝的长度；

S3.将裂缝的原始图像、经过识别后被划分为一个个区块的图像、长度数据、位置数据发

S7.采用送到云端服务器；若没有检测到裂缝，则继续正常飞行。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (9)

1.基于四轴无人机的公路路面裂缝检测系统，包括四轴无人机、数据传输子系统、地面控制子系统、图像处理子系统，其特征在于，所述四轴无人机包括机架，所述的四轴无人机顶部四角处固定安装有动力装置，所述机架中心固定安装有个传感元件，且机架前方固定安装有第一云台，且机架正下方固定安装有第二云台，且第一云台上固定安装有第一摄像头，且第二云台上固定安装有第二摄像头，所述机架内固定安装有控制模块，且控制模块与动力模块以、传感元件和避障模块通讯连接；

所述数据传输子系统包括5G数传模块、接收机模块和云端服务器，所述的图像处理子系统包括：循迹图像处理单元和裂缝检测图像处理单元。

2.根据权利要求1所述的基于四轴无人机的公路路面裂缝检测系统，其特征在于，所述机架包括：作为机轴的碳纤维圆管、机身碳纤维板；

所述的动力装置包括：无刷电机、玻璃纤维桨叶、锂电池；

所述的传感元件包括：陀螺仪、加速度计、电子罗盘、GPS模块、气压计；

所述第一云台和第二云台结构箱相同，且第一云台和第二云台均包括：无刷电机、陀螺仪；

所述控制模块采用以STM32F407ZGT6为芯片的单片机；

所述摄像头采用广角无畸变摄像头；

所述避障模块采用超声波模块。

3.根据权利要求1所述的基于四轴无人机的公路路面裂缝检测系统，其特征在于，所述地面控制子系统包括：手机APP、PC上位机和航模遥控器，所述的手机APP、PC上位机都是基于移动终端的软件，这二者通过无线网络将数据发送到云端服务器，所述四轴无人机上的5G数传模块访问云端服务器获取数据，所述航模遥控器是独立的控制装置，且航模遥控器与机架上的接收机模块通讯连接。

4.根据权利要求1所述的基于四轴无人机的公路路面裂缝检测系统，其特征在于，所述云端服务器为租用的阿里云服务器，所述5G数传模块位于机架下方左侧，所述接收机模块位于机架下方右侧，其通信天线与5G数传模块的通信天线朝向相反。

5.根据权利要求1所述的基于四轴无人机的公路路面裂缝检测系统，其特征在于，所述循迹图像处理单元负责处理摄像头获取的前方公路图像，判断四轴无人机的姿态、位置偏差，使四轴无人机精确锁定公路，自主沿公路循迹飞行，所述裂缝检测图像处理单元负责处理摄像头获取的下方公路路面图像，利用神经网络检测图像中是否存在裂缝以及裂缝的相关信息。

6.根据权利要求1-5任意一项所述的基于四轴无人机的公路路面裂缝检测系统，其特征在于，还包括使用该基于四轴无人机的公路路面裂缝检测系统用于检测公路路面裂缝的方法，依靠手机APP或PC上位机对四轴无人机的飞行路径做出规划，在GPS定位的前提下，结合四轴无人机上的摄像头和相应图像处理单元，利用OpenCV使四轴无人机精确锁定公路，自主沿公路循迹飞行，并在飞行过程中利用神经网络直接检测公路路面的裂缝，具体包括以下步骤：

S1、针对具体任务，通过手机APP或PC上位机对四轴无人机做出路径规划，设定四轴无人机的飞行高度和速度，然后根据飞行高度和第二摄像头的拍摄有效角度计算出第二摄像头的有效视野长度，再根据有效视野长度和四轴无人机半机身长度计算出第二摄像头的拍摄间隔距离，数据首先通过无线网络发送到云端服务器，然后四轴无人机通过5G数传模块从云端服务器获取数据；

S2.所述机架上的第一云台和第二云台根据设定的默认飞行高度和速度，自动初始化自身的姿态角度，并在后续飞行过程中维持该姿态，所述第一云台通过改变俯仰角使得所述摄像头1与前方公路路面呈固定角度，所述第二云台通过改变俯仰角和横滚角使得第二摄像头始终与下方公路路面平行；

S3.四轴无人机在平地自动起飞达到设定高度，然后以设定速度按照所规划的路径飞行；

S4.受GPS模块定位精度的影响，四轴无人机依靠第一云台上的第一摄像头获取前方公路图像，在循迹图像处理单元中利用OpenCV提取公路的边界信息并判断四轴无人机的姿态、位置偏差，使四轴无人机精确锁定公路，自主沿公路循迹飞行，并将第一摄像头和第二摄像头获取的实时画面通过5G数传模块发送到云端服务器，在飞行过程中，每隔S1中所述的拍摄间隔距离通过第二摄像头获取水平的公路路面图像，在裂缝检测图像处理单元中利用神经网络对图像进行识别，判断是否有裂缝，如果有裂缝，则对该裂缝进行位置标定，并将裂缝有关的原始图像、识别后的图像、长度数据、位置数据通过5G数传模块发送到云端服务器，在公路上方飞行时，四轴无人机的默认飞行高度不会影响公路上正在行驶的车辆，依靠所述的避障模块检测前方是否有路牌等障碍物；

S5.当四轴无人机飞行到规划路径的终点时，按照直线路径直接返回出发点，并且在飞行过程中不断检测锂电池电压判断是否在当前点有足够电量能够返回出发点，若中途检测到锂电池电量不够则放弃后续未检测的路径，直接返回出发点；

S6.通过手机APP或PC上位机依靠无线网络获取云端服务器中与裂缝有关的原始图像、识别后的图像、长度数据和位置数据。

7.根据权利要求6所述的基于四轴无人机的公路路面裂缝检测方法，其特征在于，还包括在循迹图像处理单元中利用OpenCV使四轴无人机精确锁定公路的方法，具体包括以下步骤：

S1.对所述第一摄像头获取的前方公路图像进行预处理，其步骤为：

①平均灰度化，采用加权平均值法求取图像中每一个像素点的RGB三通道的平均值，再将平均值向上取整赋值给三个通道；

②通过中值滤波去噪，通过对3*3的9个数据进行排序，将中间值重新填入，即滤波完成，原本的噪声点被去掉，该区域恢复平缓；

③大津法OTSU图像分割，步骤为首先求类间方差，然后分割；

④Canny算子提取边缘，步骤为：首先，计算梯度幅度和方向来估计每一点处的边缘强度与方向，采用soble算子，利用soble水平和垂直算子与输入图像卷积计算水平和垂直方向的梯度dx、dy：

进一步可以得到图像梯度的幅值，

为了简化计算，幅值作如下近似：

M(x,y)＝|d_x(x,y)|+|d_y(x,y)|

最后，梯度的角度为：

θ_M＝arctan(d_y/d_x)

然后，根据梯度方向，对梯度幅值进行非极大值抑制，3*3区域内，边缘可以划分为垂直、水平、45°、135°4个方向，同样，梯度反向也为四个方向并与边缘方向正交，因此为了进行非极大值，将所有可能的方向量化为4个方向，非极大值抑制即为沿着上述4种类型的梯度方向，比较3*3邻域内对应邻域值的大小；在每一点上，领域中心x与沿着其对应的梯度方向的两个像素相比，若中心像素为最大值，则保留，否则中心置0，这样可以抑制非极大值，保留局部梯度最大的点，以得到细化的边缘，最后用双阈值处理和连接边缘；

S2.霍夫变换提取边界线，在笛卡尔坐标系下一条直线可由两个点A＝(X1,Y1)和B＝(X2,Y2)确定，在霍夫空间下，y＝kx+q可以写成关于(k,q)的函数表达式，变换后的空间成为霍夫空间，笛卡尔坐标系中一条直线，对应霍夫空间的一个点，取整后将交点对应的坐标进行累加，最后找到数值最大的点就是求解的[ρ,θ]，也就求解出了直线；

S3.获取四轴无人机姿态和位置偏差，其步骤为：

①根据提取出的两条道路边界线，绘制出两条线所相交角的角平分线作为道路中线；

②根据道路中线在图像中的斜率判断无人机偏航角与道路方向的角度偏差α，根据道路中线末端与图像中线末端O的像素位置差e来判断无人机与道路的位置偏差。

8.根据权利要求6所述的基于四轴无人机的公路路面裂缝检测方法，其特征在于，利用Tensoflow搭建神经网络框架，在服务器中对神经网络进行训练，训练得到的神经网络模型部署在所述四轴无人机的裂缝检测图像处理单元中进行应用，所述对神经网络进行训练包括以下步骤：

S1.利用公开的公路裂缝数据集和通过无人机自主采集的公路路面的大量原始图像作为数据集。训练集和测试集，训练集中划分一部分为验证集；

S2.将数据集中的原始高分辨率图像裁剪为200*200的多个区块，将每一区块标注为有裂缝区块或无裂缝区块，将所有区块图像分为训练集、验证集和测试集三个子集，其比例为6：2：2，每一个子集中的有裂缝区块和无裂缝区块的比例都为1：1；

S3.对训练集中所有标注后的区块图像进行随机旋转、翻转、斜切，调整对比度、色度和亮度，以增广训练集图像，最后将三个子集中的两类区块分类保存；

S4.构建以ResNet18残差神经网络为基本框架的神经网络，其是一种卷积结构的网络；

S5.所述神经网络的卷积结构共包含5个模块。每个网络层级里面包含一个卷积模块，一个跳层叠加模块，每个卷积模块由两个卷积层组成，与输入信息叠加后再次激活，输入下一个网络层级，在最后两个网络层级中，由输入端输入的数据会经过两种卷积之后叠加，一种是上面提到的卷积模块，一种是普通单层2d卷积。最后一层是全连接输出层，其采用Softmax激活函数独立生成每个像素的概率值。上述所提及的每个卷积层之后还附加了一个归一化层，以加快训练过程的收敛速度，使训练数据的分布固定在样本空间中，并且每个卷积层的激活函数都为ReLU函数，加强网络的非线性特性，使特征更加鲜明；

S6.采用Adadelta优化器和交叉熵损失函数对网络进行训练；

S7.采用precision(精度)和recall(回召率)两个参数指标评估训练结果：

①precision

精度的计算表示为如下公式：

其中，TP为判断为真实则也为真的裂缝区块，FP为判断为真但实则为假的裂缝区块。精度越高则神经网络的训练结果越好。

②recall

回召率的计算表示为如下公式：

其中，TP为判断为真实则也为真的裂缝区块，FN为判断为假但实则为真的裂缝区块。回召率越高则神经网络的训练结果越好。

9.根据权利要求8所述的基于四轴无人机的公路路面裂缝检测方法，其特征在于，所述将训练得到的神经网络模型部署应用包括以下步骤：

S1.所述裂缝图像处理模块采用NVIDIA Jetson TX2开发板，在该硬件平台上创建虚拟环境，在虚拟环境中运行训练好的神经网络模型；

S2.在四轴无人机飞行的过程中，每隔拍摄间隔距离利用第二摄像头获取水平的公路路面图像，将其按照固定窗口裁剪成尺寸为4096*3112的图像送入神经网络模型进行裂缝的检测识别，一次检测识别的时间为0.2s，若检测到裂缝，则标定裂缝的GPS坐标位置，并计算出它的最大外接矩形框，从而计算出裂缝的长度，最大外接矩形框的计算过程如下：

对于每张图像，以左上角顶点为像素坐标系原点，朝右为x轴正方向，朝下为y轴正方向，像素坐标为：

(x₁,y₁),(x₂,y₂),……,(x_i,y_i)

最大外接矩形框的四个顶点与四个角处区块的顶点重合，四个顶点的像素坐标按照从左至右再从上至下的顺序依次为：(x_min,y_min),(x_max,y_min),(x_min,y_max),(x_max,y_max)

其中，x_min，x_max分别为在x轴上有裂缝区块中像素的最小、最大坐标值，y_min，y_max分别为在y轴上由裂缝区块中像素的最小、最大坐标值。将矩形框的最长边作为裂缝的长度，可以表示为如下公式：

其中，length为裂缝的长度；

S3.将裂缝的原始图像、经过识别后被划分为一个个区块的图像、长度数据、位置数据发送到云端服务器；若没有检测到裂缝，则继续正常飞行。

Images