CN115345945A

CN115345945A - 利用无人机多目视觉重建高速公路的自动巡检方法及系统

Info

Publication number: CN115345945A
Application number: CN202210957250.9A
Authority: CN
Inventors: 王智博; 王志健; 王斌
Original assignee: Shanghai Tuowang Data Technology Co ltd
Current assignee: Shanghai Tuowang Data Technology Co ltd
Priority date: 2022-08-10
Filing date: 2022-08-10
Publication date: 2022-11-15

Abstract

本发明提供利用无人机多目视觉重建高速公路的自动巡检方法及系统包括：处理器发出命令；巡检设备采集图像数据、定位信息和相机标定结果并存储；采集的数据通过5G通讯回传到车载系统地面服务站；对道路上的运动目标进行剔除并获取三维模型；与前一次上传数据生成的三维模型进行分析比对；判断是否有道路损坏；若是，记录道路损坏类型；若否，则将相关数据和分析结果上传到监控中心；判断是否发现道路损坏；若是，开展道路损坏处置工作并发出指示信号，若否，则结束无人机巡检流程。本发明解决了公路巡检误差大、巡检效率低以及量产成本高的技术问题。

Description

利用无人机多目视觉重建高速公路的自动巡检方法及系统

技术领域

本发明涉及无人机工业巡检、多目机器视觉及摄像装备领域，具体涉及利用无人机多目视觉重建高速公路的自动巡检方法及系统。

背景技术

高速公路巡检是道路养护的第一步，坑洼裂痕，地表塌陷，以及路侧基塌方在高速公路上时有发生，尤其山区，我国西南地区，此类危害如果不被及时发现和修复就会迅速恶化，降低道路的使用寿命，严重威胁道路交通安全，甚至发生重大交通安全事故，危害人员的生命。目前大部分高速公路巡检主要依靠人工巡检和拍照记录来完成。漏检率高且效率低下，同时巡检人员在车流中开展路面巡检工作存在较大的安全隐患。

1.提高养护效率是保障高速公路安全运营的重要措施。目前人工巡检高速公路的方式不能及时发现道路损坏，缺乏实时性和准确率，费时费力，操作量大且危险系数高。公布号为CN109540104A的现有发明专利申请文献《一种利用摄影测量技术用于公路管理的无人机系统》包括无人机飞行单元、摄像采集单元及地面管理单元，其巡察管理流程如下，S1、设定飞行参数：规划无人机飞行单元的飞行航线，设定影像采集角度和采集频率；S2、公路巡察：摄像采集单元基于PPK和高清摄像机对公路进行影像拍摄，获取包含公路管理区的区域影像；S3、影像数据处理，对区域影像进行处理并比对，进而输出问题区。通过高清数字摄像机对公路实施航拍，并对航拍影像进行处理。该现有文献中披露的技术方案中采用了相机标定、相机投影以及点云分布处理技术，但从该现有专利申请文献的说明书中可知，该现有方案在由于数据处理软件生成的成密集空中三角加密点为全局点云，为确保数据成果的精度和符合工作实际，需要人工检校和修改密集点云数据，可见该现有技术通过人工检校和修改密集的空中三角加密点云，并据此生成的正射影像图和DEM模型，无法排除人工检校修改操作产生的误差以及主观影响，无法保证公路信息检测及反馈的精度。

2.对于使用激光雷达来实现巡检的方案，三维激光扫描技术能够提供物体表面的三维点云数据，因此可以用于获取高精度、高分辨率的数字场景模型。公布号为CN109612427A的现有专利申请文献《一种多传感器协同的无人机公路桥梁形变检测方法及系统》包括无人机模块和桥梁形变检测工作站模块。无人机模块主要由无人机和检测桥梁形变的多传感器组成。桥梁形变检测工作站模块由地面控制中心移动端和桥梁形变检测工作站模块两部分组成。桥梁检测人员设置无人机的作业模式。无人机通过搭载的传感器获取桥梁检测的数据并传回地面移动工作站,采集的数据通过桥梁形变检测数据管理系统进行存储、管理、处理、分析、可视化，另外可利用系统中桥梁风险评估模型进行桥梁风险评估，并建立桥梁健康档案。由该现有申请文献的具体实施方式可知，该现有技术对于初次检测的桥梁，通过所采集到的三维激光点云数据和航拍的高清相片构建起桥梁的仿真三维模型，之后，对地质雷达所测得的数据、高清航拍相片检测出的裂缝、红外传感器所检测到的混凝土温度异常数据三者相互验证。但是现有技术中涉及的激光点云受限于较高的成本，在量产方面比较困难，不利于在全国范围内大规模推广使用。同时，激光雷达生成的三维点云比较稀疏，对于远距离物体或者小物体来说，反射点的数量非常少，同时激光雷达产生的点云没有颜色信息，尤其是路面绘制标记线，以及油污等，激光点云无法有效识别，不利于数据的实时处理与识别状况。

3.市面上也存在使用双目的方案来获得深度信息，但是实际案例中，发现双目的深度信息在z坐标上的误差非常大，很难得到准确的结果，在应用上有许多不可改善的问题。

4.现有无人机吊舱无法做到高空影像数据的实时回传，只能通过存储卡，地面人工传输数据的方式完成对数据的获取。

5.现有无人机吊舱三维重建技术，产生的模型无法主动剔除运动目标，对于巡检应用，需要得到没有汽车，没有其他无关目标，以及无关高速公路主体的建模数据。

综上，现有技术存在公路巡检误差大、巡检效率低以及量产成本高的技术问题。

发明内容

本发明所要解决的技术问题在于如何解决现有技术中的公路巡检误差大、巡检效率低以及量产成本高的技术问题。

本发明是采用以下技术方案解决上述技术问题的：利用无人机多目视觉重建高速公路的自动巡检方法包括：

S1、以预置无人机按预置路线进行飞行巡检，并通过多目图像采集装置根据处理器采集命令，通过多目相机阵列采集高速公路的公路巡检图像；

S2、利用GPS定位装置获取多目相机阵列定位信息，据以对多目相机阵列进行标定，据以得到多目相机阵列标定结果，其中，多目相机阵列标定结果包括：内参数和外参数；

S3、利用预置5G通讯，将公路巡检图像及多目相机阵列标定参数回传至车载服务站；

S4、以车载服务站从公路巡检图像中提取图像特征点，利用匹配算法处理图像特征点，据以获得特征点匹配对；

S5、通过空三算法处理图像特征点，据以获取深度信息，并通过三维重建剔除公路巡检图像中的运动目标，以得到空三加密成果；

S6、获取并根据空三加密成果与深度关系，将空三加密成果转化为深度信息，从而获得物体表面的三维点云，利用REMOVERT算法将目标地图分为静态点云地图及动态点云地图，其中，静态点云地图包括静态点云，动态点云地图包括动态点云；基于多重分辨率深度图像判断并剔除动态点云，以保留静态点，降低多重分辨率深度图像的分辨率，以从动态点云中，将误剔除静态点修复还原，并将误剔除静态点并入静态点云中，以剔除动态点云并构建适用静态点云；

S7、根据适用静态点云进行点云网格化，据以得到道路三维模型；

S8、分析当前及前次生成的道路三维模型，据以识别获取道路损坏类型分析数据，并通过预置5G通讯发送到监控中心；

S9、在监控中心根据道路损坏类型分析数据向道路养护部门发出养护指示信号，据以维护高速公路。

本发明利用无人机全自动实现路面自动巡检不仅实时性得到了保证，效率得到了大幅提高，数据精准，还减少了巡检人员的工作量和巡检盲区，操作上也更加便捷和安全。避免了传统技术中依靠人工巡检，导致的费人费力以及施工维护复杂的问题，能够及时发现并修复道路损坏，排除巡检中的盲点，弥补了人工巡检的不足。

本发明完成路面巡检用时少且巡检全程自动对准道路，无需人工干预，极大提高了巡检效率，同时能有效降低巡检人员工作的安全风险，整个数据自动检查，并且便于数据历史检索，方便道路数据长期维护，同时本发明实现了在道路实时三维重建过程中剔除运动目标，对大场景的三维模型优化效果显著。

本发明在多目立体视觉三维重建过程中，通过5G通讯将影像数据实时回传到车载系统地面服务站进行实时处理，实现数据与影像的边采集边处理功能，大幅度减少了终端设备的处理时间。本发明采用5G分布式计算，具有高速率、降低数据传输时延、保证数据安全等优点。完成路面巡检用时少且巡检全程自动对准道路，无需人工干预，极大提高了巡检效率，同时能有效降低巡检人员工作的安全风险，整个数据自动检查，并且便于数据历史检索，方便道路数据长期维护。本发明通过5G通讯传输数据，做到了终端设备的高带宽、低延迟的实时回传，实时巡检，做到实时反馈。该巡检系统实现了图像与三维点云数据的边采集边处理功能，大幅度减少了终端设备上数据回传和处理的时间。

在更具体的技术方案中，步骤S2包括：

S21、利用下述逻辑表示二维点m＝[u,v]^T与对应的三维点M＝[X,Y,Z]^T的增广向量：

m'＝[u，v，1]^T

M'＝[X，Y，Z，1]^T。

其中，m表示像素坐标系下的一个二维点，(u,v)为m点在对应的像素坐标系下的像素坐标,M表示世界坐标系下的一个三维点，(X,Y,Z)为M点在对应的世界坐标系下的物理坐标。

S22、根据预置相机模型处理得到张正友标定法一般公式：

sm'＝A[R|t]M'

其中，

为相机内参矩阵，[R|t]为相机外参矩阵，s为缩放系数；

S23、通过方程求解可得相机的内参数及外参数，并结合极大似然估计的非线性优化方法，以下述逻辑优化内参数及外参数：

其中，n标定平面数量，m为标定平面角点数量。

在更具体的技术方案中，步骤S4包括：

S41、根据一个像素与周围邻域的像素差别程度判断该像素是否为一个角点，其中，如果像素与周围邻域像素差别超出预置阈值，则判定该像素为角点；

S42、非极大值抑制处理特征点，以在预置区域内保留响应极大值特征点；

S43、采用二进制串作为描述向量，据以表示响应极大值特征点的邻域内的像素p、像素q的灰度值；

S44、比较像素p与像素q的大小，据以获取n维像素特征点描述向量；

S45、通过计算一个n维像素特征点描述向量与其他所有n维像素特征点描述向量之间的距离并排序，取距离最近的特征点作为匹配点，并选择已匹配的特征点，以预置判据判断是否匹配正确并滤除错误匹配结果，据以获取特征点匹配对。

在更具体的技术方案中，步骤S41包括：

S411、在公路巡检图像中选择像素p，其灰度值为I_p，据以设置预置阈值T；

S412、选择像素p周围半径为r的m个周围邻域像素，以作为比较像素；

S413、选取的圆上有连续的N个比较像素大于I_p+T或I_p-T，判定像素p为特征点。

在更具体的技术方案中，步骤S45中，以特征点之间的汉明距离小于最小距离的两倍作为预置判据，其中，汉明距离公式为

其中i＝0,1,…,n-1，x、y都是n位的编码，

表示亦或。

在更具体的技术方案中，步骤S5包括：

S51、进行数据准备工作，其中，依序准备构架航线及基本航线，构架航线的像片排列顺序与基本航线一致；

S52、在预置区域范围内按构架航线及基本航线依次建立像对模型，并通过连接点实现构架航线及基本航线内的模型连接以及航线间模型连接；

S53、再进行点位量测，以获取控制点并选定加密点；

S54、进行空中三角测量平差处理，以得到平差数据；

S55、利用下述逻辑根据平差数据及控制点检测加密精度，以得到加密点中的误差：

其中，M_控为控制点检测中误差，△为多余控制点的不符值，n为评定精度检测点个数。

在更具体的技术方案中，步骤S54包括：

S541、预平差剔除粗差点，通过平差计算对连接点、像控点进行粗差检测，以检测并剔除粗差点；

S542、采用光束法进行整体平差，获得加密点及检测点的三维大地坐标及像片外方位元素；

S543、平差结果检查分析，以对空加密成果进行单模型绝对定向，以检查定向点残差，若超限则修测加密点、检测点的残差至预置限差区间内，据以生成像控点检查点点位图片。

本发明通过多目图像采集装置实时获取图像数据，提取图像特征点，利用匹配算法获得特征点匹配对，通过空三算法获取深度信息，从而获得物体表面的三维点云，同时提出在三维重建过程中对运动目标进行剔除，提升了图像特征检测的精度。

在更具体的技术方案中，步骤S6包括：

S61、利用下述逻辑将点云的状态分为静态点云及动态点云，以得到静态点云地图P^SM和动态点云地图P^DM，据以保守保留静态点：

P^M＝P^SM+P^DM

P^SM＝TP∪FP

P^DM＝TN∪FN

其中，TP、FP、TN和FN分别表示被正确判定为静态点、被错误判定为动态点、被正确判定为动态点和被错误判定为静态点的点云集合，P^Q表示在局部坐标系下的扫描数据，P^M表示在全局坐标系下的目标地图，每一帧P^Q可视作一个集合{P^Q}，集合中的每个元素即为每帧中的点云，表示为

S62、从动态点云地图P^DM中检测出FN的点云并加入到静态点云地图P^SM；

S63、利用下述逻辑将目标地图P^M的地图点云

投影到预设尺寸深度图，以将目标地图P^M等效为目标深度图

其中，r(·)表示在一query scan帧角度下的一系列点云p∈R³,

表示深度图中索引为[i,j]的像素值，

是P^M的子集，表示落在了对应着[i,j]索引的球面坐标系的所有点集合；

S64、转化扫描地图

以获取扫描深度图

利用下述逻辑，通过矩阵减法计算地图点可见性，据以得到可见深度图

其中，

表示第k帧对应map的目标深度图

和第k帧对应query scan的扫描深度图

的差值，如果

中的某个点对应的像素深度值超过了指定的阈值，则地图点

被认为是动态点；

S65、在目标深度图

中一个像素的深度小于扫描深度图

中对应像素的深度，则判定该点为动态点，否则判定为静态点；

S66、降低深度图的分辨率，以将误剔除静态点修复还原，并入静态点云中，以剔除动态点云并构建静态点云。

本发明利用REMOVERT算法将目标地图分为静态点云组成的静态点云地图和动态点云组成的动态点云地图，基于多重分辨率的深度图像来判断剔除动态点云，完成对静态点的保守保留，再通过降低深度图的分辨率，将被误杀的静态点从动态点云中修复还原，并入静态点云中，以此完成对动态点云的剔除和静态点云的构建，用以增加例如油污等纹理识别，对路面巡检更加有效。

本发明利用路面自动巡检、运动目标剔除建模的算法以及无人机吊舱设备，相较于现有的基于激光雷达的巡检系统而言，降低了巡检系统对激光雷达的依赖性，使用多目视觉有效提高路面检测的精度，实现了多目相机阵列设备在路面巡检领域的高可用性。

在更具体的技术方案中，步骤S7包括：

S71、对于获取的三维点云P＝{(p₁,n₁),…,(p_n,n_N)}、被测物体M和待重建曲面S；

S72、根据指示函数

和

将重建曲面S数据转换为重构χ_M；

S73、利用斯托克斯公式处理得到三维点云及其法向量，据以联系指示函数χ_M，以实现对高速公路三维点云的网格重建。

在更具体的技术方案中，利用无人机多目视觉重建高速公路的自动巡检系统包括：

无人机及多目图像采集装置，用以按预置路线进行飞行巡检，并根据处理器采集命令，通过多目相机阵列采集高速公路的公路巡检图像；

GPS定位装置，用以利用GPS定位装置获取多目相机阵列定位信息，据以对多目相机阵列进行标定，据以得到多目相机阵列标定结果，其中，多目相机阵列标定结果包括：内参数和外参数，GPS定位装置与无人机及多目图像采集装置连接；

5G通讯装置，用以利用预置5G通讯，将公路巡检图像及多目相机阵列标定参数回传至车载服务站，5G通讯装置与无人机及多目图像采集装置连接；

车载服务站，用以从公路巡检图像中提取图像特征点，利用匹配算法处理图像特征点，据以获得特征点匹配对，车载服务站与5G通讯装置连接；

空三处理单元，用以通过空三算法处理图像特征点，据以获取深度信息，并通过三维重建剔除公路巡检图像中的运动目标，以得到空三加密成果，空三处理单元与车载服务站连接；

点云构建单元，用以获取并根据空三加密成果与深度关系，将空三加密成果转化为深度信息，从而获得物体表面的三维点云，利用REMOVERT算法将目标地图分为静态点云地图及动态点云地图，其中，静态点云地图包括静态点云，动态点云地图包括动态点云；基于多重分辨率深度图像判断并剔除动态点云，以保留静态点，降低多重分辨率深度图像的分辨率，以从动态点云中，将误剔除静态点修复还原，并将误剔除静态点并入静态点云中，以剔除动态点云并构建适用静态点云，点云构建单元与空三处理单元连接；

网格化模块，用以根据适用静态点云进行点云网格化，据以得到道路三维模型，网格化模块与点云构建单元连接；

监控子系统，用以分析当前及前次生成的道路三维模型，据以识别获取道路损坏类型分析数据，并通过预置5G通讯发送到监控中心，监控子系统与网格化模块连接；

维护子系统，用以在监控中心根据道路损坏类型分析数据向道路养护部门发出养护指示信号，据以维护高速公路，维护子系统与监控子系统连接。

本发明相比现有技术具有以下优点：本发明利用无人机全自动实现路面自动巡检不仅实时性得到了保证，效率得到了大幅提高，数据精准，还减少了巡检人员的工作量和巡检盲区，操作上也更加便捷和安全。避免了传统技术中依靠人工巡检，导致的费人费力以及施工维护复杂的问题，能够及时发现并修复道路损坏，排除巡检中的盲点，弥补了人工巡检的不足。

本发明利用路面自动巡检、运动目标剔除建模的算法以及无人机吊舱设备，相较于现有的基于激光雷达的巡检系统而言，降低了巡检系统对激光雷达的依赖性，使用多目视觉有效提高路面检测的精度，实现了多目相机阵列设备在路面巡检领域的高可用性。本发明解决了现有技术中存在的公路巡检误差大、巡检效率低以及量产成本高的技术问题。

附图说明

图1为本发明实施例1的利用无人机多目视觉重建高速公路的自动巡检方法基本流程示意图；

图2为本发明实施例1的利用无人机多目视觉重建高速公路的自动巡检方法中算法处理流程示意图；

图3为本发明实施例2的利用多目立体视觉的无人机路面巡检系统模块连接示意图；

图4为本发明实施例2的多目相机阵列结构示意图；

图5为本发明实施例2的无人机巡检吊舱第一视角结构示意图；

图6为本发明实施例2的无人机巡检吊舱第二视角结构示意图；

图7为本发明实施例2的利用无人机多目视觉重建高速公路的自动巡检系统中的子系统连接示意图；

图8为本发明实施例2的无人机巡检示意图；

图9为本发明实施例2的地面服务站结构示意图；

图10为本发明实施例2的空三算法示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明提供利用无人机多目视觉重建高速公路的自动巡检方法，包括以下基本步骤：

S1、处理器发出命令；

S2、巡检设备采集图像数据、定位信息和相机标定结果并存储；

S3、采集的数据通过5G通讯回传到车载系统地面服务站；

S4、对道路上的运动目标进行剔除并获取三维模型；

S5、与前一次上传数据生成的三维模型进行分析比对；

S6、判断是否有道路损坏；

S7、若是，记录道路损坏类型；

S8、若否，则将相关数据和分析结果上传到监控中心；

S9、判断是否发现道路损坏；

S10、若是，开展道路损坏处置工作并发出指示信号，若否，则结束无人机巡检流程。

在本实施例中，当吊舱设备开启后，无人机起飞升空，按照系统设定的路线自动飞行巡检。处理器发出采集命令后，多目图像采集装置通过多目相机阵列对高速公路进行图像数据采集，GPS定位装置获取当前设备的定位信息。设备完成对多目相机阵列的标定，得到多目相机阵列的标定结果，标定结果包括内参数和外参数。将以上获取的数据通过5G通讯回传到车载系统地面服务站。

如图2所示，利用无人机多目视觉重建高速公路的自动巡检方法中的算法步骤包括：

S1’、相机标定；

S2’、提取图像特征点；

S3’、特征点匹配；

S4’、空三算法获取深度信息；

S5’、生成三维点云；

S6’、剔除动态点云完成对静态点云的保守保留；

S7’、恢复被误杀的静态点并生成静态点云；

S8’、点云网格化；

S9’、获取道路的三维模型；

S10’、与前一次上传数据生成的三维模型进行分析对比；

S11’、判断是否有道路损坏；

S12’、若是，则记录道路损坏类型，若否，则结束算法流程；

S13’、发出指示信号；

在本实施例中，车载系统地面服务站提取图像特征点，利用匹配算法获得特征点匹配对，通过空三算法获取深度信息，同时在三维重建过程中对运动目标进行剔除，利用REMOVERT算法将目标地图分为静态点云组成的静态点云地图和动态点云组成的动态点云地图，基于多重分辨率的深度图像来判断剔除动态点云，完成对静态点的保守保留，再通过降低深度图的分辨率，将被误杀的静态点从动态点云中修复还原，并入静态点云中，以此完成对动态点云的剔除和静态点云的构建，最后经过点云网格化后得到道路的三维模型。

车载系统地面服务站将生成的三维模型和前一次上传数据生成的三维模型进行分析对比，自动识别出坑洼裂痕，地表塌陷，以及路侧基塌方等多种道路损坏类型，并将相关数据和分析结果通过5G通讯发送到监控中心。

监控中心获取相关数据后，若在巡检时发现道路损坏，经确认后便可立即开展道路损坏处置工作，并向道路养护部门发出指示信号。

相机标定，可采用基于标定平面的相机标定方法，如张正友标定法。对于二维点m＝[u,v]^T和与之对应的三维点M＝[X,Y,z]^T，它们的增广向量可表示为m′＝[u,v,1]^T和M′＝[X,Y,Z,1]^T。根据相机模型可得张正友标定法一般公式sm′＝A[R|t]M′，其中

为相机内参矩阵，[R|t]为相机外参矩阵，s为缩放系数。通过方程求解可得相机内参数和外参数，并结合极大似然估计的非线性优化方法

对参数进行优化，其中n标定平面数量，m为标定平面角点数量。

提取图像特征点，可根据一个像素与周围邻域的像素差别程度判断该像素是否一个角点。如果一个像素与周围邻域的像素差别较大，那么可以认为该像素是一个角点。在图像中选择像素p，其灰度值为I_p。再设置一个阈值T，如取T为I_p的20％。选择p周围半径为r的m个像素作为比较像素。选取的圆上有连续的N个像素大于I_p+T或者I_p-T，那么可以认为像素p就是一个角点，即特征点。在第一版检测完成后，使用非极大值抑制，在一定区域内仅保留响应极大值的特征点，避免特征点集中的情况。用0和1表示的二进制串作为描述向量，表示特征点邻域内p、q两个像素灰度值的大小。如果p比q大，则取1，反之则取0。在特征点的周围选择n对这样的p、q像素对，可得到n维有0和1组成的向量。

特征点匹配，通过计算一个特征点描述向量与其他所有特征点描述向量之间的距离，然后将得到的距离进行排序，取距离最近的作为匹配点，并选择已经匹配的点对以其汉明距离小于最小距离的两倍作为判断依据，如果小于该值则认为是一个错误的匹配，过滤掉该匹配。反之则认为是一个正确的匹配。其中，汉明距离公式为

其中i＝0,1,…,n-1，x、y都是n位的编码，⊕表示亦或。

空三算法，

首先，完成数据准备工作，包括建立测区目录、建立测区信息、相机信息、控制信息数据(含POS数据)文件；影像数据的准备和检查处理；量测框标及内定向；选取航线拼接点和检查等工作。其中，构架航线必须排在基本航线之后；构架航线的像片排列顺序必须与基本航线的排列顺序(“从上到下”或“从下到上”)一致。

然后，在区域范围内按航线依次进行相对定向建立像对模型，并通过连接点实现航线内的模型连接以及航线之间的模型连接。主要工作包括自动相对定向、自动选择连接点、自动转点与自动量测等。单个模型相对定向点数量应不少于50，分布基本均匀，且标准点位置应该有点。

再进行点位量测。量测控制点，对外业提交的像控点、外业保密检查点进行辨认和量测，点号与外业点号一致。选定加密点，在没有外业像控点的标准点位上人工量测加密点。量测内业保密点，每幅图量测20至30个保密点，要求点位明显易判，目标特征明显，分布均匀，按保密点编号。以检验DEM、DOM、DLG成果平面与高程精度。保密点应制作小影像。

之后，进行空中三角测量平差。预平差剔除粗差点，通过平差计算对连接点、像控点进行粗差检测，剔除或检测出粗差点。光束法区域网平差，采用光束法进行整体平差，获得加密点及检查点的三维大地坐标和像片的外方位元素。平差结果检查分析，对加密成果进行单模型绝对定向，检查定向点残差，若超限则进行人工修测，重新平差计算，反复操作，直至加密的像控点、检查点残差全部在规定的限差之内。自动生成像控点、检查点点位图片。

最后，进行加密精度检测，对于加密点中误差可采用下式进行估算：

其中，M_控为控制点检测中误差，△为多余控制点的不符值，b为评定精度检测点个数。

根据空三加密成果与深度的关系，将空三加密成果转化为深度信息，从而获得物体表面的三维点云。

REMOVERT算法，REMOVERT基于多重分辨率的深度图像来判断剔除动态点云并能恢复被错误当成动态点的静态点。一般的动态点云剔除都需要通过对比判断机制，用带有动态点的地图(map)和输入点云(queryscan)进行比对来完成。REMOVERT算法的流程为首先保守地保留确定的静态点，再通过多重分辨率深度图对比来恢复被误杀的静态点。

P^Q表示在局部坐标系下的query scan，P^M表示在全局坐标系下的map，每一帧P^Q可视作一个集合{P^Q}，集合中的每个元素即为每帧中的点云，表示为

算法可通过将

与P^M对比来删除地图中的动态点。

在比较过程中，将目标地图P^M分为两个互斥子集：静态点云组成的静态点云地图P^SM和动态点云组成的动态点云地图P^DM，完成对静态点的保守保留，且

P^M＝P^SM+P^DM

将点云的状态分为静态和动态两种，静态认定为positive(P)，而动态认定为negative(N)，得

P^SM＝TP∪FP

P^DM＝TN∪FN

其中TP、FP、TN和FN分别表示被正确判定为静态点(true positive)、被错误判定为动态点(false positive)、被正确判定为动态点(true negative)和被错误判定为静态点(false negative)的点云集合，则关于静态点云构建的问题可以重新被定义为减少FP和FN点云集合中元素的个数。

假设所有点只有静态和动态两种真实状态，则FN必定是属于TP的子集，目标可转化为严格限制P^SM的生成以减少FP集合的元素个数。除了P^SM，余下的点云就是P^DM，再从P^DM中检测出FN的点云，并将其加入到P^SM。

为了进行对比，需要先将点云地图转化深度图。投影大尺寸地图P^M到一个固定尺寸的深度图，其变换关系是query scan的帧和map的帧之间的坐标变换。在投影过程中，深度图的分辨率为水平方向和竖直方向上的角度分辨率。在深度图中，地图点云

等效为深度图

其中r(·)表示在某个query scan帧角度下的一系列点云p∈R³,

表示深度图中索引为[i,j]的像素值，

是P^M的子集，表示落在了对应着[i,j]索引的球面坐标系的所有点集合。

同理，用同样的方法转化

和获取对应的深度图

便可以通过矩阵的减法获取差值来计算地图点的可见性，得到深度图

如果

中某一个像素的深度小于

中对应像素的深度，说明地图中的相应点遮挡了query scan中的点，则地图中的这个点就是动态点，否则即为静态点。通过降低深度图的分辨率，将被误杀的静态点从动态点云中修复还原，并入静态点云中，以此完成对动态点云的剔除和静态点云的构建。

点云网格化，对于获取的三维点云P＝{(p₁,n₁),…,(p_n,n_N)}、被测物体M和待重建曲面S，根据指示函数

和S＝θM，将重建曲面S的问题转换为重构χ_M，利用斯托克斯公式可将点云及其法向量和指示函数χ_M进行联系，实现对高速公路三维点云的网格重建。

实施例2

如图3所示，本发明提供的利用多目立体视觉的无人机路面巡检系统包括：供电装置1、多目图像采集装置2、数据控制装置3、GPS定位装置4、5G通讯装置5。

供电装置1中电源按键用于开关设备，锂电池作为电源，电源可拆卸更换，可取出充电，并装有电量数码管和电源指示灯保证设备的正常工作。

多目图像采集装置2包括多目相机阵列21，用于对高速公路进行图像数据的采集工作，实现对高速公路路面状况的实时获取。

如图4所示，本设备的多目相机阵列21可采用例如五目相机，对多目相机的选择可根据实际需求而定。五目相机阵列包括五个相机，位于设备底部外露，其中一个相机居中，其余四个相机以中心相机为圆心，四角阵列，并分别向内倾斜。因为相机焦距越大，可视距离越远，视场角越小，所以对于高速公路的三维重建，设备对高速公路的航拍高度在50米至150米为宜，也可根据实际使用情况进行适当调整。

数据控制装置3包括主板、存储器31和处理器32。其中，处理器32用于发出采集命令控制多目图像采集装置2采集图像数据，控制GPS定位装置4获取定位信息。存储器32用于存储多目图像数据、GPS定位信息和多目相机阵列21的标定结果，标定结果包括内参数和外参数。

GPS定位装置通过全球定位系统获取设备的定位信息，便于车载系统地面服务站和监控中心精准获取设备的定位信息。

5G通讯装置包括5G模块和5G天线，实现低延迟、高带宽实时回传数据至车载系统地面服务站和监控中心。

如图5及图6所示，利用多目立体视觉的无人机路面巡检系统还包括：主壳体、固定件、散热片、USB接口、RTK天线接口、RTK模块。主壳体为主体容器。固定件用于固定无人机与吊舱设备。散热片保证吊舱设备的快速散热。USB接口与多目图像采集装置连接，用于传输多目图像采集装置采集的图像数据。RTK天线接口和RTK模块用于获取高精度坐标、位姿、飞行高度、速度等数据，可提高空三算法的计算精度。在本实施例中，无人机5’的巡检吊舱还包括：数据接口51’、主体框架52’、电源开关53’、北斗定位模块54’、多目镜头55’、挂架模块56’、AI运算单元57’、电源系统58’、姿态模块59’、高频天线510’、RTK接口511’、前面板512’、镜头模组513’、充电接口514’及电池模块515’。

如图7及图8所示，本发明提供的利用多目立体视觉的无人机路面巡检系统还包括：数据采集系统1’、数据传输系统2’、数据处理系统3’、监控系统4’、无人机5’及车载系统6’；

数据传输系统2’与数据采集系统1’连接；数据处理系统3’通过5G数据传输与数据传输系统2’连接，监控系统4’通过5G数据传输与数据处理系统3’连接。

车载系统6’抵达高速公路无人机作业区域时，无人机5’起飞升空后按照系统设定的路线开始自动飞行巡检，自动进行拍摄作业和巡检数据回传。此时，数据采集系统1’用于采集命令触发后，获取多目图像采集装置2对高速公路拍摄的图像数据，通过全球定位系统获取当前设备的GPS定位信息，并完成对多目相机阵列21的标定，得到多目相机阵列21的标定结果，标定结果包括内参数和外参数。

飞行巡检过程中，车载系统6’中的地面服务站61’通过数据传输系统2’可以实时显示无人机巡检画面，巡检人员可以远程对作业过程进行监控和指挥。此外，数据传输系统2’用于将采集的图像数据、GPS定位信息和多目相机阵列的标定结果通过5G通讯上传到位于车载系统6’地面服务站的数据处理系统3’。

如图9所示，所述地面服务站61’中的无人机车载地面三维重建系统包括：触控显示屏1、触控笔2、机箱电源开关3、键盘4、触控板5、触控板左右键6、橡胶护角7、显示屏锁扣8、橡胶提手9、风扇盖板10、机箱电源接口11；机箱状态指示灯13；屏幕翻转按钮14、屏幕亮度调节按钮15、屏幕开关按钮16、显示屏转轴17。

如图10所示，数据处理系统3’对获取的图像数据，提取图像特征点，利用匹配算法获得特点匹配对，通过空三算法获取深度信息，从而获得物体表面的三维点云，同时在三维重建过程中对运动目标进行剔除，利用REMOVERT算法将目标地图分为静态点云组成的静态点云地图和动态点云组成的动态点云地图，基于多重分辨率的深度图像来判断剔除动态点云，完成对静态点的保守保留，再通过降低深度图的分辨率，将被误杀的静态点从动态点云中修复还原，并入静态点云中，以此完成对动态点云的剔除和静态点云的构建，最后经过点云网格化后得到道路的三维模型。之后，将生成的三维模型和前一次上传数据生成的三维模型进行分析对比，自动识别出坑洼裂痕，地表塌陷，以及路侧基塌方等多种道路损坏类型，并将相关数据和分析结果通过5G通讯上传到监控系统4’。

监控系统4’获取相关数据和分析结果后，若在巡检时发现道路损坏，经确认后便可立即开展道路损坏处置工作，并向道路养护部门发出指示信号。

综上，本发明利用无人机全自动实现路面自动巡检不仅实时性得到了保证，效率得到了大幅提高，数据精准，还减少了巡检人员的工作量和巡检盲区，操作上也更加便捷和安全。避免了传统技术中依靠人工巡检，导致的费人费力以及施工维护复杂的问题，能够及时发现并修复道路损坏，排除巡检中的盲点，弥补了人工巡检的不足。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述方法包括：

S2、利用GPS定位装置获取多目相机阵列定位信息，据以对所述多目相机阵列进行标定，据以得到多目相机阵列标定结果，其中，所述多目相机阵列标定结果包括：内参数和外参数；

S3、利用预置5G通讯，将所述公路巡检图像及所述多目相机阵列标定参数回传至车载服务站；

S4、以所述车载服务站从所述公路巡检图像中提取图像特征点，利用匹配算法处理所述图像特征点，据以获得特征点匹配对；

S5、通过空三算法处理所述图像特征点，据以获取深度信息，并通过三维重建剔除所述公路巡检图像中的运动目标，以得到空三加密成果；

S6、获取并根据所述空三加密成果与深度关系，将所述空三加密成果转化为深度信息，从而获得物体表面的三维点云，利用REMOVERT算法将目标地图分为静态点云地图及动态点云地图，其中，所述静态点云地图包括静态点云，所述动态点云地图包括动态点云；基于多重分辨率深度图像判断并剔除所述动态点云，以保留静态点，降低所述多重分辨率深度图像的分辨率，以从所述动态点云中，将误剔除静态点修复还原，并将所述误剔除静态点并入所述静态点云中，以剔除所述动态点云并构建适用静态点云；

S7、根据所述适用静态点云进行点云网格化，据以得到道路三维模型；

S8、分析当前及前次生成的所述道路三维模型，据以识别获取道路损坏类型分析数据，并通过所述预置5G通讯发送到监控中心；

S9、在监控中心根据所述道路损坏类型分析数据向道路养护部门发出养护指示信号，据以维护所述高速公路。

2.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S2包括：

m′＝[u,v,1]^T

M′＝[X,Y,Z,1]^T。

S22、根据预置相机模型处理得到张正友标定法一般公式：

sm′＝A[R|t]M′

其中，

为相机内参矩阵，[R|t]为相机外参矩阵，s为缩放系数；

S23、通过方程求解可得相机的所述内参数及所述外参数，并结合极大似然估计的非线性优化方法，以下述逻辑优化所述内参数及所述外参数：

其中，n标定平面数量，m为标定平面角点数量。

3.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S4包括：

S41、根据一个像素与周围邻域的像素差别程度判断该所述像素是否为一个角点，其中，如果所述像素与周围邻域像素差别超出预置阈值，则判定该所述像素为所述角点；

S42、非极大值抑制处理所述特征点，以在预置区域内保留响应极大值特征点；

S43、采用二进制串作为描述向量，据以表示所述响应极大值特征点的邻域内的所述像素p、所述像素q的灰度值；

S44、比较所述像素p与所述像素q的大小，据以获取n维像素特征点描述向量；

S45、通过计算一个所述n维像素特征点描述向量与其他所有所述n维像素特征点描述向量之间的距离并排序，取所述距离最近的所述特征点作为匹配点，并选择已匹配的所述特征点，以预置判据判断是否匹配正确并滤除错误匹配结果，据以获取所述特征点匹配对。

4.根据权利要求3所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S41包括：

S411、在所述公路巡检图像中选择所述像素p，其灰度值为I_p，据以设置所述预置阈值T；

S412、选择所述像素p周围半径为r的m个所述周围邻域像素，以作为比较像素；

S413、选取的圆上有连续的N个所述比较像素大于I_p+T或I_p-T，判定所述像素p为所述特征点。

5.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S45中，以所述特征点之间的汉明距离小于最小距离的两倍作为所述预置判据，其中，汉明距离公式为

其中i＝0,1,…,n-1，x、y都是n位的编码，

表示亦或。

6.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S5包括：

S51、进行数据准备工作，其中，依序准备构架航线及基本航线，所述构架航线的像片排列顺序与所述基本航线一致；

S52、在预置区域范围内按所述构架航线及所述基本航线依次建立像对模型，并通过连接点实现所述构架航线及所述基本航线内的模型连接以及航线间模型连接；

S53、再进行点位量测，以获取控制点并选定加密点；

S54、进行空中三角测量平差处理，以得到平差数据；

S55、利用下述逻辑根据所述平差数据及所述控制点检测加密精度，以得到所述加密点中的误差：

7.根据权利要求6所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S54包括：

S541、预平差剔除粗差点，通过平差计算对所述连接点、像控点进行粗差检测，以检测并剔除粗差点；

S542、采用光束法进行整体平差，获得所述加密点及所述检测点的三维大地坐标及像片外方位元素；

S543、平差结果检查分析，以对空加密成果进行单模型绝对定向，以检查定向点残差，若超限则修测所述加密点、所述检测点的残差至预置限差区间内，据以生成像控点检查点点位图片。

8.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S6包括：

S61、利用下述逻辑将点云的状态分为所述静态点云及所述动态点云，以得到所述静态点云地图P^SM和所述动态点云地图P^DM，据以保守保留所述静态点：

P^M＝P^SM+P^DM

P^SM＝TP∪FP

P^DM＝TN∪FN

其中TP、FP、TN和FN分别表示被正确判定为静态点、被错误判定为动态点、被正确判定为动态点和被错误判定为静态点的点云集合，P^Q表示在局部坐标系下的扫描数据，P^M表示在全局坐标系下的目标地图，每一帧P^Q可视作一个集合{P^Q}，集合中的每个元素即为每帧中的点云，表示为

S62、从所述动态点云地图P^DM中检测出FN的点云并加入到所述静态点云地图P^SM；

S63、利用下述逻辑将所述目标地图P^M的地图点云

投影到预设尺寸深度图，以将所述目标地图P^M等效为目标深度图

其中，r(·)表示在一query scan帧角度下的一系列点云p∈R³,

表示深度图中索引为[i,j]的像素值，

S64、转化扫描地图

以获取扫描深度图

S65、在所述目标深度图

中一个像素的深度小于扫描深度图

中对应像素的深度，则判定该点为所述动态点，否则判定为所述静态点；

S66、降低所述深度图的分辨率，以将所述误剔除静态点修复还原，并入所述静态点云中，以剔除所述动态点云并构建所述静态点云。

9.根据权利要求1所述的利用无人机多目视觉重建高速公路的自动巡检方法，其特征在于，所述步骤S7包括：

S71、对于获取的所述三维点云P＝{(p₁,n₁),…,(p_n,n_N)}、被测物体M和待重建曲面S；

S72、根据指示函数

和

将重建曲面S数据转换为重构χ_M；

S73、利用斯托克斯公式处理得到三维点云及其法向量，据以联系所述指示函数χ_M，以实现对所述高速公路三维点云的网格重建。

10.利用无人机多目视觉重建高速公路的自动巡检系统，其特征在于，所述系统包括：

GPS定位装置，用以利用GPS定位装置获取多目相机阵列定位信息，据以对所述多目相机阵列进行标定，据以得到多目相机阵列标定结果，其中，所述多目相机阵列标定结果包括：内参数和外参数，所述GPS定位装置与所述无人机及多目图像采集装置连接；

5G通讯装置，用以利用预置5G通讯，将所述公路巡检图像及所述多目相机阵列标定参数回传至车载服务站，所述5G通讯装置与所述无人机及多目图像采集装置连接；

车载服务站，用以从所述公路巡检图像中提取图像特征点，利用匹配算法处理所述图像特征点，据以获得特征点匹配对，所述车载服务站与所述5G通讯装置连接；

空三处理单元，用以通过空三算法处理所述图像特征点，据以获取深度信息，并通过三维重建剔除所述公路巡检图像中的运动目标，以得到空三加密成果，所述空三处理单元与所述车载服务站连接；

点云构建单元，用以获取并根据所述空三加密成果与深度关系，将所述空三加密成果转化为深度信息，从而获得物体表面的三维点云，利用REMOVERT算法将目标地图分为静态点云地图及动态点云地图，其中，所述静态点云地图包括静态点云，所述动态点云地图包括动态点云；基于多重分辨率深度图像判断并剔除所述动态点云，以保留静态点，降低所述多重分辨率深度图像的分辨率，以从所述动态点云中，将误剔除静态点修复还原，并将所述误剔除静态点并入所述静态点云中，以剔除所述动态点云并构建适用静态点云，所述点云构建单元与所述空三处理单元连接；

网格化模块，用以根据所述适用静态点云进行点云网格化，据以得到道路三维模型，所述网格化模块与所述点云构建单元连接；

监控子系统，用以分析当前及前次生成的所述道路三维模型，据以识别获取道路损坏类型分析数据，并通过所述预置5G通讯发送到监控中心，所述监控子系统与所述网格化模块连接；

维护子系统，用以在所述监控中心根据所述道路损坏类型分析数据向道路养护部门发出养护指示信号，据以维护所述高速公路，所述维护子系统与所述监控子系统连接。