CN116740297A - 基于无人机的自主室内设施检测和场景重建探索开发系统 - Google Patents
基于无人机的自主室内设施检测和场景重建探索开发系统 Download PDFInfo
- Publication number
- CN116740297A CN116740297A CN202310846461.XA CN202310846461A CN116740297A CN 116740297 A CN116740297 A CN 116740297A CN 202310846461 A CN202310846461 A CN 202310846461A CN 116740297 A CN116740297 A CN 116740297A
- Authority
- CN
- China
- Prior art keywords
- exploration
- unmanned aerial
- aerial vehicle
- path
- transmission module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 17
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 238000004458 analytical method Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 28
- 238000010586 diagram Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 12
- 230000001105 regulatory effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 230000001133 acceleration Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 12
- 238000007689 inspection Methods 0.000 abstract description 6
- 230000009471 action Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010048669 Terminal state Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了一种基于无人机的自主室内设施检测和场景重建探索开发系统,用于室内自主检查和探索包括:用于探索未知环境的探索无人机;用于对目标区域进行详细场景获取的开发无人机;用于中端传输的数据传输模块;其中,探索无人机通过数据传输模块将探索结果传输至开发无人机,开发无人机基于探索结果和数据传输模块分析结果,依次对目标区域进行详细场景获取,并传输至数据传输模块;探索无人机基于数据传输模块对探索结果和详细场景获取结果的分析结果,对待探索环境或需二次探索环境进行探索。本发明所提出的系统由两个具有不同功能的无人机组成,它可以最大限度地提高每架无人机能力,从而提高任务完成的整体效率。
Description
技术领域
本发明属于自主探索与开发领域,尤其涉及基于无人机的自主室内设施检测和场景重建探索开发系统。
背景技术
传统的管道和锅炉室内设施检查是手动进行的,对检查人员来说,这在后勤上具有挑战性、劳动密集型、成本高昂且危险。随着无人驾驶技术的成熟,无人机(UAV)正成为有问题的人工检查的一个有前途的替代品。然而,由于室内缺乏GPS信号,无人机定位是实现完全自主检查的一大挑战。此外,狭窄复杂的室内环境使飞行安全难以保证。
因此,本领域技术人员亟需提供一种全新的技术方案,以解决上述设施检查存在的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种基于无人机的探索再开发系统,以解决自主室内设施数据收集和场景重建的这些问题。
为了实现上述目的,本发明提供了如下技术方案:
基于无人机的自主室内设施检测和场景重建探索开发系统,包括:
用于探索未知环境的探索无人机;
用于对目标区域进行详细场景获取的开发无人机;
用于中端传输的数据传输模块;
其中,所述探索无人机通过所述数据传输模块将探索结果传输至所述开发无人机,所述开发无人机基于所述探索结果和所述数据传输模块分析结果,依次对目标区域进行详细场景获取,并传输至所述数据传输模块;所述探索无人机基于所述数据传输模块对探索结果和所述详细场景获取结果的分析结果,对待探索环境或需二次探索环境进行探索。
优选的,所述探索无人机包括:第一中控终端、立体摄像装置、调速装置、SLAM系统以及自动驾驶仪;
所述SLAM系统获取探索区域地形数据、所述立体摄像装置建立开发步骤的关键帧图,并均发送至所述中控终端进行处理,生成3D地图;
所述中控终端基于所述数据传输模块发出的命令,发送相应命令至所述自动驾驶仪,使得所述自动驾驶仪依照命令路径进行行进;
所述调速装置接收所述自动驾驶仪发送DSHOT信号,实现速度的控制;同时所述自动驾驶仪发送状态信息和数据至所述中控终端,以使得所述中控终端实时进行监测。
优选的,所述开发无人机包括:第二中控终端、第二立体摄像装置、第二调速装置、超清摄像装置以及第二自动驾驶仪;
所述超清摄像装置获取目标设施的详细特征、所述第二立体摄像装置建立开发步骤的关键帧图,并均发送至第二中控终端,所述第二中控终端基于所述数据传输模块发出的命令,发送相应命令至所述第二自动驾驶仪,使得所述第二自动驾驶仪依照命令路径进行行进;
所述第二调速装置接收所述第二自动驾驶仪发送DSHOT信号,实现速度的控制;同时所述第二自动驾驶仪发送状态信息和数据至所述第二中控终端,以使得所述第二中控终端实时进行监测。
优选的,所述SLAM系统,采用Fast-LIO2作为探索过程中所述探索无人机的基于激光雷达的SLAM;所述SLAM系统,采用VINS-MONO在开发过程中为所述开发无人机提供姿态估计数据。
优选的,在所述数据传输模块中基于安全保障覆盖路径的规划算法对所述3D地图进行处理生成障碍物感知轨迹;在所述数据传输模块中基于所述关键帧图对所述障碍物感知轨迹进行优化;
基于所述障碍物感知轨迹,所述第二中控终端发送命令至所述第二自动驾驶仪控制所述开发无人机行进路径;基于优化后所述障碍物感知轨迹,所述中控终端发送命令至所述自动驾驶仪控制所述探索无人机行进路径。
优选的,所述安全保障覆盖路径的规划算法包括:视点生成和路径生成;
其中,视点生成的步骤包括:
S1.在所述3D地图中设置ROI区域,执行最远点采样算法以使点云在所述ROI区域中均匀分布;
S2.缩减像素采样,生成视点;
S2.调整生成视点;并通过计算视点角度数值,得到最佳视点。
优选的,所述路径生成步骤包括:
将所述3D地图转换为占用网格地图;
基于所述占用网格地图和所述最佳视点计算最短路径;
其中,所述最短路径为最短且无碰撞的路径。
优选的,采用将路径转换为平滑轨迹的方法生成所述障碍物感知轨迹,具体地:
将轨迹生成问题表述为非线性优化问题处理潜在威胁的碰撞,通过构造的BSCP生成执行轨迹,并结合加速度限制轨迹方法生成从无人机当前位置到路径上下一个最近点的时间最优参考轨迹。
与现有技术相比,本发明具有如下有益效果:
本发明所提出的系统包括两个无人机,用于无人机定位和3D环境映射的两步同时定位和映射(SLAM)方法,用于检查和数据收集的安全保障覆盖路径规划算法,以及障碍物感知轨迹生成方法。该系统在GPS干扰和杂乱的室内环境中进行了测试,并进行了三维场景重建。定量分析表明,定位精度为厘米级,重建误差在3厘米以内。
附图说明
图1为本发明系统的总体框架图。
图2为本发明硬件设计和架构继承两个设计的无人机示意图。
图3为SLAM系统的框架图。
图4为视点生成的整个算法过程。
图5为相机有效视野的图示。
图6为视点调整过程的图示。
图7为使用JTF作为参考轨迹表示遵循路径示意图。
图8为轨迹生成的总体结构示意图。
具体实施方式
下面结合实施例对本发明提供的技术方案进行详细的说明,但是不能把它们理解为对本发明保护范围的限定。
实施例1:
本实施例提供了一种基于无人机的自主室内设施检测和场景重建探索开发系统,包括:
用于探索未知环境的探索无人机;
用于对目标区域进行详细场景获取的开发无人机;
用于中端传输的数据传输模块;
其中,探索无人机通过数据传输模块将探索结果传输至开发无人机,开发无人机基于探索结果和数据传输模块分析结果,依次对目标区域进行详细场景获取,并传输至数据传输模块;探索无人机基于数据传输模块对探索结果和详细场景获取结果的分析结果,对待探索环境或需二次探索环境进行探索。
具体地:
在本实施例中所提出的系统由两个具有不同功能的无人机组成。与使用1架无人机相比,使用2架无人机的优势在于它可以最大限度地提高每架无人机能力,从而提高任务完成的整体效率。第一架无人机用于探索民用航空器环境。由于环境未知,最大的挑战是保证飞行安全。因此,设计了一种受保护的探索无人机。选择3D激光雷达作为激光SLAM的设备,以在未知环境中实现稳健的定位和映射。
其中,探索无人机包括:第一中控终端、立体摄像装置、调速装置、SLAM系统以及自动驾驶仪;
SLAM系统获取探索区域地形数据、立体摄像装置建立开发步骤的关键帧图,并均发送至中控终端进行处理,生成3D地图;
中控终端基于数据传输模块发出的命令,发送相应命令至自动驾驶仪,使得自动驾驶仪依照命令路径进行行进;
调速装置接收自动驾驶仪发送DSHOT信号,实现速度的控制;同时自动驾驶仪发送状态信息和数据至中控终端,以使得中控终端实时进行监测。
其中,开发无人机包括:第二中控终端、第二立体摄像装置、第二调速装置、超清摄像装置以及第二自动驾驶仪;
超清摄像装置获取目标设施的详细特征、第二立体摄像装置建立开发步骤的关键帧图,并均发送至第二中控终端,第二中控终端基于数据传输模块发出的命令,发送相应命令至第二自动驾驶仪,使得第二自动驾驶仪依照命令路径进行行进;
第二调速装置接收第二自动驾驶仪发送DSHOT信号,实现速度的控制;同时第二自动驾驶仪发送状态信息和数据至第二中控终端,以使得第二中控终端实时进行监测。
需要说明的是,在本实施例中在开发阶段,设计了一种小型轻型无人机作为开发无人机,因为在一次飞行中需要更长的续航时间才能获得更多的图像。立体摄像机和关键帧图用于在飞行过程中提供定位信息。一台4K光学相机作为超清摄像装置用于收集目标设施的详细特征。在探索步骤中,使用Velodyne 16执行基于激光雷达的SLAM,使用IntelRealSense D435i的图像由VINS构建关键帧图,并使用NVIDIA Jetson Xavier NX在线计算SLAM算法。探索之后,创建的地图在笔记本电脑上进行处理,以确定视图、路径和轨迹。NVIDIA Jetson Xavier NX用于控制无人机,并在开发步骤中执行基于视觉的在线SLAM计算。在本实施例中选择Velodyne 16作为3D激光雷达,D435i作为立体摄像装置。
更进一步,在本实施例中SLAM系统用于勘探再开发系统,采用Fast-LIO2作为探索过程中探索无人机的基于激光雷达的SLAM;SLAM系统,采用VINS-MONO在开发过程中为开发无人机提供姿态估计数据。在实际实施时工作空间相对有限,在进行民用航空器检查时,环境充满障碍。因此,实现无人机的强大定位是最大的挑战之一。考虑到环境的特殊性、现有SLAM技术和无人机的有效载荷,本发明选择Fast-LIO2作为探索步骤中无人机的基于激光雷达的SLAM。因为在Fast-LIO2中,原始点直接注册在地图中,并且使用增量k维树数据来更新和重新平衡地图,这使得激光测距框架准确、稳健和快速。在开发步骤中,VINS-MONO用于为无人机提供姿态估计。VINS-MONO是一种强大且多功能的单目视觉惯性状态估计器,它将IMU和光学图像紧密结合在一起,广泛用于计算资源有限的机载计算机。本发明利用这两个框架,并将它们结合在一起,为每架无人机提供稳健的姿态估计。所提出的SLAM方法的框架如图3所示。
更进一步,在探索步骤中,Velodyne负责提供点云扫描,autopilot负责提供I MU数据。Fast-LIO2在Xavier NX平台中实现,以获得环境的姿态估计和3D地图。此外,还基于来自自动驾驶仪的IMU数据和来自D435 i的图像来实现视觉惯性里程计。在飞行过程中,机载计算机以1Hz的频率保存关键帧。每个关键帧都包含全局姿态和相应的图像。此外,关键帧的姿态是Fast-L IO2的里程计,因为它比VINS更稳健。相应的图像来自D435 i。
然而,,VINS和Fast-LIO2的坐标系不一致。因此,Fast-LIO2坐标中的里程计需要转换为VINS坐标,以确保保存在关键帧中的姿势准确。设Fast-L IO2的坐标为L,VINS的坐标为C,L中的姿势为PL,C中的姿势是PC,L与C之间的变换矩阵是CTL,本发明可以得到以下方程式:
PC=CTLPL (2)
其中分别表示两个帧的旋转和平移。的值由硬件设计确定。坐标变换后,成功构建关键帧图。为了增加环路闭合的匹配频率,在探测步骤中,探测方法基于相机的视野,因此将覆盖探测步骤中的大部分视角。
在开发阶段,仅仅依靠视觉惯性里程计是不够的。由于工作时间变长,估计漂移将更大。因此,来自VINS的局部姿态和来自关键帧图的全局姿态在循环融合中被组合。当无人机遇到类似场景时,进行搜索和图像匹配,以获得无人机的全局姿态,并根据局部估计修正漂移。环路融合后,无人机可以在几乎没有漂移的情况下获得精确的姿态估计。
另外,在数据传输模块中基于安全保障覆盖路径的规划算法对3D地图进行处理生成障碍物感知轨迹;在数据传输模块中基于关键帧图对障碍物感知轨迹进行优化;
基于障碍物感知轨迹,第二中控终端发送命令至第二自动驾驶仪控制开发无人机行进路径;基于优化后障碍物感知轨迹,中控终端发送命令至自动驾驶仪控制探索无人机行进路径。其中,在本实施例中数据传输模块为GCS。
在本实施例中,在内部收集数据时,确保目标设施覆盖范围和飞行安全是一项挑战。因此为了解决这个问题,本发明提出了一种安全保障覆盖路径规划算法,该算法包括视点生成和路径生成。拟议方法的总体框架如图4所示。
其中,视点生成的步骤包括:
S1.在3D地图中设置ROI区域,执行最远点采样算法以使点云在ROI区域中均匀分布;S2.缩减像素采样,生成视点;S2.调整生成视点;并通过计算视点角度数值,得到最佳视点。具体地:在视点生成步骤中,几个长方体B∈[xl,yl,zl,xr,yr,zr],具有[xl,yl,zl]是B的左下坐标,B以及[xr,yr,zr]是B的右上坐标,用于描述不同的对象。不同长方体中的点云被视为感兴趣区域(ROI)和障碍物。然后执行最远点采样算法以使点云在感兴趣区域中均匀分布。给定输入点集合N是元素的数量,Nnew是输出点集合的元素的数量。本发明随机设定一个起点s作为采样集合/>然后通过计pointp和/>之间的最小距离迭代更新距离集合在每次迭代中,选择距离/>最远的新点并将其添加到/>最后,可以提取分布点集/>
这些分布的点云需要根据重叠率进行下采样。如图5所示,摄像机的视野为FOV,重叠率为R,图像的纵横比为κ,水平方向上的重叠距离为dH,垂直方向上的重叠距离为dV、水平方向上的有效距离FOVH和垂直方向的有效距离FOVV可通过以下公式计算:
对分布点集进行下采样,以确保两点之间的水平和垂直距离为和。在点云下采样之后,沿着目标设施表面的法线方向在距点云距离D处生成视点。然后执行视点调整过程以改变位于障碍区域中的视点。如图6所示,当生成的视点位于障碍物区域时,应通过沿正常方向搜索直到达到安全距离,将其替换为新视点。这个随着到平面的距离的减小而减小。因此,为了确保覆盖率,新视点有两个视角。假设的中心线和法线之间的角度为,新视点和平面之间的距离为。可以通过公式(9)计算。然后本发明可以在自由空间内获得最佳视点。
其中,路径生成步骤包括:
将3D地图转换为占用网格地图;基于占用网格地图和最佳视点计算最短路径;其中,最短路径为最短且无碰撞的路径。具体地:生成视点后,本发明可以获得n个视点,,令
是一组视点。下一步是计算通过所有视点的最短路径。本发明将其转化为一个安全保证的旅行推销员问题。设,最小离散间隔为d,和之间的距离为,采样点的数量为。和之间的离散点的集合可以通过以下等式计算
生成的3D地图被转换为占用网格地图,以确定障碍区。公式如等式(13)所示。表示和之间的连接关系。和是任何实数。该目标函数F的优化问题是最小化通过所有这些视点的总距离。前两个约束用于确保每个视点都可以访问并且只能访问一次,第三个约束确保没有子游览。最后一个约束用于确保生成的路径是无障碍的。当设置在和之间的点与障碍物区域相交时,距离设置为正无穷大。由于遗传算法具有良好的全局搜索能力,并且能够在短时间内获得良好的解,因此使用遗传算法来解决该问题。最后,可以获得旅行成本最短且无碰撞的路径。
在本实施例中由于无人机无法直接执行TSP求解器生成的路径,因为它不考虑无人机的动态约束。采用将路径转换为平滑轨迹的方法生成障碍物感知轨迹,同时避免环境中的障碍物;将轨迹生成问题表述为非线性优化问题处理潜在威胁的碰撞,通过构造的BSCP生成执行轨迹,并结合加速度限制轨迹方法生成从无人机当前位置到路径上下一个最近点的时间最优参考轨迹。具体地:
本发明将轨迹生成问题表述为最小化代价函数J的非线性优化问题,代价函数J权衡飞行安全Jc和路径跟踪性能Jf。
其中λc和λf表示每个成本项的权重。
为了处理潜在威胁的碰撞,本发明需要惩罚无人机p[k]当前执行轨迹上的位置与时间步骤k周围环境中的障碍物之间的最近距离d[k]。执行的轨迹可以通过BSCP生成,这将在下一节中介绍。要计算d[k],本发明将环境表示为3D网格地图,无人机的位置对应于地图上的节点。对于每个节点,可以使用欧几里德距离变换(EDT)图有效地获得从节点到障碍物的最近距离值。因此,未来N个时间步长的飞行安全成本将被处罚为:
从成本函数可以观察到,如果无人机靠近障碍物,成本值将快速增长。因此,上述评估功能倾向于推动无人机生成的轨迹远离障碍物,以确保飞行安全。
此外,为了快速得到上述路径,本发明使用加速度限制轨迹(JLT)方法生成从无人机当前位置到路径上下一个最近点的时间最优参考轨迹。JLT为无人机系统提供了从任意初始状态到设定目标状态的平滑轨迹。它已被证明非常适合无人机,因为它可以满足最大推力和物理限制,并且可以在3D环境中快速生成。N个时间步长的时间最优JLT和当前轨迹之间的位置偏差被惩罚为
其中pJLT[k]表示在对应于p[k]的时间步骤k处JLT上的位置。如图7所示,通过惩罚上述成本函数,无人机可以在JLT的引导下快速跟踪参考路径,同时避免障碍物。其中,在图7中圆圈是路径的视点,蓝色方块表示执行轨迹上的点,绿色方块表示JLT上的点。
通过解决上述问题,可以生成可行的轨迹来引导无人机沿着参考路径,同时避免在室内环境中发生碰撞。然而,解决此类一般的非线性优化问题可能具有挑战性。除了对障碍物的积极反应和后续性能外,还应考虑在杂乱的室内环境中的动态可行性和飞行平稳性。因此,本发明构造BSCP来将动力学和平滑约束与障碍和路径跟踪约束分离,以简化优化问题。使用BSCP,具有大量状态参数的长可行轨迹可以被编码为几个参数(结束状态参数),从而有效地减少了优化问题的难以解决的搜索空间(或维度),并减轻了计算负载。最后,本发明可以使用基于无梯度的求解器粒子群优化(PSO),在考虑障碍物和给定路径的同时,通过最小化J来选择高质量的BSCP。PSO是一种元启发式方法,即使在优化函数不连续的情况下也能有效地找到解决方案。与已有的结果相比,这种无梯度优化方法具有更稳定的优化时间,可以处理带有梯度信息的问题。
更进一步,在本实施例中还公开了BSCP的构建:
本发明需要预先计算无人机的动态可行运动基本体,以满足实际飞行要求。无人机可以分别在其x,y和z轴上通过三重积分器进行建模。将p,v,a和j分别定义为位置、速度、加速度和加速度。平滑约束可以给出如下:
v∈[vmin,vmax],a∈[amin,amax],j∈[jmin,jmax] (17)
对于每个轴,设x=[p,v,a]T和u=j为系统的状态和控制输入。设τ为离散化时间步长。无人机动态模型的外环定义如下:
x[k+1]=Ax[k]+Bu[k],(18)
其中
给定无人机的上述动态模型,其运动被表示为BSCP,通过求解PSO选择的BVP可以获得BSCP。构造BSCP的目的是将系统从任何初始状态控制到期望的目标状态xd=[pθ,0,0]T。相对误差状态定义为:
要达到xd,需要设计BVP解算器,以将s趋为零。为此,采用基于离线模型的动态编程方法来搜索系统的最佳动作u*。值函数Q(s)从s到原点的近似值可以定义为:
Q(s[k])=r(s[k],u[k])+Q(s[k+1]) (21)
其中r(s,u)是来自相对状态s的动作u的预期奖励。为了考虑期望的目标状态、输入惩罚和不变约束,奖励函数定义如下:
r(s,p)=sTWs+λp2+Js(s,u) (22)
其中W表示与相对误差状态推导sTWs相关联的相应权重矩阵,λ是惩罚控制输入的权重,JS(s,u)惩罚违反方程(17)中的动态约束,以防止无人机进行攻击性运动。
这个JS(s,p)可以定义为:
其中λυ,λa,λj分别是v,a和j之间的折衷,||·||表示l2范数。通过迭代过程,本发明可以得到每个状态的最小值函数:
其中u是从一组可接受的控制输入J中选择的。一旦上述值迭代收敛,就构建由每个状态的最佳动作组成的查找表。结果,对于任何相对状态s,本发明可以获得由u*确定的无人机的唯一动态可行轨迹p。
本发明轨迹生成方法的总体框架如图8和算法2所示。碰撞信息已存储在EDT地图中。对于需要严格通过的每个视点,本发明使用JLT方法在两个视点之间生成时间最优参考轨迹以便快速跟踪。根据考虑障碍物约束和路径跟踪性能的目标函数J,本发明可以评估已转换为BSCP的无人机的所有潜在终端状态。为了在每个时间步长最小化J,PSO方法可以从这些潜在候选中选择最终状态约束x*。在获得x*后,通过使用BVP解算器,可以在避免碰撞的情况下生成沿着路径的平滑轨迹/>
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.基于无人机的自主室内设施检测和场景重建探索开发系统,其特征在于,包括:
用于探索未知环境的探索无人机;
用于对目标区域进行详细场景获取的开发无人机;
用于中端传输的数据传输模块;
其中,所述探索无人机通过所述数据传输模块将探索结果传输至所述开发无人机,所述开发无人机基于所述探索结果和所述数据传输模块分析结果,依次对目标区域进行详细场景获取,并传输至所述数据传输模块;所述探索无人机基于所述数据传输模块对探索结果和所述详细场景获取结果的分析结果,对待探索环境或需二次探索环境进行探索。
2.根据权利要求1所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征在于,所述探索无人机包括:第一中控终端、立体摄像装置、调速装置、SLAM系统以及自动驾驶仪;
所述SLAM系统获取探索区域地形数据、所述立体摄像装置建立开发步骤的关键帧图,并均发送至所述中控终端进行处理,生成3D地图;
所述中控终端基于所述数据传输模块发出的命令,发送相应命令至所述自动驾驶仪,使得所述自动驾驶仪依照命令路径进行行进;
所述调速装置接收所述自动驾驶仪发送DSHOT信号,实现速度的控制;同时所述自动驾驶仪发送状态信息和数据至所述中控终端,以使得所述中控终端实时进行监测。
3.根据权利要求2所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征于,所述开发无人机包括:第二中控终端、第二立体摄像装置、第二调速装置、超清摄像装置以及第二自动驾驶仪;
所述超清摄像装置获取目标设施的详细特征、所述第二立体摄像装置建立开发步骤的关键帧图,并均发送至第二中控终端,所述第二中控终端基于所述数据传输模块发出的命令,发送相应命令至所述第二自动驾驶仪,使得所述第二自动驾驶仪依照命令路径进行行进;
所述第二调速装置接收所述第二自动驾驶仪发送DSHOT信号,实现速度的控制;同时所述第二自动驾驶仪发送状态信息和数据至所述第二中控终端,以使得所述第二中控终端实时进行监测。
4.根据权利要求2所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征于,所述SLAM系统,采用Fast-LIO2作为探索过程中所述探索无人机的基于激光雷达的SLAM;所述SLAM系统,采用VINS-MONO在开发过程中为所述开发无人机提供姿态估计数据。
5.根据权利要求3所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征于,在所述数据传输模块中基于安全保障覆盖路径的规划算法对所述3D地图进行处理生成障碍物感知轨迹;在所述数据传输模块中基于所述关键帧图对所述障碍物感知轨迹进行优化;
基于所述障碍物感知轨迹,所述第二中控终端发送命令至所述第二自动驾驶仪控制所述开发无人机行进路径;基于优化后所述障碍物感知轨迹,所述中控终端发送命令至所述自动驾驶仪控制所述探索无人机行进路径。
6.根据权利要求5所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征于,所述安全保障覆盖路径的规划算法包括:视点生成和路径生成;
其中,视点生成的步骤包括:
S1.在所述3D地图中设置ROI区域,执行最远点采样算法以使点云在所述ROI区域中均匀分布;
S2.缩减像素采样,生成视点;
S2.调整生成视点;并通过计算视点角度数值,得到最佳视点。
7.根据权利要求6所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征于,所述路径生成步骤包括:
将所述3D地图转换为占用网格地图;
基于所述占用网格地图和所述最佳视点计算最短路径;
其中,所述最短路径为最短且无碰撞的路径。
8.根据权利要求5所述的基于无人机的自主室内设施检测和场景重建探索开发系统,其特征于,采用将路径转换为平滑轨迹的方法生成所述障碍物感知轨迹,具体地:
将轨迹生成问题表述为非线性优化问题处理潜在威胁的碰撞,通过构造的BSCP生成执行轨迹,并结合加速度限制轨迹方法生成从无人机当前位置到路径上下一个最近点的时间最优参考轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310846461.XA CN116740297A (zh) | 2023-07-11 | 2023-07-11 | 基于无人机的自主室内设施检测和场景重建探索开发系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310846461.XA CN116740297A (zh) | 2023-07-11 | 2023-07-11 | 基于无人机的自主室内设施检测和场景重建探索开发系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116740297A true CN116740297A (zh) | 2023-09-12 |
Family
ID=87911601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310846461.XA Pending CN116740297A (zh) | 2023-07-11 | 2023-07-11 | 基于无人机的自主室内设施检测和场景重建探索开发系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116740297A (zh) |
-
2023
- 2023-07-11 CN CN202310846461.XA patent/CN116740297A/zh active Pending
Non-Patent Citations (1)
Title |
---|
CHUANXIANG GAO等: "A UAV-based explore-then-exploit system for autonomous indoor facility inspection and scene reconstruction", 《AUTOMATION IN CONSTRUCTION》, pages 1 - 14 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11829141B2 (en) | Determining a three-dimensional model of a scan target | |
CN112525202A (zh) | 一种基于多传感器融合的slam定位导航方法及系统 | |
CN111338383B (zh) | 基于gaas的自主飞行方法及系统、存储介质 | |
Sanfourche et al. | Perception for UAV: Vision-Based Navigation and Environment Modeling. | |
Gur fil et al. | Partial aircraft state estimation from visual motion using the subspace constraints approach | |
Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
Xie et al. | Dynamic IBVS of a rotary wing UAV using line features | |
Clark et al. | Autonomous and scalable control for remote inspection with multiple aerial vehicles | |
Marzat et al. | Reactive MPC for autonomous MAV navigation in indoor cluttered environments: Flight experiments | |
Pestana et al. | Overview obstacle maps for obstacle‐aware navigation of autonomous drones | |
Magree et al. | Monocular visual mapping for obstacle avoidance on UAVs | |
Zhou et al. | Toward autonomy of micro aerial vehicles in unknown and global positioning system denied environments | |
Lu et al. | Flight in GPS-denied environment: Autonomous navigation system for micro-aerial vehicle | |
Yang et al. | A semantic SLAM-based method for navigation and landing of UAVs in indoor environments | |
Wang et al. | Micro aerial vehicle navigation with visual-inertial integration aided by structured light | |
Dubey et al. | Droan-disparity-space representation for obstacle avoidance: Enabling wire mapping & avoidance | |
CN116740297A (zh) | 基于无人机的自主室内设施检测和场景重建探索开发系统 | |
Feetham et al. | Single camera absolute motion based digital elevation mapping for a next generation planetary lander | |
Mohta | State estimation, control, and planning for a quadrotor team | |
Heiden et al. | Heterogeneous sensor fusion via confidence-rich 3d grid mapping: Application to physical robots | |
Fragoso | Egospace Motion Planning Representations for Micro Air Vehicles | |
Zhao | 3D Obstacle Avoidance for Unmanned Autonomous System (UAS) | |
Lagoda et al. | Dynamic Reward in DQN for Autonomous Navigation of UAVs Using Object Detection | |
Keshavan et al. | Application of a nonlinear recursive visual-depth observer using UH60 flight data | |
Gao et al. | Near-ground trajectory planning for UAVs via multi-resolution hybrid voxel-surfel map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |