CN116989771A - 一种用于检测结构缺陷的地空协同方法、系统及装置 - Google Patents
一种用于检测结构缺陷的地空协同方法、系统及装置 Download PDFInfo
- Publication number
- CN116989771A CN116989771A CN202311201112.9A CN202311201112A CN116989771A CN 116989771 A CN116989771 A CN 116989771A CN 202311201112 A CN202311201112 A CN 202311201112A CN 116989771 A CN116989771 A CN 116989771A
- Authority
- CN
- China
- Prior art keywords
- unmanned aerial
- aerial vehicle
- vehicle
- unmanned
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000007847 structural defect Effects 0.000 title claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 81
- 230000001360 synchronised effect Effects 0.000 claims description 13
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 229910052744 lithium Inorganic materials 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种用于检测结构缺陷的地空协同方法、系统及装置，涉及无人车技术领域，方法主要包括：构建无人车搭载无人机的地空协同系统；构建空间地图；采集检测目标的坐标，构建无人机的航线文件；无人车自主导航行驶至某个放飞位置；无人机起飞后对拍摄半径范围内的若干个检测目标自动执行拍摄任务；无人机通过二维码图像定位降落至无人车中。本方案可以进行地空协同检测：可以实现无人车及无人机自主避障导航；还可以节约无人机电量；并能通过系留方式，进一步提升无人机的续航时间，从而大幅提升了针对结构缺陷的自主检测能力及自主检测效率。
Description
技术领域
本发明涉及无人车技术领域，尤其是涉及一种用于检测结构缺陷的地空协同方法、系统及装置。
背景技术
室内大空间建筑结构检测主要是检查墙体、屋顶、地面等结构的施工质量，往往需要耗费大量的人力、物力及时间。虽然无人机及无人车的出现，可以在一定程度上替代人工，快速采集墙体、屋顶、地面等处的图像进行检测，但前者往往受到续航能力及负载能力的限制，而后者又容易受到地面障碍物的影响，所以尚不能完全替代人工。如何将无人机与无人车取长补短、进行地空协同作业？成为解决问题的关键。
目前，公开号为CN116300887A，名称为《一种无人巡逻车地空协同系统与控制方法》的专利，公开了一种无人巡逻车地空协同系统与控制方法，旨在解决无人巡逻系统的工作效能较低的问题，方法主要包括：操作终端下达侦察的目标信息，无人机接收到目标信息后，对目标进行侦察，当侦察到可疑目标后，无人机进行拍照，将目标图片信息、位置信息上传至操作终端，操作者根据侦察目标回传的目标图片与位置信息做出决策；如果需要无人车出动并对目标进行处置，操作者则对无人车下发车辆前出指令，无人车收到命令后，根据无人机返回的位置信息，自主规划路径，行驶至目标所在位置，对目标进行处置。但该专利无法解决无人机续航时间短、自主性差、路径规划及环境感知能力弱等问题。
发明内容
本发明的目的在于提供一种用于检测结构缺陷的地空协同方法、系统及装置，以解决现有技术中存在的至少一种上述技术问题。
第一方面，为解决上述技术问题，本发明提供的一种用于检测结构缺陷的地空协同方法，包括如下步骤：
步骤1、构建无人车搭载无人机的地空协同系统；
步骤2、采集室内的空间数据，构建空间地图，依据检测目标的分布位置，在空间地图上规划无人车的行进路径及无人机的若干个放飞位置；
步骤3、采集检测目标的坐标，构建无人机的航线文件；
步骤4、无人车通过激光雷达（Laser Detection and Ranging，简称Laser Radar）及惯性传感器（Inertial Measurement Unit，简称为IMU）进行同步定位与建图（即Simultaneous localization and mapping,简称为SLAM），并按照行进路径自主导航行驶至某个放飞位置；
步骤5、无人机起飞后，通过激光雷达及惯性传感器进行同步定位与建图，对拍摄半径范围内的若干个检测目标执行拍摄任务并将检测目标的图像数据储存至地面站；
步骤6、无人机执行拍摄任务后通过二维码图像定位，降落至无人车中；
步骤7、无人车按照行进路径自主导航行驶至下一个放飞位置，执行步骤5，直至达到任务结束条件。
通过上述步骤，通过将无人机与无人车搭配使用的方式，进行地空协同检测拍摄：通过激光雷达及惯性传感器相结合的方式，实现无人车及无人机自主在室内进行避障导航；又通过无人车运输无人机至放飞位置的方式，节约无人机电量，最终提升了结构缺陷的自主检测能力及自主检测效率。
在一种可行的实施方式中，所述无人机为旋翼系留无人机，这样可以实现系留供电、垂直起降、空中悬停等功能，便于飞行姿态控制及拍摄作业，并且依靠旋翼类无人机的微分平坦属性，仅需要4个变量（三维位置及偏航角）就可以表示无人机的全状态，极大降低了后序轨迹生成、路径规划等问题的复杂度。
在一种可行的实施方式中，所述步骤2的具体步骤包括：
步骤21、手动操控无人车遍历室内的地面范围点，采集室内的地面数据；所述地面范围点包括墙角在地面的投影点等；
步骤22、手动操控无人机遍历室内的屋顶范围点，采集室内的高度数据；所述屋顶范围点包括墙角在屋顶的投影点等；
步骤23、基于地面数据及高度数据，构建空间地图，存储于地面站；
步骤24、依据检测目标的分布位置，在空间地图上规划无人车的行进路径及无人机的若干个放飞位置。
通过上述步骤，可以准确构建数据化的空间地图、无人车行进路径及无人机的放飞位置，以便后续处理。
在一种可行的实施方式中，所述步骤3包括：
步骤31、手动操控无人机遍历室内的检测目标，记录无人机在检测目标的坐标，得到航点数据，并存储于地面站；
步骤32、基于空间地图及航点数据，设置各航点处无人机的飞行参数及飞行航路，得到航线文件；所述飞行参数包括飞行状态参数、相机焦距、相机俯仰角度等；所述飞行状态参数包括航向、螺旋桨转速等；所述飞行航路包括预设高度、抵近方式等；所述抵近方式包括直线抵近、折线抵近及弧线抵近等；
步骤33、将航线文件导入至机载接收模块。
通过上述步骤，便于建立数据化的航线文件。
在一种可行的实施方式中，所述步骤5具体包括：
步骤501、无人机接收起飞指令后，垂直起飞至预设高度，达到初始悬停位置；
步骤502、计算初始悬停位置的拍摄半径；
步骤503、以当前位置为圆心、以当前拍摄半径为半径、以当前室内的高度数据为高在空间地图上做寻的圆柱体；
步骤504、将寻的圆柱体覆盖范围内的检测目标作为当前高度下的检测目标，计算检测目标与无人机的欧式距离，按照欧式距离进行排序后，依据由近及远的顺序和抵近方式进行飞行抵近并拍摄；
步骤505、通过机载惯性传感器采集坐标轴k的加速度及角速度/>后，进行坐标点W在第Li至第Lj时刻的预积分变换/>及/>，得到测量位置/>、测量速度/>及旋转四元数/>；
步骤506、通过机载激光雷达采集点云数据后，基于/>及/>进行线性插值矫正畸变，得到正畸后的点云数据/>;
步骤507、基于，提取第j时刻的特征点/>；
步骤508、基于，提取第o时刻至第i时刻的特征点/>，基于机载惯性传感器的位姿估计/>，构建局部地图/>;
步骤509、基于与/>，进行帧间匹配，得到两帧之间的距离约束/>；
步骤510、基于、/>、/>及/>构建代价函数，通过L-M法进行联合优化，得到位姿数据，从而提高定位精度、输出最优位姿；
步骤511、基于位姿数据，无人机自主导航拍摄完毕所有当前寻的圆柱体内的检测目标后，将检测目标的图像数据通过无线传输方式储存至地面站。
通过上述步骤，构建出了扩展卡尔曼滤波器，从而将机载激光雷达特征点与机载惯性传感器进行数据如何，进而在存在噪声及杂波的复杂环境中，实现对无人机高速移动的强鲁棒性导航，完成对该放飞位置处所有检测目标的自动拍摄任务。
第二方面，基于相同的发明构思，本申请还提供了一种用于检测结构缺陷的地空协同系统，包括地面站系统、无人车系统及无人机系统：
所述地面站系统，包括地面站接收模块、地面站处理模块、地面站输出模块、地面站存储模块：
所述地面站接收模块，用于接收空间地图、无人机的航点数据、检测目标图像数据；
所述地面站处理模块，基于空间地图及航点数据，生成无人车行进路径、无人机放飞位置、无人机航线文件及无人机飞行航路；
所述地面站输出模块，包括对地输出单元及对空输出单元：
所述对地输出单元，用于将无人车行进路径、无人机放飞位置及地面站对地控制信号发送至无人车系统；
所述对空输出单元，用于将无人机航线文件、地面站对空控制信号发送至无人机系统；
所述地面站存储模块，用于存储检测目标图像数据；
所述无人车系统，包括车载接收模块、车载导航模块、车载控制模块：
所述车载接收模块，用于接收无人车的行进路径及无人机的放飞位置；
所述车载导航模块，基于无人车的行进路径及无人车的放飞位置，结合车载激光雷达采集的点云数据、车载惯性传感器采集的加速度及角速度数据，生成无人车导航信号；
所述车载控制模块，基于无人车导航信号及地面站对地控制信号，输出无人车控制指令，用于无人车自主行驶至放飞位置并起降无人机；
所述无人机系统，包括机载接收模块、机载导航模块、降落模块、飞控模块、图像采集模块、机载输出模块：
所述机载接收模块，用于接收无人机航线文件、地面站对空控制信号；
所述机载导航模块，基于无人机航线文件，结合机载激光雷达采集的点云数据、机载惯性传感器采集的加速度及角速度数据，生成无人机导航信号；
所述降落模块，基于二维码图像数据，进行状态估计，计算得到降落规划信号；
所述飞控模块，基于无人机导航信号、降落规划信号及地面站对空控制信号，输出飞行控制指令，用于无人机自主地起飞、导航至检测目标位置并降落至无人车内；
所述图像采集模块，用于采集检测目标图像数据及二维码图像数据；
所述机载输出模块，用于将检测目标图像数据输出至地面站接收模块。
通过上述系统，可以通过地面站实现对无人机及无人车的协同控制；并通过激光雷达及惯性传感器，实现无人机及无人车自主航行。
第三方面，基于相同的发明构思，本申请还提供了一种用于检测结构缺陷的地空协同装置，包括无人车、无人机及地面站：
所述无人车，用于运输、放飞及降落无人机，搭载有车载激光雷达及车载惯性传感器：
所述车载激光雷达及所述车载惯性传感器，用于实现无人车自主同步定位与建图；
所述无人机，搭载有机载激光雷达、机载惯性传感器及相机：
所述机载激光雷达及所述机载惯性传感器，用于实现无人机自主同步定位与建图；
所述相机，用于拍摄检测目标及无人车上的二维码定位图像；
所述地面站分别与所述无人车及所述无人机无线连接，用于传输数据及指令，以执行如上所述的用于检测结构缺陷的地空协同方法。
通过上述装置，可以使无人机及无人车协同进行结构缺陷检测目标拍摄；并通过激光雷达及惯性传感器，避免了室内障碍物及室内全球定位信号差等不利因素的影响，实现无人机及无人车自主地进行导航行驶；并利用无人车运输无人机，节省了无人机电能，提升了室内结构缺陷的检测能力及效率。
优选地，所述无人机为四旋翼系留无人机，与所述无人车之间连接有供电线缆，这样可实现无人车向无人机的系留供电，从而突破机载动力电池的续航时间限制，提升了无人机的续航时间，并且四旋翼配置可以保证较好的飞行性能及较低的设备成本。
采用上述技术方案，本发明具有如下有益效果：
本发明提供的一种用于检测结构缺陷的地空协同方法、系统及装置，通过将无人机与无人车搭配使用的方式，进行地空协同检测拍摄：通过激光雷达及惯性传感器相结合的方式，实现无人车及无人机自主避障导航；又通过无人车运输无人机至放飞位置的方式，节约无人机电量；特别地，通过系留无人机方式，进一步提升了无人机的续航时间，从而大幅提升了针对结构缺陷的自主检测能力及自主检测效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种用于检测结构缺陷的地空协同方法流程图；
图2为本发明实施例提供的拍摄半径示意图；
图3为本发明实施例提供的无人机通过激光雷达融合惯性传感器进行同步定位与建图的算法框架图；
图4为本发明实施例提供的一种用于检测结构缺陷的地空协同装置工作框架图；
图5为本发明实施例提供的一种用于检测结构缺陷的地空协同装置电连接示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
下面结合具体的实施方式对本发明做进一步的解释说明。
还需要说明的是，下述具体实施例或具体实施方式，是本发明为进一步解释具体的发明内容而列举的一系列优化的设置方式，而这些设置方式之间均是可以相互结合或者相互关联使用的。
实施例一：
如图1所示，本实施例提供了一种用于检测结构缺陷的地空协同方法，包括如下步骤：
步骤1、构建无人车搭载无人机的地空协同系统；
步骤2、采集室内的空间数据，构建空间地图，依据检测目标的分布位置，在空间地图上规划无人车的行进路径及无人机的若干个放飞位置；
步骤3、采集检测目标的坐标，构建无人机的航线文件；
步骤4、无人车通过车载的激光雷达及惯性传感器进行同步定位与建图，并按照行进路径自主导航行驶至某个放飞位置；
步骤5、无人机起飞后，通过机载的激光雷达及惯性传感器进行同步定位与建图，对拍摄半径范围内的若干个检测目标执行拍摄任务并将检测目标的图像数据储存至地面站；
步骤6、无人机执行拍摄任务后通过二维码图像定位，降落至无人车中；
步骤7、无人车按照行进路径自主导航行驶至下一个放飞位置，执行步骤5，直至达到任务结束条件。
通过上述步骤，通过将无人机与无人车搭配使用的方式，进行地空协同检测拍摄：通过激光雷达及惯性传感器相结合的方式，实现无人车及无人机自主在室内进行避障导航；又通过无人车运输无人机至放飞位置的方式，节约无人机电量，最终提升了结构缺陷的自主检测能力及自主检测效率。
进一步地，所述无人机为旋翼系留无人机，这样可以实现系留供电、垂直起降、空中悬停等功能，便于飞行姿态控制及拍摄作业，并且依靠旋翼类无人机的微分平坦属性，仅需要4个变量（三维位置及偏航角）就可以表示无人机的全状态，极大降低了后序轨迹生成、路径规划等问题的复杂度。
进一步地，所述步骤2的具体步骤包括：
步骤21、手动操控无人车遍历室内的地面范围点，采集室内的地面数据；所述地面范围点包括墙角在地面的投影点等；
步骤22、手动操控无人机遍历室内的屋顶范围点，采集室内的高度数据；所述屋顶范围点包括墙角在屋顶的投影点等；
步骤23、基于地面数据及高度数据，构建空间地图，存储于地面站；
步骤24、依据检测目标的分布位置，在空间地图上规划无人车的行进路径及无人机的若干个放飞位置。
通过上述步骤，可以准确构建数据化的空间地图、无人车行进路径及无人机的放飞位置，以便后续处理。
进一步地，所述步骤3包括：
步骤31、手动操控无人机遍历室内的检测目标，记录无人机在检测目标的坐标，得到航点数据，并存储于地面站；
步骤32、基于空间地图及航点数据，设置各航点处无人机的飞行参数及飞行航路，得到航线文件；所述飞行参数包括飞行状态参数、相机焦距、相机俯仰角度等；所述飞行状态参数包括航向、螺旋桨转速等；所述飞行航路包括预设高度、抵近方式等；所述抵近方式包括直线抵近、折线抵近及弧线抵近等；
步骤33、将航线文件导入至机载接收模块。
通过上述步骤，便于建立数据化的航线文件。
进一步地，所述步骤5具体包括：
步骤501、无人机接收起飞指令后，垂直起飞至预设高度，达到初始悬停位置；
步骤502、如图2所示，计算初始悬停位置的拍摄半径；
步骤503、以当前位置为圆心、以当前拍摄半径为半径、以当前室内的高度数据为高在空间地图上做寻的圆柱体；
步骤504、将寻的圆柱体覆盖范围内的检测目标作为当前高度下的检测目标，计算检测目标与无人机的欧式距离，按照欧式距离进行排序后，依据由近及远的顺序和抵近方式进行飞行抵近并拍摄；
步骤505、如图3所示，通过机载惯性传感器采集坐标轴k的加速度及角速度/>后，进行坐标点W在第Li至第Lj时刻的预积分变换/>及/>，得到测量位置/>、测量速度及旋转四元数/>；
步骤506、通过机载激光雷达采集点云数据后，基于/>及/>进行线性插值矫正畸变，得到正畸后的点云数据/>;
步骤507、基于，提取第j时刻的特征点/>；
步骤508、基于，提取第o时刻至第i时刻的特征点/>，基于机载惯性传感器的位姿估计/>，构建局部地图/>;
步骤509、基于与/>，进行帧间匹配，得到两帧之间的距离约束/>；
步骤510、基于、/>、/>及/>构建代价函数，通过L-M法进行联合优化，得到位姿数据，从而提高定位精度、输出最优位姿；所述L-M法属于现有技术，是一种在Hessian矩阵上加一个正定矩阵来进行分析评估的寻优方法；
步骤511、基于位姿数据，无人机自主导航拍摄完毕所有当前寻的圆柱体内的检测目标后，将检测目标的图像数据通过无线传输方式储存至地面站。
通过上述步骤，构建出了扩展卡尔曼滤波器，从而将机载激光雷达特征点与机载惯性传感器进行数据如何，进而在存在噪声及杂波的复杂环境中，实现对无人机高速移动的强鲁棒性导航，完成对该放飞位置处所有检测目标自动拍摄任务。
需要说明的是，所述步骤4中无人车的同步定位与建图方法，与步骤505~步骤510类似，而且是通过车载激光雷达及车载惯性传感器，在二维地图中进行定位与建图，所以相应的参数更为简化，为节约篇幅，不再赘述。
进一步地，所述步骤5中的拍摄半径的计算公式可以为：
;
其中，表示系留线缆长度；/>表示安全余量；/>表示预设飞行高度；/>表示机载相机焦距。
进一步地，所述步骤6中通过二维码图像定位进行降落属于现有技术，简要来说，包括：通过机载相机，拍摄无人车上的至少4个二维码图像目标点，例如April Tag二维码；通过二维码图像，检测得到二维码坐标系中至少4个目标点坐标；通过二维码目标点在机载相机像平面的投影关系，得到目标点投影在机载相机像平面的坐标；基于机载相机与无人机的相对位置及无人机的位姿数据，进行状态估计，计算无人机空间惯性坐标系中的位置坐标；基于无人机空间惯性坐标系中的位置坐标，通过路径搜索及轨迹优化，得到由当前位置至无人车的降落规划轨迹；基于降落规划轨迹，无人机自动降落至无人车中。
进一步地，所述步骤7中的任务结束条件可以包括：接收到任务结束指令、所有检测目标均已拍摄完毕、达到任务结束时间、系统出现故障等。
实施例二：
本实施例提供了一种用于检测结构缺陷的地空协同系统，包括地面站系统、无人车系统及无人机系统：
所述地面站系统，包括地面站接收模块、地面站处理模块、地面站输出模块、地面站存储模块：
所述地面站接收模块，用于接收空间地图、无人机的航点数据、检测目标图像数据；
所述地面站处理模块，基于空间地图及航点数据，生成无人车行进路径、无人机放飞位置、无人机航线文件及无人机飞行航路；
所述地面站输出模块，包括对地输出单元及对空输出单元：
所述对地输出单元，用于将无人车行进路径、无人机放飞位置及地面站对地控制信号发送至无人车系统；
所述对空输出单元，用于将无人机航线文件、地面站对空控制信号发送至无人机系统；
所述地面站存储模块，用于存储检测目标图像数据；
所述无人车系统，包括车载接收模块、车载导航模块、车载控制模块：
所述车载接收模块，用于接收无人车的行进路径及无人机的放飞位置；
所述车载导航模块，基于无人车的行进路径及无人车的放飞位置，结合车载激光雷达采集的点云数据、车载惯性传感器采集的加速度及角速度数据，生成无人车导航信号；
所述车载控制模块，基于无人车导航信号及地面站对地控制信号，输出无人车控制指令，用于无人车自主行驶至放飞位置并起降无人机；
所述无人机系统，包括机载接收模块、机载导航模块、降落模块、飞控模块、图像采集模块、机载输出模块：
所述机载接收模块，用于接收无人机航线文件、地面站对空控制信号；
所述机载导航模块，基于无人机航线文件，结合机载激光雷达采集的点云数据、机载惯性传感器采集的加速度及角速度数据，生成无人机导航信号；
所述降落模块，基于二维码图像数据，进行状态估计，计算得到降落规划信号；
所述飞控模块，基于无人机导航信号、降落规划信号及地面站对空控制信号，输出飞行控制指令，用于无人机自主地起飞、导航至检测目标位置并降落至无人车内；
所述图像采集模块，用于采集检测目标图像数据及二维码图像数据；
所述机载输出模块，用于将检测目标图像数据输出至地面站接收模块。
实施例三：
本实施例提供了一种用于检测结构缺陷的地空协同装置，包括无人车、无人机及地面站：
所述无人车，用于运输、放飞及降落无人机，搭载有车载激光雷达及车载惯性传感器：
所述车载激光雷达及所述车载惯性传感器，用于实现无人车自主同步定位与建图；
所述无人机，搭载有机载激光雷达、机载惯性传感器及相机：
所述机载激光雷达及所述机载惯性传感器，用于实现无人机自主同步定位与建图；
所述相机，用于拍摄检测目标及无人车上的二维码定位图像；
所述地面站分别与所述无人车及所述无人机无线连接，用于传输数据及指令，以执行如上所述的用于检测结构缺陷的地空协同方法。
优选地，所述无人机为四旋翼系留无人机，与所述无人车之间连接有供电线缆，这样可实现无人车向无人机的系留供电，从而突破机载动力电池的续航时间限制，提升了无人机的续航时间，并且四旋翼配置可以保证较好的飞行性能及较低的设备成本。
进一步地，所述无人车包括机舱，所述机舱设置于无人车的顶部，用于起降及固定所述无人机。
进一步地，所述相机包括云台，用于调整相机的拍摄角度。
本方案装置的具体工作流程可以如图4所示，简述如下：
手动遥控无人车及无人机采集室内的空间数据搭建空间地图；在空间地图上规划无人车的行进路径、无人机的放飞位置及航线文件分发至无人车及无人机；无人车通过地控平台、无人机通过飞控平台分别进行系统自建地图；对机载计算平台等进行初始化；机载计算平台调用地图数据；地面站发出指令后无人车开始移动并通过激光雷达及惯性传感器进行自动避障；无人车到达放飞位置后打开机舱舱门放飞无人机；无人机垂直起飞至预设高度；无人机通过预设检测目标位置、视觉识别等方式找寻检测目标；发现检测目标后，通过改变云台相机的俯仰角度、改变飞行高度及飞行航线等方式抵近检测目标；对检测目标进行拍照和/或录像后完成巡检；无人机通过通信中继模块及通信模块地面端，将图像数据保存至地面站；无人机通过无人车上的二维码图像进行定位，并依据定位数据降落至机舱；机舱固定住无人机后，无人车关闭机舱；无人车接收到地面站继续巡查的指令后移动至下一个放飞位置，继续进行无人机放飞拍摄循环，直至接收到地面站发出的结束巡查指令。
进一步地，所述无人车还包括锂电池、逆变器及系留电源地面端：所述锂电池连接所述逆变器的输入端，用于向逆变器输出48V直流电；所述逆变器的输出端连接所述系留电源地面端，用于将48V直流电转换为220V交流电并输出至系留电源地面端；所述系留电源地面端，用于对外输出400V直流电；
所述无人机还包括系留电源天空端、备用电池、电流计及分电板：所述系留电源天空端，分别与所述系留电源地面端及所述电流计的输入端相连，用于接收400V直流电并向电流计输出25V直流电；所述电流计的输出端分别连接所述分电板及无人机的飞控模块，用于分别向分电板输出25V直流电，向飞控模块输出5V直流电；所述分电板的输出端分别连接旋翼马达、激光雷达、云台、直流变压器、数传电台天空端，用于向旋翼马达、激光雷达及直流变压器输出25V直流电，向云台及数传电台天空端输出12V直流电；所述备用电池的输出端连接所述电流计的输入端，用于提供备用25V直流电，具体线路连接关系如图5所示。
本方案在又一种实施方式下，还可以通过设备的方式来实现，该设备可以包括执行上述各个实施方式中各个或几个步骤的相应模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
处理器执行上文所描述的各个方法和处理。例如，本方案中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方法中的一个或多个步骤。备选地，在其它实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
该设备可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线将包括一个或多个处理器、存储器和/或硬件模块的各种电路连接到一起。总线还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其它电路连接。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种用于检测结构缺陷的地空协同方法，其特征在于，包括：
步骤1、构建无人车搭载无人机的地空协同系统；
步骤2、采集室内的空间数据，构建空间地图，依据检测目标的分布位置，在空间地图上规划无人车的行进路径及无人机的若干个放飞位置；
步骤3、采集检测目标的坐标，构建无人机的航线文件；
步骤4、无人车通过激光雷达及惯性传感器进行同步定位与建图，并按照行进路径自主导航行驶至某个放飞位置；
步骤5、无人机起飞后，通过激光雷达及惯性传感器进行同步定位与建图，对拍摄半径范围内的若干个检测目标执行拍摄任务并将检测目标的图像数据储存至地面站；
步骤6、无人机执行拍摄任务后通过二维码图像定位，降落至无人车中；
步骤7、无人车按照行进路径自主导航行驶至下一个放飞位置，执行步骤5，直至达到任务结束条件。
2.根据权利要求1所述的方法，其特征在于，所述无人机为旋翼系留无人机。
3.根据权利要求2所述的方法，其特征在于，所述步骤3包括：
步骤31、手动操控无人机遍历室内的检测目标，记录无人机在检测目标的坐标，得到航点数据，并存储于地面站；
步骤32、基于空间地图及航点数据，设置各航点处无人机的飞行参数及飞行航路，得到航线文件；
步骤33、将航线文件导入至机载接收模块。
4.根据权利要求3所述的方法，其特征在于，所述步骤5包括：
步骤501、无人机接收起飞指令后，垂直起飞至预设高度，达到初始悬停位置；
步骤502、计算初始悬停位置的拍摄半径；
步骤503、以当前位置为圆心、以当前拍摄半径为半径、以当前室内的高度数据为高在空间地图上做寻的圆柱体；
步骤504、将寻的圆柱体覆盖范围内的检测目标作为当前高度下的检测目标，计算检测目标与无人机的欧式距离，按照欧式距离进行排序后，依据由近及远的顺序和抵近方式进行飞行抵近并拍摄；
步骤505、通过机载惯性传感器采集坐标轴k的加速度及角速度/>后，进行坐标点W在第Li至第Lj时刻的预积分变换/>及/>，得到测量位置/>、测量速度/>及旋转四元数/>；
步骤506、通过机载激光雷达采集点云数据后，基于/>及/>进行线性插值矫正畸变，得到正畸后的点云数据/>;
步骤507、基于，提取第j时刻的特征点/>；
步骤508、基于，提取第o时刻至第i时刻的特征点/>，基于机载惯性传感器的位姿估计/>，构建局部地图/>;
步骤509、基于与/>，进行帧间匹配，得到两帧之间的距离约束/>；
步骤510、基于、/>、/>及/>构建代价函数，通过L-M法进行联合优化，得到位姿数据；
步骤511、基于位姿数据，无人机自主导航拍摄完毕所有当前寻的圆柱体内的检测目标后，将检测目标的图像数据通过无线传输方式储存至地面站。
5.根据权利要求4所述的方法，其特征在于，所述步骤502中拍摄半径的计算公式为：
;
其中，表示系留线缆长度；/>表示安全余量；/>表示预设飞行高度；/>表示机载相机焦距。
6.根据权利要求1所述的方法，其特征在于，所述步骤7中的任务结束条件为下述条件之一：接收到任务结束指令、所有检测目标均已拍摄完毕、达到任务结束时间及系统出现故障。
7.一种用于检测结构缺陷的地空协同系统，其特征在于，包括地面站系统、无人车系统及无人机系统：
所述地面站系统，包括地面站接收模块、地面站处理模块、地面站输出模块、地面站存储模块：
所述地面站接收模块，用于接收空间地图、无人机的航点数据、检测目标图像数据；
所述地面站处理模块，基于空间地图及航点数据，生成无人车行进路径、无人机放飞位置、无人机航线文件及无人机飞行航路；
所述地面站输出模块，包括对地输出单元及对空输出单元：
所述对地输出单元，用于将无人车行进路径、无人机放飞位置及地面站对地控制信号发送至无人车系统；
所述对空输出单元，用于将无人机航线文件、地面站对空控制信号发送至无人机系统；
所述地面站存储模块，用于存储检测目标图像数据；
所述无人车系统，包括车载接收模块、车载导航模块、车载控制模块：
所述车载接收模块，用于接收无人车的行进路径及无人机的放飞位置；
所述车载导航模块，基于无人车的行进路径及无人车的放飞位置，结合车载激光雷达采集的点云数据、车载惯性传感器采集的加速度及角速度数据，生成无人车导航信号；
所述车载控制模块，基于无人车导航信号及地面站对地控制信号，输出无人车控制指令，用于无人车自主行驶至放飞位置并起降无人机；
所述无人机系统，包括机载接收模块、机载导航模块、降落模块、飞控模块、图像采集模块、机载输出模块：
所述机载接收模块，用于接收无人机航线文件、地面站对空控制信号；
所述机载导航模块，基于无人机航线文件，结合机载激光雷达采集的点云数据、机载惯性传感器采集的加速度及角速度数据，生成无人机导航信号；
所述降落模块，基于二维码图像数据，进行状态估计，计算得到降落规划信号；
所述飞控模块，基于无人机导航信号、降落规划信号及地面站对空控制信号，输出飞行控制指令，用于无人机自主地起飞、导航至检测目标位置并降落至无人车内；
所述图像采集模块，用于采集检测目标图像数据及二维码图像数据；
所述机载输出模块，用于将检测目标图像数据输出至地面站接收模块。
8.一种用于检测结构缺陷的地空协同装置，其特征在于，包括无人车、无人机及地面站：
所述无人车，用于运输、放飞及降落无人机，搭载有车载激光雷达及车载惯性传感器：
所述车载激光雷达及所述车载惯性传感器，用于实现无人车自主同步定位与建图；
所述无人机，搭载有机载激光雷达、机载惯性传感器及相机：
所述机载激光雷达及所述机载惯性传感器，用于实现无人机自主同步定位与建图；
所述相机，用于拍摄检测目标及无人车上的二维码定位图像；
所述地面站分别与所述无人车及所述无人机无线连接，用于传输数据及指令，以执行如权利要求1~6中的任一所述的方法。
9.根据权利要求8所述的装置，其特征在于，所述无人车包括机舱，所述机舱设置于无人车的顶部，用于起降及固定所述无人机。
10.根据权利要求8所述的装置，其特征在于，所述相机包括云台，用于调整相机的拍摄角度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311201112.9A CN116989771B (zh) | 2023-09-18 | 2023-09-18 | 一种用于检测结构缺陷的地空协同方法、系统及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311201112.9A CN116989771B (zh) | 2023-09-18 | 2023-09-18 | 一种用于检测结构缺陷的地空协同方法、系统及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116989771A true CN116989771A (zh) | 2023-11-03 |
| CN116989771B CN116989771B (zh) | 2024-01-23 |
Family
ID=88526906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311201112.9A Active CN116989771B (zh) | 2023-09-18 | 2023-09-18 | 一种用于检测结构缺陷的地空协同方法、系统及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116989771B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117506966A (zh) * | 2024-01-08 | 2024-02-06 | 清华四川能源互联网研究院 | 一种空地协同机器人 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106741890A (zh) * | 2016-11-28 | 2017-05-31 | 北京交通大学 | 一种基于空轨两用无人机的高速铁路安全检测系统 |
| CN106774221A (zh) * | 2017-01-22 | 2017-05-31 | 江苏中科院智能科学技术应用研究院 | 一种无人机与无人车协作巡逻系统及方法 |
| CN109901624A (zh) * | 2019-04-11 | 2019-06-18 | 株洲时代电子技术有限公司 | 一种桥梁巡检方法 |
| WO2020220158A1 (zh) * | 2019-04-28 | 2020-11-05 | 深圳市大疆创新科技有限公司 | 一种无人机的控制方法、无人机及计算机可读存储介质 |
| CN112987061A (zh) * | 2021-02-08 | 2021-06-18 | 福州大学 | 一种基于gps和激光雷达模糊融合定位方法 |
| CN115164870A (zh) * | 2022-07-06 | 2022-10-11 | 沈阳航空航天大学 | 一种空地协作模式下的室内自主相对定位导航方法 |
| CN115729247A (zh) * | 2022-11-28 | 2023-03-03 | 中国科学院深圳先进技术研究院 | 一种无人车与集群无人机协同作业方法和相关装置 |
| CN116382253A (zh) * | 2023-04-27 | 2023-07-04 | 北京易控智驾科技有限公司 | 一种用于无人车应急救援的系统及方法 |
| CN116540784A (zh) * | 2023-06-28 | 2023-08-04 | 西北工业大学 | 一种基于视觉的无人系统空地协同导航与避障方法 |
-
2023
- 2023-09-18 CN CN202311201112.9A patent/CN116989771B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106741890A (zh) * | 2016-11-28 | 2017-05-31 | 北京交通大学 | 一种基于空轨两用无人机的高速铁路安全检测系统 |
| CN106774221A (zh) * | 2017-01-22 | 2017-05-31 | 江苏中科院智能科学技术应用研究院 | 一种无人机与无人车协作巡逻系统及方法 |
| CN109901624A (zh) * | 2019-04-11 | 2019-06-18 | 株洲时代电子技术有限公司 | 一种桥梁巡检方法 |
| WO2020220158A1 (zh) * | 2019-04-28 | 2020-11-05 | 深圳市大疆创新科技有限公司 | 一种无人机的控制方法、无人机及计算机可读存储介质 |
| CN112987061A (zh) * | 2021-02-08 | 2021-06-18 | 福州大学 | 一种基于gps和激光雷达模糊融合定位方法 |
| CN115164870A (zh) * | 2022-07-06 | 2022-10-11 | 沈阳航空航天大学 | 一种空地协作模式下的室内自主相对定位导航方法 |
| CN115729247A (zh) * | 2022-11-28 | 2023-03-03 | 中国科学院深圳先进技术研究院 | 一种无人车与集群无人机协同作业方法和相关装置 |
| CN116382253A (zh) * | 2023-04-27 | 2023-07-04 | 北京易控智驾科技有限公司 | 一种用于无人车应急救援的系统及方法 |
| CN116540784A (zh) * | 2023-06-28 | 2023-08-04 | 西北工业大学 | 一种基于视觉的无人系统空地协同导航与避障方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117506966A (zh) * | 2024-01-08 | 2024-02-06 | 清华四川能源互联网研究院 | 一种空地协同机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116989771B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7274674B1 (ja) | 無人航空機による３次元再構成の実行 | |
| EP3400494B1 (en) | Flight path determination | |
| US11455895B2 (en) | Roof scan using unmanned aerial vehicle | |
| CN105449876A (zh) | 一种电力巡线多旋翼飞行器的自主无线充电系统 | |
| CN116989771B (zh) | 一种用于检测结构缺陷的地空协同方法、系统及装置 | |
| CN110333735B (zh) | 一种实现无人机水陆二次定位的系统和方法 | |
| CN103941750A (zh) | 基于小型四旋翼无人机的构图装置及方法 | |
| CN111443727A (zh) | 一种多旋翼无人机的飞行控制管理系统及方法 | |
| CN112789568A (zh) | 控制和导航系统 | |
| CN113271357B (zh) | 一种地空协同组网系统及控制方法 | |
| CN106052695A (zh) | 一种利用360°激光扫描仪导航的飞行巡视系统及方法 | |
| CN113077561A (zh) | 一种无人机智能巡检系统 | |
| CN113568427B (zh) | 无人机自主着陆移动平台的方法及系统 | |
| CN213750765U (zh) | 一种用于协同搜索视觉无人机及协同搜索平台 | |
| CN113110534A (zh) | 一种小型无人机控制与感知系统 | |
| Smaoui et al. | Automated scanning of concrete structures for crack detection and assessment using a drone | |
| CN116627172A (zh) | 一种基于无人机的电网室内自动巡检系统 | |
| CN216248928U (zh) | 基于信标组网的无人机自主定航系统 | |
| CN214586562U (zh) | 一种基于视觉的四旋翼无人机自主飞行系统 | |
| CN117864457A (zh) | 无人机平台以及数据链分系统 | |
| CN113110533A (zh) | 一种用于输电线路智能巡检的小轴距多旋翼无人机 | |
| CN117647999A (zh) | 一种无人机控制方法、无人机及可读介质 | |
| CN117347944A (zh) | 一种多旋翼电磁信号干扰排查系统及测向定位方法 | |
| CN115237158A (zh) | 多旋翼无人机自主跟踪与着陆控制系统及控制方法 | |
| CN114993261A (zh) | 无人自主避障空间探测系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |