CN113885558A - 一种大坝表面图像无人机自动安全采集方法和系统 - Google Patents
一种大坝表面图像无人机自动安全采集方法和系统 Download PDFInfo
- Publication number
- CN113885558A CN113885558A CN202111139146.0A CN202111139146A CN113885558A CN 113885558 A CN113885558 A CN 113885558A CN 202111139146 A CN202111139146 A CN 202111139146A CN 113885558 A CN113885558 A CN 113885558A
- Authority
- CN
- China
- Prior art keywords
- point
- dam
- point cloud
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000007689 inspection Methods 0.000 claims abstract description 101
- 238000005070 sampling Methods 0.000 claims abstract description 17
- 230000011218 segmentation Effects 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000011144 upstream manufacturing Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 238000012217 deletion Methods 0.000 claims description 7
- 230000037430 deletion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 238000012546 transfer Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
- G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种大坝表面图像无人机自动安全采集方法和系统，通过获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；对获取的点云数据进行下采样及分类；提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；依据巡检点及法线信息，规划相机空间位置及拍摄方位；采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。本发明可实现自动图像采集，且保证近距离图像采集安全高效。
Description
技术领域
本发明属于大坝安全监控技术领域，尤其公开了一种基于点云数据的大坝表面图像无人机自动安全采集方法和系统。
背景技术
采用无人机对大坝表面进行图像采集能够及时有效发现大坝表面存在的缺陷如裂缝、渗漏等，对保障大坝安全稳定具有重要意义。然而，大坝属于大型建筑物，其缺陷可能只有毫米级如裂缝，若采用人工操作无人机进行图像近距离采集，由于所需的航线点数量过大，尤其是对结构复杂多变的情况，导致前期路径规划上需要耗费较长时间及人力物力，同时近距离航线规划中的安全问题也是巡视检查的重点，目前基于点云数据的无人机路径规划技术有很多，但是尚未见基于大坝自身结构及缺陷特点提出自动化图像采集方法。
因此，采用无人机自动规划路径技术对大坝表面图像进行自动化采集的同时还能保证在适当安全距离外，将显著提高大坝表面图像采集效率，具有很强的实用价值。
发明内容
本发明提供了一种大坝表面图像无人机自动安全采集方法和系统，旨在采用无人机自动规划路径技术对大坝表面图像进行自动化采集。
本发明的一方面涉及一种大坝表面图像无人机自动安全采集方法，包括以下步骤：
采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；
对获取的点云数据进行下采样及分类；
提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；
计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；
依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；
采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。
进一步地，对获取的点云数据进行下采样及分类的步骤包括：
采用基于体素分割的算法进行下采样；
采用人工裁切的方式进行点云分类，把大坝主要分为上游面点云、下游面点云和坝顶点云；
若坝体表面存在较为复杂的情况，则对点云进行细分，如坝身溢洪道部分；对于贴近大坝表面的其他建筑物，若导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则剔除掉该类建筑物及其贴近的大坝表面点云部分。
进一步地，提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移生成初步巡检点的步骤包括：
对提取的大坝表面点云数据中的点k-近邻拟合平面，即采用最小二乘法拟合平面，对于提取的大坝表面点云数据中的点pi，对应的协方差矩阵Cov为：
Cov·vk＝λk·vk，k＝1，2，3
其中，n是点pi邻近点的数目，通过构建对大坝表面及周边点云数据的KD-Tree，可获取表面点云数据中与巡检点最近的n个点；
表示n个邻近点的质心即为平均值，λk是协方差矩阵的第k个特征值，vk是第k个特征向量；
求出拟合平面的法线，最终的法线向量即为最小特征值对应的特征向量。
进一步地，计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点的步骤包括：
构建对大坝表面及周边点云数据的KD--Tree，查询表面点云数据中与巡检点最近的点；
依据查询出的与巡检点最近的点，计算其距离，当该距离小于安全避障距离时，则舍弃掉该巡检点。
进一步地，采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线的步骤包括：
采用最短路径规划方法，求解最短Hamilton路径；
当两点之间的直线距离超过预设的距离阈值时，则按照设定的距离分段截取中间点，其中，距离阈值的设定宜大于体素分割的最小尺寸的1.5倍，分段截取的距离需小于体素分割的最小尺寸；
判断中间点是否在安全距离内，若不存在，则构建中转点，其中，中转点是人工设置的视野开阔且远大于安全距离的固定点集。
本发明的另一方面涉及一种大坝表面图像无人机自动安全采集系统，包括：
获取模块，用于采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；
分类模块，用于对获取的点云数据进行下采样及分类；
生成模块，用于提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；
删除模块，用于计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；
规划模块，用于依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；
构建模块，用于采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。
进一步地，分类模块包括：
分类单元，用于采用基于体素分割的算法，对点云数据进行下采样；然后，采用人工裁切的方式进行点云分类，把大坝主要分为上游面点云、下游面点云和坝顶点云；
处理单元，用于若坝体表面存在较为复杂的情况，则对点云进行细分，如坝身溢洪道部分；对于贴近大坝表面的其他建筑物，若导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则剔除掉该类建筑物及其贴近的大坝表面点云部分。
进一步地，生成模块包括：
拟合单元，用于对提取的大坝表面点云数据中的点k-近邻拟合平面，即采用最小二乘法拟合平面，对于提取的大坝表面点云数据中的点pi，对应的协方差矩阵Cov为：
Cov·vk＝λk·vk，k＝1，2，3
其中，n是点pi邻近点的数目，通过构建对大坝表面及周边点云数据的KD-Tree，可获取表面点云数据中与巡检点最近的n个点；
表示n个邻近点的质心即为平均值，λk是协方差矩阵的第k个特征值，vk是第k个特征向量；
第一计算单元，用于求出拟合平面的法线，最终的法线向量即为最小特征值对应的特征向量。
进一步地，删除模块包括：
第一构建单元，用于构建对大坝表面及周边点云数据的KD-Tree，查询表面点云数据中与巡检点最近的点；
舍弃单元，用于依据查询出的与巡检点最近的点，计算其距离，当该距离小于安全避障距离时，则舍弃掉该巡检点。
进一步地，构建模块包括：
第二计算单元，用于采用最短路径规划方法，求解最短Hamilton路径；
截取单元，用于当两点之间的直线距离超过预设的距离阈值时，则按照设定的距离分段截取中间点，其中，距离阈值的设定宜大于体素分割的最小尺寸的1.5倍，分段截取的距离需小于体素分割的最小尺寸；
第二构建单元，用于判断中间点是否在安全距离内，若不存在，则构建中转点，其中，中转点是人工设置的视野开阔且远大于安全距离的固定点集。
本发明所取得的有益效果为：
本发明提供一种大坝表面图像无人机自动安全采集方法和系统，采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；对获取的点云数据进行下采样及分类；提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。本发明提供的大坝表面图像无人机自动安全采集方法和系统，采用无人机三维点云数据与外法线平移的方式来获取大坝表面图像，可实现自动图像采集，同时依据大坝的缺陷特点，规定了数据详细处理流程，如点云裁切分类、三维点云尺寸设置、法向量方向判断方法等。提出大坝巡检点安全距离判断准则，中转点过渡的巡检转移方式，有效防止两个巡检点之间的路线穿过非安全区域，从而保证近距离图像采集安全高效，尤其适用于结构复杂多变的巡检区域。
附图说明
图1为本发明提供的大坝表面图像无人机自动安全采集方法一实施例的流程示意图；
图2为图1中所示的对获取的点云数据进行下采样及分类的步骤一实施例的细化流程示意图；
图3为图1中所示的提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移生成初步巡检点的步骤一实施例的细化流程示意图；
图4为图1中所示的计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点的步骤一实施例的细化流程示意图；
图5为图1中所示的采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线的步骤一实施例的细化流程示意图；
图6为本发明提供的大坝表面图像无人机自动安全采集系统一实施例的功能框图；
图7为图6中所示的分类模块一实施例的功能模块示意图；
图8为图6中所示的生成模块一实施例的功能模块示意图；
图9为图6中所示的删除模块一实施例的功能模块示意图；
图10为图6中所示的构建模块一实施例的功能模块示意图。
附图标号说明：
10、获取模块；20、分类模块；30、生成模块；40、删除模块；50、规划模块；60、构建模块；21、分类单元；22、处理单元；31、拟合单元；32、第一计算单元；41、第一构建单元；42、舍弃单元；61、第二计算单元；62、截取单元；63、第二构建单元。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
如图1所示，本发明第一实施例提出一种大坝表面图像无人机自动安全采集方法，包括以下步骤：
步骤S100、采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据。
其中，大坝表面主要包括坝顶和大坝上下游面。
步骤S200、对获取的点云数据进行下采样及分类。
进一步地，请见图2，步骤S200包括：
步骤S210、采用基于体素分割的算法进行点云下采样。
步骤S220、采用人工裁切的方式进行点云分类，把大坝主要分为上游面点云、下游面点云和坝顶点云。
步骤S230、若坝体表面存在较为复杂的情况，则对点云进行细分；对于贴近大坝表面的其他建筑物，若导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则剔除掉该类建筑物及其贴近的大坝表面点云部分。
其中，下采样方法采用基于体素分割的算法，对于大坝裂纹图像采集，体素分割的最小尺寸不能大于1米；采用人工裁切的方式进行点云分类，即把大坝主要分为上游面点云，下游面点云，坝顶点云等；在一些坝体表面较为复杂的情况，可进一步对点云进行细分，如坝体溢洪道部分；而对于贴近大坝表面的其他建筑物，导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则需要剔除掉该类建筑物及其贴近的大坝表面点云部分。
步骤S300、提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点。
优选地，参见图3，步骤S300包括：
步骤S310、对提取的大坝表面点云数据中的点k-近邻拟合平面，即采用最小二乘法拟合平面，对于提取的大坝表面点云数据中的点pi，对应的协方差矩阵Cov为：
Cov·vk＝λk·vk，k＝1，2，3 (2)
在公式(1)和(2)中，n是点pi邻近点的数目，通过构建对大坝表面及周边点云数据的KD-Tree，可获取表面点云数据中与巡检点最近的n个点；
表示n个邻近点的质心即为平均值，λk是协方差矩阵的第k个特征值，vk是第k个特征向量。
步骤S320、求出拟合平面的法线，最终的法线向量即为最小特征值对应的特征向量。
其中，点云的法线计算方法为首先对这个点的k近邻拟合平面，然后求这个平面的法线。该问题可转换成一个最小二乘平面拟合问题。对于每一个点pi，对应的协方差矩阵Cov。
最终的法线向量即为最小特征值对应的特征向量。当估计的点外法线方向朝向大坝内部时，则取其反方向。对于法线方向不一致的情况，优选地，可采用K均值聚类算法将法线矢量空间聚类成两类，将某一类别的法线向量取其反方向与剩下类别保持一致。平移距离则依据拍摄对象、相机成像质量共同确定，平移距离不小于2米。
步骤S400、计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点。
进一步地，请见图4，步骤S400包括：
步骤S410、构建对大坝表面及周边点云数据的KD-Tree，查询表面点云数据中与巡检点最近的点。
步骤S420、依据查询出的与巡检点最近的点，计算其距离，当该距离小于安全避障距离时，则舍弃掉该巡检点。
其中，安全避障距离根据不同的物体取值有所不同，例如输电线路需要根据电压等级划分，其他一般性建筑物的安全避障距离不小于2米，通过构建对大坝表面及周边点云数据的KD-Tree，查询表面点云数据中与巡检点最近的点，并计算其距离，当距离小于安全避障距离时，则舍弃掉该巡检点。
步骤S500、依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性。
其中，相机的空间位置即为巡检点的空间位置，拍摄方位则为内法线方向。
步骤S600、采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。
进一步地，步骤S600包括：
步骤S610、采用最短路径规划方法，求解最短Hamilton路径。
步骤S620、当两点之间的直线距离超过预设的距离阈值时，则按照设定的距离分段截取中间点，其中，距离阈值的设定宜大于体素分割的最小尺寸的1.5倍，分段截取的距离需小于体素分割的最小尺寸。
步骤S630、判断中间点是否在安全距离内，若不存在，则构建中转点，其中，中转点是人工设置的视野开阔且远大于安全距离的固定点集。
其中，路径规划算法采用最短路径规划方法，优选地，可看成求解最短Hamilton路径问题；当两点直线距离超过设定阈值时，阈值设定需大于体素分割的最小尺寸的1.5倍，按一定距离进行分段截取中间点，分段截取的距离需小于体素分割的最小尺寸，然后判断中间点是否在安全距离内，判断标准为步骤S400，若不存在，则构建中转点，中转点是人工设置的视野开阔且远大于安全距离的固定点集，中转点集的连接路径不存在安全避障问题，只需要选取两个巡检点与中转点之间的路线即可，同样巡检点与中转点之间路线也不能穿过非安全区域。
本实施例提供的大坝表面图像无人机自动安全采集方法，同现有技术相比，采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；对获取的点云数据进行下采样及分类；提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。本实施例提供的大坝表面图像无人机自动安全采集方法，采用无人机三维点云数据与外法线平移的方式来获取大坝表面图像，可实现自动图像采集，同时依据大坝的缺陷特点，规定了数据详细处理流程，如点云裁切分类、三维点云尺寸设置、法向量方向判断方法等。提出大坝巡检点安全距离判断准则，中转点过渡的巡检转移方式，有效防止两个巡检点之间的路线穿过非安全区域，从而保证近距离图像采集安全高效，尤其适用于结构复杂多变的巡检区域。
如图6所示，图6为本发明提供的大坝表面图像无人机自动安全采集系统一实施例的功能框图，在本实施例中，该大坝表面图像无人机自动安全采集系统，包括获取模块10、分类模块20、生成模块30、删除模块40、规划模块50和构建模块60，其中，获取模块10，用于采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；分类模块20，用于对获取的点云数据进行下采样及分类；生成模块30，用于提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；删除模块40，用于计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；规划模块50，用于依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；构建模块60，用于采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。
优选地，请见图7，图7为图6中所示的分类模块一实施例的功能模块示意图，本实施例中，分类模块20包括采集单元21和分类单元22，其中，分类单元21，用于采用基于体素分割的算法进行点云下采样；然后采用人工裁切的方式进行点云分类，把大坝主要分为上游面点云、下游面点云和坝顶点云；处理单元22，用于若坝体表面存在较为复杂的情况，则对点云进行细分；对于贴近大坝表面的其他建筑物，若导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则剔除掉该类建筑物及其贴近的大坝表面点云部分。其中，大坝表面主要包括坝顶和大坝上下游面。
进一步地，参见图8，图8为图6中所示的生成模块一实施例的功能模块示意图，在本实施例中，生成模块30包括拟合单元31和第一计算单元32，拟合单元31用于对提取的大坝表面点云数据中的点k-近邻拟合平面，即采用最小二乘法拟合平面，对于提取的大坝表面点云数据中的点pi，对应的协方差矩阵Cov为：
Cov·vk＝λk·vk，k＝1，2，3 (4)
在公式(3)和(4)中，n是点pi邻近点的数目，通过构建对大坝表面及周边点云数据的KD-Tree，可获取表面点云数据中与巡检点最近的n个点；
表示n个邻近点的质心即为平均值，λk是协方差矩阵的第k个特征值，vk是第k个特征向量。
第一计算单元32用于求出拟合平面的法线，最终的法线向量即为最小特征值对应的特征向量。
在本实施例中，点云的法线计算方法为首先对这个点的k近邻拟合平面，然后求这个平面的法线。该问题可转换成一个最小二乘平面拟合问题。对于每一个点pi，对应的协方差矩阵Cov。
最终的法线向量即为最小特征值对应的特征向量。当估计的点外法线方向朝向大坝内部时，则取其反方向。对于法线方向不一致的情况，优选地，可采用K均值聚类算法将法线矢量空间聚类成两类，将某一类别的法线向量取其反方向与剩下类别保持一致。平移距离则依据拍摄对象、相机成像质量共同确定，平移距离不小于2米。
进一步地，参见图9，图9为图6中所示的删除模块一实施例的功能模块示意图，在本实施例中，删除模块40包括第一构建单元41和舍弃单元42，第一构建单元41用于构建对大坝表面及周边点云数据的KD-Tree，查询表面点云数据中与巡检点最近的点。舍弃单元42用于依据查询出的与巡检点最近的点，计算其距离，当该距离小于安全避障距离时，则舍弃掉该巡检点。
在本实施例中，安全避障距离根据不同的物体取值有所不同，例如输电线路需要根据电压等级划分，其他一般性建筑物的安全避障距离不小于2米，通过构建对大坝表面及周边点云数据的KD-Tree，查询表面点云数据中与巡检点最近的点，并计算其距离，当距离小于安全避障距离时，则舍弃掉该巡检点。
优选地，请见图10，图10为图6中所示的构建模块一实施例的功能模块示意图，在本实施例中，构建模块60包括第二计算单元61、截取单元62和第二构建单元63，其中，第二计算单元61用于采用最短路径规划方法，求解最短Hamilton路径；截取单元62用于当两点之间的直线距离超过预设的距离阈值时，则按照设定的距离分段截取中间点，其中，距离阈值的设定宜大于体素分割的最小尺寸的1.5倍，分段截取的距离需小于体素分割的最小尺寸；第二构建单元63用于判断中间点是否在安全距离内，若不存在，则构建中转点，其中，中转点是人工设置的视野开阔且远大于安全距离的固定点集。
在本实施例中，路径规划算法采用最短路径规划方法，优选地，可看成求解最短Hamilton路径问题；当两点直线距离超过设定阈值时，阈值设定需大于体素分割的最小尺寸的1.5倍，按一定距离进行分段截取中间点，分段截取的距离需小于体素分割的最小尺寸，然后判断中间点是否在安全距离内，判断标准为计算中间点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该中间点，若不存在，则构建中转点，中转点是人工设置的视野开阔且远大于安全距离的固定点集，中转点集的连接路径不存在安全避障问题，只需要选取两个巡检点与中转点之间的路线即可，同样巡检点与中转点之间路线也不能穿过非安全区域。
本实施例提供一种大坝表面图像无人机自动安全采集系统，同现有技术相比，采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；对获取的点云数据进行下采样及分类；提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。本实施例提供的大坝表面图像无人机自动安全采集系统，采用无人机三维点云数据与外法线平移的方式来获取大坝表面图像，可实现自动图像采集，同时依据大坝的缺陷特点，规定了数据详细处理流程，如点云裁切分类、三维点云尺寸设置、法向量方向判断方法等。提出大坝巡检点安全距离判断准则，中转点过渡的巡检转移方式，有效防止两个巡检点之间的路线穿过非安全区域，从而保证近距离图像采集安全高效，尤其适用于结构复杂多变的巡检区域。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种大坝表面图像无人机自动安全采集方法，其特征在于，包括以下步骤：
采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；
对获取的点云数据进行下采样及分类；
提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；
计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；
依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；
采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。
2.如权利要求1所述的大坝表面图像无人机自动安全采集方法，其特征在于，所述对获取的点云数据进行下采样及分类的步骤包括：
采用基于体素分割的算法进行点云下采样；
采用人工裁切的方式进行点云分类，把大坝主要分为上游面点云、下游面点云和坝顶点云；
若坝体表面存在较为复杂的情况，则对点云进行细分；对于贴近大坝表面的其他建筑物，若导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则剔除掉该类建筑物及其贴近的大坝表面点云部分。
3.如权利要求1所述的大坝表面图像无人机自动安全采集方法，其特征在于，所述提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移生成初步巡检点的步骤包括：
对提取的大坝表面点云数据中的点k-近邻拟合平面，即采用最小二乘法拟合平面，对于提取的大坝表面点云数据中的点pi，对应的协方差矩阵Cov为：
Cov·vk＝λk·vk，k＝1，2，3
其中，n是点pi邻近点的数目，通过构建对大坝表面及周边点云数据的KD-Tree，可获取表面点云数据中与巡检点最近的n个点；
表示n个邻近点的质心即为平均值，λk是协方差矩阵的第k个特征值，vk是第k个特征向量；
求出拟合平面的法线，最终的法线向量即为最小特征值对应的特征向量。
4.如权利要求1所述的大坝表面图像无人机自动安全采集方法，其特征在于，所述计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点的步骤包括：
构建对大坝表面及周边点云数据的KD--Tree，查询表面点云数据中与巡检点最近的点；
依据查询出的与巡检点最近的点，计算其距离，当该距离小于安全避障距离时，则舍弃掉该巡检点。
5.如权利要求1所述的大坝表面图像无人机自动安全采集方法，其特征在于，所述采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线的步骤包括：
采用最短路径规划方法，求解最短Hamilton路径；
当两点之间的直线距离超过预设的距离阈值时，则按照设定的距离分段截取中间点，其中，距离阈值的设定宜大于体素分割的最小尺寸的1.5倍，分段截取的距离需小于体素分割的最小尺寸；
判断中间点是否在安全距离内，若不存在，则构建中转点，其中，中转点是人工设置的视野开阔且远大于安全距离的固定点集。
6.一种大坝表面图像无人机自动安全采集系统，其特征在于，包括：
获取模块(10)，用于采用无人机携带三维激光雷达及高清相机获取大坝表面及周边的扫描点云及倾斜摄影密集匹配点云数据；
分类模块(20)，用于对获取的点云数据进行下采样及分类；
生成模块(30)，用于提取大坝表面点云数据并估计点的法线方向，对大坝表面点云按照其外法线方向进行平移，生成初步巡检点；
删除模块(40)，用于计算巡检点在以安全避障距离为半径的球体范围内，是否存在与大坝表面及周边三维点云相交的点，若存在，则删除该巡检点；
规划模块(50)，用于依据巡检点及法线信息，规划相机空间位置及拍摄方位，以确保表面图像获取的完整性；
构建模块(60)，用于采用路径规划算法对无人机巡视点进行自动路径规划，对两点直线路径穿过安全距离内的情况，构建中转点，从而构建大坝无人机自动安全巡视路线。
7.如权利要求6所述的大坝表面图像无人机自动安全采集系统，其特征在于，所述分类模块(20)包括：
分类单元(21)，用于采用基于体素分割的算法，对点云数据进行下采样；然后采用人工裁切的方式进行点云分类，把大坝主要分为上游面点云、下游面点云和坝顶点云；
处理单元(22)，用于若坝体表面存在较为复杂的情况，则对点云进行细分；对于贴近大坝表面的其他建筑物，若导致无人机无法采集其相邻的大坝表面部分，在进行自动规划巡视路线时，则剔除掉该类建筑物及其贴近的大坝表面点云部分。
8.如权利要求6所述的大坝表面图像无人机自动安全采集系统，其特征在于，所述生成模块(30)包括：
拟合单元(31)，用于对提取的大坝表面点云数据中的点k-近邻拟合平面，即采用最小二乘法拟合平面，对于提取的大坝表面点云数据中的点pi，对应的协方差矩阵Cov为：
Cov·vk＝λk·vk，k＝1，2，3
其中，n是点pi邻近点的数目，通过构建对大坝表面及周边点云数据的KD-Tree，可获取表面点云数据中与巡检点最近的n个点；
表示n个邻近点的质心即为平均值，λk是协方差矩阵的第k个特征值，vk是第k个特征向量；
第一计算单元(32)，用于求出拟合平面的法线，最终的法线向量即为最小特征值对应的特征向量。
9.如权利要求6所述的大坝表面图像无人机自动安全采集系统，其特征在于，所述删除模块(40)包括：
第一构建单元(41)，用于构建对大坝表面及周边点云数据的KD-Tree，查询表面点云数据中与巡检点最近的点；
舍弃单元(42)，用于依据查询出的与巡检点最近的点，计算其距离，当该距离小于安全避障距离时，则舍弃掉该巡检点。
10.如权利要求6所述的大坝表面图像无人机自动安全采集系统，其特征在于，所述构建模块(60)包括：
第二计算单元(61)，用于采用最短路径规划方法，求解最短Hamilton路径；
截取单元(62)，用于当两点之间的直线距离超过预设的距离阈值时，则按照设定的距离分段截取中间点，其中，距离阈值的设定宜大于体素分割的最小尺寸的1.5倍，分段截取的距离需小于体素分割的最小尺寸；
第二构建单元(63)，用于判断中间点是否在安全距离内，若不存在，则构建中转点，其中，中转点是人工设置的视野开阔且远大于安全距离的固定点集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111139146.0A CN113885558B (zh) | 2021-09-27 | 2021-09-27 | 一种大坝表面图像无人机自动安全采集方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111139146.0A CN113885558B (zh) | 2021-09-27 | 2021-09-27 | 一种大坝表面图像无人机自动安全采集方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113885558A true CN113885558A (zh) | 2022-01-04 |
| CN113885558B CN113885558B (zh) | 2023-07-04 |
Family
ID=79007118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111139146.0A Active CN113885558B (zh) | 2021-09-27 | 2021-09-27 | 一种大坝表面图像无人机自动安全采集方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113885558B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898357A (zh) * | 2022-07-12 | 2022-08-12 | 深圳思谋信息科技有限公司 | 缺陷识别方法、装置、电子设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109633674A (zh) * | 2018-12-17 | 2019-04-16 | 云南电网有限责任公司带电作业分公司 | 基于激光点云数据的输电巡视三维航迹自动规划方法 |
| US20190197311A1 (en) * | 2017-12-26 | 2019-06-27 | Harbin Institute Of Technology | Evaluation Method of Solar Energy Utilization Potential in Urban High-density Areas Based on Low-altitude Photogrammetry |
| CN110780681A (zh) * | 2019-11-26 | 2020-02-11 | 贵州电网有限责任公司 | 一种基于激光点云的无人机自主巡检绝缘子路径规划方法 |
| CN112650218A (zh) * | 2020-12-04 | 2021-04-13 | 国网湖北省电力有限公司检修公司 | 一种基于碰撞检测的变电站巡检航线规划方法及装置 |
| CN113108764A (zh) * | 2021-04-15 | 2021-07-13 | 中国水利水电科学研究院 | 一种溃坝过程安全监测、预警与影响评估方法 |
| CN113205116A (zh) * | 2021-04-15 | 2021-08-03 | 江苏方天电力技术有限公司 | 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 |
-
2021
- 2021-09-27 CN CN202111139146.0A patent/CN113885558B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190197311A1 (en) * | 2017-12-26 | 2019-06-27 | Harbin Institute Of Technology | Evaluation Method of Solar Energy Utilization Potential in Urban High-density Areas Based on Low-altitude Photogrammetry |
| CN109633674A (zh) * | 2018-12-17 | 2019-04-16 | 云南电网有限责任公司带电作业分公司 | 基于激光点云数据的输电巡视三维航迹自动规划方法 |
| CN110780681A (zh) * | 2019-11-26 | 2020-02-11 | 贵州电网有限责任公司 | 一种基于激光点云的无人机自主巡检绝缘子路径规划方法 |
| CN112650218A (zh) * | 2020-12-04 | 2021-04-13 | 国网湖北省电力有限公司检修公司 | 一种基于碰撞检测的变电站巡检航线规划方法及装置 |
| CN113108764A (zh) * | 2021-04-15 | 2021-07-13 | 中国水利水电科学研究院 | 一种溃坝过程安全监测、预警与影响评估方法 |
| CN113205116A (zh) * | 2021-04-15 | 2021-08-03 | 江苏方天电力技术有限公司 | 输电线路无人机巡检拍摄目标点自动提取及航迹规划方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡芳侨;黄永;李惠;: "建筑三维重建方法综述", 智能建筑与智慧城市, no. 05 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898357A (zh) * | 2022-07-12 | 2022-08-12 | 深圳思谋信息科技有限公司 | 缺陷识别方法、装置、电子设备及计算机可读存储介质 |
| CN114898357B (zh) * | 2022-07-12 | 2022-10-18 | 深圳思谋信息科技有限公司 | 缺陷识别方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113885558B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110570428B (zh) | 一种从大规模影像密集匹配点云分割建筑物屋顶面片的方法及系统 | |
| CN106780524B (zh) | 一种三维点云道路边界自动提取方法 | |
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| JP5721197B2 (ja) | 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム | |
| Nurunnabi et al. | Robust cylinder fitting in three-dimensional point cloud data | |
| CN104091369B (zh) | 一种无人机遥感影像建筑物三维损毁检测方法 | |
| CN111047695B (zh) | 一种城市群高度空间信息及等高线的提取方法 | |
| CN111832655A (zh) | 一种基于特征金字塔网络的多尺度三维目标检测方法 | |
| CN110838112A (zh) | 一种基于霍夫变换和YOLOv3网络的绝缘子缺损检测方法 | |
| CN110794413B (zh) | 线性体素分割的激光雷达点云数据电力线检测方法和系统 | |
| CN101901343A (zh) | 基于立体约束的遥感影像道路提取方法 | |
| CN107679458B (zh) | 一种基于K-Means的道路彩色激光点云中道路标线的提取方法 | |
| CN103729853A (zh) | 三维gis辅助下的高分遥感影像建筑物倒损检测方法 | |
| Wang et al. | An overview of 3d object detection | |
| Han et al. | Recognition and location of steel structure surface corrosion based on unmanned aerial vehicle images | |
| CN108765446B (zh) | 基于随机场和随机森林的电力线点云分割方法及系统 | |
| CN114170535A (zh) | 目标检测定位方法、装置、控制器及存储介质和无人机 | |
| CN115032648A (zh) | 一种基于激光雷达密集点云的三维目标识别与定位方法 | |
| CN115359474A (zh) | 适用于移动端的轻量级三维目标检测方法、装置及介质 | |
| CN111931555A (zh) | 一种利用视频图像识别船舶ais是否开启的方法 | |
| CN113885558B (zh) | 一种大坝表面图像无人机自动安全采集方法和系统 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN113345084B (zh) | 三维建模系统及三维建模方法 | |
| WO2022045877A1 (en) | A system and method for identifying occupancy of parking lots | |
| CN116664823A (zh) | 基于元学习和度量学习的小样本sar目标检测识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 410000 Area 217, 2nd Floor, Building A3, Maker Center, Tongguan Street, Wangcheng District, Changsha City, Hunan Province Patentee after: Hunan Desen jiuchuang Technology Co.,Ltd. Address before: 410203 3-812 shengtongcheng, Wangcheng District, Changsha City, Hunan Province Patentee before: Hunan Desen jiuchuang Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder |