CN115240093B - 基于可见光和激光雷达点云融合的输电通道自动巡检方法 - Google Patents

基于可见光和激光雷达点云融合的输电通道自动巡检方法 Download PDF

Info

Publication number
CN115240093B
CN115240093B CN202211154583.4A CN202211154583A CN115240093B CN 115240093 B CN115240093 B CN 115240093B CN 202211154583 A CN202211154583 A CN 202211154583A CN 115240093 B CN115240093 B CN 115240093B
Authority
CN
China
Prior art keywords
point cloud
tower
image
hidden danger
transmission channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211154583.4A
Other languages
English (en)
Other versions
CN115240093A (zh
Inventor
聂礼强
尹建华
郑晓云
赵振兵
熊剑平
赵砚青
郑小龙
孙静宇
高赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
North China Electric Power University
Zhejiang Dahua Technology Co Ltd
Shandong Computer Science Center National Super Computing Center in Jinan
Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Zhiyang Innovation Technology Co Ltd
Original Assignee
Shandong University
North China Electric Power University
Zhejiang Dahua Technology Co Ltd
Shandong Computer Science Center National Super Computing Center in Jinan
Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd
Zhiyang Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University, North China Electric Power University, Zhejiang Dahua Technology Co Ltd, Shandong Computer Science Center National Super Computing Center in Jinan, Wenzhou Power Supply Co of State Grid Zhejiang Electric Power Co Ltd, Zhiyang Innovation Technology Co Ltd filed Critical Shandong University
Priority to CN202211154583.4A priority Critical patent/CN115240093B/zh
Publication of CN115240093A publication Critical patent/CN115240093A/zh
Application granted granted Critical
Publication of CN115240093B publication Critical patent/CN115240093B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割相结合，能够提高了检测的准确度和效率。包括如下步骤：输电通道航拍，收集三维点云和二维可见光图像数据；构建数据集；模型训练；基于激光雷达点云自动规划航线巡检；外破隐患检测与测距；杆塔本体隐患检测与定位。

Description

基于可见光和激光雷达点云融合的输电通道自动巡检方法
技术领域
本发明涉及一种输电通道巡检方法，具体涉及一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，属于输电通道自动巡检技术领域。
背景技术
电网是关系国家能源安全、深入人们日常生产生活的重要基础设施，输电通道在其中是电力传输的纽带，输电通道的安全稳定运行是社会生产和人民生活的必要保障。近年来，随着社会的不断发展，工业用电和居民用电都有着突飞猛进的增长，而输电通道的也在不断地建设。但由于输电通道的线路大多架设在田野等自然环境中，在此环境下输电通道的线路、杆塔等常年经受环境中雨雪风沙等各种自然条件的影响，久而久之会对通道中的电力设备造成各种损坏。因此对输电通道的巡检一直以来就是保障电能持续供应、保护输电线路安全运行的重要工作。
传统的输电通道巡检方法通常使用人工目力巡检，这样的巡检效率低下，误检率高，难以及时发现隐患，且对工人技术要求高，危险系数大。而现有的基于图像的无人机巡检方式只能拍摄二维图像，缺少三维空间信息，无法对环境中的立体空间进行建模，因此无法对隐患和输电通道的距离进行精准测定。且无人机的拍摄只解决了工人目力巡检的不足，仍需要有无人机操作员跟随无人机的运动，无法真正做到“无人巡检”。且无人机在对输电线路进行拍摄的图像依赖于技术员对无人机控制，若没有在良好的拍摄角度则可能会造成漏报误报等情况。
人工智能技术随着其日新月异的发展现已经在各个领域取得了广泛的应用，而在工业领域，在智慧城市智能制造的国家战略下，如何将前沿的人工智能技术与传统工业领域深度融合是当前人工智能技术落地的重点，也是传统工业行业面对时代的发展进行转型的关键所在。
发明内容
本发明目的是提供了一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，将激光雷达测距、基于深度学习的三维点云和可见光图像融合学习、三维点云分割，能够提高了检测的准确度和效率。
本发明为实现上述目的，通过以下技术方案实现：
一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，包括如下步骤：
S1：输电通道航拍，收集三维点云和二维可见光图像数据：手动操控无人机在将要进行巡检的输电通道范围进行航拍，航拍过程中使用激光雷达对输电通道进行扫描测距，记录位置信息和角度的参数，航拍结束后对数据进行解析生成三维点云数据，同时使用摄像机拍摄可见光图像；
S2：构建数据集：对S1中收集到的点云数据和二维图像，分别按照三维点云分割任务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进行预处理，最后划分训练集、验证集、测试集；
S3：模型训练：分别使用S2中数据集构建三维点云分割模型PCI-Seg和杆塔隐患目标检测模型YOLOV5，进行迭代训练、验证与测试；
S4：基于激光雷达点云自动规划航线巡检：在巡检时，无人机使用激光雷达扫描仪扫描输电通道并生成实时点云，通过S3中训练得到的点云分割模型对该点云进行分割得到杆塔和导线的位置，基于杆塔和导线计算无人机飞行总体航线；
S5：外破隐患检测与测距：分析S4中的点云分割结果，检查输电通道中是否存在的外破隐患，如果存在，则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和输电通道主体的距离，判断是否存在入侵输电通道的情况；
S6：杆塔本体隐患检测与定位：通过S4中的点云分割结果得到杆塔位置，无人机在遇到杆塔时沿着杆塔周围飞行，并通过摄像机和激光扫描雷达拍摄二维可见光图像和三维点云，通过三维点云分割定位杆塔上的拍照点并在拍照点拍摄二维图像，将图像信息以及拍摄点位置信息回传至服务器端，通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔是否存在隐患。
上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S1的具体过程还包括：
S11：三维点云数据采集：通过无人机激光雷达向地面发射激光信号，并收集地面反射的激光信号得到物体表面的模型，之后通过联合解算、偏差校正计算出这些点的准确空间信息，生成最终的三维点云数据；
S12：杆塔隐患目标检测模型的训练需要图片数据：通过使用无人机在杆塔周围的不同角度拍摄的输电线路上的元器件图片作为训练数据，需要拍摄存在隐患物体，训练数据需要各种隐患物体的高清照片，未损坏的元器件的照片以及包含整体杆塔和其上多种隐患目标的照片，训练数据均通过无人机和摄像机拍摄。
上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S2数据预处理的过程还包括：
S21：采用直通滤波对点云进行过滤，去除背景，保留输电通道的主体部分：首先指定维度以及在该维度下的值域，其次，遍历点云中的每个点，判断该点在指定维度上的取值是否在值域内，删除取值不在值域内的点，最后，遍历结束，留下的点即构成滤波后的点云；
S22：采用拉普拉斯算子对图像进行锐化处理：对于二维图像中某个坐标点
Figure 702786DEST_PATH_IMAGE001
,其像素值为
Figure 26451DEST_PATH_IMAGE002
，使用下面这个八邻域拉普拉斯算子对图像进行锐化处理，二阶微 分为
Figure 727559DEST_PATH_IMAGE003
，锐化后
Figure 653927DEST_PATH_IMAGE001
处的像素值为
Figure 874824DEST_PATH_IMAGE004
，具体公式如下：
Figure 228445DEST_PATH_IMAGE006
Figure 652735DEST_PATH_IMAGE008
Figure 382794DEST_PATH_IMAGE009
；
S23：对三维点云分割任务的点云数据使用semantic-segmentation-editor点云标注工具进行标注；对二维图像目标检测任务使用labelimg标注工具进行标注；最后将点云数据和二维图像划分训练集、验证集和测试集。
上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S3模型训练与推理的过程还包括：
S31：三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点 云分割模型PCI-Seg，整体上是一个编码器-解码器结构，包括了图片处理流和点云处理流， 集成了点云-二维图像融合模块，针对点云数据和二维图像数据进行融合学习并进行点云 分割，基于point-wise的方式，用语义图像特征增强点云特征，最后，设计了端到端学习框 架来集成这两个组件，输出对点云分割的结果，网络的输入分别是1.
Figure 458197DEST_PATH_IMAGE010
3的点云，
Figure 982720DEST_PATH_IMAGE011
为输入 点云的点数、3表示点云的维度；2.
Figure 2628DEST_PATH_IMAGE012
H×3的二维图像，
Figure 395432DEST_PATH_IMAGE013
为图像宽度、
Figure 449976DEST_PATH_IMAGE014
为图像高度、3代 表图像为RGB三通道图像；
S32：图片处理流:包括了四个卷积层，每个卷积层是由两次3*3的卷积操作、一次 batch normalization操作和一个ReLU作为激活函数，
Figure 286345DEST_PATH_IMAGE015
分别是四个卷积 层的输出；之后，
Figure 59129DEST_PATH_IMAGE016
经过四个并行的反卷积层恢复到输入图片的尺寸，然后把它 们拼接在一起以获得丰富的图片语义信息，最后再经过一次卷积操作为图像处理流的输出
Figure 491509DEST_PATH_IMAGE017
；
S33：点云处理流：包括了四次下采样和四次上采样操作，下采样和上采样分别使 用了SetAbstraction层和Feature Propagation 层，SA和FP的输出分别以
Figure 400560DEST_PATH_IMAGE018
和
Figure 142251DEST_PATH_IMAGE019
(j = 1、2、 3、4)表示，此外，为了增强点云的语义特征，将点云特征
Figure 667910DEST_PATH_IMAGE020
和图片语义特征
Figure 402517DEST_PATH_IMAGE021
使用融合模块 进行融合，将
Figure 431652DEST_PATH_IMAGE022
与图片处理流的输出
Figure 609824DEST_PATH_IMAGE023
也进行融合操作，最后输出N*K的矩阵，K是类别数， 用于之后的点云分割；
S34：点云特征与图像特征合:融合模块结构包括一个网格生成器、一个图像采样器以及融合层；
S35：网格生成器:将雷达点云和映射矩阵
Figure 91621DEST_PATH_IMAGE024
作为输入，输出不同分辨率下激光雷 达和摄像机图片的对应关系,设点云为
Figure 131383DEST_PATH_IMAGE025
、图片中的对应位置为
Figure 749447DEST_PATH_IMAGE026
，则有以下计 算公式：
Figure 98519DEST_PATH_IMAGE027
建立对应关系后，即可使用图像采样器得到每个点对应的语义特征；
S36：图像采样器：将采样位置
Figure 67612DEST_PATH_IMAGE026
和图像特征
Figure 144022DEST_PATH_IMAGE028
作为输入，对每一个采样位置 产生一个point-wise的图像特征表示
Figure 147750DEST_PATH_IMAGE029
,由于点云在图像上的采样位置可能落到相邻像 素之间，考虑使用双线性插值来获得连续坐标下的图像特征：
Figure 667724DEST_PATH_IMAGE030
BI代表双线性插值、
Figure 858534DEST_PATH_IMAGE031
表示采样位置
Figure 614000DEST_PATH_IMAGE026
邻域像素的图像特征；
S37：融合层:逐点图像特征
Figure 832754DEST_PATH_IMAGE029
和点云特征
Figure 648264DEST_PATH_IMAGE032
分别经过全连接网络映射到相同的 通道，然后将它们的每个元素相加形成一个更加紧密的特征表示，然后通过另一个全连接 网络将其压缩成单个通道的权重映射
Figure 467315DEST_PATH_IMAGE033
,最后使用
Figure 26472DEST_PATH_IMAGE034
激活函数使
Figure 863847DEST_PATH_IMAGE033
的范围在
Figure 584679DEST_PATH_IMAGE035
之 间,总体计算公式如下：
Figure 625447DEST_PATH_IMAGE036
其中
Figure 722716DEST_PATH_IMAGE037
表示
Figure 181641DEST_PATH_IMAGE034
激活函数、
Figure 73374DEST_PATH_IMAGE038
表示双曲正切函数、
Figure 726072DEST_PATH_IMAGE039
上述全连接网络， 为可学习的权重矩阵,最后融合层的输出如下：
Figure 502398DEST_PATH_IMAGE040
, “
Figure 924152DEST_PATH_IMAGE041
”代表拼接操作；
S38：对于目标检测模型YOLOv5，输入可见光图像，输出是在图片检测到的目标类别和边界框，针对分类置信度和定位置信度之间的不一致问题，在原有的损失函数上加上分类与定位强制一致性损失：
Figure 376999DEST_PATH_IMAGE042
其中Pre是预测的边界框、Label是标签的边界框、confidence是Pre所属类别的置信度；
S39：分别使用S2中预处理后的点云数据和杆塔隐患数据训练点云分割模型PCI-Seg和目标检测模型YOLOv5，通过不断迭代训练直至模型收敛，并使用验证集和测试集验证与测试模型效果，保存效果较好的模型，用于后续的输电通道点云分割与杆塔隐患目标检测。
上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S4自动规划航线还包括：
S41：人工操控无人机到巡检的起点，开启无人机的摄像机可见光图像和激光测距仪，生成一次点云，将可见光图像和点云输入到三维点云分割模块活得点云分割结果；
S42：通过点云分割结果可以确定杆塔和导线的位置，用于基于杆塔和导线的位置计算航线，此时即可放开人工操作，其中S为设定的无人机飞行时与杆塔和导线的距离，无人机从位置1靠近杆塔，此时减速飞行，然后向上攀升至位置2，接着从杆塔另一侧下降至导线处位置3，绕杆塔飞行结束，之后要沿着导线提高速度飞向下一个杆塔，如此不断前进，通过GPS模块判断是否到了巡检范围终点，若到了终点则按原航线返回；
S43：无人机每次飞行到杆塔顶部即位置2和位置6时，悬停一段时间并拍摄前方输电通道图像和利用激光雷达扫描生成点云并进行点云分割，为外破隐患检测与测距和下一阶段航线计算提供数据。
上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S5外破隐患检测与测距还包括：
S51：通过S3中获得的点云分割结果可知输电通道中是否存在外破隐患，外破隐患的位置以及输电通道主体部分杆塔和导线的位置；
S52：对杆塔和外破隐患部位的点云进行随机采样，取采样得到的点云坐标的平均值作为杆塔和外破隐患的整体坐标，用于最终的隐患测距；
S53：以地面为基准，测量隐患与杆塔和输电通道主体的距离，忽略了高度信息，只 利用平面坐标计算距离，其中两个杆塔的位置分别为
Figure 251414DEST_PATH_IMAGE043
、
Figure 831431DEST_PATH_IMAGE044
，外破隐患坐标为
Figure 373271DEST_PATH_IMAGE045
，测量隐患与两个杆塔的距离
Figure 498484DEST_PATH_IMAGE046
、
Figure 125775DEST_PATH_IMAGE047
以及输电通道主体的距离
Figure 102958DEST_PATH_IMAGE048
；
S54：有了杆塔和外破隐患的坐标后，通过以下方式来计算隐患与两个杆塔的距离：
Figure 374670DEST_PATH_IMAGE049
S55：在计算隐患和输电通道主体的距离时，首先要确定的是输电通道主体的范 围，假设由一座杆塔到另一座杆塔之间的连线作为输电通道的主体，这条直线为L1，之后即 可根据两个杆塔的坐标计算直线L1的方程，设直线L1的方程为
Figure 44686DEST_PATH_IMAGE050
,则A、B、C的 取值如下：
Figure 283907DEST_PATH_IMAGE051
得到了直线L1的一般式方程后，可以按以下方式获得距离d2：
Figure 799201DEST_PATH_IMAGE052
；
S56：得到隐患与杆塔的距离
Figure 191000DEST_PATH_IMAGE046
、
Figure 31917DEST_PATH_IMAGE047
以及与输电通道主体距离
Figure 271617DEST_PATH_IMAGE048
后，即可判断外破 隐患是否存在入侵输电通道的情况，若隐患入侵了输电通道则将外破隐患的图片以及位置 信息上报预警。
上述基于可见光和激光雷达点云融合的输电通道自动巡检方法基础上，所述步骤S6杆塔本体隐患检测与定位：
S61：在无人机处于绕塔飞行阶段时，将摄像机对准杆塔，在一定间隔时间内收集图像数据和点云数据并使用点云分割模块进行点云分割；
S62：依据点云分割结果可得到杆塔上绝缘子、防震锤、均压环等部件的位置，调整摄像机对准这些易发生隐患的部位，使用摄像机拍摄图像并通过GPS定位模块记录杆塔位置信息回传至服务器端；
S63：服务器端收到图像并通过训练好的杆塔隐患目标检测模型对图像进行目标检测，若检测到了隐患如防震锤锈蚀等情况，则将该张图片的隐患和位置信息上报预警。
本发明的优点在于：
1.通过自主构建输电通道三维激光雷达点云数据和二维激光雷达点云数据，提出的点云与图像数据融合模块对两种模态的数据进行多尺度充分融合，同时利用了点云的三维空间信息和二维图片的可见光语义信息，结合深度学习技术，使点云分割模型能够更加完整地挖掘输电通道空间结构，过滤无用信息，对输电通道的杆塔、导线等主体部位完成更加准确的点云分割，有助于提高自主规划航线和外破隐患检测的性能。
2.利用了点云分割的结果对杆塔上的关键部位进行定位，自动设置对杆塔精细化检测的拍照点，无需手动在点云上人工设置拍照点，提高了检测效率。
3.通过三维点云分割，直接获取隐患的坐标。相比以往的方法通常是先在二维图像上进行语义分割或目标检测，再利用深度图对目标区域升维，获取三维坐标。与本发明的方法相比，升维的方法会由于空间信息不足导致效果不理想，杆塔几乎升维失败，变成二维平面；导线的位置不够准确，形状不够完整。本发明的方法直接在三维空间上进行分割性，能够准确地获得目标坐标信息，大大提高了测距的精确。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例的自动巡检流程图；
图2为本发明实施例可见光图像与点云融合学习点云语义分割示意图。
图3为本发明实施例融合模块示意图。
图 4为本发明实施例三维点云分割效果示意图。
图5为本发明实施例无人机在两个杆塔之间的航线示意图。
图6为本发明实施例隐患与输电通道测距示意图。
图7为本发明实施例二维图像分割结果与深度图结合的三维点云分割效果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，包括如下步骤：
S1：输电通道航拍，收集三维点云和二维可见光图像数据：手动操控无人机在将要进行巡检的输电通道范围进行航拍，航拍过程中使用激光雷达对输电通道进行扫描测距，记录位置信息和角度的参数，航拍结束后对数据进行解析生成三维点云数据，同时使用摄像机拍摄可见光图像；
S2：构建数据集：对S1中收集到的点云数据和二维图像，分别按照三维点云分割任务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进行预处理，最后划分训练集、验证集、测试集；
S3：模型训练：分别使用S2中数据集构建三维点云分割模型PCI-Seg和杆塔隐患目标检测模型YOLOV5，进行迭代训练、验证与测试；
S4：基于激光雷达点云自动规划航线巡检：在巡检时，无人机使用激光雷达扫描仪扫描输电通道并生成实时点云，通过S3中训练得到的点云分割模型对该点云进行分割得到杆塔和导线的位置，基于杆塔和导线计算无人机飞行总体航线；
S5：外破隐患检测与测距：分析S4中的点云分割结果，检查输电通道中是否存在的外破隐患，如果存在，则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和输电通道主体的距离，判断是否存在入侵输电通道的情况；
S6：杆塔本体隐患检测与定位：通过S4中的点云分割结果得到杆塔位置，无人机在遇到杆塔时沿着杆塔周围飞行，并通过摄像机和激光扫描雷达拍摄二维可见光图像和三维点云，通过三维点云分割定位杆塔上的拍照点并在拍照点拍摄二维图像，将图像信息以及拍摄点位置信息回传至服务器端，通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔是否存在隐患。
本发明实施例中，所述步骤S1的具体过程还包括：
S11：三维点云数据采集：通过无人机激光雷达向地面发射激光信号，并收集地面反射的激光信号得到物体表面的模型，之后通过联合解算、偏差校正计算出这些点的准确空间信息，生成最终的三维点云数据；
S12：杆塔隐患目标检测模型的训练需要图片数据：通过使用无人机在杆塔周围的不同角度拍摄的输电线路上的元器件图片作为训练数据，需要拍摄存在隐患物体如压环，防震锤，销钉，三角连板，绝缘子，鸟巢，蜂巢等，训练数据需要各种隐患物体的高清照片，未损坏的元器件的照片以及包含整体杆塔和其上多种隐患目标的照片，训练数据均通过无人机和摄像机拍摄。
本发明实施例中，所述步骤S2数据预处理的过程还包括：
S21：采用直通滤波对点云进行过滤，去除背景，保留输电通道的主体部分：首先指定维度以及在该维度下的值域，其次，遍历点云中的每个点，判断该点在指定维度上的取值是否在值域内，删除取值不在值域内的点，最后，遍历结束，留下的点即构成滤波后的点云；
S22：采用拉普拉斯算子对图像进行锐化处理：对于二维图像中某个坐标点
Figure 856182DEST_PATH_IMAGE001
,其像素值为
Figure 961541DEST_PATH_IMAGE002
，使用下面这个八邻域拉普拉斯算子对图像进行锐化处理，二阶微 分为
Figure 848726DEST_PATH_IMAGE003
，锐化后
Figure 672325DEST_PATH_IMAGE001
处的像素值为
Figure 185215DEST_PATH_IMAGE004
，具体公式如下：
Figure 145081DEST_PATH_IMAGE005
Figure 203167DEST_PATH_IMAGE053
Figure 779641DEST_PATH_IMAGE054
S23：对三维点云分割任务的点云数据使用semantic-segmentation-editor点云标注工具进行标注；对二维图像目标检测任务使用labelimg标注工具进行标注；最后将点云数据和二维图像按照7：2：1的比例划分训练集、验证集和测试集。
本发明实施例中，所述步骤S3模型训练与推理的过程还包括：
S31：三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点 云分割模型PCI-Seg，整体上是一个编码器-解码器结构，包括了图片处理流和点云处理流， 集成了点云-二维图像融合模块，集成了点云-二维图像融合模块PCIF(point cloud image fusion)，针对点云数据和二维图像数据进行融合学习并进行点云分割，模型结构如附图2 所示，该模型主要解决了多模态三维点云分割中传感器数据融合的问题，本发明实施例基 于point-wise的方式，用语义图像特征增强点云特征，最后，设计了端到端学习框架来集成 这两个组件，输出对点云分割的结果，网络的输入分别是1.
Figure 332108DEST_PATH_IMAGE010
3的点云，
Figure 412059DEST_PATH_IMAGE011
为输入点云的点 数、3表示点云的维度；2.
Figure 765680DEST_PATH_IMAGE012
H×3的二维图像，
Figure 439238DEST_PATH_IMAGE013
为图像宽度、
Figure 169297DEST_PATH_IMAGE014
为图像高度、3代表图像为 RGB三通道图像；
S32：图片处理流:包括了四个卷积层，每个卷积层是由两次3*3的卷积操作、一次 batch normalization操作和一个ReLU作为激活函数，卷积层的第二次卷积操作的卷积核 的步长设置为2来扩大感受视野,
Figure 228388DEST_PATH_IMAGE015
分别是四个卷积层的输出；之后，
Figure 752911DEST_PATH_IMAGE016
经过四个并行的反卷积层恢复到输入图片的尺寸，然后把它们拼接在一起以 获得丰富的图片语义信息，最后再经过一次卷积操作为图像处理流的输出
Figure 913765DEST_PATH_IMAGE017
；
S33：点云处理流：包括了四次下采样和四次上采样操作，下采样和上采样分别使 用了SetAbstraction(SA)层和Feature Propagation (FP)层，SA层和FP层的输出分别以
Figure 181935DEST_PATH_IMAGE018
和
Figure 862577DEST_PATH_IMAGE019
(j = 1、2、3、4)表示，此外，为了增强点云的语义特征，将点云特征
Figure 823580DEST_PATH_IMAGE020
和图片语义特征
Figure 65206DEST_PATH_IMAGE021
使用融合模块进行融合，将
Figure 12433DEST_PATH_IMAGE022
与图片处理流的输出Fu也进行融合操作，最后输出N*K的矩 阵，K是类别数，用于之后的点云分割；
S34：点云特征与图像特征合:如图3所示，融合模块结构包括一个网格生成器、一个图像采样器以及融合层；
S35：网格生成器:将雷达点云和映射矩阵
Figure 187062DEST_PATH_IMAGE024
作为输入，输出不同分辨率下激光雷 达和摄像机图片的对应关系,设点云为
Figure 178021DEST_PATH_IMAGE025
、图片中的对应位置为
Figure 438101DEST_PATH_IMAGE026
，则有以下计 算公式：
Figure 923440DEST_PATH_IMAGE055
建立对应关系后，即可使用图像采样器得到每个点对应的语义特征；
S36：图像采样器：将采样位置
Figure 952576DEST_PATH_IMAGE026
和图像特征
Figure 615901DEST_PATH_IMAGE028
作为输入，对每一个采样位置 产生一个point-wise的图像特征表示
Figure 97698DEST_PATH_IMAGE029
,由于点云在图像上的采样位置可能落到相邻像 素之间，考虑使用双线性插值来获得连续坐标下的图像特征：
Figure 386728DEST_PATH_IMAGE030
BI代表双线性插值、
Figure 270370DEST_PATH_IMAGE031
表示采样位置
Figure 868711DEST_PATH_IMAGE026
邻域像素的图像特征；
S37：融合层:逐点图像特征
Figure 572224DEST_PATH_IMAGE029
和点云特征
Figure 524000DEST_PATH_IMAGE032
分别经过全连接网络映射到相同的 通道，然后将它们的每个元素相加形成一个更加紧密的特征表示，然后通过另一个全连接 网络将其压缩成单个通道的权重映射
Figure 403094DEST_PATH_IMAGE033
,最后使用
Figure 782123DEST_PATH_IMAGE034
激活函数使
Figure 864611DEST_PATH_IMAGE033
的范围在
Figure 354498DEST_PATH_IMAGE035
之 间,总体计算公式如下：
Figure 88099DEST_PATH_IMAGE036
其中
Figure 903608DEST_PATH_IMAGE037
表示
Figure 971927DEST_PATH_IMAGE034
激活函数、
Figure 999926DEST_PATH_IMAGE038
表示双曲正切函数、
Figure 712667DEST_PATH_IMAGE039
上述全连接网络， 为可学习的权重矩阵,最后融合层的输出如下：
Figure 574444DEST_PATH_IMAGE056
, “
Figure 5425DEST_PATH_IMAGE041
”代表拼接操作；
S38：对于目标检测模型YOLOv5，输入可见光图像，输出是在图片检测到的目标类别和边界框，针对分类置信度和定位置信度之间的不一致问题，在原有的损失函数上加上分类与定位强制一致性损失：
Figure 728793DEST_PATH_IMAGE057
其中Pre是预测的边界框、Label是标签的边界框、confidence是Pre所属类别的置信度；
S39：分别使用S2中预处理后的点云数据和杆塔隐患数据训练点云分割模型PCI-Seg和目标检测模型YOLOv5，通过不断迭代训练直至模型收敛，并使用验证集和测试集验证与测试模型效果，保存效果较好的模型，用于后续的输电通道点云分割与杆塔隐患目标检测。
本发明实施例中，所述步骤S4自动规划航线还包括：
S41：人工操控无人机到巡检的起点，开启无人机的摄像机可见光图像和激光测距仪，生成一次点云，将可见光图像和点云输入到三维点云分割模块活得点云分割结果，点云分割结果如附图4所示；
S42：通过点云分割结果可以确定杆塔和导线的位置，用于基于杆塔和导线的位置计算航线，此时即可放开人工操作，其中S为设定的无人机飞行时与杆塔和导线的距离，无人机从位置1靠近杆塔，此时减速飞行，然后向上攀升至位置2，接着从杆塔另一侧下降至导线处位置3，绕杆塔飞行结束，之后要沿着导线提高速度飞向下一个杆塔，如此不断前进，通过GPS模块判断是否到了巡检范围终点，若到了终点则按原航线返回；
S43：无人机每次飞行到杆塔顶部即位置2和位置6时，悬停一段时间并拍摄前方输电通道图像和利用激光雷达扫描生成点云并进行点云分割，为外破隐患检测与测距和下一阶段航线计算提供数据。
本发明实施例中，所述步骤S5外破隐患检测与测距还包括：
S51：通过S3中获得的点云分割结果可知输电通道中是否存在外破隐患，外破隐患的位置以及输电通道主体部分杆塔和导线的位置；
S52：对杆塔和外破隐患部位的点云进行随机采样，取采样得到的点云坐标的平均值作为杆塔和外破隐患的整体坐标，用于最终的隐患测距；
S53：以地面为基准，测量隐患与杆塔和输电通道主体的距离，忽略了高度信息，只 利用平面坐标计算距离，其中两个杆塔的位置分别为
Figure 30461DEST_PATH_IMAGE043
、
Figure 63139DEST_PATH_IMAGE044
，外破隐患坐标为
Figure 981417DEST_PATH_IMAGE045
，测量隐患与两个杆塔的距离
Figure 741431DEST_PATH_IMAGE046
、
Figure 163185DEST_PATH_IMAGE047
以及输电通道主体的距离
Figure 491398DEST_PATH_IMAGE048
；
S54：有了杆塔和外破隐患的坐标后，通过以下方式来计算隐患与两个杆塔的距离：
Figure 506759DEST_PATH_IMAGE058
S55：在计算隐患和输电通道主体的距离时，首先要确定的是输电通道主体的范 围，假设由一座杆塔到另一座杆塔之间的连线作为输电通道的主体，如附图6所示，这条直 线为L1，之后即可根据两个杆塔的坐标计算直线L1的方程，设直线L1的方程为
Figure 211410DEST_PATH_IMAGE050
,则A、B、C的取值如下：
Figure 379348DEST_PATH_IMAGE059
得到了直线L1的一般式方程后，可以按以下方式获得距离d2：
Figure 612883DEST_PATH_IMAGE052
；
S56：得到隐患与杆塔的距离
Figure 115540DEST_PATH_IMAGE046
、
Figure 92723DEST_PATH_IMAGE047
以及与输电通道主体距离
Figure 879282DEST_PATH_IMAGE048
后，即可判断外破 隐患是否存在入侵输电通道的情况，若隐患入侵了输电通道则将外破隐患的图片以及位置 信息上报预警。
本实施例中，所述步骤S6杆塔本体隐患检测与定位：
S61：在无人机处于绕塔飞行阶段时，将摄像机对准杆塔，在一定间隔时间内收集图像数据和点云数据并使用点云分割模块进行点云分割；
S62：依据点云分割结果可得到杆塔上绝缘子、防震锤、均压环等部件的位置，调整摄像机对准这些易发生隐患的部位，使用摄像机拍摄图像并通过GPS定位模块记录杆塔位置信息回传至服务器端；
S63：服务器端收到图像并通过训练好的杆塔隐患目标检测模型对图像进行目标检测，若检测到了隐患如防震锤锈蚀等情况，则将该张图片的隐患和位置信息上报预警。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：包括如下步骤：
步骤S1：输电通道航拍，收集三维点云和二维可见光图像数据：无人机在将要进行巡检的输电通道范围进行航拍，航拍过程中使用激光雷达对输电通道进行扫描测距，记录位置信息和角度的参数，航拍结束后对数据进行解析生成三维点云数据，同时使用摄像机拍摄可见光图像；
步骤S2：构建数据集：对S1中收集到的点云数据和二维图像，分别按照三维点云分割任务和二维杆塔隐患目标检测任务进行标注,同时采用了图像锐化算法对二维可见光图像进行预处理，最后划分训练集、验证集、测试集；
步骤S3：模型训练：分别使用S2中数据集构建三维点云分割模型PCI-Seg和杆塔隐患目标检测模型YOLOV5，进行迭代训练、验证与测试；
步骤S4：基于激光雷达点云自动规划航线巡检：在巡检时，无人机使用激光雷达扫描仪扫描输电通道并生成实时点云，通过S3中训练得到的点云分割模型对该点云进行分割得到杆塔和导线的位置，基于杆塔和导线计算无人机飞行总体航线；
步骤S5：外破隐患检测与测距：分析S4中的点云分割结果，检查输电通道中是否存在的外破隐患，如果存在，则通过激光雷达点云的位置信息计算外破隐患与输电通道的杆塔和输电通道主体的距离，判断是否存在入侵输电通道的情况；
步骤S6：杆塔本体隐患检测与定位：通过S4中的点云分割结果得到杆塔位置，无人机在遇到杆塔时沿着杆塔周围飞行，并通过摄像机和激光扫描雷达拍摄二维可见光图像和三维点云，通过三维点云分割定位杆塔上的拍照点并在拍照点拍摄二维图像，将图像信息以及拍摄点位置信息回传至服务器端，通过S3训练的杆塔隐患目标检测模型检测图片中的杆塔是否存在隐患；
所述步骤S3模型训练与推理的过程还包括：
S31：三维点云分割模型是基于PointNet++模型改进的点云与图像融合学习的点云分割模型PCI-Seg，整体上是一个编码器-解码器结构，包括了图片处理流和点云处理流，集成了点云-二维图像融合模块，针对点云数据和二维图像数据进行融合学习并进行点云分割，基于point-wise的方式，用语义图像特征增强点云特征，最后，设计了端到端学习框架来集成这两个组件，输出对点云分割的结果，网络的输入分别是1.
Figure 238064DEST_PATH_IMAGE001
3的点云， n为输入点云的点数、3表示点云的维度；2.
Figure 624046DEST_PATH_IMAGE002
H×3的二维图像，W为图像宽度、 H为图像高度、3代表图像为RGB三通道图像；
S32：图片处理流:包括了四个卷积层，每个卷积层是由两次3*3的卷积操作、一次batchnormalization操作和一个ReLU作为激活函数，
Figure 482412DEST_PATH_IMAGE003
，j = 1、2、3、4分别是四个卷积层的输出；之后，
Figure 346462DEST_PATH_IMAGE004
经过四个并行的反卷积层恢复到输入图片的尺寸，然后把它们拼接在一起以获得丰富的图片语义信息，最后再经过一次卷积操作为图像处理流的输出
Figure 488731DEST_PATH_IMAGE005
；
S33：点云处理流：包括了四次下采样和四次上采样操作，下采样和上采样分别使用了SetAbstraction层和Feature Propagation 层，SA和FP的输出分别
Figure 153936DEST_PATH_IMAGE006
j = 1、2、3、4表示，此外，为了增强点云的语义特征，将点云特征
Figure 624232DEST_PATH_IMAGE007
和图片语义特征
Figure 416607DEST_PATH_IMAGE008
使用融合模块进行融合，
Figure 164115DEST_PATH_IMAGE009
也进行融合操作，最后输出N*K的矩阵，K是类别数，用于之后的点云分割；
S34：点云特征与图像特征合:融合模块结构包括一个网格生成器、一个图像采样器以及融合层；
S35：网格生成器:将雷达点云和映射矩阵M作为输入，输出不同分辨率下激光雷达和摄像机图片的对应关系,设点云为
Figure 626320DEST_PATH_IMAGE010
、图片中的对应位置为
Figure 974125DEST_PATH_IMAGE011
，则有以下计算公式：
Figure 914399DEST_PATH_IMAGE012
建立对应关系后，即可使用图像采样器得到每个点对应的语义特征；
S36：图像采样器：将采样位置
Figure 295175DEST_PATH_IMAGE011
和图像特征
Figure 193861DEST_PATH_IMAGE013
作为输入，对每一个采样位置产生一个point-wise的图像特征表示
Figure 28962DEST_PATH_IMAGE014
,由于点云在图像上的采样位置可能落到相邻像素之间，考虑使用双线性插值来获得连续坐标下的图像特征：
Figure 382714DEST_PATH_IMAGE015
BI代表双线性插值、
Figure 495027DEST_PATH_IMAGE016
表示采样位置
Figure 423669DEST_PATH_IMAGE011
邻域像素的图像特征；
S37：融合层:逐点图像特征
Figure 355852DEST_PATH_IMAGE017
和点云特征
Figure 277410DEST_PATH_IMAGE018
分别经过全连接网络映射到相同的通道，然后将它们的每个元素相加形成一个更加紧密的特征表示，然后通过另一个全连接网络将其压缩成单个通道的权重映射 W,最后使用
Figure 244229DEST_PATH_IMAGE019
激活函数使W围在
Figure 343772DEST_PATH_IMAGE020
之间,总体计算公式如下：
Figure 638618DEST_PATH_IMAGE021
其中
Figure 989965DEST_PATH_IMAGE022
表示
Figure 670345DEST_PATH_IMAGE019
激活函数、
Figure 192987DEST_PATH_IMAGE023
表示双曲正切函数、
Figure 99763DEST_PATH_IMAGE024
为可学习的权重矩阵,最后融合层的输出如下：
Figure 848276DEST_PATH_IMAGE025
,“
Figure 789687DEST_PATH_IMAGE026
”代表拼接操作；
S38：对于目标检测模型YOLOv5，输入可见光图像，输出是在图片检测到的目标类别和边界框，针对分类置信度和定位置信度之间的不一致问题，在原有的损失函数上加上分类与定位强制一致性损失：
Figure 247344DEST_PATH_IMAGE027
其中Pre是预测的边界框、Label是标签的边界框、confidence是Pre所属类别的置信度；
S39：分别使用S2中预处理后的点云数据和杆塔隐患数据训练点云分割模型PCI-Seg和目标检测模型YOLOv5，通过不断迭代训练直至模型收敛，并使用验证集和测试集验证与测试模型效果，保存效果较好的模型，用于后续的输电通道点云分割与杆塔隐患目标检测。
2.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S1的具体过程还包括：
S11：三维点云数据采集：通过无人机激光雷达向地面发射激光信号，并收集地面反射的激光信号得到物体表面的模型，之后通过联合解算、偏差校正计算出这些点的准确空间信息，生成最终的三维点云数据；
S12：杆塔隐患目标检测模型的训练需要图片数据：通过使用无人机在杆塔周围的不同角度拍摄的输电线路上的元器件图片作为训练数据，需要拍摄存在隐患物体，训练数据需要各种隐患物体的高清照片，未损坏的元器件的照片以及包含整体杆塔和其上多种隐患目标的照片，训练数据均通过无人机和摄像机拍摄。
3.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S2数据预处理的过程还包括：
S21：采用直通滤波对点云进行过滤，去除背景，保留输电通道的主体部分：首先指定维度以及在该维度下的值域，其次，遍历点云中的每个点，判断该点在指定维度上的取值是否在值域内，删除取值不在值域内的点，最后，遍历结束，留下的点即构成滤波后的点云；
S22：采用拉普拉斯算子对图像进行锐化处理：对于二维图像中某个坐标点
Figure 500471DEST_PATH_IMAGE028
,其像素值为
Figure 193621DEST_PATH_IMAGE029
，使用下面这个八邻域拉普拉斯算子对图像进行锐化处理，二阶微分为
Figure 832281DEST_PATH_IMAGE030
，锐化后
Figure 585474DEST_PATH_IMAGE028
处的像素值为
Figure 591476DEST_PATH_IMAGE031
，具体公式如下：
Figure 698103DEST_PATH_IMAGE032
Figure 348527DEST_PATH_IMAGE033
；
S23：对三维点云分割任务的点云数据使用semantic-segmentation-editor点云标注工具进行标注；对二维图像目标检测任务使用labelimg标注工具进行标注；最后将点云数据和二维图像划分训练集、验证集和测试集。
4.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S4自动规划航线还包括：
S41：人工操控无人机到巡检的起点，开启无人机的摄像机可见光图像和激光测距仪，生成一次点云，将可见光图像和点云输入到三维点云分割模块活得点云分割结果；
S42：通过点云分割结果可以确定杆塔和导线的位置，用于基于杆塔和导线的位置计算航线，此时即可放开人工操作，其中S为设定的无人机飞行时与杆塔和导线的距离，无人机从位置1靠近杆塔，此时减速飞行，然后向上攀升至位置2，接着从杆塔另一侧下降至导线处位置3，绕杆塔飞行结束，之后要沿着导线提高速度飞向下一个杆塔，如此不断前进，通过GPS模块判断是否到了巡检范围终点，若到了终点则按原航线返回；
S43：无人机每次飞行到杆塔顶部即位置2和位置6时，悬停一段时间并拍摄前方输电通道图像和利用激光雷达扫描生成点云并进行点云分割，为外破隐患检测与测距和下一阶段航线计算提供数据。
5.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S5外破隐患检测与测距还包括：
S51：通过S3中获得的点云分割结果可知输电通道中是否存在外破隐患，外破隐患的位置以及输电通道主体部分杆塔和导线的位置；
S52：对杆塔和外破隐患部位的点云进行随机采样，取采样得到的点云坐标的平均值作为杆塔和外破隐患的整体坐标，用于最终的隐患测距；
S53：以地面为基准，测量隐患与杆塔和输电通道主体的距离，忽略了高度信息，只利用平面坐标计算距离，其中两个杆塔的位置分别为
Figure 866096DEST_PATH_IMAGE034
，外破隐患坐标为
Figure 346013DEST_PATH_IMAGE035
，测量隐患与两个杆塔的距离
Figure 380965DEST_PATH_IMAGE036
以及输电通道主体的距离
Figure 10529DEST_PATH_IMAGE037
；
S54：有了杆塔和外破隐患的坐标后，通过以下方式来计算隐患与两个杆塔的距离：
Figure 449732DEST_PATH_IMAGE038
S55：在计算隐患和输电通道主体的距离时，首先要确定的是输电通道主体的范围，假设由一座杆塔到另一座杆塔之间的连线作为输电通道的主体，这条直线为L1，之后即可根据两个杆塔的坐标计算直线L1的方程，设直线L1的方程为
Figure 899168DEST_PATH_IMAGE039
,则A、B、C的取值如下：
Figure 472232DEST_PATH_IMAGE040
得到了直线L1的一般式方程后，可以按以下方式获得距离d2：
Figure 533466DEST_PATH_IMAGE041
；
S56：得到隐患与杆塔的距离
Figure 799363DEST_PATH_IMAGE036
以及与输电通道主体距离
Figure 486827DEST_PATH_IMAGE037
后，即可判断外破隐患是否存在入侵输电通道的情况，若隐患入侵了输电通道则将外破隐患的图片以及位置信息上报预警。
6.根据权利要求1所述基于可见光和激光雷达点云融合的输电通道自动巡检方法，其特征在于：所述步骤S6杆塔本体隐患检测与定位：
S61：在无人机处于绕塔飞行阶段时，将摄像机对准杆塔，在一定间隔时间内收集图像数据和点云数据并使用点云分割模块进行点云分割；
S62：依据点云分割结果可得到杆塔上绝缘子、防震锤、均压环部件的位置，调整摄像机对准这些易发生隐患的部位，使用摄像机拍摄图像并通过GPS定位模块记录杆塔位置信息回传至服务器端；
S63：服务器端收到图像并通过训练好的杆塔隐患目标检测模型对图像进行目标检测，若检测到了隐患，则将该张图片的隐患和位置信息上报预警。
CN202211154583.4A 2022-09-22 2022-09-22 基于可见光和激光雷达点云融合的输电通道自动巡检方法 Active CN115240093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211154583.4A CN115240093B (zh) 2022-09-22 2022-09-22 基于可见光和激光雷达点云融合的输电通道自动巡检方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211154583.4A CN115240093B (zh) 2022-09-22 2022-09-22 基于可见光和激光雷达点云融合的输电通道自动巡检方法

Publications (2)

Publication Number Publication Date
CN115240093A CN115240093A (zh) 2022-10-25
CN115240093B true CN115240093B (zh) 2022-12-23

Family

ID=83667035

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211154583.4A Active CN115240093B (zh) 2022-09-22 2022-09-22 基于可见光和激光雷达点云融合的输电通道自动巡检方法

Country Status (1)

Country Link
CN (1) CN115240093B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115994854B (zh) * 2023-03-22 2023-06-23 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统
CN116433493B (zh) * 2023-06-07 2023-09-22 湖南大学 一种基于度量学习的工件点云集合拼接方法
CN117014561B (zh) * 2023-09-26 2023-12-15 荣耀终端有限公司 信息融合方法、可学习变量的训练方法及电子设备

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110532865A (zh) * 2019-07-19 2019-12-03 南京航空航天大学 基于可见光与激光融合的航天器结构识别方法
CN110543581A (zh) * 2019-09-09 2019-12-06 山东省计算中心（国家超级计算济南中心） 基于非局部图卷积网络的多视图三维模型检索方法
CN111275759A (zh) * 2020-01-16 2020-06-12 国网江苏省电力有限公司 基于无人机双光影像融合的变电站刀闸温度检测方法
CN112767391A (zh) * 2021-02-25 2021-05-07 国网福建省电力有限公司 融合三维点云和二维图像的电网线路部件缺陷定位方法
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113269040A (zh) * 2021-04-25 2021-08-17 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
CN113465522A (zh) * 2021-06-08 2021-10-01 智洋创新科技股份有限公司 一种基于点云的输电通道内隐患测距的方法
CN113569914A (zh) * 2021-06-29 2021-10-29 山东信通电子股份有限公司 一种融合点云数据的输电线路巡检方法及系统
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
CN114114314A (zh) * 2021-11-08 2022-03-01 国网福建省电力有限公司漳州供电公司 基于激光点云的输电线路巡检检测系统及检测方法
CN114254696A (zh) * 2021-11-30 2022-03-29 上海西虹桥导航技术有限公司 基于深度学习的可见光、红外和雷达融合目标检测方法
WO2022061945A1 (zh) * 2020-09-27 2022-03-31 广东电网有限责任公司 一种电力线路安全距离检测方法
CN114266947A (zh) * 2022-03-01 2022-04-01 众芯汉创（北京）科技有限公司 一种基于激光点云和可见光图像融合的分类方法及装置
CN114743021A (zh) * 2022-04-15 2022-07-12 国网江苏省电力有限公司泰州供电分公司 一种输电线路图像与点云数据的融合方法及系统
US11397242B1 (en) * 2021-02-23 2022-07-26 Tsinghua University 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds
CN114820800A (zh) * 2022-06-29 2022-07-29 山东信通电子股份有限公司 一种用于输电线路的实时巡检方法及设备
US11403860B1 (en) * 2022-04-06 2022-08-02 Ecotron Corporation Multi-sensor object detection fusion system and method using point cloud projection
WO2022170878A1 (zh) * 2021-02-09 2022-08-18 国网江苏省电力有限公司泰州供电分公司 一种无人机测量输电线路影像距离的系统及方法
CN115032648A (zh) * 2022-06-06 2022-09-09 上海大学 一种基于激光雷达密集点云的三维目标识别与定位方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN111260597B (zh) * 2020-01-10 2021-12-03 大连理工大学 一种多波段立体相机的视差图像融合方法
US11538349B2 (en) * 2020-08-03 2022-12-27 Honeywell International Inc. Multi-sensor data fusion-based aircraft detection, tracking, and docking
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110532865A (zh) * 2019-07-19 2019-12-03 南京航空航天大学 基于可见光与激光融合的航天器结构识别方法
CN110543581A (zh) * 2019-09-09 2019-12-06 山东省计算中心（国家超级计算济南中心） 基于非局部图卷积网络的多视图三维模型检索方法
CN111275759A (zh) * 2020-01-16 2020-06-12 国网江苏省电力有限公司 基于无人机双光影像融合的变电站刀闸温度检测方法
US11099275B1 (en) * 2020-04-29 2021-08-24 Tsinghua University LiDAR point cloud reflection intensity complementation method and system
US11222217B1 (en) * 2020-08-14 2022-01-11 Tsinghua University Detection method using fusion network based on attention mechanism, and terminal device
WO2022061945A1 (zh) * 2020-09-27 2022-03-31 广东电网有限责任公司 一种电力线路安全距离检测方法
WO2022170878A1 (zh) * 2021-02-09 2022-08-18 国网江苏省电力有限公司泰州供电分公司 一种无人机测量输电线路影像距离的系统及方法
US11397242B1 (en) * 2021-02-23 2022-07-26 Tsinghua University 3D object detection method based on multi-view feature fusion of 4D RaDAR and LiDAR point clouds
CN112767391A (zh) * 2021-02-25 2021-05-07 国网福建省电力有限公司 融合三维点云和二维图像的电网线路部件缺陷定位方法
CN113111751A (zh) * 2021-04-01 2021-07-13 西北工业大学 一种自适应融合可见光与点云数据的三维目标检测方法
CN113269040A (zh) * 2021-04-25 2021-08-17 南京大学 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN113465522A (zh) * 2021-06-08 2021-10-01 智洋创新科技股份有限公司 一种基于点云的输电通道内隐患测距的方法
CN113569914A (zh) * 2021-06-29 2021-10-29 山东信通电子股份有限公司 一种融合点云数据的输电线路巡检方法及系统
CN114114314A (zh) * 2021-11-08 2022-03-01 国网福建省电力有限公司漳州供电公司 基于激光点云的输电线路巡检检测系统及检测方法
CN114254696A (zh) * 2021-11-30 2022-03-29 上海西虹桥导航技术有限公司 基于深度学习的可见光、红外和雷达融合目标检测方法
CN114266947A (zh) * 2022-03-01 2022-04-01 众芯汉创（北京）科技有限公司 一种基于激光点云和可见光图像融合的分类方法及装置
US11403860B1 (en) * 2022-04-06 2022-08-02 Ecotron Corporation Multi-sensor object detection fusion system and method using point cloud projection
CN114743021A (zh) * 2022-04-15 2022-07-12 国网江苏省电力有限公司泰州供电分公司 一种输电线路图像与点云数据的融合方法及系统
CN115032648A (zh) * 2022-06-06 2022-09-09 上海大学 一种基于激光雷达密集点云的三维目标识别与定位方法
CN114820800A (zh) * 2022-06-29 2022-07-29 山东信通电子股份有限公司 一种用于输电线路的实时巡检方法及设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Channel resource allocation based on graph theory and coloring principle in cellular networks;Biyuan Yao 等;《2018 IEEE 3rd International Conference on Cloud Computing and Big Data Analysis (ICCCBDA)》;20181231;全文 *
Learning robust affinity graph representation for multi-view clustering;Peiguang Jing 等;《Information Sciences》;20200711;全文 *
基于激光雷达点云与图像融合的车辆目标检测方法;胡远志等;《汽车安全与节能学报》;20191215(第04期);全文 *
无人机载多载荷输电线路巡检方法研究;陈科羽等;《电力大数据》;20200221(第02期);全文 *

Also Published As

Publication number Publication date
CN115240093A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN115240093B (zh) 基于可见光和激光雷达点云融合的输电通道自动巡检方法
US11599689B2 (en) Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision
CN107729808B (zh) 一种用于输电线路无人机巡检的图像智能采集系统及方法
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN113034689B (zh) 基于激光点云的地形三维模型及地形图构建方法和系统、存储介质
CN112633535A (zh) 一种基于无人机图像的光伏电站智能巡检方法及系统
CN111537515A (zh) 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
CN103927731B (zh) 无需pos辅助的低空遥感影像快速自动拼接方法
CN106356757A (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN113298035A (zh) 基于图像识别的无人机电力杆塔检测及自主巡航方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN115331130B (zh) 基于地理标志物辅助导航的无人机巡检方法和无人机
CN114663787A (zh) 一种融合无人机chm和rgb影像的单木分割方法
CN116258980A (zh) 一种基于视觉的无人机分布式光伏电站巡检方法
CN114089786A (zh) 一种基于无人机视觉的沿山区公路自主巡检系统
CN115297303B (zh) 适用于电网输变电设备的图像数据采集处理方法及装置
CN115912183A (zh) 高压输电线路生态措施巡视方法、系统及可读存储介质
CN110658844B (zh) 一种特高压直流线路通道无人机监控方法及其系统
CN110580468A (zh) 一种基于影像匹配点云的单木结构参数提取的方法
CN116297472A (zh) 一种基于深度学习的无人机桥梁裂缝检测方法及系统
CN113379738A (zh) 一种基于图像的疫木检测与定位方法及系统
CN114037895A (zh) 一种无人机杆塔巡检图像识别方法
Bai et al. Application of unmanned aerial vehicle multi-vision image 3D modeling in geological disasters
CN112284351A (zh) 一种测量交叉跨越线路方法
CN116704138B (zh) 倾斜摄影三维模型的建立方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant