CN116129039A - 一种输电线路的三维点云生成方法、装置及存储介质 - Google Patents

一种输电线路的三维点云生成方法、装置及存储介质 Download PDF

Info

Publication number
CN116129039A
CN116129039A CN202211604234.8A CN202211604234A CN116129039A CN 116129039 A CN116129039 A CN 116129039A CN 202211604234 A CN202211604234 A CN 202211604234A CN 116129039 A CN116129039 A CN 116129039A
Authority
CN
China
Prior art keywords
transmission line
power transmission
point cloud
dimensional point
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211604234.8A
Other languages
English (en)
Inventor
杜伟
王佳颖
杨国柱
张嘉琳
吴建雄
李玉容
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Power Space Technology Co ltd
Original Assignee
State Grid Power Space Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Power Space Technology Co ltd filed Critical State Grid Power Space Technology Co ltd
Priority to CN202211604234.8A priority Critical patent/CN116129039A/zh
Publication of CN116129039A publication Critical patent/CN116129039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明提供一种输电线路的三维点云生成方法、装置及存储介质，其方法包括：通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；对待处理视频流进行坐标系转换处理，得到三维坐标数据；对三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；对输电线路三维点云模型进行优化处理，得到优化后的输电线路三维点云模型。采集输电线路的待处理视频流，并自动对待处理视频流进行坐标系转换以及三维实景建模，得到输电线路三维点云模型，并对其优化，本发明能够自动处理点云数据，减少延时，能够及时且有效地为检修人员提供输电线路点云数据。

Description

一种输电线路的三维点云生成方法、装置及存储介质
技术领域
本发明主要涉及输电线路建模技术领域，具体涉及一种输电线路的三维点云生成方法、装置及存储介质。
背景技术
目前，电网高压输电线路结构复杂、规模庞大，线路通道环境复杂、多变，线路通道环境错综复杂，线路下的树枝、违规施工等与线路安全距离不足，容易造成线路短路的情况，一旦事故发生容易造成人员严重伤害，同时对电网的运行造成冲击，带来极大的人员和经济损失。
三维点云技术可以很好地解决空间定位的问题，利用点云技术在电网巡检中得到较好的应用，但目前关于输电线路的三维点云数据的处理一般为先采集再交给内业进行处理，存在处理延时等问题，不便于检修人员及时排除安全隐患。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种输电线路的三维点云生成方法、装置及存储介质。
本发明解决上述技术问题的技术方案如下：一种输电线路的三维点云生成方法，包括如下步骤：
S1、通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；
S2、对所述待处理视频流进行坐标系转换处理，得到三维坐标数据；
S3、对所述三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；
S4、对所述输电线路三维点云模型进行优化处理，得到优化后的输电线路三维点云模型。
本发明解决上述技术问题的另一技术方案如下：一种输电线路的三维点云生成装置，包括：
采集模块，用于通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；
坐标转换模块，用于对所述待处理视频流进行坐标系转换处理，得到三维坐标数据；
建模模块，用于对所述三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；
优化模块，用于对所述输电线路三维点云模型进行优化处理，得到优化后的输电线路三维点云模型。
本发明解决上述技术问题的另一技术方案如下：一种输电线路的三维点云生成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的输电线路的三维点云生成方法。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的输电线路的三维点云生成方法。
本发明的有益效果是：采集输电线路的待处理视频流，并自动对待处理视频流进行坐标系转换以及三维实景建模，得到输电线路三维点云模型，并对其优化，本发明能够自动处理点云数据，减少延时，能够及时且有效地为检修人员提供输电线路点云数据。
附图说明
图1为本发明实施例提供的输电线路的三维点云生成方法的流程示意图；
图2为本发明实施例提供的输电线路的三维点云生成装置的功能模块框图。
图3为本发明实施例提供的反投影的示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例1：
图1为本发明实施例提供的输电线路的三维点云生成方法的流程示意图。
如图1所示，一种输电线路的三维点云生成方法，包括如下步骤：
S1、通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；
S2、对所述待处理视频流进行坐标系转换处理，得到三维坐标数据；
S3、对所述三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；
S4、对所述输电线路三维点云模型进行优化处理，得到优化后的输电线路三维点云模型。
上述实施例中，采集输电线路的待处理视频流，并自动对待处理视频流进行坐标系转换以及三维实景建模，得到输电线路三维点云模型，并对其优化，本发明能够自动处理点云数据，减少延时，能够及时且有效地为检修人员提供输电线路点云数据。
具体地，所述步骤S2具体为：
对所述拍摄设备进行标定，得到所述拍摄设备的参数矩阵H；
根据参数矩阵H生成三维映射表，所述三维映射表为图像坐标(x,y)在像素值h时对应的世界坐标(Xxyh,Yxyh,Zxyh)；
遍历所述待处理视频流中的每帧图像上的图像坐标(x,y)的不同像素值h，查询三维映射表得到位置(x,y,h)对应的世界坐标(Xxyh,Yxyh,Zxyh)，每帧图像上的所有图像坐标(x,y)在不同像素值h时的世界坐标(Xxyh,Yxyh,Zxyh)形成该帧图像的三维点云数据。
具体地，生成三维映射表的过程为：
S1.1：求图像坐标(x,y)对应的射线与世界坐标系中的X-Y平面的夹角θxy：其中，D表示相机在世界坐标系中的架设高度，Xxy和Yxy分别表示图像坐标(x,y)对应的世界坐标的横坐标和纵坐标。
S1.2：遍历图像坐标(x,y)处的像素值h，h∈[0,255)，计算图像坐标(x,y)在像素值为h时对应的世界坐标(Xxyh,Yxyh,Zxyh)：Zxyh＝D-kdsinθxy；
其中，pij(1≤i≤3,1≤j≤4)表示参数矩阵P中的元素；k为像素值与实际距离的比值。
选取下一个图像坐标(x,y)，重复步骤S1.1和步骤S1.2，直至遍历完整幅图片中的所有图像坐标，得到三维映射表。
具体地，所述步骤S3具体为：
通过预先训练完成的卷积神经网络模型对所述三维点云数据进行分类，提取所述三维点云数据中的输电线路像素坐标；
将所述输电线路像素坐标反投影至三维空间，得到输电线路三维点云模型。
如图3所示，应理解地是，反投影即反向投影。反向投影是针对图像平面的基本几何元素而言的，图像平面点m的反投影是指在摄像机P的作用下具有像点m的所有空间点的集合，即lb＝{X|m＝PX}。
下面考虑图像点m的反投影lb在世界坐标系中的方程。因为三维计算机视觉中将从多幅图像的对应点的反投影射线恢复空间点的三维坐标。由于两点确定一条直线，所以，如果能确定摄像设备和射线lb上另一点的空间坐标，就可以得到射线lb在空间中的方程。
由于图像点m和P的广义逆P+＝PT(PPT)-1所定义的另一空间点P+m，该空间点必在射线上lb上，因为P+(P+P m)-1＝PPT(PPT)-1m＝m。则，根据lb上的两个点C和P+m就得到lb的以下方程：X(u)＝u(P+m)+C。
上述实施例中，通过卷积神经网络模型提取出输电线路像素坐标，并通过反投影方式快速建模，得到输电线路三维点云模型，提高模型处理效率。
具体地，所述卷积神经网络模型为多隐层结构，所述多隐层结构为：
基于VGG16基础网络构建多个基础层；
在所述基础层之后，通过astrors算法构建两个卷积层；
在所述卷积层之后，构建一个average pool层。
应理解地是，VGG16基础网络为卷积神经网络模型，使用224x224的图作为训练的输入，用S表示图片最小边的值，当S＝224时这个图就直接使用，直接将多余的部分减掉；对于S远大于224的，模型将对图像进行单尺度和多尺度的剪裁，通过剪切这个图片中包含object的子图作为训练数据。训练方式为：采用带动量的小批量梯度下降法，来优化目标函数，并且当学习效果较为满意时，最初加入的学习率权重衰减系数会起作用，会减小学习率，缓慢达到最优解。初始化为：若为浅层，则先随机初始化后训练，深层采用浅层训练后的数据作为初始化数据，中间层则随机初始化。
卷积层均采用相同的卷积核参数，这样就能够使得每一个卷积层(张量)与前一层(张量)保持相同的宽和高。池化层均采用相同的池化核参数，池化层采用尺寸为2X2，stride＝2，max的池化方式，使得池化后的层尺寸长宽为未池化前的1/2。利用小尺寸卷积核等效大尺寸卷积核，2个3X3卷积核的感受野与1个5X5卷积核相当，3个3X3卷积核与1个7X7卷积核相当，故在特征提取效果相当时，多个小卷核与大卷积核相比，学习参数更少，计算量较小，训练更加快速，还能增加网络的深度，提升模型性能。
上述实施例中，对VGG16基础网络进行改进，通过改进后的VGG16基础网络能够快速、有效的得到输电线路三维点云模型。
具体地，所述步骤S4具体为：
通过平滑算法对所述输电线路三维点云模型进行平滑处理。
具体地，可采用例如，拉普拉斯平滑算法(Laplacian Smooth)、Taubin平滑算法(Taubin Smooth)等平滑算法，来对输电线路三维点云模型进行平滑处理。
上述实施例中，通过平滑优化处理能够使输电线路三维点云模型更为直观、清晰。
实施例2：
图2为本发明实施例提供的输电线路的三维点云生成装置的功能模块框图。
如图2所示，一种输电线路的三维点云生成装置，包括：
采集模块，用于通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；
坐标转换模块，用于对所述待处理视频流进行坐标系转换处理，得到三维坐标数据；
建模模块，用于对所述三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；
优化模块，用于对所述输电线路三维点云模型进行优化处理，得到优化5后的输电线路三维点云模型。
具体地，所述坐标转换模块具体用于：
对所述拍摄设备进行标定，得到所述拍摄设备的参数矩阵H；
根据参数矩阵H生成三维映射表，所述三维映射表为图像坐标(x,y)
在像素值h时对应的世界坐标(Xxyh,Yxyh,Zxyh)；
0遍历所述待处理视频流中的每帧图像上的图像坐标(x,y)的不同像素值h，查询三维映射表得到位置(x,y,h)对应的世界坐标(Xxyh,Yxyh,Zxyh)，每帧图像上的所有图像坐标(x,y)在不同像素值h时的世界坐标(Xxyh,Yxyh,Zxyh)形成该帧图像的三维点云数据。
具体地，所述建模模块具体用于：
5通过预先训练完成的卷积神经网络模型对所述三维点云数据进行分类，
提取所述三维点云数据中的输电线路像素坐标；
将所述输电线路像素坐标反投影至三维空间，得到输电线路三维点云模型。
实施例3：
0一种输电线路的三维点云生成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上的输电线路的三维点云生成方法。
实施例4：
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程5序，当所述计算机程序被处理器执行时，实现如上所述的输电线路的三维点云生成方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种输电线路的三维点云生成方法，其特征在于，包括如下步骤：
S1、通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；
S2、对所述待处理视频流进行坐标系转换处理，得到三维坐标数据；
S3、对所述三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；
S4、对所述输电线路三维点云模型进行优化处理，得到优化后的输电线路三维点云模型。
2.根据权利要求1所述的输电线路的三维点云生成方法，其特征在于，所述步骤S2具体为：
对所述拍摄设备进行标定，得到所述拍摄设备的参数矩阵H；
根据参数矩阵H生成三维映射表，所述三维映射表为图像坐标(x,y)在像素值h时对应的世界坐标(Xxyh,Yxyh,Zxyh)；
遍历所述待处理视频流中的每帧图像上的图像坐标(x,y)的不同像素值h，查询三维映射表得到位置(x,y,h)对应的世界坐标(Xxyh,Yxyh,Zxyh)，每帧图像上的所有图像坐标(x,y)在不同像素值h时的世界坐标(Xxyh,Yxyh,Zxyh)形成该帧图像的三维点云数据。
3.根据权利要求1所述的输电线路的三维点云生成方法，其特征在于，所述步骤S3具体为：
通过预先训练完成的卷积神经网络模型对所述三维点云数据进行分类，提取所述三维点云数据中的输电线路像素坐标；
将所述输电线路像素坐标反投影至三维空间，得到输电线路三维点云模型。
4.根据权利要求3所述的输电线路的三维点云生成方法，其特征在于，所述卷积神经网络模型为多隐层结构，所述多隐层结构为：
基于VGG16基础网络构建多个基础层；
在所述基础层之后，通过astrors算法构建两个卷积层；
在所述卷积层之后，构建一个average pool层。
5.根据权利要求1所述的输电线路的三维点云生成方法，其特征在于，所述步骤S4具体为：
通过平滑算法对所述输电线路三维点云模型进行平滑处理。
6.一种输电线路的三维点云生成装置，其特征在于，包括：
采集模块，用于通过预设飞行器上的拍摄设备采集输电线路的待处理视频流；
坐标转换模块，用于对所述待处理视频流进行坐标系转换处理，得到三维坐标数据；
建模模块，用于对所述三维坐标数据进行三维实景建模处理，得到输电线路对应的输电线路三维点云模型；
优化模块，用于对所述输电线路三维点云模型进行优化处理，得到优化后的输电线路三维点云模型。
7.根据权利要求6所述的输电线路的三维点云生成装置，其特征在于，所述坐标转换模块具体用于：
对所述拍摄设备进行标定，得到所述拍摄设备的参数矩阵H；
根据参数矩阵H生成三维映射表，所述三维映射表为图像坐标(x,y)在像素值h时对应的世界坐标(Xxyh,Yxyh,Zxyh)；
遍历所述待处理视频流中的每帧图像上的图像坐标(x,y)的不同像素值h，查询三维映射表得到位置(x,y,h)对应的世界坐标(Xxyh,Yxyh,Zxyh)，每帧图像上的所有图像坐标(x,y)在不同像素值h时的世界坐标(Xxyh,Yxyh,Zxyh)形成该帧图像的三维点云数据。
8.根据权利要求6所述的输电线路的三维点云生成装置，其特征在于，所述建模模块具体用于：
通过预先训练完成的卷积神经网络模型对所述三维点云数据进行分类，提取所述三维点云数据中的输电线路像素坐标；
将所述输电线路像素坐标反投影至三维空间，得到输电线路三维点云模型。
9.一种输电线路的三维点云生成装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，当所述处理器执行所述计算机程序时，实现如权利要求1至5任一项所述的输电线路的三维点云生成方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的输电线路的三维点云生成方法。
CN202211604234.8A 2022-12-13 2022-12-13 一种输电线路的三维点云生成方法、装置及存储介质 Pending CN116129039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211604234.8A CN116129039A (zh) 2022-12-13 2022-12-13 一种输电线路的三维点云生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211604234.8A CN116129039A (zh) 2022-12-13 2022-12-13 一种输电线路的三维点云生成方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116129039A true CN116129039A (zh) 2023-05-16

Family

ID=86299986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211604234.8A Pending CN116129039A (zh) 2022-12-13 2022-12-13 一种输电线路的三维点云生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116129039A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993923A (zh) * 2023-09-22 2023-11-03 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993923A (zh) * 2023-09-22 2023-11-03 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质
CN116993923B (zh) * 2023-09-22 2023-12-26 长沙能川信息科技有限公司 换流站三维模型制作方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110827342B (zh) 三维人体模型重建方法及存储设备、控制设备
JP7048225B2 (ja) 建物領域抽出用の学習済みモデル
CN109815865B (zh) 一种基于虚拟水尺的水位识别方法及系统
CN105488776B (zh) 超分辨率图像重建方法和装置
CN106846272A (zh) 一种点云模型的去噪精简方法
CN108416803A (zh) 一种基于深度神经网络的多信息融合的场景深度恢复方法
CN104599242A (zh) 使用多尺度非局部正则的模糊核估计方法
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN109712127A (zh) 一种用于机巡视频流的输电线路故障检测方法
CN112419191B (zh) 基于卷积神经网络的图像运动模糊去除方法
CN111539888A (zh) 一种基于金字塔通道特征注意力的神经网络图像去雾方法
CN116129039A (zh) 一种输电线路的三维点云生成方法、装置及存储介质
CN107767357A (zh) 一种基于多方向字典的深度图像超分辨率方法
CN107818563A (zh) 一种输电线路分裂导线间距空间测量与定位方法
CN107194380A (zh) 一种复杂场景下人脸识别的深度卷积网络及学习方法
CN111683221B (zh) 嵌入矢量红线数据的自然资源实时视频监测方法及系统
CN111612886A (zh) 室内三维模型生成方法及系统
CN113177941B (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN111126185B (zh) 一种针对道路卡口场景的深度学习车辆目标识别方法
CN116258715B (zh) 一种粉尘回收方法、装置及电子设备
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN107492147A (zh) 一种电力设备三维建模方法
CN109785435A (zh) 一种墙体重建方法及装置
CN115115713A (zh) 一种统一时空融合的环视鸟瞰图感知方法
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination