CN118196294A - 一种解决高电磁环境下成像质量下降的方法、介质及装置 - Google Patents
一种解决高电磁环境下成像质量下降的方法、介质及装置 Download PDFInfo
- Publication number
- CN118196294A CN118196294A CN202410356334.6A CN202410356334A CN118196294A CN 118196294 A CN118196294 A CN 118196294A CN 202410356334 A CN202410356334 A CN 202410356334A CN 118196294 A CN118196294 A CN 118196294A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- texture image
- hydropower station
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000003384 imaging method Methods 0.000 title claims abstract description 23
- 230000015556 catabolic process Effects 0.000 title claims abstract description 20
- 238000006731 degradation reaction Methods 0.000 title claims abstract description 20
- 230000005672 electromagnetic field Effects 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 230000015654 memory Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种解决高电磁环境下成像质量下降的方法、介质及装置，所述方法包括：拍摄水电站的纹理图像，获取拍摄位置坐标和电磁场强度；利用第一神经网络判断纹理图像的影像重叠度和清晰度符合要求时，利用三维激光扫描系统分别对水电站进行激光扫描，通过第二神经网络得到水电站目标物的点云图像，测取扫描位置坐标和电磁场强度；利用第三神经网络判断点云图像的完整度和稠密度符合要求时，分别从纹理图像和点云图像中提取特征点，并确定同名特征点；根据同名特征点，构建纹理图像与点云图像的映射关系，从而得到水电站实景三维模型。本发明利用神经网络对纹理图像和点云图像的质量判断，解决了高电磁场强度下成像质量下降的问题。
Description
技术领域
本发明涉及水电站安全监测技术领域，具体而言，涉及一种解决高电磁环境下成像质量下降的方法、介质及装置。
背景技术
建立水电站建筑物、设施设备的三维实景模型，对提高水电站的运行维护水平有重要意义。
水电站三维建模涉及不同大小规模的实体目标物，宏观目标物如水电工程枢纽，中观目标物如厂房和办公楼，微观目标物如电力设备。现有的激光扫描得到实体目标物的三维点云的建模方法得到的三维点云模型缺乏实体对象的纹理细节，逼真度成问题，视觉效果差。
将水电站实体目标物的三维点云与其实景图像融合，能得到视觉效果更高的三维实景模型。然而，无论是对水电站实体目标物进行激光扫描还是拍摄目标物的图像，均受水电站高强度的电磁场环境的影响而成像质量下降。
发明内容
本发明旨在提供一种解决高电磁环境下成像质量下降的方法、介质及装置，构建高精度的水电站实景三维模型。
本发明提供的一种解决高电磁环境下成像质量下降的方法，包括如下步骤：
步骤1：利用无人机对水电站进行倾斜摄影，得到水电站的纹理图像，同时获取无人机拍摄位置的坐标和电磁场强度；
步骤2：采用第一神经网络判断纹理图像的影像重叠度和清晰度是否符合要求：
步骤2.1：若纹理图像的重叠度和清晰度均符合要求，则执行步骤3；
步骤2.2：若纹理图像的重叠度或清晰度不符合要求，则对无人机拍摄系统的设置参数进行调整或改变无人机的拍摄位置，重新执行步骤1；
步骤3：利用三维激光扫描系统分别对水电站宏观、中观和微观目标物进行激光扫描，并通过第二神经网络分离出水电站宏观、中观和微观目标物的点云图像，同时测取扫描位置的坐标和电磁场强度；
步骤4：采用第三神经网络判断点云图像的完整度和稠密度是否符合要求：
步骤4.1：若点云图像的完整度和稠密度均符合要求，则执行步骤5；
步骤4.2：若点云图像的完整度或稠密度不符合要求，则对三维激光扫描系统的设置参数进行调整或改变三维激光扫描系统的位置，重新执行步骤3；
步骤5：分别从纹理图像和点云图像中提取特征点；
步骤6：确定纹理图像和点云图像中的同名特征点；
步骤7：根据同名特征点，构建纹理图像与点云图像的映射关系，从而得到水电站实景三维模型。
进一步的，步骤2中，所述第一神经网络采用Fast-RCNN网络。
进一步的，步骤2.2中：若纹理图像的重叠度或清晰度不符合要求，则将无人机拍摄位置的坐标、电磁场强度和无人机倾斜摄影的设置参数与纹理图像本身一起作为Fast-RCNN网络的负样本。
进一步的，步骤3中，第二神经网络对三维激光扫描系统得到的点云图像进行不同尺度的目标物识别，分离出水电站宏观、中观和微观目标物的点云图像。
进一步的，步骤3中，所述第二神经网络为金字塔网络FPN。
进一步的，步骤4中，需要事先对不同尺度的目标物分别制定点云图像不同的完整度和稠密度的判断标准。
进一步的，步骤4中，所述第三神经网络采用ResNet网络模型。
进一步的，步骤4中，若点云图像的完整度或稠密度不符合要求，则将三维激光扫描系统位置的坐标、电磁场强度以及三维激光扫描系统的设置参数与点云图像一起作为ResNet网络模型的负样本。
本发明还提供一种计算机终端存储介质，存储有计算机终端可执行指令，所述计算机终端可执行指令用于执行上述的解决高电磁环境下成像质量下降的方法。
本发明还提供一种计算装置，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的解决高电磁环境下成像质量下降的方法。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1、本发明通过分别识别判断无人机倾斜摄影的图像的重叠度和清晰度以及三维激光扫描系统输出的三维点云的完整度和稠密度，判断水电站高电磁场强度对无人机倾斜摄影、三维激光扫描的影响，解决了高电磁场强度下成像质量下降的问题，能得到符合要求的水电站宏中观目标物的纹理图像和点云图像，便于构建高精度的水电站实景三维模型。
2、本发明采用Fast-CNN网络判断纹理图像的重叠度和清晰度，并将质量差的无人机拍摄位置的坐标、电磁场强度和无人机倾斜摄影的设置参数与纹理图像本身一起作为负样本，提高Fast-CNN网络对负样本的识别能力，便于通过对拍摄系统的参数以及拍摄位置的调整，解决高电磁场强度下成像质量下降的问题。
3、本发明采用ResNet网络模型判断点云图像的完整度和稠密度，并将点云质量差的三维激光扫描系统扫描位置的坐标、电磁场强度以及三维激光扫描系统的设置参数与点云图像一起作为负样本，提高ResNet网络对负样本的识别能力，便于通过对三维激光扫描系统的设置参数以及拍摄位置的调整，解决高电磁场强度下成像质量下降的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中解决高电磁环境下成像质量下降的方法的流程图。
图2为本发明实施例中Fast-RCNN网络的结构示意图。
图3为本发明实施例中金字塔网络FPN对三维激光扫描系统得到的点云图像进行不同尺度的目标物识别的示意图。
图4为本发明实施例中得到的水电站实景三维模型效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本实施例提出一种解决高电磁环境下成像质量下降的方法，包括如下步骤：
步骤1：利用无人机对水电站进行倾斜摄影，得到水电站的纹理图像，同时获取无人机拍摄位置的坐标和电磁场强度；
步骤2：采用Fast-RCNN网络判断纹理图像的影像重叠度和清晰度是否符合要求：如图2所示，所述Fast-RCNN网络包含8个卷积层(conv)、8个非线性激活层(relu)和4个池化层(pooling)，具体结构依次为：卷积层、非线性激活层、卷积层、非线性激活层、池化层、卷积层、非线性激活层、卷积层、非线性激活层、池化层、卷积层、非线性激活层、卷积层、非线性激活层、池化层、卷积层、非线性激活层、卷积层、非线性激活层、池化层。
Fast-RCNN网络的输入为纹理图像以及无人机拍摄位置的坐标、电磁场强度和无人机倾斜摄影的设置参数等数据，Fast-RCNN网络的输出为纹理图像的影像重叠度和清晰度的分类结果。Fast-RCNN网络的训练阶段，利用负样本对Fast-RCNN网络进行训练。通过实施结果表明，采用Fast-RCNN网络大大降低了计算复杂度，却能满足本发明的精度要求。
步骤2.1：若纹理图像的重叠度和清晰度均符合要求，则执行步骤3；
步骤2.2：若纹理图像的重叠度或清晰度不符合要求，则将无人机拍摄位置的坐标、电磁场强度和无人机倾斜摄影的设置参数与纹理图像本身一起作为Fast-RCNN网络负样本；然后对无人机拍摄系统的设置参数进行调整或改变无人机的拍摄位置，重新执行步骤1；
步骤3：利用三维激光扫描系统分别对水电站宏观、中观和微观目标物进行激光扫描，进一步利用金字塔网络FPN对三维激光扫描系统得到的点云图像进行不同尺度的目标物识别，分离出水电站宏观、中观和微观目标物的点云图像，同时测取扫描位置的电磁场强度；所述金字塔网络FPN如图3所示。此外，对激光扫描仪在高磁场环境下的测量精度进行评估，通过比较高磁场环境下的测量结果与非磁场环境下的基准测量结果，发现高磁场对激光扫描仪的测量精度有一定的影响。在高磁场环境下，由于磁场对光路的干扰，激光扫描仪测量数据存在一定的误差。本发明通过对三维激光扫描系统设置参数的调整和扫描位置的选择，成功提高了测量精度，并减小了磁场对测量结果的影响。
步骤4：对不同尺度的目标物分别制定点云图像不同的完整度和稠密度的判断标准；采用ResNet网络模型判断点云图像的完整度和稠密度是否符合要求：
步骤4.1：若点云图像的完整度和稠密度均符合要求，则执行步骤5；
步骤4.2：若点云图像的完整度或稠密度不符合要求，则将三维激光扫描系统位置的坐标、电磁场强度以及三维激光扫描系统的设置参数与点云图像一起作为ResNet网络模型的负样本；然后对三维激光扫描系统的设置参数进行调整或改变三维激光扫描系统的位置，重新执行步骤3；
步骤5：分别从纹理图像和点云图像中提取特征点。
本实施例中，采用ASIFT(Adaptive Scale-Invariant Feature Transform)算法分别从目标物的点云图像和纹理图像中提取特征点。
步骤6：确定纹理图像和点云图像中的同名特征点；
本实施例中，将纹理图像和点云图像的特征点与其描述符配对，通过比较描述符之间的相似度，找出最可能对应的同名特征对。
步骤7：根据同名特征点，构建纹理图像与点云图像的映射关系，从而得到水电站实景三维模型，如图4所示。
此外，在一些实施例中，提出一种计算机终端存储介质，存储有计算机终端可执行指令，所述计算机终端可执行指令用于执行如前文实施例所述的解决高电磁环境下成像质量下降的方法。计算机存储介质的示例包括磁性存储介质(例如，软盘、硬盘等)、光学记录介质(例如，CD-ROM、DVD等)或存储器，如存储卡、ROM或RAM等。计算机存储介质也可以分布在网络连接的计算机系统上，例如是应用程序的商店。
此外，在一些实施例中，提出一种计算装置，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如前文实施例所述的解决高电磁环境下成像质量下降的方法。计算装置的示例包括PC机、平板电脑、智能手机或PDA等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种解决高电磁环境下成像质量下降的方法，其特征在于，包括如下步骤：
步骤1：利用无人机对水电站进行倾斜摄影，得到水电站的纹理图像，同时获取无人机拍摄位置的坐标和电磁场强度；
步骤2：采用第一神经网络判断纹理图像的影像重叠度和清晰度是否符合要求：
步骤2.1：若纹理图像的重叠度和清晰度均符合要求，则执行步骤3；
步骤2.2：若纹理图像的重叠度或清晰度不符合要求，则对无人机拍摄系统的设置参数进行调整或改变无人机的拍摄位置，重新执行步骤1；
步骤3：利用三维激光扫描系统分别对水电站宏观、中观和微观目标物进行激光扫描，并通过第二神经网络分离出水电站宏观、中观和微观目标物的点云图像，同时测取扫描位置的坐标和电磁场强度；
步骤4：采用第三神经网络判断点云图像的完整度和稠密度是否符合要求：
步骤4.1：若点云图像的完整度和稠密度均符合要求，则执行步骤5；
步骤4.2：若点云图像的完整度或稠密度不符合要求，则对三维激光扫描系统的设置参数进行调整或改变三维激光扫描系统的位置，重新执行步骤3；
步骤5：分别从纹理图像和点云图像中提取特征点；
步骤6：确定纹理图像和点云图像中的同名特征点；
步骤7：根据同名特征点，构建纹理图像与点云图像的映射关系，从而得到水电站实景三维模型。
2.根据权利要求1所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤2中，所述第一神经网络采用Fast-RCNN网络。
3.根据权利要求2所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤2.2中：若纹理图像的重叠度或清晰度不符合要求，则将无人机拍摄位置的坐标、电磁场强度和无人机倾斜摄影的设置参数与纹理图像本身一起作为Fast-RCNN网络的负样本。
4.根据权利要求1所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤3中，第二神经网络对三维激光扫描系统得到的点云图像进行不同尺度的目标物识别，分离出水电站宏观、中观和微观目标物的点云图像。
5.根据权利要求4所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤3中，所述第二神经网络为金字塔网络FPN。
6.根据权利要求1所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤4中，需要事先对不同尺度的目标物分别制定点云图像不同的完整度和稠密度的判断标准。
7.根据权利要求6所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤4中，所述第三神经网络采用ResNet网络模型。
8.根据权利要求7所述的解决高电磁环境下成像质量下降的方法，其特征在于，步骤4中，若点云图像的完整度或稠密度不符合要求，则将三维激光扫描系统位置的坐标、电磁场强度以及三维激光扫描系统的设置参数与点云图像一起作为ResNet网络模型的负样本。
9.一种计算机终端存储介质，存储有计算机终端可执行指令，其特征在于，所述计算机终端可执行指令用于执行如权利要求1-8中任一权利要求所述的解决高电磁环境下成像质量下降的方法。
10.一种计算装置，其特征在于，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-8中任一权利要求所述的解决高电磁环境下成像质量下降的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410356334.6A CN118196294A (zh) | 2024-03-27 | 2024-03-27 | 一种解决高电磁环境下成像质量下降的方法、介质及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410356334.6A CN118196294A (zh) | 2024-03-27 | 2024-03-27 | 一种解决高电磁环境下成像质量下降的方法、介质及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118196294A true CN118196294A (zh) | 2024-06-14 |
Family
ID=91397714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410356334.6A Pending CN118196294A (zh) | 2024-03-27 | 2024-03-27 | 一种解决高电磁环境下成像质量下降的方法、介质及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118196294A (zh) |
-
2024
- 2024-03-27 CN CN202410356334.6A patent/CN118196294A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
| CN112199993B (zh) | 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法 | |
| CN107742093B (zh) | 一种红外图像电力设备部件实时检测方法、服务器及系统 | |
| Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
| CN112767391A (zh) | 融合三维点云和二维图像的电网线路部件缺陷定位方法 | |
| CN111476827A (zh) | 目标跟踪方法、系统、电子装置及存储介质 | |
| CN112164115B (zh) | 物体位姿识别的方法、装置及计算机存储介质 | |
| CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| CN114663598A (zh) | 三维建模方法、装置和存储介质 | |
| CN113012215A (zh) | 一种空间定位的方法、系统及设备 | |
| CN116805387B (zh) | 基于知识蒸馏的模型训练方法、质检方法和相关设备 | |
| CN113947724A (zh) | 一种基于双目视觉的线路覆冰厚度自动测量方法 | |
| CN116522565B (zh) | 一种基于bim的电力工程设计配电网规划方法及计算机设备 | |
| CN117152094A (zh) | 基于计算机视觉的钢板表面缺陷分析方法、装置及系统 | |
| CN118196294A (zh) | 一种解决高电磁环境下成像质量下降的方法、介质及装置 | |
| CN115690505A (zh) | 光伏组件故障检测方法、装置、计算机设备及存储介质 | |
| CN115035168A (zh) | 基于多约束的光伏面板多源图像配准方法、装置及系统 | |
| CN112465808B (zh) | 变电站设备状态识别方法、装置、巡检机器人和存储介质 | |
| CN115311553A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN113269678A (zh) | 接触网输电线路的故障点定位方法 | |
| CN112001247A (zh) | 多目标检测方法、设备及存储装置 | |
| CN113870412A (zh) | 一种航空场景图像的处理方法、装置以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |