CN117274843B - 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 - Google Patents
基于轻量级边缘计算的无人机前端缺陷识别方法及系统 Download PDFInfo
- Publication number
- CN117274843B CN117274843B CN202311521476.5A CN202311521476A CN117274843B CN 117274843 B CN117274843 B CN 117274843B CN 202311521476 A CN202311521476 A CN 202311521476A CN 117274843 B CN117274843 B CN 117274843B
- Authority
- CN
- China
- Prior art keywords
- defect
- target
- aerial vehicle
- unmanned aerial
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 302
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004364 calculation method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 109
- 238000012549 training Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 238000006243 chemical reaction Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000004088 simulation Methods 0.000 claims description 22
- 230000002452 interceptive effect Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000013136 deep learning model Methods 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 11
- 238000012423 maintenance Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了基于轻量级边缘计算的无人机前端缺陷识别方法及系统，该系统利用无人机执行航拍任务，捕捉目标区域的图像数据，并在无人机上的边缘计算单元进行图像处理和分析，实现目标表面的缺陷识别。该方法通过无人机捕捉高分辨率的图像数据，在边缘计算单元内进行图像增强和预处理，使用经过深度学习训练的目标检测模型，识别并标识图像数据中的目标类型和缺陷特征，根据目标类型，将虚拟场景组件加载到模拟交互拓扑网络中，比对确定目标表面是否存在缺陷并在模拟交互拓扑网络中标记和展示，提高了缺陷检测的准确性和效率。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统。
背景技术
在各种工业领域，检测和识别目标表面的缺陷是确保设备、建筑物和基础设施运行安全性和可靠性的重要任务。这些领域包括但不限于建筑、制造业、能源、交通运输和自动化工程。传统上，缺陷检测通常需要进行视觉检查，这对于大型设备和建筑物来说可能是昂贵和耗时的过程。
近年来，无人机技术已经成为一种有前景的工具，用于快速、高效地检查目标表面的缺陷。无人机可以搭载高分辨率相机或其他传感器，能够提供从难以到达的角度和位置捕获的图像数据。然而，现有的无人机缺陷检测方法通常依赖于将图像数据传输到远程服务器进行处理和分析，这可能导致延迟、高通信成本以及对网络连接的依赖性。
此外，缺陷识别在某些情况下需要即时响应，例如在工业生产线上或在紧急情况下。因此，有必要提供一种在无人机前端执行的缺陷识别方法，以提高识别的实时性和效率。这需要将图像处理和机器学习技术集成到无人机的边缘计算单元中，以在飞行中执行缺陷检测，从而减少设备停机时间和维护成本。
发明内容
有鉴于此，本发明的目的在于提出一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统，用于快速、高效地检测和识别目标表面的缺陷，通过图像采集、数据处理和机器学习处理提高前沿缺陷检测的准确性和实时性，从而减少设备停机时间和维护成本具有实时性、高效性和节省通信成本的优点。
基于上述目的，第一方面，本发明提供了一种基于轻量级边缘计算的无人机前端缺陷识别方法，包括以下步骤：
S1：通过无人机进行航拍，捕捉目标区域的图像数据；
S2、将图像数据传输到无人机上的边缘计算单元，对所述图像数据进行增强和预处理，得到目标的图像数据序列，其中，所述图像数据序列中包含无人机航拍时的位置信息和时间戳信息；
S3、使用基于深度学习训练的目标检测模型，识别并标识所述图像数据序列中的目标类型和缺陷特征；
S4、根据识别的目标类型在预设的模拟资源库中选取目标的虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中；
S5、将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；若存在缺陷，将缺陷特征标记在所述模拟交互拓扑网络的虚拟场景组件上，并标记航拍的时间戳信息。
作为本发明的进一步方案，无人机捕捉目标区域的图像数据时，包括以下步骤：
按照设定的航拍路径和目标区域使用配备的高分辨率摄像头拍摄目标区域的图像；
基于无人机搭载的GPS定位系统采集无人机航拍时的位置信息；其中，航拍时，拍摄目标区域的正射影像、斜摄影像以及视频流，并保存拍摄的时间戳信息，获得图像数据。
作为本发明的进一步方案，对所述图像数据进行增强和预处理，包括以下步骤：
采用高斯滤波对图像数据中每个像素进行去噪处理，去除图像数据中的噪声，得到高清晰度图像；
调整高清晰度图像的对比度和亮度，通过直方图均衡化增强图像的像素值映射强度；
将对比度增强的图像按照分辨率调整尺寸，颜色空间转换后得到灰度图像；
使用边缘检测算法检测提取灰度图像中目标的轮廓特征和表面特征；其中，所述轮廓特征包括提取的图像中以边缘点的形式呈现的目标物体的轮廓线、目标物体的角点以及交叉点；所述表面特征包括提取的图像中目标物体表面的纹理特征、亮度特征、颜色特征、凹凸特征以及深度特征。
作为本发明的进一步方案，所述目标检测模型为YOLOv4，使用YOLOv4识别和标识目标类型和缺陷特征，包括以下步骤：
模型加载：加载预训练的YOLOv4模型，将图像数据序列作为输入传递给YOLOv4模型；
目标检测和分类：基于所述YOLOv4模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；
缺陷特征分析：使用YOLOv4模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据。
作为本发明的进一步方案，使用YOLOv4模型进行缺陷检测和表面特征分析，缺陷检测的缺陷特征包括轮廓特征和表面特征，缺陷检测时，每个检测到的目标的轮廓特征提取包括以下步骤：
使用Canny边缘检测提取目标物体的边缘点，边缘点表征目标物体的轮廓线；
使用Harris角点检测提取目标物体的角点，并分析边缘点的交叉确定目标物体的交叉点；
提取的目标物体的边缘点、角点以及交叉点作为轮廓特征；
缺陷检测时，每个检测到的目标的表面特征提取包括以下步骤：
使用纹理滤波器提取目标表面的纹理特征，通过平均亮度、亮度梯度计算目标表面的亮度特征，通过颜色直方图提取目标表面的颜色特征， 使用深度信息识别目标表面的凹凸特征和目标表面的深度特征，得到表面特征。
作为本发明的进一步方案，基于深度学习训练的目标检测模型，包括以下训练步骤：
数据收集：收集包含目标对象的图像和相应的标注数据，其中，标注数据包括每个目标对象的边界框（bounding box）和相应的类别标签；
数据预处理：对标注数据进行预处理，得到训练目标检测模型的样本数据，其中，所述样本数据随机划分为训练数据集和验证数据集；
初始化模型：选择YOLOv4作为深度学习模型架构，初始化YOLOv4模型的权重，并定义YOLOv4模型的损失函数，其中，选择SGD优化器最小化YOLOv4模型的损失函数，并定义学习率策略；
模型训练：使用训练数据集对YOLOv4模型进行训练，其中通过反向传播和优化器来更新YOLOv4模型的权重；
验证数据集：使用验证数据集评估YOLOv4模型的性能，并对YOLOv4模型的超参数进行调整，其中，YOLOv4模型的超参数包括学习率、批量大小以及训练周期数；
模型保存：保存训练好的YOLOv4模型的权重和架构，并 使用训练好的YOLOv4模型执行目标检测任务。
作为本发明的进一步方案，基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中，包括以下步骤：
获取虚拟场景组件坐标：从预设的模拟资源库中选择虚拟场景组件以及虚拟场景组在虚拟环境中的原始坐标；
坐标系转换：将虚拟场景组件的原始坐标从虚拟环境的本地坐标系转换为地理坐标系，与无人机航拍位置信息相对应，其中，所述无人机航拍位置信息包括无人机航拍位置的经度、纬度、高度信息；
坐标平移和旋转：根据无人机航拍位置信息进行坐标平移和旋转变换，将虚拟场景组件的坐标与无人机航拍位置相对应；
加载到模拟交互拓扑网络：将经过坐标转换的虚拟场景组件的坐标加载到模拟交互拓扑网络中，模拟目标对象的位置。
作为本发明的进一步方案，将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，包括以下步骤：
基于目标检测模型的输出，提取缺陷特征：缺陷的位置、形状、大小、颜色以及纹理信息；
获取预定义的缺陷模式，将目标检测模型提取的缺陷特征与预定义的缺陷模式中的规则、特征、参数进行比对，若提取的缺陷特征与任何一个预定义的缺陷模式相匹配，则确定存在缺陷，否则，认定目标表面没有缺陷，得到比对结果；
根据比对结果，确定目标表面是否存在缺陷以及缺陷的类型。
第二方面，本发明提供了一种基于轻量级边缘计算的无人机前端缺陷识别系统，包括：
数据获取模块，用于通过无人机进行航拍，捕捉目标区域的图像数据；
边缘计算单元，位于无人机上，用于接收和处理所述图像数据，包括增强和预处理，以及加载航拍位置和时间戳信息，生成目标的图像数据序列；
基于深度学习训练的目标检测模型，用于识别并标识所述图像数据序列中的目标类型和缺陷特征；
模拟资源库，用于存储虚拟场景组件；
坐标转换模块，基于无人机航拍的位置信息，将虚拟场景组件的坐标从虚拟环境的本地坐标系转换为地理坐标系，并加载到模拟交互拓扑网络中；
缺陷模式比对模块，用于将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；
缺陷报告生成模块，若存在缺陷，生成缺陷报告；
警报系统，若存在缺陷，发送警报。
作为本发明的进一步方案，所述无人机搭载高分辨率摄像头、GPS定位系统以及时间戳记录设备，用于在航拍时捕捉高质量的图像数据，并记录航拍位置和时间戳信息。
作为本发明的进一步方案，所述边缘计算单元的预处理操作包括去噪、对比度增强、图像尺寸调整、颜色空间转换和边缘检测，用于提高图像数据的质量和准确性。
本发明的又一方面，还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任一项根据本发明的基于轻量级边缘计算的无人机前端缺陷识别方法。
本发明的再一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任一项根据本发明的基于轻量级边缘计算的无人机前端缺陷识别方法。
与现有技术相比较而言，本发明提出的一种基于轻量级边缘计算的无人机前端缺陷识别方法及系统，具有以下有益效果：
1.高效的缺陷识别：本发明的基于轻量级边缘计算的无人机前端缺陷识别方法利用无人机进行航拍，捕捉高分辨率的图像数据，并通过边缘计算单元进行实时的图像增强和预处理。基于深度学习训练的目标检测模型能够高效地识别目标类型和缺陷特征，包括轮廓和表面特征，从而提高了缺陷识别的准确性和速度。
2.实时警报和记录：一旦检测到表面缺陷，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统能够立即生成缺陷报告并触发警报，使操作员能够及时采取必要的措施。同时，系统还记录了缺陷的位置和时间戳信息，为后续维修和分析提供了有用的数据。
3.多样性的预处理和分析：预处理操作包括去噪、对比度增强、图像尺寸调整、颜色空间转换和边缘检测，有助于优化图像数据以便于深度学习模型的分析。此外，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统能够提取目标的轮廓和表面特征，包括角点、交叉点、纹理、亮度、颜色、凹凸和深度信息，从而提供更多的视觉信息用于缺陷识别。
4.灵活的模拟环境：通过虚拟场景组件和模拟资源库，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统能够模拟目标对象在不同环境条件下的情况。坐标转换模块能够将虚拟场景组件与无人机航拍位置相对应，实现虚拟场景的与现实世界的准确对应，从而提供了更真实的模拟环境。
5.自定义缺陷模式：本发明的基于轻量级边缘计算的无人机前端缺陷识别系统允许用户自定义预定义的缺陷模式，通过比对目标检测模型输出的缺陷特征与这些模式，用户能够更灵活地定制缺陷识别的规则和参数，适应不同的应用场景。
综上所述，本发明的基于轻量级边缘计算的无人机前端缺陷识别方法及系统提供了高效、实时、多样性和灵活性的缺陷识别解决方案，适用于各种需要视觉检测和缺陷识别的应用领域，如工业生产、基础设施维护等。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
在图中：
图1为本发明实施例的基于轻量级边缘计算的无人机前端缺陷识别方法的流程图；
图2为本发明实施例的基于轻量级边缘计算的无人机前端缺陷识别方法中无人机捕捉图像数据的流程图；
图3为本发明实施例的基于轻量级边缘计算的无人机前端缺陷识别方法中图像数据增强和预处理的流程图；
图4为本发明实施例的基于轻量级边缘计算的无人机前端缺陷识别方法中标识目标类型和缺陷特征的流程图；
图5为本发明实施例的基于轻量级边缘计算的无人机前端缺陷识别方法中坐标转换的流程图；
图6为本发明实施例的基于轻量级边缘计算的无人机前端缺陷识别方法中缺陷比对的流程图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
针对现有的无人机缺陷检测方法通常依赖于将图像数据传输到远程服务器进行处理和分析，这可能导致延迟、高通信成本以及对网络连接的依赖性，缺陷识别在某些情况下需要即时响应。本发明提出了一种基于轻量级边缘计算的无人机前端缺陷识别方法，通过图像采集、数据处理和机器学习处理提高前沿缺陷检测的准确性和实时性，从而减少设备停机时间和维护成本具有实时性、高效性和节省通信成本的优点。
参见图1所示，本发明的实施例提供了一种基于轻量级边缘计算的无人机前端缺陷识别方法，该方法包括以下步骤：
S1：通过无人机进行航拍，捕捉目标区域的图像数据。
其中，无人机配备高分辨率摄像头，按照设定的航拍路径和目标区域，拍摄正射影像、斜摄影像以及视频流图像。其中，无人机搭载GPS定位系统，采集航拍时的位置信息和时间戳。
在本实施例中，在步骤S1中，参见图2所示，无人机捕捉目标区域的图像数据时，包括以下步骤：
S101、按照设定的航拍路径和目标区域使用配备的高分辨率摄像头拍摄目标区域的图像；
S102、基于无人机搭载的GPS定位系统采集无人机航拍时的位置信息；其中，航拍时，拍摄目标区域的正射影像、斜摄影像以及视频流，并保存拍摄的时间戳信息，获得图像数据。
S2、将图像数据传输到无人机上的边缘计算单元，对所述图像数据进行增强和预处理，得到目标的图像数据序列，其中，所述图像数据序列中包含无人机航拍时的位置信息和时间戳信息。
在本实施例中，图像数据传输至边缘计算单元，执行以下预处理操作：
1）高斯滤波去噪，消除图像中的噪声，获得高清晰度图像；
2）对比度增强和亮度调整，提高图像的视觉质量；
3）调整图像尺寸，以适应后续处理；
4）进行颜色空间转换，转换为灰度图像；
5）使用边缘检测算法，提取目标的轮廓和表面特征。
S3、使用基于深度学习训练的目标检测模型，识别并标识所述图像数据序列中的目标类型和缺陷特征。
其中，基于深度学习训练的目标检测模型为YOLOv4，加载到边缘计算单元，目标检测模型对图像数据序列执行目标检测和分类，输出目标的类型和位置信息，同时进行缺陷检测和表面特征分析。
S4、根据识别的目标类型在预设的模拟资源库中选取目标的虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中。
S5、将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；若存在缺陷，将缺陷特征标记在所述模拟交互拓扑网络的虚拟场景组件上，并标记航拍的时间戳信息。
其中，基于目标检测模型的输出，提取缺陷特征，包括轮廓特征和表面特征，预定义的缺陷模式包含规则、特征和参数，将目标检测模型提取的缺陷特征与缺陷模式进行比对，以确定目标表面是否存在缺陷，若存在缺陷，标记缺陷特征在模拟交互拓扑网络的虚拟场景组件上，并记录航拍的时间戳信息，以便后续分析和处理。
通过本发明的无人机前端缺陷识别方法，能够快速捕捉目标区域的图像数据，利用轻量级边缘计算对图像进行增强和预处理，然后使用深度学习模型进行目标检测和缺陷识别。与此同时，虚拟场景组件的选择和坐标转换使我们能够在模拟环境中准确地标记和定位缺陷，实现了高效的缺陷检测和识别。
本发明的基于轻量级边缘计算的无人机前端缺陷识别方法，能够迅速识别和标记目标表面的缺陷，提高了检测效率；实现了无人机与虚拟场景的融合，提供了全面的缺陷分析；边缘计算可降低数据传输延迟，加快了决策速度。
其中，步骤S2中，参见图3所示，对所述图像数据进行增强和预处理，包括以下步骤：
S201、采用高斯滤波对图像数据中每个像素进行去噪处理，去除图像数据中的噪声，得到高清晰度图像。
S202、调整高清晰度图像的对比度和亮度，通过直方图均衡化增强图像的像素值映射强度。
S203、将对比度增强的图像按照分辨率调整尺寸，颜色空间转换后得到灰度图像。
S204、使用边缘检测算法检测提取灰度图像中目标的轮廓特征和表面特征；其中，所述轮廓特征包括提取的图像中以边缘点的形式呈现的目标物体的轮廓线、目标物体的角点以及交叉点；所述表面特征包括提取的图像中目标物体表面的纹理特征、亮度特征、颜色特征、凹凸特征以及深度特征。
对所述图像数据进行增强和预处理之前，使用无人机对目标区域进行航拍，捕捉图像数据接下来，将捕捉到的图像数据传输到无人机上的边缘计算单元，进行增强和预处理操作，以优化图像质量和准备进行目标检测；其中，高斯滤波去噪处理时，采用高斯滤波技术，去除图像中的噪声，获得高清晰度的图像；对比度和亮度调整时，通过直方图均衡化增强图像的像素值映射强度，以改善图像的视觉质量，分辨率调整和颜色空间转换时，将图像按照预定的分辨率进行尺寸调整，同时将其转换为灰度图像，
接下来，使用基于深度学习训练的目标检测模型，对经过增强和预处理后的图像数据序列进行处理，其中，加载预训练的YOLOv4模型，并将图像数据序列传递给该模型，该模型执行目标检测，识别每个目标的类型和位置，输出目标的边界框坐标和类别标签；通过模型进行缺陷检测和表面特征分析，识别并记录目标表面的缺陷特征。输出目标类型和缺陷特征作为结果。
然后进行虚拟场景加载和坐标转换，根据识别的目标类型，从预设的模拟资源库中选择虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换。这确保了虚拟场景组件的准确加载到模拟交互拓扑网络中。最后，进行缺陷比对和标记，将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对。如果特征匹配，则确定目标表面存在缺陷。在虚拟场景组件上标记缺陷特征，并记录航拍的时间戳信息。
本发明中，通过航拍获取图像数据，经过增强和预处理提高图像质量和准确性；基于深度学习训练的目标检测模型用于目标类型识别和缺陷特征提取；虚拟场景组件根据目标类型加载到模拟交互拓扑网络中；缺陷比对通过对目标特征与预定义缺陷模式的匹配来确定是否存在缺陷；本发明的基于轻量级边缘计算的无人机前端缺陷识别方法结合了无人机技术、深度学习、图像处理和模拟技术，实现了对目标区域的缺陷识别，可提高缺陷检测的准确性和效率，减少了人工干预，具备实时性，适用于多种领域，如建筑、工业、农业等，用于提前发现并修复潜在的问题，减少损失。
在步骤S3中，参见图4所示，所述目标检测模型为YOLOv4，使用YOLOv4识别和标识目标类型和缺陷特征，包括以下步骤：
S301、模型加载：加载预训练的YOLOv4模型，将图像数据序列作为输入传递给YOLOv4模型；
S302、目标检测和分类：基于所述YOLOv4模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；
S303、缺陷特征分析：使用YOLOv4模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据。
其中，使用YOLOv4模型进行缺陷检测和表面特征分析，缺陷检测的缺陷特征包括轮廓特征和表面特征，缺陷检测时，每个检测到的目标的轮廓特征提取包括以下步骤：
使用Canny边缘检测提取目标物体的边缘点，边缘点表征目标物体的轮廓线；
使用Harris角点检测提取目标物体的角点，并分析边缘点的交叉确定目标物体的交叉点；
提取的目标物体的边缘点、角点以及交叉点作为轮廓特征；
其中，缺陷检测时，每个检测到的目标的表面特征提取包括以下步骤：
使用纹理滤波器提取目标表面的纹理特征，通过平均亮度、亮度梯度计算目标表面的亮度特征，通过颜色直方图提取目标表面的颜色特征， 使用深度信息识别目标表面的凹凸特征和目标表面的深度特征，得到表面特征。
在本实施例中，预先训练好的YOLOv4模型被加载到系统中，图像数据序列被传递给该模型作为输入，YOLOv4模型对每个输入图像执行目标检测操作，其中，模型会执行以下任务：
边界框检测：YOLOv4模型会识别图像中的目标，并为每个检测到的目标生成一个边界框，包括坐标信息和目标的类别标签；
目标分类：模型根据学习到的特征对每个检测到的目标进行分类，确定其属于哪种类型。
然后在缺陷特征分析时，使用YOLOv4模型进行缺陷检测和表面特征分析，以标识并记录目标表面的缺陷特征，其中，模型分析目标表面，识别是否存在例如裂纹、破损的缺陷，提取缺陷的位置、形状、大小和颜色信息；模型还分析目标表面的纹理、亮度、颜色、凹凸和深度特征，以获取更多的表面信息。
本实施例中，使用YOLOv4模型进行目标检测和缺陷特征分析，提高了识别的准确性和效率，可以在不同的场景中识别多种类型的目标，如工业设备、建筑物、农田等，缺陷特征的提取使得系统可以及早发现潜在的问题，有助于进行维修和改进，降低了成本和风险，本发明方法利用YOLOv4模型结合深度学习技术，实现了目标类型和缺陷特征的自动识别，为缺陷识别提供了高效且精确的解决方案。
在本实施例中，基于深度学习训练的目标检测模型，包括以下训练步骤：
数据收集：收集包含目标对象的图像和相应的标注数据，其中，标注数据包括每个目标对象的边界框（bounding box）和相应的类别标签；
数据预处理：对标注数据进行预处理，得到训练目标检测模型的样本数据，其中，所述样本数据随机划分为训练数据集和验证数据集；
初始化模型：选择YOLOv4作为深度学习模型架构，初始化YOLOv4模型的权重，并定义YOLOv4模型的损失函数，其中，选择SGD优化器最小化YOLOv4模型的损失函数，并定义学习率策略；
模型训练：使用训练数据集对YOLOv4模型进行训练，其中通过反向传播和优化器来更新YOLOv4模型的权重；
验证数据集：使用验证数据集评估YOLOv4模型的性能，并对YOLOv4模型的超参数进行调整，其中，YOLOv4模型的超参数包括学习率、批量大小以及训练周期数；
模型保存：保存训练好的YOLOv4模型的权重和架构，并 使用训练好的YOLOv4模型执行目标检测任务。
因此，在训练时，大量包含目标对象的图像数据以及相应的标注数据被收集。标注数据通常包括每个目标对象的边界框（bounding box）位置和类别标签；数据集会被随机划分为两部分：训练数据集和验证数据集，训练数据集用于模型的训练，验证数据集用于评估模型性能；选择YOLOv4作为深度学习模型架构后，初始化模型的权重，定义YOLOv4模型的损失函数，便于于度量模型预测与实际标注之间的差异，其中，损失函数会包括目标位置的误差和类别标签的分类损失。
在模型训练阶段，模型开始使用训练数据集进行训练，通过反向传播和优化器（如SGD）来更新模型的权重，使模型能够逐渐适应训练数据，以准确地检测和分类目标，训练多个训练周期，直到模型收敛。在使用验证数据集对模型的性能进行评估，根据验证结果，对模型的超参数进行调整。一旦训练完成，保存训练好的YOLOv4模型的权重和架构，将训练好的模型用于执行目标检测任务。
本发明中，通过使用深度学习训练的YOLOv4模型，可以实现高效的目标检测，包括目标的位置和类别，模型训练和验证阶段有助于确保模型在实际应用中具有良好的性能和泛化能力，训练后的模型可以在实际场景中用于检测和识别各种类型的目标对象，如行人、车辆、工件等。本方法通过训练深度学习模型（YOLOv4）来实现目标检测，为无人机前端缺陷识别系统提供了高效且准确的检测能力。
在步骤S4中，参见图5所示，基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中，包括以下步骤：
S401、获取虚拟场景组件坐标：从预设的模拟资源库中选择虚拟场景组件以及虚拟场景组在虚拟环境中的原始坐标；
S402、坐标系转换：将虚拟场景组件的原始坐标从虚拟环境的本地坐标系转换为地理坐标系，与无人机航拍位置信息相对应，其中，所述无人机航拍位置信息包括无人机航拍位置的经度、纬度、高度信息；
S403、坐标平移和旋转：根据无人机航拍位置信息进行坐标平移和旋转变换，将虚拟场景组件的坐标与无人机航拍位置相对应；
S404、加载到模拟交互拓扑网络：将经过坐标转换的虚拟场景组件的坐标加载到模拟交互拓扑网络中，模拟目标对象的位置。
将虚拟场景中的物体坐标与实际无人机航拍的位置信息相对应。通过将本地坐标系转换为地理坐标系，然后进行适当的平移和旋转，确保了虚拟场景组件的位置与实际情况相符。通过这一步骤，能够在虚拟环境中准确地模拟和显示目标对象的位置，这使得后续的目标检测和缺陷识别过程更加精确和可靠；将虚拟场景组件与无人机航拍数据相匹配，可以更好地模拟实际场景，有助于进行综合性的缺陷检测和分析。
本发明的基于轻量级边缘计算的无人机前端缺陷识别方法提供了关键的虚拟环境配置，使其能够在虚拟环境中模拟实际场景，进一步提高了识别和分析的准确性。
在步骤S5中，参见图6所示，将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，包括以下步骤：
S501、基于目标检测模型的输出，提取缺陷特征：缺陷的位置、形状、大小、颜色以及纹理信息；
S502、获取预定义的缺陷模式，将目标检测模型提取的缺陷特征与预定义的缺陷模式中的规则、特征、参数进行比对，若提取的缺陷特征与任何一个预定义的缺陷模式相匹配，则确定存在缺陷，否则，认定目标表面没有缺陷，得到比对结果；
S503、根据比对结果，确定目标表面是否存在缺陷以及缺陷的类型。
其中，缺陷模式为预定义的一组规则、特征和参数，其中， 缺陷模式的规则（Rules）用于定义缺陷的特征和属性，包括位置信息、形状描述、颜色要求、纹理特征，规定了缺陷的外观和性质； 缺陷模式的特征（Features）涵盖了缺陷中包括但不局限于尺寸、几何形状、颜色分布、纹理特性的各种特征，用于区分不同类型的缺陷的关键属性；缺陷模式的参数（Parameters）用于确定特定规则和特征的权重或阈值。
示例性的，一个缺陷模式用于描述以下规则和特征：
规则1：缺陷位置在特定区域内。
规则2：缺陷形状为矩形。
特征1：缺陷的颜色为红色。
特征2：缺陷的尺寸大于一定阈值。
若从目标检测模型提取的缺陷特征满足这些规则和特征，那么系统将确定存在一个红色的矩形缺陷，并根据预定义的缺陷模式进行分类。缺陷模式有助于系统自动化地识别和分类不同类型的目标表面缺陷，提高了系统的灵活性和适应性。
本发明中将从目标检测模型提取的缺陷特征与预定义的缺陷模式进行比对。比对的目标是找到与已知的缺陷模式相匹配的特征，以确定是否存在缺陷，能够自动化地检测和识别目标表面的各种缺陷类型。这有助于快速而准确地评估目标的状态，识别任何潜在的问题，并采取必要的措施。与预定义的缺陷模式相比对，可以实现高度的自定义和适应性，使系统能够适应不同类型和规模的目标表面的缺陷识别任务。
综上所述，本发明的基于轻量级边缘计算的无人机前端缺陷识别方法，旨在通过无人机和深度学习技术的有机结合，实现高效、精确的目标表面缺陷识别，图像采集和预处理时，该方法首先利用无人机进行航拍，捕捉目标区域的图像数据。这些图像数据随后在无人机上的边缘计算单元中进行增强和预处理，包括去噪、对比度和亮度调整、分辨率调整以及灰度图像转换等步骤。这些处理确保了输入数据的质量，为后续的目标检测提供了更好的基础；深度学习目标检测时，本发明采用YOLOv4作为目标检测模型，该模型经过基于深度学习的训练，能够高效地识别图像中的目标类型和缺陷特征。通过加载预训练的YOLOv4模型，每个输入图像都可以在瞬间进行目标检测和分类，这使得整个系统具备了实时性。
缺陷特征提取时，在目标检测过程中，除了标识目标类型外，该方法还使用YOLOv4模型提取目标表面的缺陷特征。这些特征包括轮廓特征和表面特征，如边缘点、角点、纹理、亮度、颜色、深度等。这些特征提供了有关缺陷的详细信息。
虚拟场景组件加载时， 基于识别的目标类型，系统选取了虚拟场景组件，并使用无人机航拍的位置信息进行坐标转换，将这些虚拟组件加载到模拟交互拓扑网络中。这实现了虚拟和现实世界的有效融合，为后续分析提供了基础数据。
缺陷模式比对时，识别到的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷以及缺陷的类型。缺陷模式包括一组规则、特征和参数，用于自动化判断和分类，自动化比对大大提高了缺陷检测的效率和一致性。
本发明的方法可用于各种应用领域，包括工业生产中的质量控制、建筑物维护和监测、农业领域的作物健康检测等。它能够显著减少人力成本和时间成本，提高了缺陷识别的准确性和可靠性。本发明通过将无人机、深度学习、虚拟场景和缺陷模式比对等元素融合在一起，实现了高效、自动化的无人机前端缺陷识别方法，为各种应用场景提供了一种强大的工具。这一方法在提高生产效率、确保质量和安全性方面具有广泛的应用前景。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
本发明实施例的第二个方面，本发明还提供了一种基于轻量级边缘计算的无人机前端缺陷识别系统，包括：
数据获取模块，用于通过无人机进行航拍，捕捉目标区域的图像数据；
边缘计算单元，位于无人机上，用于接收和处理所述图像数据，包括增强和预处理，以及加载航拍位置和时间戳信息，生成目标的图像数据序列；
基于深度学习训练的目标检测模型，用于识别并标识所述图像数据序列中的目标类型和缺陷特征；
模拟资源库，用于存储虚拟场景组件；
坐标转换模块，基于无人机航拍的位置信息，将虚拟场景组件的坐标从虚拟环境的本地坐标系转换为地理坐标系，并加载到模拟交互拓扑网络中；
缺陷模式比对模块，用于将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；
缺陷报告生成模块，若存在缺陷，生成缺陷报告；
警报系统，若存在缺陷，发送警报。
其中，所述无人机搭载高分辨率摄像头、GPS定位系统以及时间戳记录设备，用于在航拍时捕捉高质量的图像数据，并记录航拍位置和时间戳信息。
在本实施例中，所述边缘计算单元的预处理操作包括去噪、对比度增强、图像尺寸调整、颜色空间转换和边缘检测，用于提高图像数据的质量和准确性。
本发明的基于轻量级边缘计算的无人机前端缺陷识别系统用于执行上述基于轻量级边缘计算的无人机前端缺陷识别方法的步骤，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统旨在解决目标表面缺陷识别领域的挑战，其中：
数据获取模块：通过搭载高分辨率摄像头的无人机，实现目标区域的航拍，捕捉图像数据。这一模块确保了输入数据的来源和质量，为后续的分析和识别提供了可靠的数据基础。
边缘计算单元：位于无人机上的边缘计算单元不仅接收和处理图像数据，还进行增强和预处理操作，包括去噪、对比度增强、图像尺寸调整、颜色空间转换和边缘检测。这一模块有效地提高了图像数据的清晰度和准确性。
基于深度学习的目标检测模型：采用YOLOv4等深度学习模型，具备强大的目标识别和缺陷特征提取能力。该模块在识别目标类型和缺陷特征方面表现出色，为缺陷检测提供了可靠的工具。
模拟资源库和坐标转换模块：模拟资源库存储虚拟场景组件，而坐标转换模块利用无人机航拍的位置信息，将虚拟组件智能地加载到模拟交互拓扑网络中。这一环节实现了虚拟与现实世界的高度融合，提供了全面的分析和可视化支持。
缺陷模式比对和报告生成：缺陷模式比对模块将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以自动判断目标表面是否存在缺陷。若存在缺陷，缺陷报告生成模块会生成详尽的报告，提供了重要的决策支持。
警报系统：为确保及时响应，该系统还包括警报系统，可以在检测到缺陷时发送警报，以便采取必要的行动。
因此，本发明的基于轻量级边缘计算的无人机前端缺陷识别系统具备高度的自动化和智能化特性，适用于多个领域，为缺陷检测提供了快速、准确和可靠的解决方案，有望在工业、建筑、农业等领域产生广泛的应用，并提升生产和维护领域的效率和质量。
本发明实施例的第三个方面，还提供了一种计算机设备，包括存储器和处理器，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例的方法。
在该计算机设备中包括一个处理器以及一个存储器，并还可以包括：输入系统和输出系统。处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，输入系统可接收输入的数字或字符信息，以及产生与基于轻量级边缘计算的无人机前端缺陷识别的迁移有关的信号输入。输出系统可包括显示屏等显示设备。
存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于轻量级边缘计算的无人机前端缺陷识别方法对应的程序指令/模块。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储基于轻量级边缘计算的无人机前端缺陷识别方法的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算机设备的总体操作。本实施例中，处理器用于运行存储器中存储的程序代码或者处理数据。本实施例计算机设备的多个计算机设备的处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的基于轻量级边缘计算的无人机前端缺陷识别方法的步骤。
应当理解，在相互不冲突的情况下，以上针对根据本发明的基于轻量级边缘计算的无人机前端缺陷识别方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的基于轻量级边缘计算的无人机前端缺陷识别和存储介质。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
最后需要说明的是，本文的计算机可读存储介质（例如，存储器）可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦写可编程ROM（EEPROM）或快闪存储器。易失性存储器可以包括随机存取存储器（RAM），该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM 可以以多种形式获得，比如同步RAM（DRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据速率SDRAM（DDRSDRAM）、增强SDRAM（ESDRAM）、同步链路DRAM（SLDRAM）、以及直接Rambus RAM（DRRAM）。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP和/或任何其它这种配置。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (7)
1.一种基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，包括以下步骤：
通过无人机进行航拍，捕捉目标区域的图像数据；
将图像数据传输到无人机上的边缘计算单元，对所述图像数据进行增强和预处理，得到目标的图像数据序列，其中，所述图像数据序列中包含无人机航拍时的位置信息和时间戳信息；
使用基于深度学习训练的目标检测模型，识别并标识所述图像数据序列中的目标类型和缺陷特征；
根据识别的目标类型在预设的模拟资源库中选取目标的虚拟场景组件，并基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中；
将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷；若存在缺陷，将缺陷特征标记在所述模拟交互拓扑网络的虚拟场景组件上，并标记航拍的时间戳信息；
其中，所述目标检测模型为Yolov4，使用YOLOv4识别和标识目标类型和缺陷特征，包括以下步骤：
模型加载：加载预训练的YOLOv4模型，将图像数据序列作为输入传递给YOLOv4模型；
目标检测和分类：基于所述YOLOv4模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；
缺陷特征分析：使用YOLOv4模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据；
其中，基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中，包括以下步骤：
获取虚拟场景组件坐标：从预设的模拟资源库中选择虚拟场景组件以及虚拟场景组在虚拟环境中的原始坐标；
坐标系转换：将虚拟场景组件的原始坐标从虚拟环境的本地坐标系转换为地理坐标系，与无人机航拍位置信息相对应，其中，所述无人机航拍位置信息包括无人机航拍位置的经度、纬度、高度信息；
坐标平移和旋转：根据无人机航拍位置信息进行坐标平移和旋转变换，将虚拟场景组件的坐标与无人机航拍位置相对应；
加载到模拟交互拓扑网络：将经过坐标转换的虚拟场景组件的坐标加载到模拟交互拓扑网络中，模拟目标对象的位置；
其中，将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，包括以下步骤：
基于目标检测模型的输出，提取缺陷特征：缺陷的位置、形状、大小、颜色以及纹理信息；
获取预定义的缺陷模式，将目标检测模型提取的缺陷特征与预定义的缺陷模式中的规则、特征、参数进行比对，若提取的缺陷特征与任何一个预定义的缺陷模式相匹配，则确定存在缺陷，否则，认定目标表面没有缺陷，得到比对结果；
根据比对结果，确定目标表面是否存在缺陷以及缺陷的类型。
2.根据权利要求1所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，无人机捕捉目标区域的图像数据时，包括以下步骤：
按照设定的航拍路径和目标区域使用配备的高分辨率摄像头拍摄目标区域的图像；
基于无人机搭载的GPS定位系统采集无人机航拍时的位置信息；其中，航拍时，拍摄目标区域的正射影像、斜摄影像以及视频流，并保存拍摄的时间戳信息，获得图像数据。
3.根据权利要求1所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，对所述图像数据进行增强和预处理，包括以下步骤：
采用高斯滤波对图像数据中每个像素进行去噪处理，去除图像数据中的噪声，得到高清晰度图像；
调整高清晰度图像的对比度和亮度，通过直方图均衡化增强图像的像素值映射强度；
将对比度增强的图像按照分辨率调整尺寸，颜色空间转换后得到灰度图像；
使用边缘检测算法检测提取灰度图像中目标的轮廓特征和表面特征；其中，所述轮廓特征包括提取的图像中以边缘点的形式呈现的目标物体的轮廓线、目标物体的角点以及交叉点；所述表面特征包括提取的图像中目标物体表面的纹理特征、亮度特征、颜色特征、凹凸特征以及深度特征。
4.根据权利要求3所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，使用YOLOv4模型进行缺陷检测和表面特征分析，缺陷检测的缺陷特征包括轮廓特征和表面特征，缺陷检测时，每个检测到的目标的轮廓特征提取包括以下步骤：
使用Canny边缘检测提取目标物体的边缘点，边缘点表征目标物体的轮廓线；
使用Harris角点检测提取目标物体的角点，并分析边缘点的交叉确定目标物体的交叉点；
提取的目标物体的边缘点、角点以及交叉点作为轮廓特征；
缺陷检测时，每个检测到的目标的表面特征提取包括以下步骤：
使用纹理滤波器提取目标表面的纹理特征，通过平均亮度、亮度梯度计算目标表面的亮度特征，通过颜色直方图提取目标表面的颜色特征， 使用深度信息识别目标表面的凹凸特征和目标表面的深度特征，得到表面特征。
5.根据权利要求4所述的基于轻量级边缘计算的无人机前端缺陷识别方法，其特征在于，基于深度学习训练的目标检测模型，包括以下训练步骤：
数据收集：收集包含目标对象的图像和相应的标注数据，其中，标注数据包括每个目标对象的边界框和相应的类别标签；
数据预处理：对标注数据进行预处理，得到训练目标检测模型的样本数据，其中，所述样本数据随机划分为训练数据集和验证数据集；
初始化模型：选择YOLOv4作为深度学习模型架构，初始化YOLOv4模型的权重，并定义YOLOv4模型的损失函数，其中，选择SGD优化器最小化YOLOv4模型的损失函数，并定义学习率策略；
模型训练：使用训练数据集对YOLOv4模型进行训练，其中通过反向传播和优化器来更新YOLOv4模型的权重；
验证数据集：使用验证数据集评估YOLOv4模型的性能，并对YOLOv4模型的超参数进行调整，其中，YOLOv4模型的超参数包括学习率、批量大小以及训练周期数；
模型保存：保存训练好的YOLOv4模型的权重和架构，并 使用训练好的YOLOv4模型执行目标检测任务。
6.一种基于轻量级边缘计算的无人机前端缺陷识别系统，其特征在于，用于执行权利要求1-5任一项所述的基于轻量级边缘计算的无人机前端缺陷识别方法，所述基于轻量级边缘计算的无人机前端缺陷识别系统包括：
数据获取模块，用于通过无人机进行航拍，捕捉目标区域的图像数据；
边缘计算单元，位于无人机上，用于接收和处理所述图像数据，包括增强和预处理，以及加载航拍位置和时间戳信息，生成目标的图像数据序列；
基于深度学习训练的目标检测模型，用于识别并标识所述图像数据序列中的目标类型和缺陷特征；其中，所述目标检测模型为Yolov4，使用YOLOv4识别和标识目标类型和缺陷特征，包括模型加载：加载预训练的YOLOv4模型，将图像数据序列作为输入传递给YOLOv4模型；目标检测和分类：基于所述YOLOv4模型在每个输入图像上执行目标检测操作，并识别每个检测到的目标的目标类型和位置，其中，包括目标的边界框坐标和类别标签；缺陷特征分析：使用YOLOv4模型进行缺陷检测和表面特征分析，标识并记录目标表面的缺陷特征；将目标类型和缺陷特征作为输出数据；
模拟资源库，用于存储虚拟场景组件；
坐标转换模块，基于无人机航拍的位置信息，将虚拟场景组件的坐标从虚拟环境的本地坐标系转换为地理坐标系，并加载到模拟交互拓扑网络中；其中，基于无人机航拍的位置信息进行坐标转换，将虚拟场景组件加载到模拟交互拓扑网络中，包括获取虚拟场景组件坐标：从预设的模拟资源库中选择虚拟场景组件以及虚拟场景组在虚拟环境中的原始坐标；坐标系转换：将虚拟场景组件的原始坐标从虚拟环境的本地坐标系转换为地理坐标系，与无人机航拍位置信息相对应，所述无人机航拍位置信息包括无人机航拍位置的经度、纬度、高度信息；坐标平移和旋转：根据无人机航拍位置信息进行坐标平移和旋转变换，将虚拟场景组件的坐标与无人机航拍位置相对应；加载到模拟交互拓扑网络：将经过坐标转换的虚拟场景组件的坐标加载到模拟交互拓扑网络中，模拟目标对象的位置；
缺陷模式比对模块，用于将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，以确定目标表面是否存在缺陷，其中，将目标检测模型输出的缺陷特征与预定义的缺陷模式进行比对，包括：基于目标检测模型的输出，提取缺陷特征：缺陷的位置、形状、大小、颜色以及纹理信息；获取预定义的缺陷模式，将目标检测模型提取的缺陷特征与预定义的缺陷模式中的规则、特征、参数进行比对，若提取的缺陷特征与任何一个预定义的缺陷模式相匹配，则确定存在缺陷，否则，认定目标表面没有缺陷，得到比对结果；根据比对结果，确定目标表面是否存在缺陷以及缺陷的类型；
缺陷报告生成模块，若存在缺陷，生成缺陷报告；
警报系统，若存在缺陷，发送警报。
7.根据权利要求6所述的基于轻量级边缘计算的无人机前端缺陷识别系统，其特征在于，无人机搭载高分辨率摄像头、GPS定位系统以及时间戳记录设备，用于在航拍时捕捉高质量的图像数据，并记录航拍位置和时间戳信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311521476.5A CN117274843B (zh) | 2023-11-15 | 2023-11-15 | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311521476.5A CN117274843B (zh) | 2023-11-15 | 2023-11-15 | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117274843A CN117274843A (zh) | 2023-12-22 |
| CN117274843B true CN117274843B (zh) | 2024-04-19 |
Family
ID=89217972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311521476.5A Active CN117274843B (zh) | 2023-11-15 | 2023-11-15 | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117274843B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175524A (zh) * | 2019-04-26 | 2019-08-27 | 南京航空航天大学 | 一种基于轻量级深度卷积网络的快速精确航拍车辆检测方法 |
| WO2021113268A1 (en) * | 2019-12-01 | 2021-06-10 | Iven Connary | Systems and methods for generating of 3d information on a user display from processing of sensor data |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114548278A (zh) * | 2022-02-22 | 2022-05-27 | 西安建筑科技大学 | 基于深度学习的在役隧道衬砌结构缺陷识别方法及系统 |
| CN115239893A (zh) * | 2022-09-23 | 2022-10-25 | 运易通科技有限公司 | 一种用于仓库顶棚太阳能板缺陷检测的图像重建方法 |
| CN115359239A (zh) * | 2022-08-25 | 2022-11-18 | 中能电力科技开发有限公司 | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 |
| CN115578662A (zh) * | 2022-11-23 | 2023-01-06 | 国网智能科技股份有限公司 | 无人机前端图像处理方法、系统、存储介质及设备 |
| CN116223511A (zh) * | 2023-02-16 | 2023-06-06 | 国网江苏省电力有限公司徐州供电分公司 | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 |
| CN116310902A (zh) * | 2023-03-14 | 2023-06-23 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于轻量级神经网络的无人机目标检测方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10633093B2 (en) * | 2017-05-05 | 2020-04-28 | General Electric Company | Three-dimensional robotic inspection system |
| CN106919915B (zh) * | 2017-02-22 | 2020-06-12 | 武汉极目智能技术有限公司 | 基于adas系统的地图道路标记及道路质量采集装置及方法 |
| WO2020156629A1 (en) * | 2019-01-28 | 2020-08-06 | Helispeed Holdings Limited | Method of inspection of wind turbine blades |
| US11420729B2 (en) * | 2019-05-22 | 2022-08-23 | Ford Global Technologies, Llc | Systems, methods and devices for determining lift heights for launching unmanned aerial vehicles |
| US20230102048A1 (en) * | 2019-11-05 | 2023-03-30 | Strong Force Vcn Portfolio 2019, Llc | Component-Inventory-Based Robot Fleet Management in Value Chain Networks |
-
2023
- 2023-11-15 CN CN202311521476.5A patent/CN117274843B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175524A (zh) * | 2019-04-26 | 2019-08-27 | 南京航空航天大学 | 一种基于轻量级深度卷积网络的快速精确航拍车辆检测方法 |
| WO2021113268A1 (en) * | 2019-12-01 | 2021-06-10 | Iven Connary | Systems and methods for generating of 3d information on a user display from processing of sensor data |
| CN113744270A (zh) * | 2021-11-05 | 2021-12-03 | 南京市特种设备安全监督检验研究院 | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 |
| CN114548278A (zh) * | 2022-02-22 | 2022-05-27 | 西安建筑科技大学 | 基于深度学习的在役隧道衬砌结构缺陷识别方法及系统 |
| CN115359239A (zh) * | 2022-08-25 | 2022-11-18 | 中能电力科技开发有限公司 | 风电叶片缺陷检测定位方法、装置、存储介质和电子设备 |
| CN115239893A (zh) * | 2022-09-23 | 2022-10-25 | 运易通科技有限公司 | 一种用于仓库顶棚太阳能板缺陷检测的图像重建方法 |
| CN115578662A (zh) * | 2022-11-23 | 2023-01-06 | 国网智能科技股份有限公司 | 无人机前端图像处理方法、系统、存储介质及设备 |
| CN116223511A (zh) * | 2023-02-16 | 2023-06-06 | 国网江苏省电力有限公司徐州供电分公司 | 基于无人机自动巡检的分布式屋顶光伏组件缺陷诊断方法及装置 |
| CN116310902A (zh) * | 2023-03-14 | 2023-06-23 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于轻量级神经网络的无人机目标检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| LiDAR based Edge-Detection for Bridge Defect Identification;Haitao Bian等;《The International Society for Optical Engineering》;第1-10页 * |
| 基于航拍图像的绝缘子目标检测与缺陷识别的研究;陈辉;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》(第03期);第C042-233页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117274843A (zh) | 2023-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340797B (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN110059558B (zh) | 一种基于改进ssd网络的果园障碍物实时检测方法 | |
| WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
| CN109145759B (zh) | 车辆属性识别方法、装置、服务器及存储介质 | |
| CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
| KR102166458B1 (ko) | 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치 | |
| CN112990310A (zh) | 服务于电力机器人的人工智能系统及方法 | |
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
| CN102706274A (zh) | 工业结构化场景中机器视觉精确定位机械零件的系统 | |
| CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
| CN115049821A (zh) | 一种基于多传感器融合的三维环境目标检测方法 | |
| CN114863311A (zh) | 一种变电站机器人巡检目标自动跟踪方法及系统 | |
| Guo et al. | Surface defect detection of civil structures using images: Review from data perspective | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| CN109903308B (zh) | 用于获取信息的方法及装置 | |
| CN112115737B (zh) | 一种车辆朝向的确定方法、装置及车载终端 | |
| CN117274843B (zh) | 基于轻量级边缘计算的无人机前端缺陷识别方法及系统 | |
| KR102416714B1 (ko) | 3차원 이미지 및 딥러닝을 활용한 도시 규모 나무 지도 작성 시스템 및 방법 | |
| KR20200123324A (ko) | 연결 요소 분석 기법과 yolo 알고리즘을 이용한 돼지 겹침 객체 분리 방법 | |
| CN111709991B (zh) | 一种铁路工机具的检测方法、系统、装置和存储介质 | |
| TWI695344B (zh) | 用於偵測監控影像內物件之方法及執行該方法之非暫態電腦可讀取紀錄媒體 | |
| CN113705442A (zh) | 一种户外大牌广告画面监控识别系统及方法 | |
| CN113139946A (zh) | 一种基于视觉的衬衫污渍定位设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |