CN117496381A - 无人机系统建筑雨水检查装置的深度学习检测方法 - Google Patents

无人机系统建筑雨水检查装置的深度学习检测方法 Download PDF

Info

Publication number
CN117496381A
CN117496381A CN202311496042.4A CN202311496042A CN117496381A CN 117496381 A CN117496381 A CN 117496381A CN 202311496042 A CN202311496042 A CN 202311496042A CN 117496381 A CN117496381 A CN 117496381A
Authority
CN
China
Prior art keywords
model
image
classification
vgg
building rainwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311496042.4A
Other languages
English (en)
Inventor
曹宏健
刘佳
戴鑫
吕佳骏
方向
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202311496042.4A priority Critical patent/CN117496381A/zh
Publication of CN117496381A publication Critical patent/CN117496381A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供无人机系统建筑雨水检查装置的深度学习检测方法，涉及施工检测技术领域。该无人机系统建筑雨水检查装置的深度学习检测方法，包括以下步骤：S1、获取模型构建数据集，收集和整理用于模型构建的数据集，S2、构建初始建筑雨水检查分类和检测的深度学习模型，S3、训练建筑雨水检查分类模型，S4、使用训练后的模型进行分类与评估。这些支付项目和数量可能包括有关地理织物长度和安装淤泥围栏网和沟检查所需的T型支柱和其他材料数量的信息，该模型可以通过提供用户友好的界面来进一步完善，以便检查员可以以简化的技术步骤检测设施，该模型可以通过提供用户友好的界面来进一步完善，以便检查员可以以简化的技术步骤检测设施。

Description

无人机系统建筑雨水检查装置的深度学习检测方法
技术领域
本发明涉及施工检测技术领域，具体为无人机系统建筑雨水检查装置的深度学习检测方法。
背景技术
建筑设施雨水检查是确保建筑物和基础设施在各种气象条件下，特别是在降雨或暴雨时，能够有效排水的过程，这种检查的主要目的是预防水患、减少水损害、确保设施的长期稳定性，并确保环境的保护，建筑设施雨水检查是确保建筑物和基础设施在不同气象条件下能够排水的关键步骤，通过定期的检查和维护，可以减少水患和损害，确保设施的长期稳定性，这对于环境保护和建筑物的维护至关重要，建筑雨水检查的研究成为目前关注的重点，也产生许多解决该类问题的方法，不同的技术虽各具优势，但也存在一些缺点和挑战。
目视检查：这是最常见的方法之一，巡检员会在建筑物周围走一圈，检查雨水设施是否正常运作，包括检查下水道、排水沟、雨水斗和泄水管道，这通常需要经验丰富的专业人员，目视检查是一种直观且相对简单的检查方法，不需要复杂的设备或技术，检查员只需依靠裸眼或简单的工具，如手电筒或相机，就可以执行检查，相对于一些高级技术，如遥感或传感器技术，目视检查的成本通常较低，这使得它成为一种经济有效的检查方法，同时，目视检查可以随时进行，不需要准备时间，在出现问题或有紧急情况时，可以立即执行检查，目视检查可以应用于各种建筑设施和雨水系统，包括屋顶、排水渠、雨水口、泵站等，它适用于不同类型和规模的建筑物，目视检查也存在其局限性，其检查的结果受检查员的主观判断和经验水平影响，不同的检查员可能会对相同的问题产生不同的看法，这可能导致不一致的结果，目视检查通常只能检查到外部可见的部分，对于隐藏在建筑物内部或地下的排水系统问题无法发现，这可能导致潜在问题被忽略，目视检查需要有经验的检查员，需要花费时间和精力巡查建筑物或设施，这在大型建筑工地或设施中可能变得耗时耗力，对于大型建筑工地、高海拔或危险地形区域，目视检查可能不太适用，因为检查员可能无法轻松进入这些区域，最后，该方法通常是点检，不能提供实时监测或连续监测，这意味着问题可能在两次检查之间被错过，
摄像头监测：使用摄像头和监控系统来监测建筑工地上的雨水设施，这些摄像头可以定期拍摄照片或视频，以记录设施的状况，监控人员可以远程查看这些图像，并及时发现问题，摄像头监测能够提供对建筑设施雨水设施的实时监测，可以随时查看雨水设施的状态，及时发现潜在问题并采取必要的措施，摄像头监测系统通常可以通过互联网远程访问，可以从任何地方使用连接设备(如智能手机或电脑)来监视雨水设施，而不必亲自到现场，摄像头监测系统通常具有警报功能，当系统检测到异常情况时，它可以发出警报并向您发送通知，这有助于在问题发生时迅速采取行动，摄像头监测系统通常能够记录和存储监测数据，这有助于事后的分析和审计，这些数据可以用于了解雨水设施的性能和历史，摄像头监测可以减少人工巡检的需求，然而，安装和维护摄像头监测系统可能需要一定的资金投入，这包括摄像头设备、网络基础设施、数据存储和维护成本，对于小型项目或有限预算的项目来说，这可能是一个挑战，在某些情况下，摄像头监测可能涉及隐私问题，例如，在住宅区域或办公场所，摄像头监测可能会引发隐私担忧，因此，在使用时需要仔细考虑隐私政策和合规性问题，摄像头监测会生成大量的图像和视频数据，需要有效的数据管理和存储解决方案，此外，数据分析和提取有意义信息需要专业的技能和工具，摄像头可能受到恶劣天气、光线条件或污垢的影响，从而影响监测的质量，需要考虑如何应对这些环境条件，摄像头监测系统可能会产生误报，例如，由于风、动物或其他非问题事件而触发警报，这可能需要耗费时间来核实和处理误报，
使用无人机：无人机可以提供从空中拍摄的高分辨率图像，用于监测整个建筑工地，这些图像可以用于识别雨水设施和措施的位置和状况，并进行远程检查，无人机提供全面性的监测，可以从不同的角度和高度捕捉建筑设施雨水设施的图像，助于全面了解雨水设施的状况，包括难以到达的区域，无人机能够高空拍摄，可以捕捉大范围的建筑设施雨水设施，从而更好地评估整体性能，同时，可以通过遥控器或预设的航线进行远程操控，可以在不进入危险区域的情况下执行监测任务，提高了工作人员的安全性，现代无人机配备了高分辨率的相机，可以提供清晰的图像和视频，这有助于检测小型或微观级别的问题，如裂缝或堵塞，此外，无人机可以提供实时图像和视频数据，使监测人员能够立即发现和应对问题，这有助于及时采取行动，减少潜在的损害，然而，无人机技术需要一定的资金投入，包括购买无人机设备、培训操作人员、维护设备和获取必要的许可证，对项目预算构成挑战，且单次无人机飞行的时间有限，通常在20分钟到1小时之间，这可能需要多次飞行才能完成全面的监测任务，需要计划和管理好飞行任务，同时，无人机操作需要一定的技术知识和技能，操作人员需要具备飞行、导航和图像处理等方面的技能，这可能需要培训，天气条件可能对无人机监测产生影响，恶劣天气、强风或降雨可能阻碍无人机的飞行，从而延迟监测任务，
地面激光扫描：地面激光扫描可以创建建筑物和场地的详细三维模型，包括雨水设施，这些模型可以用来检查雨水设施的高程和坡度，以确保水流畅地排出，地面激光扫描可以生成高精度的三维点云数据，准确反映建筑雨水的形状和结构，这些数据可以提供比传统摄像监测更详细的信息，激光扫描可以覆盖整个建筑设施雨水设施，包括难以到达的区域，因此可以提供全面性的监测，不会漏掉任何部分，激光扫描是一种非接触性技术，不需要物理接触建筑设施雨水设施，这有助于减少对设施的干扰，生成的点云数据可以用于多种应用，包括设计验证、冲洗模拟、地形分析等，然而，使用地面激光扫描技术，其激光扫描设备和软件通常价格较高，需要投资一定的成本，同时，大规模的激光扫描数据需要复杂的处理和分析，以提取有用的信息，需要专业知识和技能，激光扫描在特定材料上的穿透能力有限，例如玻璃、水或反光表面，这可能会导致一些局部遮挡问题，最后，天气条件和环境因素，如强光、雨雪或大风，可能对激光扫描产生影响，降低数据质量；
智能传感器：在建筑工地上安装智能传感器，用于监测雨水设施和措施的性能，这些传感器可以实时监测水流、水质和设施的状态，并向监测人员发送警报，使用智能传感器能够提供实时数据，迅速检测和响应雨水设施的问题，有助于及时采取措施，防止潜在的灾害和破坏；这些传感器通常具有高度精确的测量能力，可以监测水位、流速、水质等参数，以检测潜在问题，其可以设置自动警报，当监测到异常情况时，可以立即通知相关人员，以便及时采取行动，同时，传感器可以远程监测，无需人员实地巡查，减轻监测和维护雨水设施的工作负担，传感器通常具有数据记录和分析功能，可以存储历史数据并生成报告，有助于识别长期趋势和问题，但智能传感器的购买、安装和维护成本较高，增加成本消耗，一些传感器需要电力供应或电池供电，需要额外的能源和维护，最后，每个传感器的监测范围是有限的，因此在大型建筑设施雨水设施中可能需要多个传感器，增加了成本和管理复杂性。
发明内容
针对现有技术的不足，本发明提供了无人机系统建筑雨水检查装置的深度学习检测方法，解决了不同的建筑设施雨水检查技术虽各具优势，但也存在一些缺点和挑战的问题。
为实现以上目的，本发明通过以下技术方案予以实现：无人机系统建筑雨水检查装置的深度学习检测方法，包括以下步骤：
S1、获取模型构建数据集：
首先收集和整理用于模型构建的数据集，这个数据集应包括各种不同情况下的临时建筑雨水检查和淤泥围栏网的图像，这些图像可以包括不同类型、不同拍摄角度和不同光照条件下的样本，这个数据集将用于训练和验证深度学习模型；
S2、构建初始建筑雨水检查分类和检测的深度学习模型：
构建初始建筑雨水检查分类和检测的深度学习模型；所述初始建筑雨水检查分类模型以基于经过修改的VGG-16的基础卷积，用于分类和检测的卷积网络，其中传统的VGG-16模型的权重通过迁移学习得到增强，提供了较低级别的特征图，为适应SSD对目标检测的要求，对预训练的VGG-16网络进行一些显著的更改；
S3、训练建筑雨水检查分类模型：
使用S1步骤中构建的数据集，对修改后的VGG-16网络进行训练，这将涉及将图像输入到模型中，并根据它们的真实标签(建筑雨水检查或淤泥围栏网)来调整模型的权重，训练过程将反复迭代，以使模型能够准确地分类和检测建筑雨水问题；
S4、使用训练后的模型进行分类与评估：
模型训练完成后，将待检测的图片或视频流输入到训练后的建筑雨水检查分类模型中，模型将输出分类结果和评估结果，以指示建筑工程中是否存在排水问题；
S5、设备还具备对设计模型的分类输出进行后处理，包含将检测结果在原图像中进行结果可视化过程。
优选的，所述S1步骤具体包括以下详细步骤：
S1.1、收集图像数据集：
收集包含工地上安装的临时建筑雨水检查和E&SC设施的图像数据集，包括拦石坝、栅栏沟和淤泥围栏网，通过无人机在施工活动期间，进行30次在不同地点的飞行，每次飞行达到90m的飞行高度获得的各种图像；
S1.2、比较无人机图像与地面图像：
将基于无人机的图像和基于地面的图像与工地上安装的设施进行比较，确定可以解释有关不足之处和设施位置的信息差异，理解航拍检查如何提供全面的记录，基于这种比较，确定航拍图像被选择为对象检测的有效数据来源，并对收集到的图像数据进行标注，标注出图像中的建筑雨水检查分类和泥沙控制目标；
S1.3、数据预处理：
对标注好的图像数据进行预处理，预处理可能包括图像的缩放、裁剪、亮度和对比度调整，以准备图像用于训练和验证；
S1.4、划分数据集：
将数据集划分为训练集、验证集和测试集，通常，数据集的划分遵循一个比例；
S1.5、图像增强：
对训练集数据进行图像增强操作，图像增强是一种数据增强技术，用于增加数据集的多样性，这可以包括旋转、翻转、随机裁剪、添加噪声操作，以使模型更具鲁棒性，能够处理不同角度和光照条件下的情况。
优选的，所述S2步骤中SSD是一个纯卷积神经网络，它由以下主要过程组成，修改VGG-16网络中一个卷积神经网络，以构建用于目标检测的SSD模型，具体包括：
S2.1、图像输入尺寸：
图像的输入尺寸固定为300×300像素，用于后续的目标检测任务；
S2.2、修改池化层：
VGG-16网络的第三个池化层从更改为，确保特征图的尺寸计算为38×38；
S2.3、修改池化核和步幅：
第五个池化层的卷积核从原始的2×2改为3×3，步幅从2改为1；
S2.4、删除全连接层：
删除了全连接层8(fc8)，并将fc6和fc7替换为各自的卷积层；
S2.5、添加辅助卷积：
在提供更高级别特征图的基础网络上添加了辅助卷积，这些辅助卷积层用于进一步提取特征，以帮助检测不同大小的对象；
S2.6、应用预测卷积层：
最终应用预测卷积层，它使用本地化预测和特征映射中的类别预测，以检测图像中对象的位置和类型；
S2.7、SSD训练模型：
加载SSD技术来训练模型，由于模型训练需要两种类型的预测，因此开发了一个多框损失函数，这个多框损失函数包括了由于边界框的回归和类别的分类而产生的损失，位置回归损失包括L1范数损失，而分类损失是正类别和负类别之间交叉熵损失的总和，正类别代表包含对象的图像，而负类别代表不包含对象的图像，从数学上讲，正匹配的位置框的编码偏移与他们的真实值之间的平均平滑L1范数损失如方程(1)所示，为了确定分类损失，使用了负类别和正类别，负类别(Nhn)的数量被取为难正类别(Np)的三倍，通过计算每个负匹配，预测的交叉熵损失，选择了前Nhn个损失中最困难的负类别，置信度损失可以如方程(1)所示确定。
优选的，所述S2.7步骤中，方程(1)如下：
式中，表示定位损失，即与定位目标对象位置相关的损失，npositives表示总的正样本数量，即数据集中包含目标对象的图像区域数量，Smooth L1Loss表示一种平滑的L1损失函数，用于度量目标对象位置的预测值与实际位置的差异，最终的评估是这两种损失的代数和，被称为Multibox损失，并定义方程(2)。
优选的，所述方程(2)如下：
式中，Lconf表示置信度损失，即与分类相关的损失，npositives表示总的正样本数量，即数据集中包含目标对象的图像区域数量，npositives表示交叉熵损失，是一种常用的损失函数，用于度量分类模型的输出与真实标签之间的差异。
优选的，所述S2步骤中的迁移学习是将一个在一个任务上训练良好的模型的知识迁移到另一个相关任务上的过程，将迁移学习结合VGG-16模型提升建筑雨水检查分类效果的具体步骤如下：
I、选择并初始化源模型：
选择VGG-16作为源模型，将SSD模型的权重初始化为VGG-16模型的权重，加载到VGG-16模型中，这样，VGG-16模型将具有已经包含了大量图像特征的权重，实现了迁移学习；
II、修改顶层网络结构：
修改VGG-16模型的顶层，以适应建筑雨水检查分类任务，具体做法包括删除原始模型的顶层全连接层，并添加一个新的全连接层，该全连接层将输出与建筑雨水检查分类任务相关的特征；
III、冻结预训练层：
在迁移学习中，通常会冻结源模型的基础卷积层，这些卷积层用于提取通用特征，这样可以防止这些层的权重被修改，从而保留了VGG-16在建筑雨水图像检查分类任务上学到的通用特征；
IV、添加任务特定层：
在VGG-16的顶部，添加一个全连接层，以适应建筑雨水检查分类问题，这一层将通用特征与建筑雨水检查分类任务结合起来，实现迁移学习；
V、微调顶层：
在训练过程中，对于任务特定层进行微调，这可以包括微调底层或任务特定层的权重，这样做是为了防止破坏VGG-16的通用特征对建筑雨水检查任务的贡献。
优选的，所述S4步骤具体包括以下子步骤：
S4.1、图像预处理：
输入端将图像缩放或扩大到预设的固定尺寸，并进行必要的图像预处理操作；
S4.2、特征提取：
预处理后的图像通过VGG-16-SSD主干网络进行前向传播，从中提取图像的低级和高级特征，这些特征用于后续的目标检测和分类；
S4.3、特征映射转换：
主干网络提取的特征图被送入全连接层，将这些特征映射转换为对图像分类的预测，这一步将提取的特征用于分类问题；
S4.4、类别预测和边界框预测：
全连接层的输出特征图经过输出端，其输出神经元通常与每个类别对应一个，每个输出神经元的值表示对应类别的预测概率或分数，这些分数表示模型对每个类别的置信度，输出端同时预测目标的边界框坐标，在全连接层的输出上，应用softmax函数计算每个类别的概率分布，Softmax函数将每个输出值转化为0到1之间的概率，以表示每个类别的可能性，基于这些概率值，可以做出最终的分类决策，选择概率最高的类别作为图像的分类结果，输出端产生的预测结果包括目标的边界框坐标、类别标签和置信度信息；
S4.5、结果筛选：
为了确定最终的检测结果，通常会选择那些置信度(预测的类别概率)最高的边界框，这些被选中的边界框包含了目标的位置信息(坐标)、对应的类别标签以及置信度信息。
优选的，所述S3步骤中，将训练集中的图片数据集整体输入到模型中，并计算损失函数(Loss Funct ion)衡量模型的预测输出与真实目标之间的差距，并更新模型的权重；经过迭代的方式，反复进行前向传播、反向传播和参数优化的过程，调节模型的权重；将训练后得到的关于建筑雨水检查模型权重，作为检测建筑雨水检查分类问题的最优模型权重。
优选的，一种无人机系统建筑雨水检查装置的深度学习检测系统，包括数据获取及处理模块和目标体检测模块；数据获取及处理模块用于收集待检测图片或视频流；目标体检测模块用于将待测图片或视频流输入VGG-16-SSD模型里。
优选的，一种无人机系统建筑雨水检查装置的深度学习检测设备，包括处理器、通信接口、存储器和通信总线，所述处理器、通信接口、存储器通过通信总线完成相互间的通信，所述存储器用于存放计算机程序；所述处理器执行存储器上存放程序时，实现深度学习检测方法。
本发明提供了无人机系统建筑雨水检查装置的深度学习检测方法。具备以下有益效果：
1、本发明基于深度学习的对象检测证明了航拍检查有望成为一种创新方法，通过检测建筑工地上的临时E&SC设施，SSD成功地在图像中完全准确地识别了拦石坝、栅栏沟和防沙网，本发明中的后处理步骤使得检测结果可以在原始布局中显示，提供了计划集与实际现场应用的设施数量和类型的比较。
2、本发明通过确定设施的长度来为本发明提供更多支持，以确定支付项目和数量，这些支付项目和数量可能包括有关地理织物长度和安装淤泥围栏网和沟检查所需的T型支柱和其他材料数量的信息，该模型可以通过提供用户友好的界面来进一步完善，以便检查员可以以简化的技术步骤检测设施。
附图说明
图1为本发明的建筑雨水检查装置的深度学习方法的整体流程示意图；
图2为本发明的VGG-16-SSD模型示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
参考附图1和附图2本发明实施例提供无人机系统建筑雨水检查装置的深度学习检测方法，包括以下步骤：
S1、获取模型构建数据集：
首先收集和整理用于模型构建的数据集，这个数据集应包括各种不同情况下的临时建筑雨水检查和淤泥围栏网的图像，这些图像可以包括不同类型、不同拍摄角度和不同光照条件下的样本，这个数据集将用于训练和验证深度学习模型，具体包括以下详细步骤：
S1.1、收集图像数据集：
收集包含工地上安装的临时建筑雨水检查和E&SC设施的图像数据集，包括拦石坝、栅栏沟和淤泥围栏网，通过无人机在施工活动期间，进行30次在不同地点的飞行，每次飞行达到90m的飞行高度获得的各种图像；
S1.2、比较无人机图像与地面图像：
将基于无人机的图像和基于地面的图像与工地上安装的设施进行比较，确定可以解释有关不足之处和设施位置的信息差异，理解航拍检查如何提供全面的记录，基于这种比较，确定航拍图像被选择为对象检测的有效数据来源，并对收集到的图像数据进行标注，标注出图像中的建筑雨水检查分类和泥沙控制目标；
S1.3、数据预处理：
对标注好的图像数据进行预处理，预处理可能包括图像的缩放、裁剪、亮度和对比度调整，以准备图像用于训练和验证；
S1.4、划分数据集：
将数据集划分为训练集、验证集和测试集，通常，数据集的划分遵循一个比例；
S1.5、图像增强：
对训练集数据进行图像增强操作，图像增强是一种数据增强技术，用于增加数据集的多样性，这可以包括旋转、翻转、随机裁剪、添加噪声操作，以使模型更具鲁棒性，能够处理不同角度和光照条件下的情况；
S2、构建初始建筑雨水检查分类和检测的深度学习模型：
构建初始建筑雨水检查分类和检测的深度学习模型；初始建筑雨水检查分类模型以基于经过修改的VGG-16的基础卷积，用于分类和检测的卷积网络，其中传统的VGG-16模型的权重通过迁移学习得到增强，提供了较低级别的特征图，为适应SSD对目标检测的要求，对预训练的VGG-16网络进行一些显著的更改，SSD是一个纯卷积神经网络，它由以下主要过程组成，修改VGG-16网络中一个卷积神经网络，以构建用于目标检测的SSD模型，具体包括：
S2.1、图像输入尺寸：
图像的输入尺寸固定为300×300像素，用于后续的目标检测任务；
S2.2、修改池化层：
VGG-16网络的第三个池化层从更改为，确保特征图的尺寸计算为38×38；
S2.3、修改池化核和步幅：
第五个池化层的卷积核从原始的2×2改为3×3，步幅从2改为1；
S2.4、删除全连接层：
删除了全连接层8(fc8)，并将fc6和fc7替换为各自的卷积层；
S2.5、添加辅助卷积：
在提供更高级别特征图的基础网络上添加了辅助卷积，这些辅助卷积层用于进一步提取特征，以帮助检测不同大小的对象；
S2.6、应用预测卷积层：
最终应用预测卷积层，它使用本地化预测和特征映射中的类别预测，以检测图像中对象的位置和类型；
S2.7、SSD训练模型：
加载SSD技术来训练模型，由于模型训练需要两种类型的预测，因此开发了一个多框损失函数，这个多框损失函数包括了由于边界框的回归和类别的分类而产生的损失，位置回归损失包括L1范数损失，而分类损失是正类别和负类别之间交叉熵损失的总和，正类别代表包含对象的图像，而负类别代表不包含对象的图像，从数学上讲，正匹配的位置框的编码偏移与们的真实值之间的平均平滑L1范数损失如方程(1)所示，为了确定分类损失，使用了负类别和正类别，负类别(Nhn)的数量被取为难正类别(Np)的三倍，通过计算每个负匹配，预测的交叉熵损失，选择了前Nhn个损失中最困难的负类别，置信度损失可以如方程(1)所示确定，方程(1)如下：
式中，Lloc表示定位损失，即与定位目标对象位置相关的损失，npositives表示总的正样本数量，即数据集中包含目标对象的图像区域数量，Smooth L1Loss表示一种平滑的L1损失函数，用于度量目标对象位置的预测值与实际位置的差异，最终的评估是这两种损失的代数和，被称为Multibox损失，并定义方程(2)，方程(2)如下：
式中，Lconf表示置信度损失，即与分类相关的损失，npositives表示总的正样本数量，即数据集中包含目标对象的图像区域数量，CE Loss表示交叉熵损失，是一种常用的损失函数，用于度量分类模型的输出与真实标签之间的差异；
同时迁移学习是将一个在一个任务上训练良好的模型的知识迁移到另一个相关任务上的过程，将迁移学习结合VGG-16模型提升建筑雨水检查分类效果的具体步骤如下：
I、选择并初始化源模型：
选择VGG-16作为源模型，将SSD模型的权重初始化为VGG-16模型的权重，加载到VGG-16模型中，这样，VGG-16模型将具有已经包含了大量图像特征的权重，实现了迁移学习；
II、修改顶层网络结构：
修改VGG-16模型的顶层，以适应建筑雨水检查分类任务，具体做法包括删除原始模型的顶层全连接层，并添加一个新的全连接层，该全连接层将输出与建筑雨水检查分类任务相关的特征；
III、冻结预训练层：
在迁移学习中，通常会冻结源模型的基础卷积层，这些卷积层用于提取通用特征，这样可以防止这些层的权重被修改，从而保留了VGG-16在建筑雨水图像检查分类任务上学到的通用特征；
IV、添加任务特定层：
在VGG-16的顶部，添加一个全连接层，以适应建筑雨水检查分类问题，这一层将通用特征与建筑雨水检查分类任务结合起来，实现迁移学习；
V、微调顶层：
在训练过程中，对于任务特定层进行微调，这可以包括微调底层或任务特定层的权重，这样做是为了防止破坏VGG-16的通用特征对建筑雨水检查任务的贡献。
S3、训练建筑雨水检查分类模型：
使用S1步骤中构建的数据集，对修改后的VGG-16网络进行训练，这将涉及将图像输入到模型中，并根据它们的真实标签(建筑雨水检查或淤泥围栏网)来调整模型的权重，训练过程将反复迭代，以使模型能够准确地分类和检测建筑雨水问题，将训练集中的图片数据集整体输入到模型中，并计算损失函数(Loss Function)衡量模型的预测输出与真实目标之间的差距，并更新模型的权重；经过迭代的方式，反复进行前向传播、反向传播和参数优化的过程，调节模型的权重；将训练后得到的关于建筑雨水检查模型权重，作为检测建筑雨水检查分类问题的最优模型权重；
S4、使用训练后的模型进行分类与评估：
模型训练完成后，将待检测的图片或视频流输入到训练后的建筑雨水检查分类模型中，模型将输出分类结果和评估结果，以指示建筑工程中是否存在排水问题，具体包括以下子步骤：
S4.1、图像预处理：
输入端将图像缩放或扩大到预设的固定尺寸，并进行必要的图像预处理操作；
S4.2、特征提取：
预处理后的图像通过VGG-16-SSD主干网络进行前向传播，从中提取图像的低级和高级特征，这些特征用于后续的目标检测和分类；
S4.3、特征映射转换：
主干网络提取的特征图被送入全连接层，将这些特征映射转换为对图像分类的预测，这一步将提取的特征用于分类问题；
S4.4、类别预测和边界框预测：
全连接层的输出特征图经过输出端，其输出神经元通常与每个类别对应一个，每个输出神经元的值表示对应类别的预测概率或分数，这些分数表示模型对每个类别的置信度，输出端同时预测目标的边界框坐标，在全连接层的输出上，应用softmax函数计算每个类别的概率分布，Softmax函数将每个输出值转化为0到1之间的概率，以表示每个类别的可能性，基于这些概率值，可以做出最终的分类决策，选择概率最高的类别作为图像的分类结果，输出端产生的预测结果包括目标的边界框坐标、类别标签和置信度信息；
S4.5、结果筛选：
为了确定最终的检测结果，通常会选择那些置信度(预测的类别概率)最高的边界框，这些被选中的边界框包含了目标的位置信息(坐标)、对应的类别标签以及置信度信息；
S5、设备还具备对设计模型的分类输出进行后处理，包含将检测结果在原图像中进行结果可视化过程。
本发明实施例还提供了一种无人机系统建筑雨水检查装置的深度学习检测系统，包括数据获取及处理模块和目标体检测模块；数据获取及处理模块用于收集待检测图片或视频流；目标体检测模块用于将待测图片或视频流输入VGG-16-SSD模型里。
依据本发明实施例提供了一种无人机系统建筑雨水检查装置的深度学习检测设备，包括处理器、通信接口、存储器和通信总线，处理器、通信接口、存储器通过通信总线完成相互间的通信，存储器用于存放计算机程序；处理器执行存储器上存放程序时，实现深度学习检测方法。
本发明为无人机系统建筑雨水检查装置的深度学习检测方法，是一种有效用于检测、分类建筑雨水检查的装置，提供有效的监测手段，本发明的优点在于：其一，基于深度学习的对象检测证明了航拍检查有望成为一种创新方法，通过检测建筑工地上的临时E&SC设施，SSD成功地在图像中完全准确地识别了拦石坝、栅栏沟和防沙网，本发明中的后处理步骤使得检测结果可以在原始布局中显示，提供了计划集与实际现场应用的设施数量和类型的比较，其二，通过确定设施的长度来为本发明提供更多支持，以确定支付项目和数量，这些支付项目和数量可能包括有关地理织物长度和安装淤泥围栏网和沟检查所需的T型支柱和其他材料数量的信息，该模型可以通过提供用户友好的界面来进一步完善，以便检查员可以以简化的技术步骤检测设施
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，包括以下步骤：
S1、获取模型构建数据集：
首先收集和整理用于模型构建的数据集，这个数据集应包括各种不同情况下的临时建筑雨水检查和淤泥围栏网的图像，这些图像可以包括不同类型、不同拍摄角度和不同光照条件下的样本，这个数据集将用于训练和验证深度学习模型；
S2、构建初始建筑雨水检查分类和检测的深度学习模型：
构建初始建筑雨水检查分类和检测的深度学习模型；所述初始建筑雨水检查分类模型以基于经过修改的VGG-16的基础卷积，用于分类和检测的卷积网络，其中传统的VGG-16模型的权重通过迁移学习得到增强，提供了较低级别的特征图，为适应SSD对目标检测的要求，对预训练的VGG-16网络进行一些显著的更改；
S3、训练建筑雨水检查分类模型：
使用S1步骤中构建的数据集，对修改后的VGG-16网络进行训练，这将涉及将图像输入到模型中，并根据它们的真实标签(建筑雨水检查或淤泥围栏网)来调整模型的权重，训练过程将反复迭代，以使模型能够准确地分类和检测建筑雨水问题；
S4、使用训练后的模型进行分类与评估：
模型训练完成后，将待检测的图片或视频流输入到训练后的建筑雨水检查分类模型中，模型将输出分类结果和评估结果，以指示建筑工程中是否存在排水问题；
S5、设备还具备对设计模型的分类输出进行后处理，包含将检测结果在原图像中进行结果可视化过程。
2.根据权利要求1所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述S1步骤具体包括以下详细步骤：
S1.1、收集图像数据集：
收集包含工地上安装的临时建筑雨水检查和E&SC设施的图像数据集，包括拦石坝、栅栏沟和淤泥围栏网，通过无人机在施工活动期间，进行30次在不同地点的飞行，每次飞行达到90m的飞行高度获得的各种图像；
S1.2、比较无人机图像与地面图像：
将基于无人机的图像和基于地面的图像与工地上安装的设施进行比较，确定可以解释有关不足之处和设施位置的信息差异，理解航拍检查如何提供全面的记录，基于这种比较，确定航拍图像被选择为对象检测的有效数据来源，并对收集到的图像数据进行标注，标注出图像中的建筑雨水检查分类和泥沙控制目标；
S1.3、数据预处理：
对标注好的图像数据进行预处理，预处理可能包括图像的缩放、裁剪、亮度和对比度调整，以准备图像用于训练和验证；
S1.4、划分数据集：
将数据集划分为训练集、验证集和测试集，通常，数据集的划分遵循一个比例；
S1.5、图像增强：
对训练集数据进行图像增强操作，图像增强是一种数据增强技术，用于增加数据集的多样性，这可以包括旋转、翻转、随机裁剪、添加噪声操作，以使模型更具鲁棒性，能够处理不同角度和光照条件下的情况。
3.根据权利要求1所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述S2步骤中SSD是一个纯卷积神经网络，它由以下主要过程组成，修改VGG-16网络中一个卷积神经网络，以构建用于目标检测的SSD模型，具体包括：
S2.1、图像输入尺寸：
图像的输入尺寸固定为300×300像素，用于后续的目标检测任务；
S2.2、修改池化层：
VGG-16网络的第三个池化层从floor function更改为ceil function，确保特征图的尺寸计算为38×38；
S2.3、修改池化核和步幅：
第五个池化层的卷积核从原始的2×2改为3×3，步幅从2改为1；
S2.4、删除全连接层：
删除了全连接层8(fc8)，并将fc6和fc7替换为各自的卷积层；
S2.5、添加辅助卷积：
在提供更高级别特征图的基础网络上添加了辅助卷积，这些辅助卷积层用于进一步提取特征，以帮助检测不同大小的对象；
S2.6、应用预测卷积层：
最终应用预测卷积层，它使用本地化预测和特征映射中的类别预测，以检测图像中对象的位置和类型；
S2.7、SSD训练模型：
加载SSD技术来训练模型，由于模型训练需要两种类型的预测，因此开发了一个多框损失函数，这个多框损失函数包括了由于边界框的回归和类别的分类而产生的损失，位置回归损失包括L1范数损失，而分类损失是正类别和负类别之间交叉熵损失的总和，正类别代表包含对象的图像，而负类别代表不包含对象的图像，从数学上讲，正匹配的位置框的编码偏移与们的真实值之间的平均平滑L1范数损失如方程(1)所示，为了确定分类损失，使用了负类别和正类别，负类别(Nhn)的数量被取为难正类别(Np)的三倍，通过计算每个负匹配，预测的交叉熵损失，选择了前Nhn个损失中最困难的负类别，置信度损失可以如方程(1)所示确定。
4.根据权利要求3所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述S2.7步骤中，方程(1)如下：
式中，Lloc表示定位损失，即与定位目标对象位置相关的损失，npositives表示总的正样本数量，即数据集中包含目标对象的图像区域数量，Smooth L1 Loss表示一种平滑的L1损失函数，用于度量目标对象位置的预测值与实际位置的差异，最终的评估是这两种损失的代数和，被称为Multibox损失，并定义方程(2)。
5.根据权利要求4所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述方程(2)如下：
式中，Lconf表示置信度损失，即与分类相关的损失，npositives表示总的正样本数量，即数据集中包含目标对象的图像区域数量，CE Loss表示交叉熵损失，是一种常用的损失函数，用于度量分类模型的输出与真实标签之间的差异。
6.根据权利要求1所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述S2步骤中的迁移学习是将一个在一个任务上训练良好的模型的知识迁移到另一个相关任务上的过程，将迁移学习结合VGG-16模型提升建筑雨水检查分类效果的具体步骤如下：
I、选择并初始化源模型：
选择VGG-16作为源模型，将SSD模型的权重初始化为VGG-16模型的权重，加载到VGG-16模型中，这样，VGG-16模型将具有已经包含了大量图像特征的权重，实现了迁移学习；
II、修改顶层网络结构：
修改VGG-16模型的顶层，以适应建筑雨水检查分类任务，具体做法包括删除原始模型的顶层全连接层，并添加一个新的全连接层，该全连接层将输出与建筑雨水检查分类任务相关的特征；
III、冻结预训练层：
在迁移学习中，通常会冻结源模型的基础卷积层，这些卷积层用于提取通用特征，这样可以防止这些层的权重被修改，从而保留了VGG-16在建筑雨水图像检查分类任务上学到的通用特征；
IV、添加任务特定层：
在VGG-16的顶部，添加一个全连接层，以适应建筑雨水检查分类问题，这一层将通用特征与建筑雨水检查分类任务结合起来，实现迁移学习；
V、微调顶层：
在训练过程中，对于任务特定层进行微调，这可以包括微调底层或任务特定层的权重，这样做是为了防止破坏VGG-16的通用特征对建筑雨水检查任务的贡献。
7.根据权利要求1所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述S4步骤具体包括以下子步骤：
S4.1、图像预处理：
输入端将图像缩放或扩大到预设的固定尺寸，并进行必要的图像预处理操作；
S4.2、特征提取：
预处理后的图像通过VGG-16-SSD主干网络进行前向传播，从中提取图像的低级和高级特征，这些特征用于后续的目标检测和分类；
S4.3、特征映射转换：
主干网络提取的特征图被送入全连接层，将这些特征映射转换为对图像分类的预测，这一步将提取的特征用于分类问题；
S4.4、类别预测和边界框预测：
全连接层的输出特征图经过输出端，其输出神经元通常与每个类别对应一个，每个输出神经元的值表示对应类别的预测概率或分数，这些分数表示模型对每个类别的置信度，输出端同时预测目标的边界框坐标，在全连接层的输出上，应用softmax函数计算每个类别的概率分布，Softmax函数将每个输出值转化为0到1之间的概率，以表示每个类别的可能性，基于这些概率值，可以做出最终的分类决策，选择概率最高的类别作为图像的分类结果，输出端产生的预测结果包括目标的边界框坐标、类别标签和置信度信息；
S4.5、结果筛选：
为了确定最终的检测结果，通常会选择那些置信度(预测的类别概率)最高的边界框，这些被选中的边界框包含了目标的位置信息(坐标)、对应的类别标签以及置信度信息。
8.根据权利要求1所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，所述S3步骤中，将训练集中的图片数据集整体输入到模型中，并计算损失函数(LossFunction)衡量模型的预测输出与真实目标之间的差距，并更新模型的权重；经过迭代的方式，反复进行前向传播、反向传播和参数优化的过程，调节模型的权重；将训练后得到的关于建筑雨水检查模型权重，作为检测建筑雨水检查分类问题的最优模型权重。
9.一种无人机系统建筑雨水检查装置的深度学习检测系统，根据权利要求1至8任意一项所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，包括数据获取及处理模块和目标体检测模块；数据获取及处理模块用于收集待检测图片或视频流；目标体检测模块用于将待测图片或视频流输入VGG-16-SSD模型里。
10.一种无人机系统建筑雨水检查装置的深度学习检测设备，根据权利要求1至8任意一项所述的无人机系统建筑雨水检查装置的深度学习检测方法，其特征在于，包括处理器、通信接口、存储器和通信总线，所述处理器、通信接口、存储器通过通信总线完成相互间的通信，所述存储器用于存放计算机程序；所述处理器执行存储器上存放程序时，实现深度学习检测方法。
CN202311496042.4A 2023-11-10 2023-11-10 无人机系统建筑雨水检查装置的深度学习检测方法 Pending CN117496381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311496042.4A CN117496381A (zh) 2023-11-10 2023-11-10 无人机系统建筑雨水检查装置的深度学习检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311496042.4A CN117496381A (zh) 2023-11-10 2023-11-10 无人机系统建筑雨水检查装置的深度学习检测方法

Publications (1)

Publication Number Publication Date
CN117496381A true CN117496381A (zh) 2024-02-02

Family

ID=89681038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311496042.4A Pending CN117496381A (zh) 2023-11-10 2023-11-10 无人机系统建筑雨水检查装置的深度学习检测方法

Country Status (1)

Country Link
CN (1) CN117496381A (zh)

Similar Documents

Publication Publication Date Title
WO2022077605A1 (zh) 一种风力机叶片图像损伤检测和定位方法
US11797725B2 (en) Intelligent imagery
Kamari et al. AI-based risk assessment for construction site disaster preparedness through deep learning-based digital twinning
CN109858367B (zh) 工人通过支撑不安全行为的视觉自动化检测方法及系统
US11893538B1 (en) Intelligent system and method for assessing structural damage using aerial imagery
Yang et al. Deep learning‐based bolt loosening detection for wind turbine towers
CN111339826B (zh) 一种滑坡无人机线性传感器网络框架检测系统
BRPI0910573B1 (pt) sistema para processamento de uma reivindicação de seguro de propriedade
US11776104B2 (en) Roof condition assessment using machine learning
Guo et al. Evaluation-oriented façade defects detection using rule-based deep learning method
US11288953B2 (en) Wildfire defender
Kaur et al. Convolutional neural network based hurricane damage detection using satellite images
US11816975B2 (en) Wildfire defender
Alam et al. Automatic assessment and prediction of the resilience of utility poles using unmanned aerial vehicles and computer vision techniques
Mishra et al. Artificial intelligence-based visual inspection system for structural health monitoring of cultural heritage
CN113486779A (zh) 输电线路全景智能巡检系统
Miura et al. Empirical estimation based on remote sensing images of insured typhoon-induced economic losses from building damage
Hu et al. Automating building damage reconnaissance to optimize drone mission planning for disaster response
Wu et al. Post-flood disaster damaged houses classification based on dual-view image fusion and Concentration-Based Attention Module
Kamari et al. Analyzing safety risk imposed by jobsite debris to nearby built environments using geometric digital twins and vision-based deep learning
CN116363088A (zh) 基于无人机的高速公路混凝土路面裂缝检测方法、电子设备及存储介质
CN117496381A (zh) 无人机系统建筑雨水检查装置的深度学习检测方法
CN110765900A (zh) 一种基于dssd的自动检测违章建筑方法及系统
dos Santos et al. Deep learning applied to equipment detection on flat roofs in images captured by UAV
Manjusha et al. A review of advanced pavement distress evaluation techniques using unmanned aerial vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination