CN117237925B - 一种基于计算机视觉的智慧道路病害巡检方法及系统 - Google Patents
一种基于计算机视觉的智慧道路病害巡检方法及系统 Download PDFInfo
- Publication number
- CN117237925B CN117237925B CN202311525459.9A CN202311525459A CN117237925B CN 117237925 B CN117237925 B CN 117237925B CN 202311525459 A CN202311525459 A CN 202311525459A CN 117237925 B CN117237925 B CN 117237925B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- training
- disease
- yolov5s
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 87
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000007689 inspection Methods 0.000 title claims abstract description 28
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000012795 verification Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 16
- 238000012423 maintenance Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 7
- 238000013138 pruning Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 9
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出一种基于计算机视觉的智慧道路病害巡检方法及系统，包括：利用摄像头采集路面病害信息并构建数据集，按照8:1:1比例划分训练集、验证集、测试集；进行yolov5s模型搭建；将训练集送入yolov5s模型进行训练，经过800轮训练，得到最优模型；使用双目摄像头对病害长、宽及面积测量；使用C++和TensorRT将最优模型部署于NVIDIA Jetson Xavier NX设备中。本发明通过使用深度学习模型，如yolov5s模型，可以自动化道路病害的检测流程，大大提高了检测效率和准确性。相比传统的人工巡查方法，深度学习模型能够更准确、更快速地检测出道路病害，减少了病害遗漏的风险。
Description
技术领域
本发明涉及计算机视觉、图像处理、深度领域，具体涉及一种基于计算机视觉的智慧道路病害巡检方法及系统。
背景技术
随着我国社会经济科技的飞速发展，道路交通已成为现代生活中不可或缺的一部分。过去的几年里，我国的道路网络得到了极大的发展，现在我国的道路具有里程长、复杂性高的特点。然而，这也带来了显著的挑战，其中最重要的挑战之一就是道路的维护和修复。
道路病害，如裂缝、坑洞等，不仅会对道路使用者的驾驶安全造成威胁，而且如果未及时进行修复，病害可能会进一步扩大，甚至可能对道路基础设施造成严重损坏。此外，道路上行驶的车辆速度快，如果遇到道路病害，更容易导致交通事故，对司乘的人身安全造成严重威胁。因此，及时准确地检测和定位道路病害对保障道路交通安全、提高道路使用效率以及节省道路维护成本具有重要意义。
传统的道路病害检测方法通常依赖于人工检查，但这种方法效率低下，而且准确性受到人工检查者的技能和疲劳程度的影响，检查结果可能存在很大的差异。另外，人工检查也需要消耗大量的人力资源，对于中小型企业而言，这种人力成本可能是无法承受的。
发明内容
为克服现有技术的不足，本发明提出一种基于计算机视觉的智慧道路病害巡检方法及系统，能够解决路面病害检测效率低，精确率低，人工检测耗时等问题。
为实现上述目的，本发明提供一种基于计算机视觉的智慧道路病害巡检方法，包括：
步骤S1：利用摄像头采集路面病害信息并构建数据集，按照8:1:1比例划分训练集、验证集、测试集；
步骤S2：进行yolov5s模型搭建；
步骤S3：将训练集送入yolov5s模型进行训练，经过800轮训练，得到最优模型；
步骤S4：使用双目摄像头对病害长、宽及面积测量；
步骤S5：使用C++和TensorRT将最优模型部署于NVIDIA Jetson Xavier NX设备中；
步骤S6：将输出结果经处理后存于指定目录中，图片显示于终端显示器中；
步骤S7：系统优化和稳定性维护。
进一步地，步骤S1包括：
步骤S11：使用摄像头采集路面信息视频；
步骤S12：使用python撰写抽帧代码，即将视频按照1秒5帧转成图片；
步骤S13：人工初筛，去除不清晰图片、重复图片；
步骤S14：将图片中涉嫌隐私部分模糊处理；
步骤S15：使用Labelimg工具将图片中病害信息进行标注；
步骤S16：人工交互复查，经过三人重复审查数据标注情况，确认无误后，构建数据并入自建的道路病害数据集（FocusRoadDamage）中；
步骤S17：按照8:1:1比例将数据集划分为训练集、验证集和测试集；
步骤S18：使用雷达或其他三维数据采集设备采集道路病害深度信息，并对雷达数据进行预处理，与图像数据融合。
进一步地，步骤S2具体为：
步骤S21：根据yolov5s网络模型搭建网络结构；
步骤S22：根据训练要求搭建yolov5s训练所需环境。
进一步地，步骤S3具体为：
步骤S31：将原始数据集图片进行数据预处理，包括将图片尺寸从640×480调整为640×640；
步骤S32：将划分好的数据集送入yolov5s模型中进行训练；
步骤S33：设置好训练相关参数，模型参数选择yolov5s，数据集参数指定为我们自己的数据集；
步骤S33：将epochs设置为800，开始训练，并保存最优的训练模型；
步骤S34：分别使用相同数据集对ssd-vgg和ssd-mobilenet模型进行训练；
步骤S35：应用GAN技术生成更多的病害样本，进行数据增强；
步骤S36：采用自监督学习技术，如对比学习，进一步提升模型性能。
进一步地，步骤S4包括：
步骤S41：双目摄像机的立体标定；
步骤S42：双目摄像机的畸变矫正；
步骤S43：使用SGBM算法进行深度匹配，计算病害的长、宽和面积；
步骤S44：应用雷达或其他三维数据采集设备，对病害深度进行测量。
进一步地，步骤S5包括：
步骤S51：NVIDIA Jetson Xavier NX设备基础环境搭建；
步骤S52：对模型进行剪枝量化操作，使模型达到最优模型best.pt；
步骤S53：使用python脚本将最优模型best.pt转成best.wts文件；
步骤S54：使用best.wts文件生成C++可调用的引擎文件yolov5s.engine；
步骤S55：使用TensorRT调用yolov5s.engine，并通过编译后，运行可执行程序；
步骤S56：使用模型剪枝、量化技术对模型进行优化，以适应NVIDIA JetsonXavier NX设备的计算性能；
步骤S57：使用专用的模型加速库如TensorRT，进一步提升模型在设备上的运行速度。
进一步地，步骤S6包括：
步骤S61：将检测到有病害的图片文件名命名为“时间+GPS”信息，并保存在指定目录中；
步骤S62：将检测程序做成为服务器形式，即启动检测程序后程序一直监听是否有图片文件，若有图片就进行检测，若没有就一直监听；
步骤S63：使用Grad-CAM等技术，生成模型决策的热力图，将其与检测图片一起存储于指定目录；
步骤S64：将检测后的结果图片和热力图上传至终端显示。
进一步地，步骤S7包括：
步骤S71：系统模块化设计，将病害检测功能、病害几何测量功能、结果处理功能模块化设计；
步骤S72：系统异常处理，为维护系统正常，将可能出现的异常（比如内存泄漏、数组越界等）全部捕获并通过异常代码进行处理；
步骤S73：添加系统日志，将系统检测结果和可能出现的错误日志全部存储于日志中，并将日志按照时间划分存储在指定目录中；
步骤S74：项目版本控制。为了后期维护，使用git对项目代码进行版本控制，版本号通过时间来生成以确定唯一性。
一种基于计算机视觉的智慧道路病害巡检系统，适用于上述中任一项所述的一种基于计算机视觉的智慧道路病害巡检方法，包括：
数据收集模块，所述数据收集模块负责从摄像头设备获取图像和视频信息，并保存到系统中，数据收集模块需要与硬件设备进行交互，通常需要一个设备驱动接口。
数据处理模块，所述数据处理模块对收集的图像和视频数据进行预处理将视频数据分解为单帧图像，以便进一步处理。
标注模块，所述标注模块负责对图像数据进行人工或自动化标注，以标记出路面病害的位置、类型和程度等信息。
模型训练模块，所述模型训练模块负责使用标注后的图像数据进行机器学习模型的训练和验证。训练过程中，可能需要不断地调整模型参数，以提高模型的性能。
模型优化和部署模块，所述模型优化和部署模块负责将训练好的模型进行优化，使其能够在目标硬件设备上运行。优化过程可能涉及到模型剪枝、量化等操作。优化后的模型将被部署到硬件设备上，以进行实时的道路病害检测。
结果处理和存储模块，所述结果处理和存储模块负责处理模型的输出结果，例如，将检测到的道路病害位置和类型进行可视化，然后保存到数据库或文件系统中。
系统优化和维护模块，所述系统优化和维护模块负责进行系统级别的优化和维护，包括代码优化、性能调优、异常处理、日志记录、版本控制等。
与现有技术相比，本发明的有益效果是：
1.本发明提供了一种基于计算机视觉的智慧道路病害巡检方法及系统，通过使用深度学习模型，如yolov5s模型，可以自动化道路病害的检测流程，大大提高了检测效率和准确性。相比传统的人工巡查方法，深度学习模型能够更准确、更快速地检测出道路病害，减少了病害遗漏的风险。
2.本发明提供了一种基于计算机视觉的智慧道路病害巡检方法及系统，通过使用双目摄像头和相关算法，如SGBM算法，可以更准确地测量病害的长度、宽度和面积。这不仅能够帮助准确识别和定位道路病害，还可以为道路维修提供精确的尺寸数据，从而提高维修效率和质量。
3.本发明提供了一种基于计算机视觉的智慧道路病害巡检方法及系统，通过使用NVIDIA Jetson Xavier NX进行边缘计算，可以在数据采集地点进行模型推理，减少数据传输需求，提高系统响应速度。这对于实时或近实时的道路病害检测和定位非常重要性。
4.本发明提供了一种基于计算机视觉的智慧道路病害巡检方法及系统，该系统能够实时展示检测结果，并将结果存储下来供后续分析使用。这不仅可以帮助用户直观地理解检测结果，还可以为后续的数据分析提供便利。
5.本发明提供了一种基于计算机视觉的智慧道路病害巡检方法及系统，由于系统的自动化和智能化，大大减少了人力资源的需求，尤其是对中小型企业而言，可以显著降低人力资源成本，进一步提高工作效率，且通过及时、准确地检测和定位道路病害，可以更早地对病害进行修复，降低交通事故的风险，提高道路的使用寿命，从而提升道路的安全性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明流程图；
图2是本发明示例图；
图3为本发明双目摄像头结构图；
图4为本发明双目摄像头流程图；
图5为双目摄像机的立体标定示意图。
具体实施方式
下面将结合附图、通过对本发明的优选实施方式的描述，更加清楚、完整地阐述本发明的技术方案。
如图1所示，本发明具体为：
一种基于计算机视觉的智慧道路病害巡检方法，包括：
步骤S1：利用摄像头采集路面病害信息并构建数据集，按照8:1:1比例划分训练集、验证集、测试集；
步骤S2：进行yolov5s模型搭建；
步骤S3：将训练集送入yolov5s模型进行训练，经过800轮训练，得到最优模型；
步骤S4：使用双目摄像头对病害长、宽及面积测量；
步骤S5：使用C++和TensorRT将最优模型部署于NVIDIA Jetson Xavier NX设备中；
步骤S6：将输出结果经处理后存于指定目录中，图片显示于终端显示器中；
步骤S7：系统优化和稳定性维护。
作为一种具体的实施方式，步骤S1包括：
步骤S11：使用摄像头采集路面信息视频；
步骤S12：使用python撰写抽帧代码，即将视频按照1秒5帧转成图片；
步骤S13：人工初筛，去除不清晰图片、重复图片；
步骤S14：将图片中涉嫌隐私部分模糊处理；
步骤S15：使用Labelimg工具将图片中病害信息进行标注；
步骤S16：人工交互复查，经过三人重复审查数据标注情况，确认无误后，构建数据并入自建的道路病害数据集（FocusRoadDamage）中；
步骤S17：按照8:1:1比例将数据集划分为训练集、验证集和测试集；
步骤S18：使用雷达或其他三维数据采集设备采集道路病害深度信息，并对雷达。
作为一种具体的实施方式，步骤S2具体为：
步骤S21：根据yolov5s网络模型搭建网络结构；
步骤S22：根据训练要求搭建yolov5s训练所需环境。
作为一种具体的实施方式，步骤S3具体为：
步骤S31：将原始数据集图片进行数据预处理，包括将图片尺寸从640×480调整为640×640；
步骤S32：将划分好的数据集送入yolov5s模型中进行训练；
步骤S33：设置好训练相关参数，模型参数选择yolov5s，数据集参数指定为我们自己的数据集，具体参数如下：
| 参数 | 值 |
| 数据集 | FocusRoadDamage |
| 输入数据维度 | 640×640×3 |
| 训练集样本数 | 28319 |
| 验证集样本数 | 3539 |
| 测试集样本数 | 3539 |
| 训练设备 | GeForce GTX 3090 |
| 训练环境 | Pytorch |
| 优化器 | SGD |
| 批处理大小 | 64 |
| 学习率 | 0.01 |
| 训练次数 | 800 |
步骤S33：将epochs设置为800，开始训练，并保存最优的训练模型；
步骤S34：为了对比，分别使用相同数据集对ssd-vgg和ssd-mobilenet模型进行训练，结果对比如下：
；
其中：
；
；
；
TP: True Positive，TN: True Negative，FP: False Positive，FN: FalseNegative；
；
IoU即交并比，其定义如下：
mAP@0.5为IoU等于0.5时的平均精确率；
步骤S35：应用GAN技术生成更多的病害样本，进行数据增强；
在计算机视觉任务中，数据是非常重要的，更多的数据可以提供更多的信息，帮助模型学习更多的特征。但是，有时无法获取足够多的数据，可能有一些特定类型的道路病害样本非常稀少。在这种情况下，使用生成对抗网络（GAN）来生成新的样本。
生成对抗网络由两个部分组成：生成器和判别器。生成器的任务是生成看起来像真实样本的假样本，判别器的任务是判断一个样本是真实的还是生成器生成的。在训练过程中，生成器和判别器相互对抗，生成器试图生成判别器无法区分的假样本，判别器试图更准确地识别出假样本。通过这种方式，生成器可以学习到生成看起来像真实样本的能力。
作为一种具体的实施例，在数据集中，某种特定类型的道路病害样本非常少。首先训练一个GAN，输入是随机噪声，输出是这种特定类型的道路病害的图片。训练过程中，生成器试图生成判别器无法区分的假样本，判别器试图更准确地识别出假样本。经过足够多轮的训练后，生成器就能生成看起来很像真实样本的假样本。然后，可以使用这些生成的假样本来增强我们的数据集；
步骤S36：采用自监督学习技术，如对比学习，进一步提升模型性能。
自监督学习是一种无监督学习的方法，它通过生成自身的标签来进行学习。对比学习是一种自监督学习的方法，它通过对比不同的样本来进行学习。
在对比学习中，我们首先对每个样本生成两个变换后的版本，然后训练模型使得同一样本的两个版本在特征空间中更接近，不同样本的版本在特征空间中更远离。这样，模型可以学习到更鲁棒的特征表示，进而提升模型的性能。
作为一种具体的实施例，可以在数据预处理阶段，对每个样本生成两个变换后的版本，例如使用图像增强技术，如旋转、缩放、裁剪等。然后，在模型训练过程中，对同一样本的两个版本，让模型输出的特征更接近，对不同样本的两个版本，让模型输出的特征更远离。这可以通过添加一个对比损失来实现，例如NT-Xent损失。经过训练，模型可以学习到更鲁棒的特征表示，进一步提升模型的性能。
作为一种具体的实施方式，双目摄像头参数如下：
；
双目摄像头结构图如图3所示；
步骤S4包括：如图4所示：
步骤S41：双目摄像机的立体标定，具体如图5所示，图中 为世界坐标系，/> 为相机坐标系，/>为图片坐标系，/>为像素坐标系，/>为相机焦点，。
通过以下变换即可实现世界坐标系与图片坐标系相互转换：
；
；
其中为旋转矢量，/>为平移矢量。
通过相机标定可以求得旋转矢量和平移矢量/>；
步骤S42：双目摄像机的畸变矫正；
步骤S43：使用SGBM算法进行深度匹配，计算病害的长、宽和面积；
步骤S44：应用雷达或其他三维数据采集设备，对病害深度进行测量。
作为一种具体的实施例，步骤S5包括：
步骤S51：NVIDIA Jetson Xavier NX设备基础环境搭建；
步骤S52：对模型进行剪枝量化操作，使模型达到最优模型best.pt；
步骤S53：使用python脚本将最优模型best.pt转成best.wts文件；
步骤S54：使用best.wts文件生成C++可调用的引擎文件yolov5s.engine；
步骤S55：使用TensorRT调用yolov5s.engine，并通过编译后，运行可执行程序；
步骤S56：使用模型剪枝、量化技术对模型进行优化，以适应NVIDIA JetsonXavier NX设备的计算性能；
步骤S57：使用专用的模型加速库如TensorRT，进一步提升模型在设备上的运行速度。
作为一种具体的实施例，步骤S6包括：
步骤S61：将检测到有病害的图片文件名命名为“时间+GPS”信息，并保存在指定目录中；
步骤S62：将检测程序做成为服务器形式，即启动检测程序后程序一直监听是否有图片文件，若有图片就进行检测，若没有就一直监听；
步骤S63：使用Grad-CAM等技术，生成模型决策的热力图，将其与检测图片一起存储于指定目录；
步骤S64：将检测后的结果图片和热力图上传至终端显示。
作为一种具体的实施例，步骤S7包括：
步骤S71：系统模块化设计，将病害检测功能、病害几何测量功能、结果处理功能模块化设计；
步骤S72：系统异常处理，为维护系统正常，将可能出现的异常（比如内存泄漏、数组越界等）全部捕获并通过异常代码进行处理；
步骤S73：添加系统日志，将系统检测结果和可能出现的错误日志全部存储于日志中，并将日志按照时间划分存储在指定目录中；
步骤S74：项目版本控制。为了后期维护，使用git对项目代码进行版本控制，版本号通过时间来生成以确定唯一性。
如图2所示，通过数据集对图片进行训练，将训练好的模型部署于检测器（JetsonXavier NX）中，并将检测器安装于道路检测车上。当道路检测车行驶于检测道路时，通过摄像头将路面图片传输给检测器中，检测器先预处理待检测图片以满足模型检测需要，然后通过检测器中的模型将图片中的路面病害检测出来，最后通过4G网络上传至监测终端。
一种基于计算机视觉的智慧道路病害巡检系统，包括：
数据收集模块，所述数据收集模块负责从摄像头设备获取图像和视频信息，并保存到系统中，数据收集模块需要与硬件设备进行交互，通常需要一个设备驱动接口。
数据处理模块，所述数据处理模块对收集的图像和视频数据进行预处理将视频数据分解为单帧图像，以便进一步处理。
标注模块，所述标注模块负责对图像数据进行人工或自动化标注，以标记出路面病害的位置、类型和程度等信息。
模型训练模块，所述模型训练模块负责使用标注后的图像数据进行机器学习模型的训练和验证。训练过程中，可能需要不断地调整模型参数，以提高模型的性能。
模型优化和部署模块，所述模型优化和部署模块负责将训练好的模型进行优化，使其能够在目标硬件设备上运行。优化过程可能涉及到模型剪枝、量化等操作。优化后的模型将被部署到硬件设备上，以进行实时的道路病害检测。
结果处理和存储模块，所述结果处理和存储模块负责处理模型的输出结果，例如，将检测到的道路病害位置和类型进行可视化，然后保存到数据库或文件系统中。
系统优化和维护模块，所述系统优化和维护模块负责进行系统级别的优化和维护，包括代码优化、性能调优、异常处理、日志记录、版本控制等。
作为一种具体的实施例，如图2所示，数据收集模块终端有摄像头设备安装在移动车辆（例如路面巡检车）上。当巡检车行驶在道路上时，摄像头不断地采集道路表面的视频数据，并将其发送到数据处理模块。
当数据处理模块收到视频数据后，首先会对视频进行解帧，将其转换为一系列的静态图像。这些图像会进一步进行预处理，例如调整图像尺寸、颜色平衡调整等，以适配模型训练模块的需要。
在系统初次部署或模型需要更新时，我们需要使用标注模块对图像数据进行标注。标注主要由专门的标注人员进行，他们将在图像中标记出所有的道路病害，包括裂缝、坑洞等，并标明其类型、位置等信息。这些标注信息将作为训练模型的“标签”，供模型训练模块使用。
模型训练模块使用标注后的数据进行模型训练。例如，可以使用深度学习的YOLOv5模型进行训练。训练的过程中，我们会监控模型的性能，比如损失值、准确率等，并适当地调整模型参数以提升模型性能。
当模型训练完成后，使用模型优化和部署模块终端模型优化工具（如TensorRT）对模型进行优化，使其适应在目标硬件（如NVIDIA Jetson Xavier NX）上运行。优化后的模型将被部署到数据处理模块中，用于实时处理从摄像头采集到的图像。
当模型处理完一张图像后，会生成一组关于道路病害的数据，包括病害的类型、位置等信息。这些信息会被送到结果处理模块，进行适当的格式转换和可视化，然后存储到数据库中，以便于后续的查询和分析。
在系统运行过程中，系统优化和维护模块会持续地对系统进行监控和维护，包括性能调优、异常处理、日志记录等。对于出现的任何问题，都会尽快地定位并解决，以保证系统的稳定运行。
上述具体实施方式仅仅对本发明的优选实施方式进行描述，而并非对本发明的保护范围进行限定。在不脱离本发明设计构思和精神范畴的前提下，本领域的普通技术人员根据本发明所提供的文字描述、附图对本发明的技术方案所作出的各种变形、替代和改进，均应属于本发明的保护范畴。本发明的保护范围由权利要求确定。
Claims (5)
1.一种基于计算机视觉的智慧道路病害巡检方法，其特征在于，包括：
步骤S1：利用摄像头采集路面病害信息并构建数据集，按照8:1:1比例划分训练集、验证集、测试集，具体如下：
步骤S11：使用摄像头采集路面信息视频；
步骤S12：使用python撰写抽帧代码，即将视频按照1秒5帧转成图片；
步骤S13：人工初筛，去除不清晰图片、重复图片；
步骤S14：将图片中涉嫌隐私部分模糊处理；
步骤S15：使用Labelimg工具将图片中病害信息进行标注；
步骤S16：人工交互复查，经过三人重复审查数据标注情况，确认无误后，构建数据并入自建的道路病害数据集中；
步骤S17：按照8:1:1比例将数据集划分为训练集、验证集和测试集；
步骤S18：使用三维数据采集设备采集道路病害深度信息，并对数据进行预处理，与图像数据融合；
步骤S2：进行yolov5s模型搭建，具体如下：
步骤S21：根据yolov5s网络模型搭建网络结构；
步骤S22：根据训练要求搭建yolov5s训练所需环境；
步骤S3：将训练集送入yolov5s模型进行训练，经过800轮训练，得到最优模型，具体如下：
步骤S31：将原始数据集图片进行数据预处理，包括将图片尺寸从640×480调整为640×640；
步骤S32：将划分好的数据集送入yolov5s模型中进行训练；
步骤S33：设置好训练相关参数，模型参数选择yolov5s，数据集参数指定为数据集；
步骤S33：将epochs设置为800，开始训练，并保存最优的训练模型；
步骤S34：分别使用相同数据集对ssd-vgg和ssd-mobilenet模型进行训练；
步骤S35：使用GAN技术生成更多的病害样本，进行数据增强；
步骤S36：采用自监督学习技术；
步骤S4：使用双目摄像头对病害长、宽及面积测量；
步骤S5：使用C++和TensorRT将最优模型部署于NVIDIA Jetson Xavier NX设备中，具体如下：
步骤S51：NVIDIA Jetson Xavier NX设备基础环境搭建；
步骤S52：对模型进行剪枝量化操作，使模型达到最终模型best.pt；
步骤S53：使用python脚本将最终模型best.pt转成best.wts文件；
步骤S54：使用best.wts文件生成C++可调用的引擎文件yolov5s.engine；
步骤S55：使用TensorRT调用yolov5s.engine，并通过编译后，运行可执行程序；
步骤S6：将输出结果经处理后存于指定目录中，图片显示于终端显示器中；
步骤S7：进行系统优化和稳定性维护。
2.根据权利要求1所述的一种基于计算机视觉的智慧道路病害巡检方法，其特征在于，步骤S4包括：
步骤S41：双目摄像机的立体标定；
步骤S42：双目摄像机的畸变矫正；
步骤S43：使用SGBM算法进行深度匹配，计算病害的长、宽和面积；
步骤S44：应用三维数据采集设备，对病害深度进行测量。
3.根据权利要求1所述的一种基于计算机视觉的智慧道路病害巡检方法，其特征在于，步骤S6包括：
步骤S61：将检测到有病害的图片文件名命名为“时间+GPS”信息，并保存在指定目录中；
步骤S62：将检测程序做成为服务器形式，即启动检测程序后程序一直监听是否有图片文件，若有图片就进行检测，若没有就一直监听；
步骤S63：使用Grad-CAM技术，生成模型决策的热力图，将其与检测图片一起存储于指定目录；
步骤S64：将检测后的结果图片和热力图上传至终端显示。
4.根据权利要求1所述的一种基于计算机视觉的智慧道路病害巡检方法，其特征在于，步骤S7包括：
步骤S71：系统模块化设计，将病害检测功能、病害几何测量功能、结果处理功能模块化设计；
步骤S72：系统异常处理，将出现的异常全部捕获并通过异常代码进行处理；
步骤S73：添加系统日志，将系统检测结果和出现的错误日志全部存储于日志中，并将日志按照时间划分存储在指定目录中；
步骤S74：使用git对项目代码进行版本控制，版本号通过时间来生成以确定唯一性。
5.一种基于计算机视觉的智慧道路病害巡检系统，适用于权利要求1-4中任一项所述的一种基于计算机视觉的智慧道路病害巡检方法，其特征在于，包括：
数据收集模块，所述数据收集模块负责从摄像头设备获取图像和视频信息，并保存到系统中；
数据处理模块，所述数据处理模块对收集的图像和视频数据进行预处理将视频数据分解为单帧图像；
标注模块，所述标注模块负责对图像数据进行人工或自动化标注，以标记出路面信息；
模型训练模块，所述模型训练模块负责使用标注后的图像数据进行机器学习模型的训练和验证；
模型优化和部署模块，所述模型优化和部署模块负责将训练好的模型进行优化，使其能够在目标硬件设备上运行；
结果处理和存储模块，所述结果处理和存储模块负责处理模型的输出结果；
系统优化和维护模块，所述系统优化和维护模块负责进行系统级别的优化和维护。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311525459.9A CN117237925B (zh) | 2023-11-16 | 2023-11-16 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311525459.9A CN117237925B (zh) | 2023-11-16 | 2023-11-16 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117237925A CN117237925A (zh) | 2023-12-15 |
| CN117237925B true CN117237925B (zh) | 2024-02-13 |
Family
ID=89086662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311525459.9A Active CN117237925B (zh) | 2023-11-16 | 2023-11-16 | 一种基于计算机视觉的智慧道路病害巡检方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237925B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117610792A (zh) * | 2024-01-19 | 2024-02-27 | 中国公路工程咨询集团有限公司 | 路面病害修复方法、装置、系统、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633875A (zh) * | 2019-11-20 | 2019-12-31 | 南京萨利智能科技有限公司 | 航路流量预测方法、装置及计算机存储介质 |
| CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
| CN112200143A (zh) * | 2020-11-02 | 2021-01-08 | 坝道工程医院(平舆) | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
| CN113159166A (zh) * | 2021-04-19 | 2021-07-23 | 国网山东省电力公司威海供电公司 | 基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备 |
| GB202113615D0 (en) * | 2021-09-23 | 2021-11-10 | Ucl Business Ltd | Computer-implemented method of enhancing object detection in a digital image of known underlying structure,& corresponding module, data processing apparatus |
| CN114049560A (zh) * | 2021-11-25 | 2022-02-15 | 江苏科技大学 | 基于多神经网络结合的路面多特征病害检测方法及装置 |
| CN114495068A (zh) * | 2022-04-18 | 2022-05-13 | 河北工业大学 | 基于人机交互和深度学习的路面健康检测“元”方法 |
| CN114998852A (zh) * | 2021-08-05 | 2022-09-02 | 浙江杉工智能科技有限公司 | 一种基于深度学习的公路路面病害智能检测方法 |
| CN115527178A (zh) * | 2022-09-27 | 2022-12-27 | 深圳海星智驾科技有限公司 | 路面病害检测方法和装置、电子设备和存储介质 |
| CN116448773A (zh) * | 2023-06-19 | 2023-07-18 | 河北工业大学 | 一种图像-振动特征融合的路面病害检测方法及系统 |
| CN116630268A (zh) * | 2023-05-23 | 2023-08-22 | 中山大学 | 一种道路病害检测方法、系统、设备及介质 |
| CN117036641A (zh) * | 2023-06-08 | 2023-11-10 | 四川轻化工大学 | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11995859B2 (en) * | 2021-10-28 | 2024-05-28 | Mineral Earth Sciences Llc | Sparse depth estimation from plant traits |
-
2023
- 2023-11-16 CN CN202311525459.9A patent/CN117237925B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110633875A (zh) * | 2019-11-20 | 2019-12-31 | 南京萨利智能科技有限公司 | 航路流量预测方法、装置及计算机存储介质 |
| CN111553236A (zh) * | 2020-04-23 | 2020-08-18 | 福建农林大学 | 基于道路前景图像的路面病害目标检测与实例分割方法 |
| CN112200143A (zh) * | 2020-11-02 | 2021-01-08 | 坝道工程医院(平舆) | 一种基于候选区域网络和机器视觉的道路病害检测方法 |
| CN113159166A (zh) * | 2021-04-19 | 2021-07-23 | 国网山东省电力公司威海供电公司 | 基于边缘计算的嵌入式图像识别检测方法、系统、介质及设备 |
| CN114998852A (zh) * | 2021-08-05 | 2022-09-02 | 浙江杉工智能科技有限公司 | 一种基于深度学习的公路路面病害智能检测方法 |
| GB202113615D0 (en) * | 2021-09-23 | 2021-11-10 | Ucl Business Ltd | Computer-implemented method of enhancing object detection in a digital image of known underlying structure,& corresponding module, data processing apparatus |
| CN114049560A (zh) * | 2021-11-25 | 2022-02-15 | 江苏科技大学 | 基于多神经网络结合的路面多特征病害检测方法及装置 |
| CN114495068A (zh) * | 2022-04-18 | 2022-05-13 | 河北工业大学 | 基于人机交互和深度学习的路面健康检测“元”方法 |
| CN115527178A (zh) * | 2022-09-27 | 2022-12-27 | 深圳海星智驾科技有限公司 | 路面病害检测方法和装置、电子设备和存储介质 |
| CN116630268A (zh) * | 2023-05-23 | 2023-08-22 | 中山大学 | 一种道路病害检测方法、系统、设备及介质 |
| CN117036641A (zh) * | 2023-06-08 | 2023-11-10 | 四川轻化工大学 | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 |
| CN116448773A (zh) * | 2023-06-19 | 2023-07-18 | 河北工业大学 | 一种图像-振动特征融合的路面病害检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于数据深度增强的路面病害智能检测方法研究及比较;侯越等;《北京工业大学学报》;第48卷(第06期);622-634 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117237925A (zh) | 2023-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210319561A1 (en) | Image segmentation method and system for pavement disease based on deep learning | |
| CN107229930B (zh) | 一种指针式仪表数值智能识别方法 | |
| CN117237925B (zh) | 一种基于计算机视觉的智慧道路病害巡检方法及系统 | |
| CN112686833B (zh) | 一种基于卷积神经网络的工业产品表面缺陷检测和分类装置 | |
| CN111914767B (zh) | 一种基于多源遥感数据的散乱污企业检测方法及系统 | |
| CN117422699B (zh) | 公路检测方法、装置、计算机设备及存储介质 | |
| CN117523177A (zh) | 一种基于人工智能混合大模型的燃气管道监测系统和方法 | |
| CN115311618A (zh) | 一种基于深度学习和对象匹配的装配质量检查方法 | |
| CN114155468A (zh) | 一种变压器渗漏油检测方法、装置、设备及介质 | |
| CN116580026B (zh) | 精密零部件外观缺陷自动光学检测方法、设备及存储介质 | |
| CN117315365A (zh) | 一种基于视觉分析的凸轮轴表面损伤检测系统 | |
| CN114693554B (zh) | 一种大数据图像处理方法及系统 | |
| CN114494134A (zh) | 基于部件点云配准检测的工业缺陷检测系统 | |
| CN112508946A (zh) | 一种基于对抗神经网络的电缆隧道异常检测方法 | |
| CN113191977B (zh) | 一种用于恶劣环境条件下目标检测识别的图像增强系统 | |
| CN113393216B (zh) | 一种实验室数字化系统 | |
| CN114612068B (zh) | 一种考勤自动补签方法及装置 | |
| CN114419080B (zh) | 一种幕墙巡检系统和方法 | |
| CN118379297B (zh) | 聚四氟乙烯蚀刻管缺陷检测方法、装置、设备及存储介质 | |
| CN111680612B (zh) | 基于图像处理的室内火灾荷载自动识别装置与方法 | |
| CN115757842A (zh) | 一种基于云计算的图像数据处理方法 | |
| KR20230091579A (ko) | 스마트폰을 이용한 터빈 블레이드 열화 진단 방법 및 시스템 | |
| CN115294278A (zh) | 一种基于无人机摄影的测量数据整合管理系统及方法 | |
| CN117994191A (zh) | 一种用于识别焊接射线底片缺陷的方法 | |
| CN115147824A (zh) | 数字表计检测和识别方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |