CN115272901A - 一种塑胶跑道裂缝自动检测方法和装置 - Google Patents

一种塑胶跑道裂缝自动检测方法和装置 Download PDF

Info

Publication number
CN115272901A
CN115272901A CN202210925997.6A CN202210925997A CN115272901A CN 115272901 A CN115272901 A CN 115272901A CN 202210925997 A CN202210925997 A CN 202210925997A CN 115272901 A CN115272901 A CN 115272901A
Authority
CN
China
Prior art keywords
crack
plastic track
plastic
model
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210925997.6A
Other languages
English (en)
Inventor
周凌宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Univeristy of Technology
Original Assignee
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Univeristy of Technology filed Critical Chengdu Univeristy of Technology
Priority to CN202210925997.6A priority Critical patent/CN115272901A/zh
Publication of CN115272901A publication Critical patent/CN115272901A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种塑胶跑道裂缝自动检测方法和装置。所述塑胶跑道裂缝检测方法和装置，包括塑胶跑道裂缝检测模型的训练和模型硬件部署。其中模型训练包括利用塑胶跑道表面裂缝图像使用基于改进YOLOv5‑s模型进行训练，通过多尺度特征提取网络实现特征提取后进行特征融合，然后使用多尺度预测解决目标对象大小不同的问题并输出目标位置和相应类别。在硬件部署方面，本发明实现了将此算法运行在RaspberryPi3b+上并能通过摄像头实时拍摄塑胶跑道图片，并准确检测出裂缝区域后将相关数据上传至远程服务器存储。该发明主要目的在于提高对塑胶跑道表面裂缝检测的效率与准确性，使塑胶跑道裂缝检测算法更易部署在移动端，降低检测成本，增加普遍性和实用性。

Description

一种塑胶跑道裂缝自动检测方法和装置
技术领域
本发明属于人工智能领域，涉及到一种目标检测——塑胶跑道表面裂缝检测技术以及在移动硬件平台的实现。
背景技术
随着科学技术进步和经济繁荣，国家日渐重视体育事业的发展，塑胶跑道的发展势不可挡。然而塑胶跑道在长期作用过程中会产生一些不同种类的病害，早起病害类型主要为裂缝，为了有效检测塑胶跑道裂缝区域及损坏程度判断，更加重视对表面裂缝检测技术的研究。
当前的表面裂缝检测技术主要由以下几种：一是通过人工检测，这种方法针对于较大待检测区域收集并统计数据会花费大量人力且会出现漏检问题；二是通过传统图像处理方法对图像进行分析处理并判断是否存在裂缝。这种方法的问题是当数据集较大时，处理效率较低且检测精度不够。因此有对更加高效的塑胶跑道表面裂缝检测技术和应用是非常具有研究意义和实用价值的。
发明内容
本发明提供一种基于YOLOv5-s算法的塑胶跑道裂缝自动检测方法和装置，已解决现有装置中算法检测效率低，模型复杂，部署到移动端困难等问题。其具体方案实施如下：
第一方面，本申请实例提供了一种塑胶跑道裂缝自动检测方法，包括：
数据集采用自己制作的数据集，共有2000张图片，一部分来自相机拍摄真实背景下的跑道裂缝图像，另一部分通过网络方式收集得到，裂缝数据集包含不同裂缝类型，如横向裂缝、纵向裂缝等，并利用离线数据增强技术扩增至8000张图片，其中训练集、验证集、测试集分别占4800张、1600张、1600张，
在PC的Anaconda中配置虚拟环境，在虚拟环境中安装pytorch、opencv-python等程序运行所必需的包。
对数据集进行预处理，利用专业标注工具LabelImg对初始塑胶跑道表面裂缝样本图像中的目标进行标记，生成所对应的XML格式的标记文件，最后运行python脚本xml_to_txt.py文件将xml格式转换适应YOLO的txt格式。
训练的主要过程为将格式转换过后的数据集送入YOLOv5-PE-s算法中。其中YOLOv5-PE-s为本专利所提出的轻量级算法。
第二方面，本申请实例提供了一种塑胶跑道裂缝自动检测装置，包括：
运行环境：本发明的运行平台为搭载Debian Linux系统且装载了英特尔第二代神经计算棒(Intel Neural Compute Stick 2)的Raspberry Pi 3b+平台。
数据存储：系统将采集到的塑胶跑道裂缝图片及采集时间、采集区域等信息上传云端保存。
整个系统的运行及配置流程为：1.在PC中配置Anaconda3，在conda环境中安装python以及其他所需要的安装包如pytorch。2.对数据集进行预处理操作。3.对预处理过后的数据集使用YOLOv5-PE-s算法模型训练。4.将输出的经过验证的模型移植到RaspberryPi 3b+并运行。5.使用摄像头用以采集塑胶跑道图像，并配有液晶显示屏显示当前时间及裂缝数量等信息用以辅助判断塑胶跑道损坏程度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实例提供的一种塑胶跑道裂缝自动检测方法和装置的整体框架示意图。
图2为本申请实例提供的一种塑胶跑道裂缝自动检测方法和装置的软件系统整体设计图。
具体实施方式
软件系统和硬件实现的整体设计如图2所示，其中包括了如下步骤：
步骤1：PC配置为Anaconda3，python 3.6.13，torch-1.7.0及相关安装包。
步骤2：通过相机拍摄塑胶跑道表面裂缝图像。
步骤3：对塑胶跑道表面裂缝图像训练集进行预处理。
步骤4:将预处理后的裂缝图像数据集输入经过修改的YOLOv5-s神经网络模型中。
步骤5：对输入图片进行像素点切片后进行拼接得到新的特征图后利用多尺度特征网络提取特征信息并进行分类。
步骤6：在FPN结构基础上补充一个自底向上的金字塔构成路径聚合网络后加强不同特征图之间的信息传递得到三个不同尺度特征图。
步骤7：将9个预先设置的先验框anchors分为大、中、小三种尺度，并通过平移缩放方式进行微调得到预测目标框并通过公式1、公式2、公式3、公式4计算得出目标框中心点坐标及目标框的长宽。
步骤8：将预测框采用NMS(Non-Maximum Suppression,非极大值抑制)算法处理并得到置信度和IOU(Intersection over Union,交并比)后输出最终预测框，其中IOU值按公式5计算。
步骤9：基于图片的预测框与真实框信息，采用GIOU Loss算法计算预测框的损失，其中GIOU Loss值按公式6计算。
步骤10：通过对模型进行训练得到模型评价指标，包括精确度(precision)、召回率(recall)、漏检率(missed inspection)、误检率(false inspection)、平均精确率的均值(Average Precision)，均值平均精确率(mean Average Precision)。
步骤11：将训练好的目标检测模型移植到Raspberry Pi 3b+平台的Linux系统中并配置相关环境。
步骤12：使用NCS2(Intel Neural Compute Stick 2)神经计算棒来实现网络加速。
步骤13：平台配置CSI(Camera Serial Interface)摄像头用以采集塑胶跑道图像，并配有液晶显示屏显示当前时间及裂缝数量等信息用以辅助判断塑胶跑道损坏程度。
步骤14：系统将采集到的塑胶跑道裂缝图片及采集时间、采集区域等信息上传云端保存。
步骤15：后端搭建的数据管理系统，可根据需要调用指定日期、时间及指定区域的塑胶跑道裂缝数据为相关跑道维护人员提供数据支持。

Claims (2)

1.一种塑胶跑道裂缝自动检测方法和装置，其特征在于对摄像头拍摄的塑胶跑道表面进行目标检测并判断裂缝区域，同时记录数据上传至远程服务器，实验设备及部署平台，包括CPU、VPU；
所述的CPU为Raspberry Pi 3b+自带的1.4GHz 64位4核ARM Cortex-A53 CPU处理器作为本嵌入式平台的核心配件；
所述的VPU全称为Video Processing Unit，是一种全新的视频处理平台核心引擎，具有硬解码功能，减少CPU负荷的能力以及减少服务器负载和网络带宽的消耗，可让开发者更智能、更高效地开发和部署神经网络应用。
2.根据权利要求1所述的系统，其特征在于模型对塑胶跑道表面的实时视频图像做出快速精确裂缝区域目标检测并计算裂缝图片数量,为此，模型训练中所选用的算法在原YOLOv5-s的基础上重新调整了网络结构，并在自制数据集上进行训练和评估,最后移植到移动硬件平台进行部署，包括：
(1)PC端配置Anaconda3，python 3.6.13，torch-1.7.0环境及相关安装包；
(2)通过相机拍摄塑胶跑道表面裂缝图像；
(3)对塑胶跑道表面裂缝图像训练集进行预处理；
(4)将预处理后的裂缝图像数据集输入经过修改的YOLOv5-s神经网络模型中；
(5)对输入图片进行像素点切片后进行拼接得到新的特征图后利用多尺度特征网络提取特征信息并进行分类；
(6)在FPN结构基础上补充一个自底向上的金字塔构成路径聚合网络后加强不同特征图之间的信息传递得到三个不同尺度特征图；
(7)将9个预先设置的先验框anchors分为大、中、小三种尺度，并通过平移缩放方式进行微调得到预测目标框并通过公式1、公式2、公式3、公式4计算得出目标框中心点坐标及目标框的长宽；
(8)将预测框采用NMS(Non-Maximum Suppression,非极大值抑制)算法处理并得到置信度和IOU(Intersection over Union,交并比)后输出最终预测框，其中IOU值按公式5计算；
(9)基于图片的预测框与真实框信息，采用GIOU Loss算法计算预测框的损失，其中GIOU Loss值按公式6计算；
(10)通过对模型进行训练得到模型评价指标，包括精确度(precision)、召回率(recall)、漏检率(missed inspection)、误检率(false inspection)、平均精确率的均值(Average Precision)，均值平均精确率(mean Average Precision)；
(11)将训练好的目标检测模型移植到Raspberry Pi 3b+平台的Linux系统中并配置相关环境；
(12)使用NCS2神经计算棒(Intel Neural Compute Stick 2)来实现网络加速；
(13)平台配置CSI(Camera Serial Interface)摄像头用以采集塑胶跑道图像，并配有液晶显示屏显示当前时间及裂缝数量等信息用以辅助判断塑胶跑道损坏程度；
(14)系统将采集到的塑胶跑道裂缝图片及采集时间、采集区域等信息上传云端保存；
(15)后端搭建的数据管理系统，可根据需要调用指定日期、时间及指定区域的塑胶跑道裂缝数据为相关跑道维护人员提供数据支持。
bx＝2σ(tx)-0.5+cx 公式1
by＝2σ(ty)-0.5+cy 公式2
bw＝pw(2σ(tw))2 公式3
bh＝ph(2σ(th))2 公式4
Figure FDA0003779606800000021
Figure FDA0003779606800000022
CN202210925997.6A 2022-08-03 2022-08-03 一种塑胶跑道裂缝自动检测方法和装置 Pending CN115272901A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210925997.6A CN115272901A (zh) 2022-08-03 2022-08-03 一种塑胶跑道裂缝自动检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210925997.6A CN115272901A (zh) 2022-08-03 2022-08-03 一种塑胶跑道裂缝自动检测方法和装置

Publications (1)

Publication Number Publication Date
CN115272901A true CN115272901A (zh) 2022-11-01

Family

ID=83747188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210925997.6A Pending CN115272901A (zh) 2022-08-03 2022-08-03 一种塑胶跑道裂缝自动检测方法和装置

Country Status (1)

Country Link
CN (1) CN115272901A (zh)

Similar Documents

Publication Publication Date Title
Ma et al. Automatic detection and counting system for pavement cracks based on PCGAN and YOLO-MF
Zou et al. CNN-based statistics and location estimation of missing components in routine inspection of historic buildings
KR102346676B1 (ko) 딥러닝 기반의 시설물 손상영상 분류를 활용한 손상도 생성방법
US20220315243A1 (en) Method for identification and recognition of aircraft take-off and landing runway based on pspnet network
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN114049356B (zh) 一种结构表观裂缝检测方法、装置及系统
CN107948586B (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN112966665A (zh) 路面病害检测模型训练方法、装置和计算机设备
CN114332815B (zh) 交通灯状态检测方法、装置、车辆及存储介质
CN112712707A (zh) 车辆碳排放监测系统及方法
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN114078127B (zh) 物件的缺陷检测及计数方法、装置、设备和存储介质
CN115272222A (zh) 道路检测信息的处理方法、装置、设备及存储介质
CN113642582B (zh) 电表读数识别方法、装置、电子设备和存储介质
Chen et al. Real-time garbage object detection with data augmentation and feature fusion using SUAV low-altitude remote sensing images
CN112529836A (zh) 高压线路缺陷检测方法、装置、存储介质及电子设备
CN115272901A (zh) 一种塑胶跑道裂缝自动检测方法和装置
CN116503750A (zh) 融合目标检测和视觉注意机制的大范围遥感影像农村街区式居民地提取方法及系统
CN110427911B (zh) 一种道路检测方法、装置、设备及存储介质
Żarski et al. KrakN: Transfer Learning framework for thin crack detection in infrastructure maintenance
CN116189076A (zh) 一种鸟类观测站的观测识别系统及其方法
CN114757941A (zh) 变电站设备缺陷的识别方法、装置、电子设备及存储介质
CN114219788A (zh) 一种基于视频的积水检测方法
CN113962955A (zh) 一种从图像中识别目标对象的方法、装置及电子设备
CN113536928A (zh) 一种高效率的无监督行人重识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination