CN112184625A - 一种基于视频深度学习的路面缺陷识别方法和系统 - Google Patents
一种基于视频深度学习的路面缺陷识别方法和系统 Download PDFInfo
- Publication number
- CN112184625A CN112184625A CN202010905965.0A CN202010905965A CN112184625A CN 112184625 A CN112184625 A CN 112184625A CN 202010905965 A CN202010905965 A CN 202010905965A CN 112184625 A CN112184625 A CN 112184625A
- Authority
- CN
- China
- Prior art keywords
- real
- road
- cloud platform
- time
- inspection vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 238000007689 inspection Methods 0.000 claims abstract description 70
- 201000010099 disease Diseases 0.000 claims abstract description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 29
- 238000012423 maintenance Methods 0.000 claims description 35
- 238000004458 analytical method Methods 0.000 claims description 24
- 238000013136 deep learning model Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000013500 data storage Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 abstract description 15
- 238000011897 real-time detection Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 4
- 238000013079 data visualisation Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010040844 Skin exfoliation Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000035618 desquamation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种基于视频深度学习的路面缺陷识别方法和系统，所述方法包括：巡检车辆上的视频采集设备实时采集路面视频；根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；若发送至所述计算设备，所述计算设备确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像标记GPS定位信息上传至云平台；若发送至所述云平台，所述云平台确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，对重要报警信息进行远程推送，以使得在web前端界面显示。实现了道路路面缺陷实时检测、定位及报警等一系列功能。
Description
技术领域
本申请实施例涉及人工智能技术领域，具体涉及一种基于视频深度学习的路面缺陷识别方法和系统。
背景技术
截至2019年，中国公路总里程已达484.65万公里、高速公路达14.26万公里，公路里程总量位居世界第一。随之而来的公路道路养护管理的工作量日益加剧，对管理水平的需求不断提高，原有陈旧的人工为主的养护方式无法适应时代。智能养护成为了时代的必然。因此，道路病害自动化检测应由而生。
从当前公路养护发展的状况来看，大多公路路面病害(如裂纹、凹陷等)的识别形式仍采用传统的方式，即人工目视巡检的方式，该方式工作效率慢，耽误工程进度，影响通行效率。少数路面巡检采用视频录像取样事后分析的方式，但实时性差，且仍需要安排大量人力事后分析视频画面，并不能真正提高巡检效率。
发明内容
为此，本申请实施例提供一种基于视频深度学习的路面缺陷识别方法和系统，用于道路自动化智能巡检。系统通过部署在公路巡检车辆上的智能设备来对路面进行实时视频拍摄、通过无线通信网络将视频发送至云端后台，并使用路面缺陷专用AI算法进行智能分析，通过云平台Web数据可视化及远程指挥监控等方式，提供了道路路面缺陷实时检测、定位及报警等一系列功能，彻底解决了原有行业效率低下、人力投入量大、响应不及时、缺乏数据分析等问题。
为了实现上述目的，本申请实施例提供如下技术方案：
根据本申请实施例的第一方面，提供了一种基于视频深度学习的路面缺陷识别方法，所述方法包括：
巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标；
根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；
若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台；
若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。
可选地，所述深度学习模型为提前训练好的卷积神经网络模型，所述卷积神经网络的模型训练过程为：
标注采集到道路病害的正样本与副样本；
对样本进行数据增强；
把数据集按照7：3的比例划分为训练集和测试集；
将样本先输入7层Conv+MaxPool网络提取特征，再将特征分别输入13*13、26*26分辨率的探测网络独立输出先验框，对于每个先验框都有5个属性(x,y,w,h,c)，其中前4个值是边界框bbox相对于feature map的位置和大小，最后1个值是置信度；
使用置信度过滤大多数多余的框，并通过均方误差和二值交叉熵计算损失，得到模型权重，所述权重用于优化所述计算设备和云平台。
可选地，所述方法还包括：
通过巡检车辆上部署的卫星定位系统，云平台实时采集每辆巡检车辆的实时定位，使用开放地图API定位巡检车辆当前位置并绘制行驶轨迹，以使得路政部门对运维车辆进行日常巡检。
可选地，所述web前端界面采用B/S架构设计，用于运维人员从浏览器获取巡检车辆实时高清视频直播、实时缺陷截图及缺陷种类分析、巡检车辆行驶轨迹、当日及历史运维数据存储、统计图表。
根据本申请实施例的第二方面，提供了一种基于视频深度学习的路面缺陷识别系统，所述系统包括：
数据采集模块，用于巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标；
数据传输模块，用于根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；
计算设备识别模块，用于若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台；
云平台识别模块，用于若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。
可选地，所述深度学习模型为提前训练好的卷积神经网络模型，所述卷积神经网络的模型训练过程为：
标注采集到道路病害的正样本与副样本；
对样本进行数据增强；
把数据集按照7：3的比例划分为训练集和测试集；
将样本先输入7层Conv+MaxPool网络提取特征，再将特征分别输入13*13、26*26分辨率的探测网络独立输出先验框，对于每个先验框都有5个属性(x,y,w,h,c)，其中前4个值是边界框bbox相对于feature map的位置和大小，最后1个值是置信度；
使用置信度过滤大多数多余的框，并通过均方误差和二值交叉熵计算损失，得到模型权重，所述权重用于优化所述计算设备和云平台。
可选地，所述系统还包括：
通过巡检车辆上部署的卫星定位系统，云平台实时采集每辆巡检车辆的实时定位，使用开放地图API定位巡检车辆当前位置并绘制行驶轨迹，以使得路政部门对运维车辆进行日常巡检。
可选地，所述web前端界面采用B/S架构设计，用于运维人员从浏览器获取巡检车辆实时高清视频直播、实时缺陷截图及缺陷种类分析、巡检车辆行驶轨迹、当日及历史运维数据存储、统计图表。
根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。
根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。
综上所述，本申请实施例提供了一种基于视频深度学习的路面缺陷识别方法和系统，通过巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标；根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台；若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。通过部署在公路巡检车辆上的智能设备来对路面进行实时视频拍摄、通过无线通信网络将视频发送至云端后台，并使用路面缺陷专用AI算法进行智能分析，通过云平台Web数据可视化及远程指挥监控等方式，提供了道路路面缺陷实时检测、定位及报警等一系列功能，彻底解决了原有行业效率低下、人力投入量大、响应不及时、缺乏数据分析等问题。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
图1为本申请实施例提供的一种基于视频深度学习的路面缺陷识别方法流程示意图；
图2a、图2b、图2c为本申请实施例提供的基于视频深度学习的路面缺陷识别系统实施例示意图；
图3为本申请实施例提供的一种基于视频深度学习的路面缺陷识别系统框图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例旨在提升路政运维领域的路面缺陷检测环节工作效率与智能化水平。借助移动视频采集、边缘计算、云计算、人工智能深度学习算法、web可视化等技术，解决了传统路政运维路面缺陷检测自动化程度低、人力投入大、检测实时性差、需要人工目视等问题。
如图1所示，本申请实施例提供了一种基于视频深度学习的路面缺陷识别方法，所述方法包括如下步骤：
步骤101：巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标。
步骤102：根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备。
步骤103：若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台。
步骤104：若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。
本申请实施例提供一种基于视频深度学习的路面缺陷识别方法，用于道路自动化智能巡检。系统通过部署在公路巡检车辆上的智能设备(如无人机、智能巡检布控球、智能终端等)来对路面进行实时视频拍摄、通过无线通信(如4G或5G)网络将视频发送至云端后台，并使用路面缺陷专用AI算法进行智能分析，通过云平台Web数据可视化及远程指挥监控等方式，提供了道路路面缺陷实时检测、定位及报警等一系列功能，彻底解决了原有行业效率低下、人力投入量大、响应不及时、缺乏数据分析等问题。
图2a、图2b、图2c示出了本申请实施例提供的一种基于视频深度学习的路面缺陷识别方法适用的系统的逻辑流程图，采用如下的技术方案：
1、线下巡检车辆上安装移动摄像设备采集路面实时视频。
2、借助4G/5G移动通信，在线下运维车辆和云端集控平台之间实时传递数据信息。
3、AI深度学习算法可以在边缘侧或是云端灵活部署。
(1)如果网络带宽、数据流量及服务器配置成本在预算范围之内，所有移动摄像头采集到的实时视频可以直接发送到云端，并使用云端深度学习算力进行缺陷自动分析，云平台负责全部的数据解码、分析、存储、展示与报警。
(2)如果网络带宽、数据流量及服务器配置预算有限，可以在巡检车辆上部署边缘计算服务器设备，所有移动摄像头采集到的实时视频先通过车内局域网传递给边缘计算服务器设备进行实时分析，边缘计算服务器设备在分析完成后，仅将缺陷相关的数据(如截图、缺陷类别、定位等)发送至云端，云端平台仅负责存储、展示与报警。
4、使用深度学习算法分析实时视频流：将采集到的视频解码送入深度学习视频检测算法中，确定道路病害的类别、数量及缺陷点在图片中的位置。针对路面多重缺陷设计了专用深度学习视频分析算法：
(1)同一个算法模型同时识别多种路面缺陷，如裂纹、网裂、井盖、坑槽、脱皮等，做到一次采集一站式分析。
(2)卷积神经网络的目标识别算法使用的模型训练过程为：标注采集到道路病害的正样本与副样本；对样本进行数据增强；把数据集按照7：3的比例划分为训练集和测试集；将样本先输入7层Conv+MaxPool网络提取特征，再将特征分别输入13*13、26*26分辨率的探测网络独立输出先验框，对于每个先验框都有五个属性(x,y,w,h,c)，其中前4个是边界框bbox想对于feature map的位置和大小，而最后一个值是置信度；网络使用置信度过滤大多数多余的框，并通过均方误差和二值交叉熵计算损失，得到模型权重。
(3)权重针对边缘侧设备或是云端服务器做了优化处理，尽可能多的降低客户投资成本。
5、通过运维车辆上部署的卫星定位系统，平台实时采集每辆车的实时定位，使用开放地图API(如百度、高德或谷歌地图等)定位巡检车辆当前位置并绘制行驶轨迹，便于路政部门有效管控运维车辆的日常巡检工作。
6、B/S架构设计，直观便捷的Web前端可视化，可以让运维人员在有网络连接的地方方便的从浏览器获取运维车辆实时高清视频直播、实时缺陷截图及缺陷种类分析、运维车辆行驶轨迹、当日及历史运维数据存储、统计、图表等功能。管理员可通过平台的管理界面管理巡检车辆和智能采集设备，同时可导出巡检车辆、巡检设备、DTU、道路缺陷数据报表，以供打印流量或上级信息系统使用。
在云端搭建Web网站，可随时在平台管理数据，浏览数据；云端直接获取巡检设备拍摄的视频，视频的检测、展示都在云端服务器完成，无需在每台巡检车辆上安装处理器和显示设备；对道路病害的类型检测包括裂纹、网裂、井盖、坑槽、脱皮等；训练数据增强，其方法包括镜像、剪切、缩放、旋转、噪声等；增加了负样本，对误识别、环境复杂的场景生成一个空白标注文件，提高了模型的泛化能力。
本申请实施例使用4G/5G移动通信及人工智能深度学习技术，实现了路面巡检视频自动化分析，具备实时、连续、智能、准确等特点。使用的针对路面缺陷检测设计的深度学习网络具有速度快和准确度高的特点，保证了检测的实时性、有效性；以及通过视频流实时解码及流媒体与深度学习分析模型的无缝对接，不需要人为干预，整个系统可以自主的采集、解码、分析、存储、展示、报警推送等一系列工作，保障了运维的连续性，提升了路政运维管理的智能化水平。本发明提供了信息丰富的可视化云平台，为运维单位提供了全方位的路面缺陷巡检实时信息，根据用户需求，后台可以自动生成运维统计报表，极大的提升了运维数字化、智能化水平。
本申请实施例的有益效果有以下几个方面：
第一方面，实时性：充分优化的深度学习视频分析算法可以实现每秒25帧的高清视频实时分析，真正做到巡检结果出具与巡检车辆行驶的同步，使得采集车辆行驶到缺陷地区的同时发现并记录当前缺陷，基本省却了巡检路采后海量视频的人工分析工作。
第二方面，灵活架构、高性价比：充分优化的深度学习视频分析算法，可以在不使用高端GPU的前提下，提供实时高效的视频AI分析。当巡检车辆较多，客户可以选择将算法部署在嵌入式边缘AI设备上，每个设备接入一路实时视频，边缘计算设备仅在发现缺陷时向云端服务器发送少量字节信息；若客户选取将全部功能部署在云端服务器上，也可以将优化后的深度学习视频分析算法部署在云服务器上(4路实时视频仅需配置至强4vPU，16G内存即可，无需配置昂贵的GPU算力)，极大的节省了用户投运与运营成本。
第三方面，线下、线上运维一体化联动：系统平台提供便捷的缺陷展示、种类统计分析、运维路径绘制等智能化功能，便于中心指挥调度。
综上所述，本申请实施例提供了一种基于视频深度学习的路面缺陷识别方法，通过巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标；根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台；若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。通过部署在公路巡检车辆上的智能设备来对路面进行实时视频拍摄、通过无线通信网络将视频发送至云端后台，并使用路面缺陷专用AI算法进行智能分析，通过云平台Web数据可视化及远程指挥监控等方式，提供了道路路面缺陷实时检测、定位及报警等一系列功能，彻底解决了原有行业效率低下、人力投入量大、响应不及时、缺乏数据分析等问题。基于相同的技术构思，本申请实施例还提供了一种基于视频深度学习的路面缺陷识别系统，如图3所示，所述系统包括：
数据采集模块301，用于巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标。
数据传输模块302，用于根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备。
计算设备识别模块303，用于若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台。
云平台识别模块304，用于若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。
在一种可能的实施方式中，所述深度学习模型为提前训练好的卷积神经网络模型，所述卷积神经网络的模型训练过程为：标注采集到道路病害的正样本与副样本；对样本进行数据增强；把数据集按照7：3的比例划分为训练集和测试集；将样本先输入7层Conv+MaxPool网络提取特征，再将特征分别输入13*13、26*26分辨率的探测网络独立输出先验框，对于每个先验框都有5个属性(x,y,w,h,c)，其中前4个值是边界框bbox相对于featuremap的位置和大小，最后1个值是置信度；使用置信度过滤大多数多余的框，并通过均方误差和二值交叉熵计算损失，得到模型权重，所述权重用于优化所述计算设备和云平台。
在一种可能的实施方式中，所述系统还包括：通过巡检车辆上部署的卫星定位系统，云平台实时采集每辆巡检车辆的实时定位，使用开放地图API定位巡检车辆当前位置并绘制行驶轨迹，以使得路政部门对运维车辆进行日常巡检。
在一种可能的实施方式中，所述web前端界面采用B/S架构设计，用于运维人员从浏览器获取巡检车辆实时高清视频直播、实时缺陷截图及缺陷种类分析、巡检车辆行驶轨迹、当日及历史运维数据存储、统计图表。
基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。
基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。
本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种基于视频深度学习的路面缺陷识别方法，其特征在于，所述方法包括：
巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标；
根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；
若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台；
若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。
2.如权利要求1所述的方法，其特征在于，所述深度学习模型为提前训练好的卷积神经网络模型，所述卷积神经网络的模型训练过程为：
标注采集到道路病害的正样本与副样本；
对样本进行数据增强；
把数据集按照7：3的比例划分为训练集和测试集；
将样本先输入7层Conv+MaxPool网络提取特征，再将特征分别输入13*13、26*26分辨率的探测网络独立输出先验框，对于每个先验框都有5个属性(x,y,w,h,c)，其中前4个值是边界框bbox相对于feature map的位置和大小，最后1个值是置信度；
使用置信度过滤大多数多余的框，并通过均方误差和二值交叉熵计算损失，得到模型权重，所述权重用于优化所述计算设备和云平台。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过巡检车辆上部署的卫星定位系统，云平台实时采集每辆巡检车辆的实时定位，使用开放地图API定位巡检车辆当前位置并绘制行驶轨迹，以使得路政部门对运维车辆进行日常巡检。
4.如权利要求1所述的方法，其特征在于，所述web前端界面采用B/S架构设计，用于运维人员从浏览器获取巡检车辆实时高清视频直播、实时缺陷截图及缺陷种类分析、巡检车辆行驶轨迹、当日及历史运维数据存储、统计图表。
5.一种基于视频深度学习的路面缺陷识别系统，其特征在于，所述系统包括：
数据采集模块，用于巡检车辆上的视频采集设备实时采集路面视频，同时标定GPS坐标；
数据传输模块，用于根据网络带宽、数据流量及服务器配置判断将路面视频发送至云平台或者巡检车辆上部署的计算设备；
计算设备识别模块，用于若发送至所述计算设备，所述计算设备解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息上传至云平台；
云平台识别模块，用于若发送至所述云平台，所述云平台解码实时视频流，使用深度学习模型分析实时视频流，确定道路病害的类别、数量及缺陷点在图片中的位置，截取缺陷点对应的帧图像，标记GPS定位信息进行存储，并且启动报警模块，对重要报警信息进行远程推送，以使得在web前端界面显示。
6.如权利要求5所述的系统，其特征在于，所述深度学习模型为提前训练好的卷积神经网络模型，所述卷积神经网络的模型训练过程为：
标注采集到道路病害的正样本与副样本；
对样本进行数据增强；
把数据集按照7：3的比例划分为训练集和测试集；
将样本先输入7层Conv+MaxPool网络提取特征，再将特征分别输入13*13、26*26分辨率的探测网络独立输出先验框，对于每个先验框都有5个属性(x,y,w,h,c)，其中前4个值是边界框bbox相对于feature map的位置和大小，最后1个值是置信度；
使用置信度过滤大多数多余的框，并通过均方误差和二值交叉熵计算损失，得到模型权重，所述权重用于优化所述计算设备和云平台。
7.如权利要求5所述的系统，其特征在于，所述系统还包括：
通过巡检车辆上部署的卫星定位系统，云平台实时采集每辆巡检车辆的实时定位，使用开放地图API定位巡检车辆当前位置并绘制行驶轨迹，以使得路政部门对运维车辆进行日常巡检。
8.如权利要求5所述的系统，其特征在于，所述web前端界面采用B/S架构设计，用于运维人员从浏览器获取巡检车辆实时高清视频直播、实时缺陷截图及缺陷种类分析、巡检车辆行驶轨迹、当日及历史运维数据存储、统计图表。
9.一种设备，其特征在于，所述设备包括：数据采集装置、处理器和存储器；
所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010905965.0A CN112184625A (zh) | 2020-09-01 | 2020-09-01 | 一种基于视频深度学习的路面缺陷识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010905965.0A CN112184625A (zh) | 2020-09-01 | 2020-09-01 | 一种基于视频深度学习的路面缺陷识别方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112184625A true CN112184625A (zh) | 2021-01-05 |
Family
ID=73924088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010905965.0A Pending CN112184625A (zh) | 2020-09-01 | 2020-09-01 | 一种基于视频深度学习的路面缺陷识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184625A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949530A (zh) * | 2021-03-12 | 2021-06-11 | 新疆爱华盈通信息技术有限公司 | 用于停车场巡检车的巡检方法与系统、巡检车 |
| CN113031035A (zh) * | 2021-02-07 | 2021-06-25 | 北京中交创新投资发展有限公司 | 基于人工智能算法的道路设施数据采集系统 |
| CN113588664A (zh) * | 2021-08-02 | 2021-11-02 | 安徽省通途信息技术有限公司 | 一种车载道路缺陷快速巡检与分析系统 |
| CN113808128A (zh) * | 2021-10-14 | 2021-12-17 | 河北工业大学 | 基于相对坐标定位算法的智能压实全过程可视化控制方法 |
| CN115223030A (zh) * | 2022-09-20 | 2022-10-21 | 中科视语(北京)科技有限公司 | 路面病害检测系统及方法 |
| CN116087198A (zh) * | 2022-12-02 | 2023-05-09 | 河南交通发展研究院有限公司 | 一种公路路面状况数据采集设备及其自动化快速检测系统 |
| CN116229396A (zh) * | 2023-02-17 | 2023-06-06 | 广州丰石科技有限公司 | 高速路面病害识别及告警方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080620A (zh) * | 2019-12-13 | 2020-04-28 | 中远海运科技股份有限公司 | 一种基于深度学习的道路病害检测方法 |
| CN111144301A (zh) * | 2019-12-26 | 2020-05-12 | 江西交通职业技术学院 | 一种基于深度学习的道路路面缺陷快速预警装置 |
-
2020
- 2020-09-01 CN CN202010905965.0A patent/CN112184625A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080620A (zh) * | 2019-12-13 | 2020-04-28 | 中远海运科技股份有限公司 | 一种基于深度学习的道路病害检测方法 |
| CN111144301A (zh) * | 2019-12-26 | 2020-05-12 | 江西交通职业技术学院 | 一种基于深度学习的道路路面缺陷快速预警装置 |
Non-Patent Citations (1)
| Title |
|---|
| 木盏: ""yolo系列之yolo v3【深度解析】"", 《CSDN》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113031035A (zh) * | 2021-02-07 | 2021-06-25 | 北京中交创新投资发展有限公司 | 基于人工智能算法的道路设施数据采集系统 |
| CN113031035B (zh) * | 2021-02-07 | 2023-07-21 | 交信北斗科技有限公司 | 基于人工智能算法的道路设施数据采集系统 |
| CN112949530A (zh) * | 2021-03-12 | 2021-06-11 | 新疆爱华盈通信息技术有限公司 | 用于停车场巡检车的巡检方法与系统、巡检车 |
| CN112949530B (zh) * | 2021-03-12 | 2024-05-28 | 芯算一体(深圳)科技有限公司 | 用于停车场巡检车的巡检方法与系统、巡检车 |
| CN113588664A (zh) * | 2021-08-02 | 2021-11-02 | 安徽省通途信息技术有限公司 | 一种车载道路缺陷快速巡检与分析系统 |
| CN113808128A (zh) * | 2021-10-14 | 2021-12-17 | 河北工业大学 | 基于相对坐标定位算法的智能压实全过程可视化控制方法 |
| CN115223030A (zh) * | 2022-09-20 | 2022-10-21 | 中科视语(北京)科技有限公司 | 路面病害检测系统及方法 |
| CN116087198A (zh) * | 2022-12-02 | 2023-05-09 | 河南交通发展研究院有限公司 | 一种公路路面状况数据采集设备及其自动化快速检测系统 |
| CN116087198B (zh) * | 2022-12-02 | 2024-02-23 | 河南交通发展研究院有限公司 | 一种公路路面状况数据采集设备及其自动化快速检测系统 |
| CN116229396A (zh) * | 2023-02-17 | 2023-06-06 | 广州丰石科技有限公司 | 高速路面病害识别及告警方法 |
| CN116229396B (zh) * | 2023-02-17 | 2023-11-03 | 广州丰石科技有限公司 | 高速路面病害识别及告警方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184625A (zh) | 一种基于视频深度学习的路面缺陷识别方法和系统 | |
| CN109711320B (zh) | 一种值班人员违规行为检测方法及系统 | |
| CN110674861B (zh) | 一种输变电巡检图像智能分析方法及装置 | |
| CN106771856B (zh) | 基于无人机技术的电力输电线路雷击点确定方法 | |
| CN104134222A (zh) | 基于多特征融合的车流监控图像检测和跟踪系统及方法 | |
| CN104766086A (zh) | 一种公路标识的监管方法和系统 | |
| CN114998744B (zh) | 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置 | |
| CN112348003A (zh) | 基于深度卷积神经网络的飞机加油场景识别方法及系统 | |
| CN114419556A (zh) | 一种城市排水管网排口异常排水图像识别方法及系统 | |
| Balchandani et al. | A deep learning framework for smart street cleaning | |
| CN114037834B (zh) | 一种基于振动信号和rgb图像融合的语义分割方法及装置 | |
| CN110087041A (zh) | 基于5g基站的视频数据处理及传输方法和系统 | |
| CN114241325A (zh) | 基于街景图片的空调挂机空间分布自动识别方法及系统 | |
| Shu et al. | Pavement crack detection method of street view images based on deep learning | |
| CN111368824A (zh) | 一种仪表识别方法、移动设备及存储介质 | |
| Bhargava et al. | A study on potential of big visual data analytics in construction Arena | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| CN202815869U (zh) | 一种车载微机图像视频数据提取装置 | |
| CN114494916A (zh) | 一种基于YOLO和DeepSORT的黑颈鹤监测追踪方法 | |
| Li et al. | A city monitoring system based on real-time communication interaction module and intelligent visual information collection system | |
| CN112184624A (zh) | 一种基于深度学习的图片检测方法及系统 | |
| CN112163060A (zh) | 一种大数据技术处理海量gps数据系统 | |
| CN110942026A (zh) | 基于深度学习的胶囊机器人排水管病害检测方法及系统 | |
| CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN114529721A (zh) | 一种基于深度学习的城市遥感影像植被覆盖识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |
|
| RJ01 | Rejection of invention patent application after publication |