CN113326865A - 一种基于深度学习的高速公路路面病害三维信息检测系统 - Google Patents
一种基于深度学习的高速公路路面病害三维信息检测系统 Download PDFInfo
- Publication number
- CN113326865A CN113326865A CN202110406035.5A CN202110406035A CN113326865A CN 113326865 A CN113326865 A CN 113326865A CN 202110406035 A CN202110406035 A CN 202110406035A CN 113326865 A CN113326865 A CN 113326865A
- Authority
- CN
- China
- Prior art keywords
- data
- deep learning
- point cloud
- image
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 31
- 201000010099 disease Diseases 0.000 title claims abstract description 22
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 22
- 238000013500 data storage Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 12
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于深度学习的高速公路路面病害三维信息检测系统，包括路面信息感知层、数据存储层和综合服务层。本发明能够实时检测判断路面病害类型，实时获取路面信息感知层的三维点云图像及相关信息，对这些信息进行存储、查询、分类，并在电子地图上显示其对应的位置，同时能够完成路面状态发布，为公路路面养护人员提供极大地便利。
Description
技术领域
本发明属于公路智慧养护领域，特别涉及了一种高速公路路面病害三维信息检测系统。
背景技术
截至2018年低，我国高速公路通车总里程达到14.26万公里，如何对高速公路路面进行合理的检测和破损路面进行科学养护成为交管部门的一项新的挑战。因为大部分早期建设的高速公路经过长期运营，再加上行车荷载(包括允许荷载和超载)、外界自然条件的长期作用以及对公路管理的忽视，这一连串的因素使得沥青路面在使用的过程中渐渐产生了多种类型的路面破损，因此，开展高速公路破损路面的检测与评估工作在现代化公路养护中具有重要的意义。
发明内容
为了解决上述背景技术提到的技术问题，本发明提出了一种基于深度学习的高速公路路面病害三维信息检测系统。
为了实现上述技术目的，本发明的技术方案为：
一种基于深度学习的高速公路路面病害三维信息检测系统，包括路面信息感知层、数据存储层和综合服务层；所述路面信息感知层负责采集路面点云图像、定位数据和道路前景数据，并传输给数据存储层；所述数据存储层接收路面信息感知层传输的数据，对其进行集中控制和数据共享后传输给综合服务层；所述综合服务层包括电子地图匹配模块、数据调用模块、深度学习模块和图像加载模块，所述电子地图匹配模块用于将采集到的定位数据实时显示在电子地图上，所述数据调用模块用于调取数据存储层的图像数据和系统数据，所述深度学习模块用于处理图像数据，所述图像加载模块用于将处理好的图像数据进行三维可视化并实现路面状态实时发布。
进一步地，所述路面信息感知层中设置各类传感器、协同控制系统和路面三维信息高速采集模块，各类传感器采集到的数据传输经协同控制系统进行协同处理后传输给路面三维信息高速采集模块，所述各类传感器包括激光器-3D相机、GPS/北斗定位系统、路权相机和距离测量仪。
进一步地，所述数据存储层将需要保存的数据存储在关系型数据库中，分别按照基础信息、图像信息、位置信息、用户信息、操作日志和系统功能进行存储。
进一步地，所述电子地图匹配模块使用百度地图API进行二次开发，将采集到的定位数据实时显示在百度地图提供的在线电子地图上。
进一步地，所述深度学习模块将路面点云图像分为有病害和无病害两类，使用训练好的PointNet++模型对输入的数据进行分类；在将数据输入PointNet++模型前需要将路面点云图像写进HDF5文件。
进一步地，所述PointNet++模型会先对点云图像进行采样和划分区域，在各局部区域内通过PointNet网络进行特征提取，不断迭代后使用PointNet网络提取全局特征，最后通过全连接层得到每个类别评分；所述PointNet网络通过一系列串联的setabstraction，将点云中的点进行局部划分，提取局部的整体特征。
进一步地，所述PointNet网络通过T-net将点云本身的位姿信息学习到一个最有利于网络进行分类的预测仿射变换矩阵，并将该变换直接应用于输入点的坐标，PointNet网络在训练阶段softmax损失中添加了一个正则化项，以约束预测仿射变换矩阵接近正交矩阵：
其中，Lreg为正则化项，A为预测仿射变换矩阵，I为单位矩阵。
进一步地，所述图像加载模块基于Visual Studio2019平台、Qt界面应用程序开发框架、PCL编程库以及VTK可视化工具包来显示点云图像，并对点云图像进行包括旋转、平移、放大和缩小额操作。
进一步地，所述深度学习模块将采集到的点云图像切分为8×8的网格状，再将切割后的每一小块路面点云使用VoxelNet进行滤波降采样。
进一步地，所述图像加载模块读取深度学习模块对每一小块路面点云的分类结果列表，根据读取结果给有病害的小块路面点云进行标记后合并，发布最终的路面状态信息。
采用上述技术方案带来的有益效果：
本发明能够实时检测判断路面病害类型，实时获取路面信息感知层的三维点云图像及相关信息，然后对这些信息进行存储、查询、分类，并在电子地图上显示其对应的位置，同时能够完成路面状态发布，为公路路面养护人员提供极大地便利。
附图说明
图1为本发明的系统架构示意图；
图2为本发明中图像加载模块界面图；
图3为本发明中点云图像处理流程图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明设计了一种基于深度学习的高速公路路面病害三维信息检测系统，如图1所示，包括路面信息感知层、数据存储层和综合服务层。路面信息感知层负责采集路面点云图像、定位数据和道路前景数据，并传输给数据存储层。数据存储层接收路面信息感知层传输的数据，对其进行集中控制和数据共享后传输给综合服务层。综合服务层包括电子地图匹配模块、数据调用模块、深度学习模块和图像加载模块，电子地图匹配模块用于将采集到的定位数据实时显示在电子地图上，数据调用模块用于调取数据存储层的图像数据和系统数据，深度学习模块用于处理图像数据，图像加载模块用于将处理好的图像数据进行三维可视化并实现路面状态实时发布。
在本实施例中，优选地，如图1所示，路面信息感知层中设置各类传感器、协同控制系统和路面三维信息高速采集模块，各类传感器采集到的数据传输经协同控制系统进行协同处理后传输给路面三维信息高速采集模块。所述各类传感器包括激光器-3D相机、GPS/北斗定位系统、路权相机和距离测量仪，距离测量仪通过向发送脉冲驱动信号控制3D相机的采集频率。
在本实施例中，优选地，数据存储层将需要保存的数据存储在关系型数据库中，分别按照基础信息、图像信息、位置信息、用户信息、操作日志和系统功能进行存储。数据存储层直接存储了预设数据，包括路线名称、检测天气、车道、公路等级、施测方向、匝道、路面类型、起始位置桩号、检测员等信息。
在本实施例中，优选地，电子地图匹配模块使用百度地图API进行二次开发，将采集到的定位数据实时显示在百度地图提供的在线电子地图上。
在本实施例中，优选地，深度学习模块将采集到的原始点云切分为8×8的网格状。切割后的每一小型矩形的点云点数在3900左右，再将每一小块路面使用VoxelNet滤波降采样到3072个。深度学习模块将路面点云图像分为有病害和无病害两类，使用训练好的PointNet++模型对输入的数据进行分类；在将数据输入PointNet++模型前需要将路面点云图像写进HDF5文件。PointNet++模型会先对点云图像进行采样和划分区域，在各局部区域内通过PointNet网络进行特征提取，不断迭代后使用PointNet网络提取全局特征，最后通过全连接层得到每个类别评分，PointNet网络通过一系列串联的set abstraction，将点云中的点进行局部划分，提取局部的整体特征。PointNet网络通过T-net将点云本身的位姿信息学习到一个最有利于网络进行分类的预测仿射变换矩阵，并将该变换直接应用于输入点的坐标，PointNet网络在训练阶段softmax损失中添加了一个正则化项，以约束预测仿射变换矩阵接近正交矩阵：
其中，Lreg为正则化项，A为预测仿射变换矩阵，I为单位矩阵。
在本实施例中，优选地，如图2所示，图像加载模块基于Visual Studio2019平台、Qt界面应用程序开发框架、PCL(Point Cloud Library)编程库以及VTK可视化工具包来显示从前端接收的路面点云三维图像，可以对图像旋转、平移、放大、缩小等操作。
在本实施例中，优选地，如图3所示，图像加载模块通过路面状态发布系统会读取深度学习网络对每一小方块路面的分类结果列表，根据读取结果并给有病害的小方块路面点云数据标记红色再将合并，最后会将路面状态发布到信息板上。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
Claims (10)
1.一种基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：该系统包括路面信息感知层、数据存储层和综合服务层；所述路面信息感知层负责采集路面点云图像、定位数据和道路前景数据，并传输给数据存储层；所述数据存储层接收路面信息感知层传输的数据，对其进行集中控制和数据共享后传输给综合服务层；所述综合服务层包括电子地图匹配模块、数据调用模块、深度学习模块和图像加载模块，所述电子地图匹配模块用于将采集到的定位数据实时显示在电子地图上，所述数据调用模块用于调取数据存储层的图像数据和系统数据，所述深度学习模块用于处理图像数据，所述图像加载模块用于将处理好的图像数据进行三维可视化并实现路面状态实时发布。
2.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述路面信息感知层中设置各类传感器、协同控制系统和路面三维信息高速采集模块，各类传感器采集到的数据传输经协同控制系统进行协同处理后传输给路面三维信息高速采集模块，所述各类传感器包括激光器-3D相机、GPS/北斗定位系统、路权相机和距离测量仪。
3.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述数据存储层将需要保存的数据存储在关系型数据库中，分别按照基础信息、图像信息、位置信息、用户信息、操作日志和系统功能进行存储。
4.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述电子地图匹配模块使用百度地图API进行二次开发，将采集到的定位数据实时显示在百度地图提供的在线电子地图上。
5.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述深度学习模块将路面点云图像分为有病害和无病害两类，使用训练好的PointNet++模型对输入的数据进行分类；在将数据输入PointNet++模型前需要将路面点云图像写进HDF5文件。
6.根据权利要求5所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述PointNet++模型会先对点云图像进行采样和划分区域，在各局部区域内通过PointNet网络进行特征提取，不断迭代后使用PointNet网络提取全局特征，最后通过全连接层得到每个类别评分；所述PointNet网络通过一系列串联的set abstraction，将点云中的点进行局部划分，提取局部的整体特征。
7.根据权利要求6所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述PointNet网络通过T-net将点云本身的位姿信息学习到一个最有利于网络进行分类的预测仿射变换矩阵，并将该变换直接应用于输入点的坐标，PointNet网络在训练阶段softmax损失中添加了一个正则化项，以约束预测仿射变换矩阵接近正交矩阵：
其中，Lreg为正则化项，A为预测仿射变换矩阵，I为单位矩阵。
8.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述图像加载模块基于Visual Studio2019平台、Qt界面应用程序开发框架、PCL编程库以及VTK可视化工具包来显示点云图像，并对点云图像进行包括旋转、平移、放大和缩小额操作。
9.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述深度学习模块将采集到的点云图像切分为8×8的网格状，再将切割后的每一小块路面点云使用VoxelNet进行滤波降采样。
10.根据权利要求9所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述图像加载模块读取深度学习模块对每一小块路面点云的分类结果列表，根据读取结果给有病害的小块路面点云进行标记后合并，发布最终的路面状态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406035.5A CN113326865A (zh) | 2021-04-15 | 2021-04-15 | 一种基于深度学习的高速公路路面病害三维信息检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110406035.5A CN113326865A (zh) | 2021-04-15 | 2021-04-15 | 一种基于深度学习的高速公路路面病害三维信息检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113326865A true CN113326865A (zh) | 2021-08-31 |
Family
ID=77414684
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110406035.5A Pending CN113326865A (zh) | 2021-04-15 | 2021-04-15 | 一种基于深度学习的高速公路路面病害三维信息检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113326865A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082507A (zh) * | 2022-07-22 | 2022-09-20 | 聊城扬帆田一机械有限公司 | 一种路面切割机智能调控系统 |
| CN115115823A (zh) * | 2022-08-25 | 2022-09-27 | 深圳市城市交通规划设计研究中心股份有限公司 | 道路病害定位矫正方法、装置、设备及可读存储介质 |
| CN118071738A (zh) * | 2024-04-18 | 2024-05-24 | 四川省交通勘察设计研究院有限公司 | 一种融合三维激光与图像技术的沥青路面掉粒检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778681A (zh) * | 2014-01-24 | 2014-05-07 | 青岛秀山移动测量有限公司 | 一种车载高速公路巡检系统及数据获取和处理方法 |
| CN107092020A (zh) * | 2017-04-19 | 2017-08-25 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
| CN111366098A (zh) * | 2020-03-25 | 2020-07-03 | 东南大学 | 一种高速公路路面病害三维信息感知系统 |
| CN112598672A (zh) * | 2020-11-02 | 2021-04-02 | 坝道工程医院(平舆) | 一种基于深度学习的路面病害图像分割方法和系统 |
-
2021
- 2021-04-15 CN CN202110406035.5A patent/CN113326865A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778681A (zh) * | 2014-01-24 | 2014-05-07 | 青岛秀山移动测量有限公司 | 一种车载高速公路巡检系统及数据获取和处理方法 |
| CN107092020A (zh) * | 2017-04-19 | 2017-08-25 | 北京大学 | 融合无人机LiDAR和高分影像的路面平整度监测方法 |
| CN111366098A (zh) * | 2020-03-25 | 2020-07-03 | 东南大学 | 一种高速公路路面病害三维信息感知系统 |
| CN112598672A (zh) * | 2020-11-02 | 2021-04-02 | 坝道工程医院(平舆) | 一种基于深度学习的路面病害图像分割方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHARLES R QI 等: "PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 9 November 2017 (2017-11-09), pages 77 - 85 * |
| CHARLES R QI 等: "PointNet++: deep hierarchical feature learning on point sets in a metric space", 《PROCEEDINGS OF THE 31ST INTERNATIONAL CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS》, 4 December 2017 (2017-12-04), pages 5105 - 5114, XP055803237 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082507A (zh) * | 2022-07-22 | 2022-09-20 | 聊城扬帆田一机械有限公司 | 一种路面切割机智能调控系统 |
| CN115082507B (zh) * | 2022-07-22 | 2022-11-18 | 聊城扬帆田一机械有限公司 | 一种路面切割机智能调控系统 |
| CN115115823A (zh) * | 2022-08-25 | 2022-09-27 | 深圳市城市交通规划设计研究中心股份有限公司 | 道路病害定位矫正方法、装置、设备及可读存储介质 |
| CN115115823B (zh) * | 2022-08-25 | 2023-02-03 | 深圳市城市交通规划设计研究中心股份有限公司 | 道路病害定位矫正方法、装置、设备及可读存储介质 |
| CN118071738A (zh) * | 2024-04-18 | 2024-05-24 | 四川省交通勘察设计研究院有限公司 | 一种融合三维激光与图像技术的沥青路面掉粒检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113326865A (zh) | 一种基于深度学习的高速公路路面病害三维信息检测系统 | |
| Nie et al. | Pavement Crack Detection based on yolo v3 | |
| Serna et al. | Detection, segmentation and classification of 3D urban objects using mathematical morphology and supervised learning | |
| Li et al. | Road network extraction via deep learning and line integral convolution | |
| Lei et al. | Automated pavement distress detection and deterioration analysis using street view map | |
| CN112800913B (zh) | 一种基于多源特征融合的路面损伤数据时空分析方法 | |
| Li et al. | Integrated use of spatial and semantic relationships for extracting road networks from floating car data | |
| CN110726677B (zh) | 一种污染场地遥感探测与空间热区识别系统和方法 | |
| CN109952592A (zh) | 自动位置相关测量和预测汽车风险的绝对和相对风险系统和方法 | |
| CN111598098B (zh) | 一种基于全卷积神经网络的水尺水位线检测及有效性识别方法 | |
| Li et al. | Method for detecting road pavement damage based on deep learning | |
| CN116018602A (zh) | 植被管理系统和植被管理方法 | |
| CN103528531A (zh) | 小型车车辆参数的物联网图像智能检测系统 | |
| CN110427441A (zh) | 一种基于空天地一体化技术的铁路外部环境隐患检测和管理方法 | |
| Yi et al. | Detection and localization for lake floating objects based on CA-faster R-CNN | |
| CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及系统 | |
| CN116434525A (zh) | 一种高速公路智能管理预警系统 | |
| CN116087198A (zh) | 一种公路路面状况数据采集设备及其自动化快速检测系统 | |
| Li et al. | Classification of pavement disease 3D point cloud images based on deep learning network | |
| Forghani et al. | Extracting terrain categories from multi-source satellite imagery | |
| Hadzic et al. | Rasternet: Modeling free-flow speed using lidar and overhead imagery | |
| CN114755674A (zh) | 基于人工智能的多站雷达融合监测系统 | |
| Lin et al. | A construction waste landfill dataset of two districts in Beijing, China from high resolution satellite images | |
| Kiani et al. | Design and implementation of an expert interpreter system for intelligent acquisition of spatial data from aerial or remotely sensed images | |
| Shijun et al. | Detection and Segmentation of Riparian Asphalt Paved Cracks Using Drone and Computer Vision Algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |