CN116597404A - 基于多源传感器融合的可持续道路异常检测方法与系统 - Google Patents
基于多源传感器融合的可持续道路异常检测方法与系统 Download PDFInfo
- Publication number
- CN116597404A CN116597404A CN202310514947.3A CN202310514947A CN116597404A CN 116597404 A CN116597404 A CN 116597404A CN 202310514947 A CN202310514947 A CN 202310514947A CN 116597404 A CN116597404 A CN 116597404A
- Authority
- CN
- China
- Prior art keywords
- data
- road
- acceleration
- abnormal
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 230000005856 abnormality Effects 0.000 title claims abstract description 23
- 230000001133 acceleration Effects 0.000 claims abstract description 78
- 230000002159 abnormal effect Effects 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 9
- 238000012952 Resampling Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于多源传感器融合的可持续道路异常检测方法，包括：在道路异常检测路段内，通过客户端在车辆行驶过程中采集加速度数据、GPS、时间戳和视频数据，上传至服务器；在服务器上进行数据预处理。对预处理得到的数据按视频帧的分辨率进行分类检测：当视频帧的分辨率大于预设的分辨率阈值时，将加速度数据和视频帧数据输入至第一道路异常检测网络进行预测，得到第一单车异常路面检测结果；当视频帧的分辨率小于预设的分辨率阈值时，将加速度数据输入至第二道路异常检测网络进行预测，得到第二单车异常路面检测结果；对单车异常路面检测结果基于OPTICS算法进行多车感知结果融合，得到异常路面检测结果。
Description
技术领域
本发明涉及基础设施道路异常检测领域，具体涉及一种基于多源传感器融合的可持续道路异常检测方法与系统。
背景技术
随着交通基础设施的建设，公路里程不断增加，城市路网迅猛发展。随着时间的推移，道路表面会出现不同程度的裂缝、坑槽。而坑槽颠簸等道路异常不仅影响驾乘感受，还增加轮胎等车辆零部件的损耗，严重时可能在司机为避让大面积的坑洞而刹车、换道时引起交通事故。
现有技术中，检测路面上的坑槽的方法可分为以下五类：
(1)基于主观经验的人工检测。
(2)通过三维激光扫描仪建立道路轮廓从而锁定其中的坑槽。
(3)利用多功能道路检测设备车进行现场检测。
(4)基于车辆振动信号检测行车中遇到的坑槽。
(5)基于计算机视觉技术识别路面影像中的坑槽。
但是人工采集的方式不仅主观性强，效率低，而且存在较大的安全隐患。而三维激光扫描仪和多功能检测设备车的成本都很高，也很难利用它们实现大规模地检测。基于振动信号的异常检测覆盖率较低且易受行驶速度的影响，而基于图像识别的检测受环境光线影响较大。
因此，亟需提出一种可持续道路异常检测方法，以识别道路表面的裂缝、坑槽。
发明内容
针对现有技术不足，本发明提出了一种基于多源传感器融合的可持续道路异常检测方法。
根据本发明实施例的第一方面，提供了一种基于多源传感器融合的可持续道路异常检测方法，所述方法包括：
步骤S1，在道路异常检测路段内，通过客户端在车辆行驶过程中采集加速度数据、GPS、时间戳和视频数据，并上传至服务器；
步骤S2，在服务器上对步骤S1采集的数据进行包括数据重采样、加速度坐标转换、滤波在内的预处理。
步骤S3，对步骤S2预处理得到的数据按视频帧的分辨率进行分类检测：
对于视频帧的分辨率大于预设的分辨率阈值时，将加速度数据和视频帧数据输入至第一道路异常检测网络进行预测，得到第一单车异常路面检测结果；
对于视频帧的分辨率小于预设的分辨率阈值时，将加速度数据输入至第二道路异常检测网络进行预测，得到第二单车异常路面检测结果；
步骤S4，对所有车单车异常路面检测结果基于OPTICS算法进行多车感知结果融合，得到异常路面检测结果。
根据本发明实施例的第二方面，提供了一种基于多源传感器融合的可持续道路异常检测系统，所述系统包括：
客户端，在道路异常检测路段内车辆行驶的过程中采集加速度数据、GPS、时间戳和视频数据，并上传至服务器；
服务器，包括：
数据预处理模块，对采集的数据进行包括数据重采样、加速度坐标转换、滤波在内的预处理；
第一道路异常检测网络，当视频帧的分辨率大于预设的分辨率阈值时，基于加速度数据和视频帧数据输进行预测，得到第一单车异常路面检测结果；
第二道路异常检测网络，当视频帧的分辨率小于预设的分辨率阈值时，基于加速度数据进行预测，得到第二单车异常路面检测结果；
多车感知结果融合模块，对所有车的单车异常路面检测结果基于OPTICS算法聚类，得到异常路面检测结果。
根据本发明实施例的第三方面，提供了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于多源传感器融合的可持续道路异常检测方法。
根据本发明实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于多源传感器融合的可持续道路异常检测方法。
与现有技术相比，本发明的有益效果为：本发明提供了一种基于多源传感器融合的可持续道路异常检测方法，基于众包的公众感知数据，通过数据采集，数据预处理，模型预测，多车感知结果融合来进行道路异常检测，可以提高检测精度，并实现可持续检测。本发明通过客户端内置的传感器和摄像头来采集数据，采集过程可实施性高，且成本低，覆盖范围广，可以实现大规模实时的路面异常检测。基于加速度传感器数据的路面病害检测覆盖范围有限且对车速敏感，而基于图像识别的路面坑槽检测受环境光线影响较大。本发明提出的基于加速度数据和视频数据融合的道路异常检测方法充分考虑交通信息复杂的非线性时空关系，实现了两种检测方法的优势互补。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于多源传感器融合的可持续道路异常检测方法的流程图；
图2是本发明提供的一种基于多源传感器融合的可持续道路异常检测方法的示意性框图；
图3是本发明提供的一检测结果示例图；
图4是本发明提供的一种基于多源传感器融合的可持续道路异常检测系统的示意图；
图5是本发明提供的获取第一单车异常路面检测结果的示意图；
图6是本发明提供的一种电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
如图1所示，本发明实施例提出了一种基于多源传感器融合的可持续道路异常检测方法，具体包括以下步骤：
步骤S1，在道路异常检测路段内，通过客户端在车辆行驶过程中采集加速度数据、GPS、时间戳和视频数据，并上传至服务器。
需要说明的是，随着智能手机的普及和传感技术的发展，智能手机感知在研究中的应用越来越广，大众可以感知周围环境，贡献丰富的感知资源。智能手机本身配备了如加速度计、GPS、温度计、磁力计、相机等不同种类的传感器。而且由于多核芯片和内存的增大使得智能手机的计算能力和存储能力大幅度提高。因此，在本实例中，所述客户端采用智能手机，从智能手机的内置加速度计和GPS位置传感器中采集加速度数和GPS数据，并通过摄像头获取道路状况的影像视频数据。
进一步地，在上传至服务器的过程中还包括：对上传数据的客户端进行身份认证，只有认证成功的客户端的数据才会被上传。
步骤S2，在服务器上对步骤S1采集的数据进行包括数据重采样、加速度坐标转换、滤波在内的预处理。
具体地，所述步骤S2具体包括以下子步骤：
步骤S201，使用Python中的Numpy、Pandas等扩展程序库对步骤S1采集的数据进行清洗、时间对齐等操作。
步骤S202，使用样条插值对数据进行重采样，使数据样本点间的时间间隔一致，以便后续在频域上提取特征。
步骤S203，利用欧拉角进行坐标转换，使加速度数据从客户端坐标系转换成车辆坐标系。在本实例中为从智能手机机身坐标系转换到车辆坐标系，使所分析的加速度信号更贴切的反应车辆振动信息。
步骤S204，利用高通滤波器对加速度数据进行滤波，消除车辆加减速、转弯以及重力等因素对数据分析的干扰，滤除产生干扰的低频成分，保留与路面异常有关的高频成分。
步骤S205，根据车速和车身长度利用滑动窗口将连续的加速度数据分割成若干个数据片段，同时利用OpenCV将视频数据截取视频帧，使加速度数据与视频帧一一对应。同时，对应的GPS位置信息和时间戳也会与之匹配。
步骤S206，利用阈值剔除几乎不可能是坑洞的数据片段包括：将三轴加速度均方根的和设为阈值，当一个窗口的三轴加速度的均方根的和小于此阈值时，便滤除掉该加速度片段以及对应的视频帧，即剔除不可能是坑洞的数据片段。以减轻后续计算量。
经过以上数据处理，本实例得到了用于后续模型训练的数据集。该数据集中的每个样本包含一段加速度数据片段、对应的视频帧、对应的路面状况标签以及相应的GPS坐标。
步骤S3，对步骤S2预处理得到的数据按视频帧的分辨率进行分类预测：
当视频帧的分辨率大于预设的分辨率阈值时，将加速度数据和视频帧数据输入至第一道路异常检测网络进行预测，得到第一单车异常路面检测结果；
当视频帧的分辨率小于预设的分辨率阈值时，将加速度数据输入至第二道路异常检测网络进行预测，得到第二单车异常路面检测结果。
其中，对视频帧的分辨率进行分类包括：对步骤S2预处理得到的数据按视频帧的分辨率分为明暗两类，在光线条件较差的情况下，如夜间，阴雨天等，照片的分辨率较低，无法进行基于照片与加速度数据融合的识别。此时的数据集不需要包含照片集，而对于不清晰的图片，则只留下对应的加速度数据。而在光线条件较好，照片分辨率达到要求时，将同时包含加速度数据和视频数据的数据集上传到基于视频帧与加速度数据融合的模块。本实例中使用色调饱和度值(Hue Saturation Value，HSV)颜色模型和openCV构建图片分类器。色调饱和度值颜色模型被用于特征提取，而openCV被用于图像处理，以实现对不同光线明暗度下视频帧的分类。
需要说明的是，所述步骤S3根据车辆所处环境的明暗又分为两个预测部分。在天气晴朗、光照良好的环境下(即图片分片率较高的情况)，基于加速度数据和视频数据融合完成预测，而在能见度较低的阴雨天及夜晚(即图片分片率较低的情况)，仅基于加速度传感器完成预测。
具体地，如图5所示：
(A)当视频帧的分辨率大于预设的分辨率阈值时，将加速度数据和视频帧数据输入至第一道路异常检测网络进行预测，得到第一单车异常路面检测结果。所述第一道路异常检测网络有卷积神经网络(Convolutional Neural Networks，CNN)和长短时记忆网络(Long short-term Memory，LSTM)组成。
具体地，在本实例中，建立一个基于卷积神经网络(CNN)和长短时记忆网络(LSTM)的第一道路异常检测网络，用于当视频帧的分辨率大于预设的分辨率阈值时，对加速度数据和路面照片进行联合检测。首先，所述第一道路异常检测网络对视频帧数据中的路面照片进行卷积操作，利用CNN提取视频帧中路面照片的深度特征。本发明使用一个具有两个LSTM层的循环神经网络来对加速度数据进行特征提取。然后，采用了跨模态融合方法对图片深度特征和加速度特征进行特征融合，具体地，本实例使用注意力机制(Attention)来学习两个模态之间的关系，进而实现特征的融合。具体来说，在特征融合部分，本发明使用了一个多层感知机(MLP)来计算两个模态之间的相似度。具体来说，将图像特征和加速度特征分别输入到两个不同的全连接层中，然后将它们的输出连接起来，输入到一个带有激活函数(本实例中采用ReLU)的全连接层中。最后，使用sigmoid函数将输出映射到[0,1]区间，作为两个模态之间的相似度。其次使用注意力权重对图像特征和加速度特征进行加权平均融合，得到最终的跨模态融合特征。最后，将跨模态融合特征与其他特征(加速度部分提取的特征)进行级联或加和等方式进行融合，以得到最终的特征向量，将最终的特征向量输入到一个全连接层中，以实现二分类任务，即判断路面是否可持续，得到第一单车异常路面检测结果。
特别地，包含弱相关性的区域会影响CNN的性能，所以本实例中在路面图片的边界位置使用0进行填充。
(B)对于视频帧的分辨率小于预设的分辨率阈值时，将加速度数据输入至第二道路异常检测网络进行预测，得到第二单车异常路面检测结果。所述第二道路异常检测网络采用LSTM。
具体地，将第二道路异常检测网络修改为包括3个输入参数和2个输出。输入参数包括经过预处理后的三轴加速度数据。第二道路异常检测网络有2个输出指标，标签1为正常路面，标签2为异常路面。在LSTM单元中使用Adam优化器进行成本最小化，softmax作为激活函数。为了防止过拟合，增加了值为0.5的dropout正则化。测试实验的结果显示Adam优化器的学习率被设置为0.001时会提供最好的结果。LSTM层的输出被传输一个带有Sigmoid激活函数全连接层中，以实现二分类任务，即判断路面是否存可持续。由于路面质量分为正常路面、异常路面两类，全连接层的尺寸为2。
步骤S4，根据步骤S3得到的单车异常路面检测结果基于OPTICS算法进行多车感知结果融合，得到异常路面检测结果。
具体地，将OPTICS算法应用于人群感知车辆检测结果，以实现基于空间密度的聚类，每一类被认为是一个单独的道路异常点。计算每个类的位置中心点，并将多个单车检测结果的点合成为一个点，该点代表检测到的道路异常的优化位置。通过在每个簇中找到一个与该簇中其他点距离最近的点来定义中心点。使用k-Means算法寻找最小距离点，对OPTICS形成的每个簇应用k-Means算法，并将k值设置为1。
需要说明的是，所述人群感知车辆检测结果为所有车对应的单车异常路面检测结果。
图2展示了本发明的一检测结果的示例图，该路段为杭州市余杭塘道路的一部分，道路上有一些坑洼和裂缝。图中大的圆圈是由高精度GPS定位仪采集的路面坑洞的具体位置，小圆圈是融合多车感知结果后测得的坑洞的位置。智能手机GPS接收器的定位精度在5-10米之间，因此本实例中将大圆圈的半径设为10米，认为在以真实位置为圆心的10米范围内测得结果都可以接受。可以观察到通过本方法得到数据融合后的异常路面检测结果与真值点基本吻合。
本实例提供的一种基于多源传感器融合的可持续道路异常检测方法还包括：
步骤S5，将步骤S4异常路面检测结果在地图中标记出来，以向驾驶人员预警，向驾驶人员提前展示道路上的坑洞、拥包的情况。同时，更新维护异常路面检测结果数据库，例如，在确定某道路异常已得到修补后将该异常从异常路面检测结果数据库中删除。
同时，本发明还提供了一种基于多源传感器融合的可持续道路异常检测系统，所述系统包括：
客户端，在道路异常检测路段内车辆行驶的过程中采集加速度数据、GPS、时间戳和视频数据，并上传至服务器；
服务器，包括：
数据预处理模块，对采集的数据进行包括数据重采样、加速度坐标转换、滤波在内的预处理；
第一道路异常检测网络，当视频帧的分辨率大于预设的分辨率阈值时，基于加速度数据和视频帧数据输进行预测，得到第一单车异常路面检测结果；
第二道路异常检测网络，当视频帧的分辨率小于预设的分辨率阈值时，基于加速度数据进行预测，得到第二单车异常路面检测结果；
多车感知结果融合模块，根据单车异常路面检测结果基于OPTICS算法聚类，得到异常路面检测结果。
关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于系统实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多源传感器融合的可持续道路异常检测方法。如图6所示，为本发明实施例提供的基于多源传感器融合的可持续道路异常检测方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图6所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多源传感器融合的可持续道路异常检测方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (10)
1.一种基于多源传感器融合的可持续道路异常检测方法，其特征在于，所述方法包括：
步骤S1，在道路异常检测路段内，通过客户端在车辆行驶过程中采集加速度数据、GPS、时间戳和视频数据，并上传至服务器；
步骤S2，在服务器上对步骤S1采集的数据进行包括数据重采样、加速度坐标转换、滤波在内的预处理。
步骤S3，对步骤S2预处理得到的数据按视频帧的分辨率进行分类：
当视频帧的分辨率大于预设的分辨率阈值时，将加速度数据和视频帧数据输入至第一道路异常检测网络进行预测，得到第一单车异常路面检测结果；
当视频帧的分辨率小于预设的分辨率阈值时，将加速度数据输入至第二道路异常检测网络进行预测，得到第二单车异常路面检测结果；
步骤S4，对所有车的单车异常路面检测结果基于OPTICS算法进行多车感知结果融合，得到异常路面检测结果。
2.根据权利要求1所述的基于多源传感器融合的可持续道路异常检测方法，其特征在于，所述步骤S2包括：
步骤S201，对步骤S1采集的数据进行清洗、时间对齐；
步骤S202，使用样条插值对数据进行重采样，使数据样本点间的时间间隔一致；
步骤S203，利用欧拉角进行坐标转换，使加速度数据从客户端坐标系转换成车辆坐标系；
步骤S204，利用高通滤波器对加速度数据进行滤波；
步骤S205，利用滑动窗口将连续的加速度数据分割成若干个数据片段，同时将视频数据截取为视频帧，使加速度数据与视频帧一一对应，GPS位置信息与时间戳匹配；
步骤S206，利用阈值剔除不可能为坑洞的加速度数据以及对应的视频帧。
3.根据权利要求2所述的基于多源传感器融合的可持续道路异常检测方法，其特征在于，利用滑动窗口将连续的加速度数据分割成若干个数据片段包括：
根据车速和车身长度利用滑动窗口将连续的加速度数据分割成若干个数据片段。
4.根据权利要求2所述的基于多源传感器融合的可持续道路异常检测方法，其特征在于，利用阈值剔除不可能为坑洞的加速度数据以及对应的视频帧包括：
将加速度均方根之和设为阈值，当某一窗口的加速度的均方根的和小于阈值时，便滤除掉该加速度数据以及对应的视频帧。
5.根据权利要求1所述的基于多源传感器融合的可持续道路异常检测方法，其特征在于，所述第一道路异常检测网络由卷积神经网络和长短时记忆网络组成；所述第二道路异常检测网络采用长短时记忆网络。
6.根据权利要求5所述的基于多源传感器融合的可持续道路异常检测方法，其特征在于，当视频帧的分辨率大于预设的分辨率阈值时，将加速度数据和视频帧数据输入至第一道路异常检测网络进行预测，得到第一单车异常路面检测结果包括：
利用卷积神经网络提取视频帧中路面照片的图像特征；
利用长短时记忆网络提取加速度数据的加速度特征；
将图像特征和加速度特征分别输入到两个不同的全连接层中，然后将它们的输出连接起来，输入到一带有激活函数的全连接层中；
使用sigmoid函数将带有激活函数的全连接层的输出映射到[0,1]区间，作为图像特征和加速度特征之间的相似度；
使用注意力权重对图像特征和加速度特征进行加权平均融合，得到跨模态融合特征；
将跨模态融合特征与其余特征进行融合，得到最终的特征向量；
将最终的特征向量输入到一个全连接层中，判断路面是否可持续，得到第一单车异常路面检测结果。
7.根据权利要求1所述的基于多源传感器融合的可持续道路异常检测方法，其特征在于，所述方法还包括：
将步骤S4异常路面检测结果在地图中标记出来，进行道路状况可视化。
8.一种基于多源传感器融合的可持续道路异常检测系统，其特征在于，所述系统包括：
客户端，在道路异常检测路段内车辆行驶的过程中采集加速度数据、GPS、时间戳和视频数据，并上传至服务器；
服务器，包括：
数据预处理模块，对采集的数据进行包括数据重采样、加速度坐标转换、滤波在内的预处理；
第一道路异常检测网络，当视频帧的分辨率大于预设的分辨率阈值时，基于加速度数据和视频帧数据输进行预测，得到第一单车异常路面检测结果；
第二道路异常检测网络，当视频帧的分辨率小于预设的分辨率阈值时，基于加速度数据进行预测，得到第二单车异常路面检测结果；
多车感知结果融合模块，对所有车的单车异常路面检测结果基于OPTICS算法聚类，得到异常路面检测结果。
9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-7任一项所述的基于多源传感器融合的可持续道路异常检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的基于多源传感器融合的可持续道路异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310514947.3A CN116597404B (zh) | 2023-05-06 | 2023-05-06 | 基于多源传感器融合的可持续道路异常检测方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310514947.3A CN116597404B (zh) | 2023-05-06 | 2023-05-06 | 基于多源传感器融合的可持续道路异常检测方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116597404A true CN116597404A (zh) | 2023-08-15 |
| CN116597404B CN116597404B (zh) | 2024-04-09 |
Family
ID=87603860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310514947.3A Active CN116597404B (zh) | 2023-05-06 | 2023-05-06 | 基于多源传感器融合的可持续道路异常检测方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116597404B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115427A (zh) * | 2023-11-15 | 2024-05-31 | 北京科技大学 | 一种基于多源数据的路表状态检测方法和系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101936769B1 (ko) * | 2017-07-13 | 2019-01-11 | 한국건설기술연구원 | 차량데이터와 영상데이터를 활용한 노면상태 측정 시스템 및 그 방법 |
| CN110399364A (zh) * | 2019-07-11 | 2019-11-01 | 北京航空航天大学 | 一种基于多种公路检测器数据的数据融合方法 |
| CN110619747A (zh) * | 2019-09-27 | 2019-12-27 | 山东奥邦交通设施工程有限公司 | 一种高速公路道路智能监控方法及系统 |
| US20200089977A1 (en) * | 2018-09-17 | 2020-03-19 | Honda Motor Co., Ltd. | Driver behavior recognition and prediction |
| CN113435404A (zh) * | 2021-07-14 | 2021-09-24 | 深圳市比一比网络科技有限公司 | 基于雷达及图像检测的电客车调车安全辅助驾驶方法与系统 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN217378496U (zh) * | 2021-10-29 | 2022-09-06 | 张叔林 | 一种公路养护用破损检测装置 |
| CN115440044A (zh) * | 2022-07-29 | 2022-12-06 | 深圳高速公路集团股份有限公司 | 一种公路多源事件数据融合方法、装置、存储介质及终端 |
| CN115953699A (zh) * | 2022-12-22 | 2023-04-11 | 南京市南部新城开发建设管理委员会 | 一种基于多任务神经网络的遥感图像道路提取方法 |
-
2023
- 2023-05-06 CN CN202310514947.3A patent/CN116597404B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101936769B1 (ko) * | 2017-07-13 | 2019-01-11 | 한국건설기술연구원 | 차량데이터와 영상데이터를 활용한 노면상태 측정 시스템 및 그 방법 |
| US20200089977A1 (en) * | 2018-09-17 | 2020-03-19 | Honda Motor Co., Ltd. | Driver behavior recognition and prediction |
| CN110399364A (zh) * | 2019-07-11 | 2019-11-01 | 北京航空航天大学 | 一种基于多种公路检测器数据的数据融合方法 |
| CN110619747A (zh) * | 2019-09-27 | 2019-12-27 | 山东奥邦交通设施工程有限公司 | 一种高速公路道路智能监控方法及系统 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN113435404A (zh) * | 2021-07-14 | 2021-09-24 | 深圳市比一比网络科技有限公司 | 基于雷达及图像检测的电客车调车安全辅助驾驶方法与系统 |
| CN217378496U (zh) * | 2021-10-29 | 2022-09-06 | 张叔林 | 一种公路养护用破损检测装置 |
| CN115440044A (zh) * | 2022-07-29 | 2022-12-06 | 深圳高速公路集团股份有限公司 | 一种公路多源事件数据融合方法、装置、存储介质及终端 |
| CN115953699A (zh) * | 2022-12-22 | 2023-04-11 | 南京市南部新城开发建设管理委员会 | 一种基于多任务神经网络的遥感图像道路提取方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118115427A (zh) * | 2023-11-15 | 2024-05-31 | 北京科技大学 | 一种基于多源数据的路表状态检测方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116597404B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107576960B (zh) | 视觉雷达时空信息融合的目标检测方法及系统 | |
| Lekshmipathy et al. | Vibration vs. vision: Best approach for automated pavement distress detection | |
| Lin et al. | A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO | |
| CN109716108A (zh) | 一种基于双目图像分析的沥青路面病害检测系统 | |
| CN110785719A (zh) | 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统 | |
| CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| CN111179300A (zh) | 障碍物检测的方法、装置、系统、设备以及存储介质 | |
| CN106951898B (zh) | 一种车辆候选区域推荐方法及系统、电子设备 | |
| CN109086803B (zh) | 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法 | |
| CN113592905B (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN109902610A (zh) | 交通标志识别方法和装置 | |
| CN116597404B (zh) | 基于多源传感器融合的可持续道路异常检测方法与系统 | |
| CN114359861B (zh) | 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法 | |
| CN212009589U (zh) | 一种基于深度学习的视频识别行车车轨迹获取装置 | |
| CN114971166A (zh) | 一种轻量化道路路面服务质量巡检系统 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| CN117475355A (zh) | 基于监控视频的安全预警方法及装置、设备、存储介质 | |
| SB et al. | Deep Learning Approach for Pothole Detection-A Systematic Review | |
| CN116824541A (zh) | 基于双通道的行人过街意向预测方法、模型及装置 | |
| US11935306B2 (en) | Data collection apparatus for estimating emotion of a person watching vehicle | |
| Xu et al. | [Retracted] Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles | |
| Govada et al. | Road deformation detection | |
| Yarram et al. | City-scale road audit system using deep learning | |
| Hu | Degenerate near-planar road surface 3D reconstruction and automatic defects detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |