CN112800913B - 一种基于多源特征融合的路面损伤数据时空分析方法 - Google Patents
一种基于多源特征融合的路面损伤数据时空分析方法 Download PDFInfo
- Publication number
- CN112800913B CN112800913B CN202110074435.0A CN202110074435A CN112800913B CN 112800913 B CN112800913 B CN 112800913B CN 202110074435 A CN202110074435 A CN 202110074435A CN 112800913 B CN112800913 B CN 112800913B
- Authority
- CN
- China
- Prior art keywords
- data
- road surface
- pavement
- damage
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000006378 damage Effects 0.000 title claims abstract description 128
- 230000004927 fusion Effects 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 201000010099 disease Diseases 0.000 claims abstract description 17
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 17
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 238000001514 detection method Methods 0.000 claims description 47
- 238000012549 training Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 24
- 238000005457 optimization Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000011161 development Methods 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 9
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000005856 abnormality Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000013499 data model Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 11
- 230000008901 benefit Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000018109 developmental process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003179 granulation Effects 0.000 description 1
- 238000005469 granulation Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于多源特征融合的路面损伤数据时空分析方法，路面损伤检测，采用语义分类网络，捕获路面局部异常、病害的图像数据，检测出路面异常状况的分类结果；损伤数据的GPS定位及视频定位空间融合，通过多元路段图像拼接算法，通过实现多源图像数据融合，建立全局路面坐标系统；基于形态匹配的损伤数据时间序列追溯，根据时间序列下的路面损坏特征提取，以空间位置特征的粗略匹配为基础，同时进行高频多次采集的图像的匹配；自然路面状态高频数据集构建，包括高频轻量化路面状态数据采集、多源数据的信息提取与融合技术，以及数据集接口建立。与现有技术相比，本发明具有抗干扰能力强、提高路面养护与管理的时效性等优点。
Description
技术领域
本发明涉及道路养护技术领域，尤其是涉及一种基于多源特征融合的路面损伤数据时空分析方法。
背景技术
随着时间的推移和设施总量的增加，我国公路养护需求呈现快速的增长趋势。大规模养护工作的开展以及相关技术研究的提升都离不开全面精准的检测数据做支撑。路面状态的整体演变虽是长期的，但中微观的损伤产生或发育却是突发的，低频的检测不具有时效性，难以完整观测变化过程。需要通过高频率、时效性的检测数据才能保证对路面发展趋势判别的准确程度。
随着计算能力和数据量的提升，数据驱动、大数据分析决策方法兴起。与“科学始于观察”的经验论较为接近，大数据的兴起引发了新的科学研究模式“科学始于数据”。由于路面状态的诸多不确定性，通过单一的理论假设难以建立较准确的数学模型，传统的基于理论驱动的建模方法已经无法满足需求。
数据驱动的分析方法以其对随机扰动的稳定性和强适应性的优势，可以为路面状态时空分析提供解决方案。大数据分析不仅仅要求数据规模大，还需要具备挖掘数据间内在关系的能力。然而现有的路面质量评定，一方面多采用人为简单的加权，忽视了数据的物理特征，其结果的指导性、预判性欠缺；另一方面检测数据缺乏精细化特征，无法实现时空回溯。而时间上的回溯可以完整展现同一病害的变化过程，空间上对比分析可为针对性的养护技术措施提供决策依据。因此，时空多维度展示的路面状态数据才能有效支撑预判性分析。此外，目前的路面状态数据还缺乏对影响因素的完整记录，路面状况的变化是行车荷载和自然环境等多因素耦合的结果，真实完整记录各影响因素的变化同样是大数据分析的必要条件。由此可见，亟需探索建立支持预判性分析的大规模检测数据，重构路面损坏的精细化特征，描述其时空演变过程。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多源特征融合的路面损伤数据时空分析方法。
本发明的目的可以通过以下技术方案来实现：
一种基于多源特征融合的路面损伤数据时空分析方法，该方法包括如下步骤：
路面异常检测步骤：
采用语义分类网络，在可见光摄像机采集模式下，采集路面局部异常、病害的路面图像数据进行分类学习，对路面异常状况下的图像的语义特征进行训练分类，检测出路面异常状况的分类结果；
损伤数据的GPS定位及视频定位空间融合步骤：
对采集到的路面图像及路面损伤信息进行定位及优化合成，并针对各类路面状态信息数据的特点，建立自然路面状态数据集的存储数据模型与存储结构，建立路面状态数据空间索引；
基于形态匹配的损伤数据时间序列追溯步骤：
确定最佳图像采样周期与视频抽样频率，基于形态匹配的损伤数据进行时间序列追溯，建立路面状态数据时间索引，并基于自然路面损伤图像数据进行降维优化；路面状态数据空间索引为空间维度的索引，是只检测一次数据而生成的空间数据标签；路面状态数据时间索引是在时间维度的索引，该索引是在时间维度上检测多次而增加的时间标签。
自然路面状态高频数据集构建步骤：
采集高频轻量化路面状态数据，建立时空完备的路面损坏数据集范式，获取天气信息建立环境信息矩阵范式，将其与自然路面状态数据融合拼接后，基于时间位置标签进行环境参数信息的匹配统计。具体地：通过在多辆检测车上配备轻量化路面质量检测设备，高频实测某路段内不同类型的城市道路路面及环境数据，并呈一定周期高频更新各项检测数据，利用空间数据融合与时间序列追溯的方法，执行多频次、多区域数据的损坏跟踪与路面病害全息拼接，建立时空完备的路面损坏数据集范式。进行环境参数信息的匹配统计的具体内容为：获取移动终端用户众筹信息，建立多源环境信息采集手段，并基于时间位置标签进行环境参数信息的匹配统计；利用大数据分析算法，基于大量路面损坏自然衰变数据，挖掘各因素的交叉影响作用，建立同步刻画时间维度动态过程与多致因叠加影响的大数据分析方法理论；搭建中观病害级的路面损坏衰变预估模型，实现对路面病害的发育态势准确研判，基于自然路面状况时空数据集深入剖析各类病害演化机理，分析不同病害类型在哪些发育阶段与哪些发育条件下最容易恶化和进一步发展。
所述路面异常检测步骤中，所述语义分类网络包括路面损伤图像的卷积神经网络模型搭建和参数训练。所述路面异常检测步骤的具体内容为：
收集不同路侧视觉监控基站的存储平台上的路面异常图像训练深度学习网络，对不同异常状况图像进行检测；通过对训练图像数据集进行语义标注，获取包括路面抛洒物、裂缝、坑槽和车辙在内的多类图像对应的训练数据集；通过搭建基于语义学习的深度学习网络，进行路面异常状况图像检测，同时，调整训练参数及优化训练数据集。所述参数训练包括深度学习网络框架训练和测试，基于混淆矩阵的模型效果评估，以及多源环境因素融合分析和参数优化。
所述损伤数据的GPS定位及视频定位空间融合步骤具体包括以下步骤：
21)基于导航定位及视频帧相对位置的联合定位方法进行高精度定位，为采集到的路面图像及路面损伤信息提供精确地理位置标签；
22)基于特征提取与非线性优化的多源信道图像拼接融合技术，将大量单次采集的图像路面状态信息进行空间聚合，获取全幅路面的状态数据集，基于高精度空间位置信息的自然路面状态数据融合方法，将采集的图像数据进行优化合成，并对不同图像充分利用互补信息，清除冗余信息，获得空间连续的数据集；
23)针对各类路面状态信息数据的特点，建立自然路面状态数据集的存储数据模型与存储结构，建立路面状态数据空间索引，实现融合后数据集的高效检索访问。
基于特征提取与非线性优化的多源信道图像拼接融合技术包括基于构造特征的图像特征点提取方法，基于特征点的图像配准方法，以及基于非线性优化的图像间偏移修复方法。
所述基于特征点的图像配准方法的具体内容为：
通过随机抽样一致性算法，检测连续路面图像中构造特征，并计算特征点之间的匹配度，基于计算的匹配度采用随机抽样和迭代的方法，建立所采集路面图像序列之间的投影变换矩阵，进而实现图像配准。
所述基于形态匹配的损伤数据时间序列追溯步骤具体包括以下步骤：
31)确定最佳图像采样周期与视频抽样频率，以及全路幅覆盖和时间连续之间的关系；
32)根据时间序列下的路面损坏特征提取，以空间位置特征的粗略匹配为基础，同时辅之以形态特征描述子，进行前后次采集的图像的匹配，基于匹配算法对集合进行有效性筛选，明确同一空间位置处、不同时间序列下的路面损坏，并赋予相应的编号，多次重复检测后，将损坏空间位置特征和形态特征与之前检测得到的路面损坏信息进行匹配，并与时间戳进行对应；
33)采用基于信息熵的多重特征降维方法，对匹配结果降低级数，基于自然路面损伤图像数据，建立评估匹配算法的精度、效率和适应性指标，实现模型的参数优化。
本发明提供的基于多源特征融合的路面损伤数据时空分析方法，相较于现有技术至少包括如下有益效果：
一、本发明采用图像处理、深度学习方法对路面图像进行分析，在保证准确率的基础上，提高了检测效率，满足养护工程对基于视觉的路面状况检测系统需求，可快速应用于国内路面损伤检测系统，实现高效稳定的路面状况检测。
二、本发明通过多元路段图像拼接算法，实现多源图像数据融合，建立全局路面坐标系统，实时与各养护决策部门进行数据通讯，为路面养护人员提供全局图像数据信息，对检测到的路面异常状况及时进行处理，保障了道路服务质量与使用性能。
三、本发明提供基于形态匹配的损伤数据时间序列追溯算法，根据时间序列下的路面损坏特征提取，以空间位置特征的粗略匹配为基础，同时基于尺度不变(SIFT)与卷积神经网络(CNN)的特征矩阵生成，进行高频多次采集的图像的匹配，可实现自然路面状态高频数据集构建，为道路检测和养护单位提供可靠的数据支持。
附图说明
图1为实施例中基于多源特征融合的路面损伤数据时空分析方法的原理示意图；
图2为实施例中基于多源特征融合的路面损伤数据时空分析方法的框架示意图；
图3为实施例中损伤数据的GPS定位及视频定位空间融合示意图；
图4为实施例中建立路面状态数据空间索引示意图；
图5为实施例中建立路面状态数据时间索引示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本发明涉及一种基于多源特征融合的路面损伤数据时空分析方法，如图1所示，包括路面损伤检测步骤、损伤数据的GPS定位及视频定位空间融合步骤、基于形态匹配的损伤数据时间序列追溯步骤，以及自然路面状态高频数据集构建步骤。为实现各步骤，本发明方法基于分层式框架实现，如图2所示，包括以下方面：
1)感知层：利用定位传感器、图像传感器获取路面状态信息；利用温湿度传感器、降水量监测仪、感应线圈/光纤获取车辆和环境信息。
2)硬件平台层：利用数据缓冲服务器汇总数据，并实现消息队列服务和数据校验和容错；利用计算服务器搭建深度学习计算平台，实现并行计算；利用应用服务器开放业务对接模块，完成定制化服务应用；利用高频数据管理服务器，搭建分布式数据库，完成分布式存储需求。
3)数据层：通过基于高精度定位信息的空间融合、基于形态匹配的时间序列追踪完成数据初步结构化，再基于深度学习和语义分类网络完成路面损伤人工智能识别，最后完成时空连续的自然路面状态数据集搭建。
4)分析应用层：进行开放数据集调用接口。
基于上述框架，路面异常检测步骤通过收集不同路侧视觉监控基站的存储平台上的路面异常图像训练深度学习网络，对不同异常状况图像进行检测。通过对训练图像数据集进行语义标注，得到路面抛洒物、裂缝、坑槽、车辙等多类图像对应的训练数据集；通过在处理服务器平台搭建基于语义学习的深度学习网络，进行路面异常状况图像检测，同时，通过调整训练参数、优化训练数据集，提高检测分类器性能。具体实施步骤如下：
步骤S101：卷积神经网络模型搭建，用于实现基于卷积神经网络的损坏特征提取。通过大量高频采集真实道路的实测图像数据，采用尺度不变特征、卷积神经网络等特征提取方法，挖掘复杂环境下路面损伤在发生的长宽范围、颗粒化程度、连贯性、路段位置等维度的表观特征，构建统一的特征描述的参数；对高清工业相机采集得到的路面图像数据进行处理，选择YOLOv1、YOLOv2、YOLOv3和SSD等一阶段目标检测框架进行神经网络算法模型运算，输出路面损坏的可能位置框以及具体类别。
步骤S102：参数训练，包含深度学习网络框架训练和测试，基于混淆矩阵的模型效果评估，以及多源环境因素融合分析和参数优化。其中：
深度学习网络框架训练和测试：通过小范围数据集模型预训练和大数据集下并行计算，比选多种图像识别人工智能神经网络模型方案，优化和搭建最佳的深度神经结构框架。
基于混淆矩阵的模型效果评估：采用混淆矩阵和kappa系数法，设计路面损伤识别的精度、效率指标，评估识别算法的精度、识别速度；通过预先采集自然条件下的海量路面状态图像，建立数据训练与验证样本库，结合模型的精度、效率指标评估其多场景的泛化能力；同时采用熵权法进一步确定各指标的客观权重。
多源环境因素融合分析和参数优化：根据时间戳信息将损伤发生的光照、温度、障碍物、路面表观纹理、车道线等多源环境因素进行对应。针对不同环境因素下的损伤识别，利用YOLOv1、YOLOv2、YOLOv3和SSD等一阶段目标检测框架重的一种，进行神经网络算法模型运算，采用控制单一因素变量方法，定量分析比较不同光照、温度、障碍物、路面表观纹理、车道线等多源环境因素下的损伤识别精度和效率，确定不同因素影响权重参数。
损伤数据的GPS定位及视频定位空间融合步骤，包括高精度定位、全幅路面图像拼接、数据结构化存储及索引，如图3所示。具体实施步骤如下：
步骤S201：高精度定位是基于导航定位及视频帧相对位置的联合定位方法，实现车道级至米级的高精度定位，为采集到的路面图像及路面损伤信息提供精确地理位置标签。
步骤S202：全幅路面图像拼接是指基于特征提取与非线性优化的多源信道图像拼接融合技术，针对图像采集传感器的感知视野有限，为了将大量单次采集的图像等路面状态信息进行空间聚合，得到全幅路面的状态数据集，需基于高精度空间位置信息的自然路面状态数据融合方法，以将采集的图像数据进行优化合成，对于不同图像充分利用互补信息，清除冗余信息，获得空间连续的数据集。
a)基于构造特征的图像特征点提取方法：为使路面图像拼接融合具有良好的精度和鲁棒性，研究多种类型特征(例如加速稳健特征、尺度不变特征、加速分割测试获得特征等)在图像拼接中的适应性，建立适用于路面图像拼接问题的构造特征。
b)基于特征点的图像配准方法：通过随机抽样一致性算法，检测连续路面图像中构造特征，并计算特征点之间的匹配度，基于以上匹配信息采用随机抽样和迭代的方法，建立所采集路面图像序列之间的投影变换矩阵，从而实现图像配准。
c)基于非线性优化的图像间偏移修复技术是根据图像局部信息的充分统计量(例如边缘、形状、轮廓、纹理、相似亮度区域等)，通过最小二乘法匹配算法和全局匹配的松弛算法取得较为理想的去接缝处理结果，与此同时通过遗传算法的应用，进一步提高融合精度和运算速度。
步骤S203：数据结构化存储及索引是为辅助融合后数据的入库与后续分析，该处理针对各类路面状态信息数据的特点，以路段名为基准，以路段长度为界限，将全幅路面图像拼接数据赋给该路段，并且以桩号(公里桩号、百米桩号)为标签在路段上划分区域，如图4所示，建立自然路面状态数据集的存储数据模型与存储结构，建立路面状态数据空间索引，实现融合后数据集的高效检索访问。路面状态数据空间索引为空间维度的索引，是只检测一次数据而生成的空间数据标签。
基于形态匹配的损伤数据时间序列追溯步骤，包括确定最佳图像采样周期与视频抽样频率，建立路面状态数据时间索引，基于形态匹配的损伤数据时间序列追溯，以及降维优化。路面状态数据时间索引是在时间维度的索引，该索引是在时间维度上检测多次而增加的时间标签。基于形态匹配的损伤数据时间序列追溯步骤的具体实施步骤如下：
步骤S301：确定最佳图像采样周期与视频抽样频率即是平衡识别精度和效率，以及全路幅覆盖和时间连续之间的关系。
最佳图像采样周期根据道路交通量情况确定，表达式如下：
其中，T为采样周期，即每隔多久采集一次数据，单位为天，AADT为年平均日交通量，单位为pcu/d。
视频抽样频率根据采集状态下的车速确定，使得选定的待测图像覆盖完整车道；截取待测图像的帧数利用可变帧数法中每秒截取图像的帧数选择，表达式如下：
其中，f为每秒截取图像的帧数，单位为pic/s，v为行驶车速，单位是km/h，l为单幅图像内道路的纵深，单位是m。
步骤S302：基于形态匹配的损伤数据时间序列追溯，根据时间序列下的路面损坏特征提取，以空间位置特征的粗略匹配为基础，同时辅之以SIFT、SURF等形态特征描述子，进行前后次采集的图像的匹配，基于匹配算法对集合进行有效性筛选，明确同一空间位置处、不同时间序列下的路面损坏。
设计了“四级匹配框架”。以最新一次采集的数据为“基准图像”，以历史前一次数据为匹配范围，具体的实现方法如下：
1)一级匹配：首先利用GPS定位的经纬度信息，实现损坏的一级匹配；本文采集设备中GPS的定位精度在±5内，故一级匹配的经纬度放宽到该范围内，即对应一张待匹配图像，在历史数据中的GPS搜索范围为10m。
2)二级匹配：根据单次采集后神经网络算法的检测结果中“损坏类别”进行二级筛选，提取10m区域内同一类别的损坏，剔除掉非同一类别的其他损坏。
3)三级匹配：根据单次采集后神经网络算法的检测结果中“损坏选框位置”信息进行三级筛选，损坏在道路上的相对位置可以根据损坏选框获得，即损坏选框的xmin、xmax，分别代表损坏最左端和最右端在车道上距离左边车道线的距离。本级筛选允许的两次匹配图像的xmin、xmax差距占图像总像素宽度的20％以内。因为沿着行车方向的位置信息由GPS经纬度控制，本级筛选仅考虑垂直于行车方向的位置。
4)四级匹配：如果经过以上三级的匹配后仍有多张图像候选，或者基准图像仍无法找到可能匹配的图像，则需要进行四级匹配，也就是利用SIFT、SURF等形态特征描述子，根据图像上损坏的形态特征实现匹配。
在多次重复检测后，通过比对损坏空间位置特征和形态特征，与之前检测得到的路面损坏信息进行匹配，并与时间戳进行对应，赋予损坏时间序列下的编号，从而实现时间序列下的路面损坏的匹配和时间纬度上的可追溯。具体如图5所示：
1)在单次采集后，根据基于神经网络模型的路面损坏检测与定位方法，实现图中第
步骤，根据GPS位置信息，可以获得该路面损坏的绝对空间位置，并根据GPS位置信息确定该损坏所在路段名；
如果在平面图像处理中，由于采集设备镜头角度的原因，容易导致图像出现倾斜、变形等情况，进而造成路面损坏识别、尺寸提取和空间定位的误差。为了方便后续处理，进行图像校正。通过透视变换矩阵进行图像校正，通过一个3×3的变换矩阵将原图投影到一个新的视平面，消除因为相机倾斜假设而导致的远近或倾斜透视失真，生成俯视视角，具体转换公式如下：
其中，u,v是原始图像像素坐标，x,y为变换之后的图像像素坐标，具有关系为x＝x′/w′,y＝y′/w′，aij为变换系数。
根据神经网络模型检测功能，获得该路面损坏在所在图像中的位置框，进而推导出该损坏在两根车道线内的相对空间位置，即离左右车道线的距离；根据图像拼接后的特定长度道路的全景图像，获取该损坏与前后各损坏的相对位置关系；根据神经网络模型分类功能，获得该路面损坏的类别。2)接下来第
步骤，针对第一次采集后识别的路面损坏进行编号，以“路段名+采集时间+损坏号码”格式进行编号，其中“路段名”由第
步骤获得，“损坏号码”从1到X进行编号。
3)在重复检测之后，进行第
步骤时空匹配，若某处损坏经过匹配追溯到之前的某一编号的损坏，则赋予其相同的编号；
若无法找到与其匹配的损坏，则赋予其一个新的编号，并且根据其与已有损坏的前后相对位置进行编号重新整理(例如新编号的损坏在已有损坏“Caoan20190519003”、“Caoan20190519004”之间，则命名为“Caoan20190519003.1”)；
最新一次检测若出现部分已有损坏漏检情况，可能原因是采集过程遗漏、神经网络模型识别过程遗漏、时空匹配过程遗漏、损坏已被养护等，可以针对性地进行后续分析(例如若后续检测中该损坏又出现则因为前三种原因，若在该处损坏出现明显修补类损坏则为第四种原因)；
4)如此类推，在每一次更新的检测后，以最新一次检测为基准，完成一次更新的时空匹配，则之后会获得多次编号，相同的编号对应同一处损坏，新增的编号对应新产生的损坏。
步骤S303：降维优化，在对精度要求不高的时候，可以对上述“四级匹配框架”进行级数降低，即仅采用其中几步，不完全采用全部步骤。减少匹配维度以提高模型计算效率，基于自然路面损伤图像数据，建立评估匹配算法的精度(即查准率)、效率(匹配速度)和适应性(即查全率)指标，实现模型的参数优化。
自然路面状态高频数据集构建步骤，包括高频轻量化路面状态数据采集，多源数据的信息提取与融合，以及数据集接口建立。具体实施步骤如下：
步骤S401：高频轻量化路面状态数据采集：
通过在多辆检测车上配备轻量化路面质量检测设备，以上海市道路为例，高频实测20公里不同类型的城市道路路面及环境数据，并以月为周期高频更新各项检测数据，利用空间数据融合与时间序列追溯的方法，实现多频次，多区域数据的损坏跟踪与路面病害全息拼接，建立时空完备的路面损坏数据集范式。
步骤S402：多源数据的信息提取与融合：
利用数据接入、爬虫算法、众筹数据等方法获取检测道路的天气、降雨、流量等信息，补充进数据属性标签，增加数据维度。
步骤S403：数据集接口建立：
利用API接口获取移动终端用户众筹信息，建立多源环境信息采集手段，并基于时间位置标签进行环境参数信息的匹配统计。继而，可以利用梯度下降决策树(GBDT)、长短记忆网络(LSTM)、非监督关联等大数据分析算法，基于大量路面损坏自然衰变数据，挖掘各因素的交叉影响作用，建立同步刻画时间维度动态过程与多致因叠加影响的大数据分析方法理论。结合模糊理论与神经网络等方法，搭建中观病害级的路面损坏衰变预估模型，实现对路面病害的发育态势准确研判，基于自然路面状况时空数据集深入剖析各类病害演化机理，通过提取出同一空间位置、不同时间下，损伤的发育过程图像数据，分析不同病害类型在哪些发育阶段与哪些发育条件下最容易恶化和进一步发展，从而在有限资金条件下，最优化养护时机与方法，充分发挥数据决策支持的重要作用。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种基于多源特征融合的路面损伤数据时空分析方法，其特征在于，包括下列步骤：
路面异常检测步骤：
采用语义分类网络，在可见光摄像机采集模式下，采集路面局部异常、病害的路面图像数据进行分类学习，对路面异常状况下的图像的语义特征进行训练分类，检测出路面异常状况的分类结果；
损伤数据的GPS定位及视频定位空间融合步骤：
对采集到的路面图像及路面损伤信息进行定位及优化合成，并针对各类路面状态信息数据的特点，建立自然路面状态数据集的存储数据模型与存储结构，建立路面状态数据空间索引；
基于形态匹配的损伤数据时间序列追溯步骤：
确定最佳图像采样周期与视频抽样频率，基于形态匹配的损伤数据进行时间序列追溯，建立路面状态数据时间索引，并基于自然路面损伤图像数据进行降维优化；
自然路面状态高频数据集构建步骤：
采集高频轻量化路面状态数据，建立时空完备的路面损坏数据集范式，获取天气信息建立环境信息矩阵范式，将其与自然路面状态数据融合拼接后，基于时间位置标签进行环境参数信息的匹配统计；
所述损伤数据的GPS定位及视频定位空间融合步骤具体包括以下步骤：
21)基于导航定位及视频帧相对位置的联合定位方法进行高精度定位，为采集到的路面图像及路面损伤信息提供精确地理位置标签；
22)基于特征提取与非线性优化的多源信道图像拼接融合技术，将大量单次采集的图像路面状态信息进行空间聚合，获取全幅路面的状态数据集，基于高精度空间位置信息的自然路面状态数据融合方法，将采集的图像数据进行优化合成，并对不同图像充分利用互补信息，清除冗余信息，获得空间连续的数据集；
23)针对各类路面状态信息数据的特点，建立自然路面状态数据集的存储数据模型与存储结构，建立路面状态数据空间索引，实现融合后数据集的高效检索访问；
所述基于形态匹配的损伤数据时间序列追溯步骤具体包括以下步骤：
31)确定最佳图像采样周期与视频抽样频率，以及全路幅覆盖和时间连续之间的关系；
32)根据时间序列下的路面损坏特征提取，以空间位置特征的粗略匹配为基础，同时辅之以形态特征描述子，进行前后次采集的图像的匹配，基于匹配算法对集合进行有效性筛选，明确同一空间位置处、不同时间序列下的路面损坏，并赋予相应的编号，多次重复检测后，将损坏空间位置特征和形态特征与之前检测得到的路面损坏信息进行匹配，并与时间戳进行对应；
33)采用基于信息熵的多重特征降维方法，对匹配结果降低级数，基于自然路面损伤图像数据，建立评估匹配算法的精度、效率和适应性指标，实现模型的参数优化；
最佳图像采样周期根据道路交通量情况确定，表达式如下：
其中，T为采样周期，即每隔多久采集一次数据，单位为天，AADT为年平均日交通量，单位为pcu/d；
最佳视频抽样频率根据采集状态下的车速确定，使得选定的待测图像覆盖完整车道；截取待测图像的帧数利用可变帧数法中每秒截取图像的帧数选择，表达式如下：
其中，f为每秒截取图像的帧数，单位为pic/s，v为行驶车速，单位为km/h，l为单幅图像内道路的纵深，单位为m。
2.根据权利要求1所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，所述路面异常检测步骤中，所述语义分类网络包括路面损伤图像的卷积神经网络模型搭建和参数训练。
3.根据权利要求2所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，所述路面异常检测步骤的具体内容为：
收集不同路侧视觉监控基站的存储平台上的路面异常图像训练深度学习网络，对不同异常状况图像进行检测；通过对训练图像数据集进行语义标注，获取包括路面抛洒物、裂缝、坑槽和车辙在内的多类图像对应的训练数据集；通过搭建基于语义学习的深度学习网络，进行路面异常状况图像检测，同时，调整训练参数及优化训练数据集。
4.根据权利要求2所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，所述参数训练包括深度学习网络框架训练和测试，基于混淆矩阵的模型效果评估，以及多源环境因素融合分析和参数优化。
5.根据权利要求1所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，基于特征提取与非线性优化的多源信道图像拼接融合技术包括基于构造特征的图像特征点提取方法，基于特征点的图像配准方法，以及基于非线性优化的图像间偏移修复方法。
6.根据权利要求5所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，所述基于特征点的图像配准方法的具体内容为：
通过随机抽样一致性算法，检测连续路面图像中构造特征，并计算特征点之间的匹配度，基于计算的匹配度采用随机抽样和迭代的方法，建立所采集路面图像序列之间的投影变换矩阵，进而实现图像配准。
7.根据权利要求1所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，采集高频轻量化路面状态数据，建立时空完备的路面损坏数据集范式的具体内容为：
通过在多辆检测车上配备轻量化路面质量检测设备，高频实测某路段内不同类型的城市道路路面及环境数据，并呈一定周期高频更新各项检测数据，利用空间数据融合与时间序列追溯的方法，执行多频次、多区域数据的损坏跟踪与路面病害全息拼接，建立时空完备的路面损坏数据集范式。
8.根据权利要求1所述的基于多源特征融合的路面损伤数据时空分析方法，其特征在于，基于时间位置标签进行环境参数信息的匹配统计的具体内容为：
获取移动终端用户众筹信息，建立多源环境信息采集手段，并基于时间位置标签进行环境参数信息的匹配统计；利用大数据分析算法，基于大量路面损坏自然衰变数据，挖掘各因素的交叉影响作用，建立同步刻画时间维度动态过程与多致因叠加影响的大数据分析方法理论；搭建中观病害级的路面损坏衰变预估模型，实现对路面病害的发育态势准确研判，基于自然路面状况时空数据集深入剖析各类病害演化机理，分析不同病害类型在哪些发育阶段与哪些发育条件下最容易恶化和进一步发展。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110074435.0A CN112800913B (zh) | 2021-01-20 | 2021-01-20 | 一种基于多源特征融合的路面损伤数据时空分析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110074435.0A CN112800913B (zh) | 2021-01-20 | 2021-01-20 | 一种基于多源特征融合的路面损伤数据时空分析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112800913A CN112800913A (zh) | 2021-05-14 |
| CN112800913B true CN112800913B (zh) | 2022-06-28 |
Family
ID=75810714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110074435.0A Active CN112800913B (zh) | 2021-01-20 | 2021-01-20 | 一种基于多源特征融合的路面损伤数据时空分析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112800913B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113537016B (zh) * | 2021-07-06 | 2023-01-06 | 南昌市微轲联信息技术有限公司 | 一种道路巡查中道路损伤自动检测预警的方法 |
| CN113705856B (zh) * | 2021-07-16 | 2023-10-03 | 北京电子工程总体研究所 | 一种基于多元质量特性动态监控的维修策略优化方法 |
| CN113963285B (zh) * | 2021-09-09 | 2022-06-10 | 山东金宇信息科技集团有限公司 | 一种基于5g的道路养护方法及设备 |
| CN113554131B (zh) * | 2021-09-22 | 2021-12-03 | 四川大学华西医院 | 医学图像处理和分析方法、计算机设备、系统和存储介质 |
| CN113962301B (zh) * | 2021-10-20 | 2022-06-17 | 北京理工大学 | 一种多源输入信号融合的路面质量检测方法及系统 |
| CN114913477A (zh) * | 2022-05-06 | 2022-08-16 | 广州市城市规划勘测设计研究院 | 城市管线防挖掘预警方法、装置、设备及介质 |
| CN115762155B (zh) * | 2022-11-14 | 2024-03-22 | 东南大学 | 一种高速公路路面异常监测方法和系统 |
| CN116051541B (zh) * | 2023-03-06 | 2023-07-18 | 杭州深度视觉科技有限公司 | 基于频闪光源的轴承端面平缓磨伤检测方法及装置 |
| CN116910629B (zh) * | 2023-09-13 | 2023-12-15 | 四川公路桥梁建设集团有限公司 | 一种基于大数据的路面检测方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507170A (zh) * | 2017-07-28 | 2017-12-22 | 中国民航大学 | 一种基于多尺度图像信息融合的机场跑道裂缝检测方法 |
| CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109255743A (zh) * | 2018-04-17 | 2019-01-22 | 上海城建养护管理有限公司 | 养护综合管理系统 |
| CN113780312B (zh) * | 2019-11-21 | 2024-04-12 | 同济大学 | 一种高速公路路面状况检测系统 |
| CN112183593A (zh) * | 2020-09-16 | 2021-01-05 | 太原理工大学 | 一种基于dssd算法的道路损伤检测方法 |
-
2021
- 2021-01-20 CN CN202110074435.0A patent/CN112800913B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507170A (zh) * | 2017-07-28 | 2017-12-22 | 中国民航大学 | 一种基于多尺度图像信息融合的机场跑道裂缝检测方法 |
| CN110569704A (zh) * | 2019-05-11 | 2019-12-13 | 北京工业大学 | 一种基于立体视觉的多策略自适应车道线检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112800913A (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112800913B (zh) | 一种基于多源特征融合的路面损伤数据时空分析方法 | |
| Du et al. | Pavement distress detection and classification based on YOLO network | |
| Arya et al. | Transfer learning-based road damage detection for multiple countries | |
| CN111476781B (zh) | 一种基于视频语义分割技术的混凝土裂缝识别方法和装置 | |
| CN112800911B (zh) | 一种路面损伤快速检测及自然数据集构建方法 | |
| CN106228808B (zh) | 基于浮动车时空网格数据的城市快速路旅行时间预测方法 | |
| Li et al. | Automatic recognition and analysis system of asphalt pavement cracks using interleaved low-rank group convolution hybrid deep network and SegNet fusing dense condition random field | |
| Lei et al. | Automated pavement distress detection and deterioration analysis using street view map | |
| CN111784657A (zh) | 一种基于数字图像的水泥路面病害自动识别的系统及方法 | |
| Ma et al. | A real-time crack detection algorithm for pavement based on CNN with multiple feature layers | |
| Maniat et al. | Deep learning-based visual crack detection using Google Street View images | |
| Ren et al. | YOLOv5s-M: A deep learning network model for road pavement damage detection from urban street-view imagery | |
| Ma et al. | A multi-defect detection system for sewer pipelines based on StyleGAN-SDM and fusion CNN | |
| CN115690561B (zh) | 一种路面异常监测方法 | |
| CN110991523A (zh) | 一种面向无人驾驶车辆检测算法性能的可解释性评估方法 | |
| CN116539004A (zh) | 一种采用无人机测绘的通信线路工程勘察设计方法与系统 | |
| Guerrieri et al. | Flexible and stone pavements distress detection and measurement by deep learning and low-cost detection devices | |
| Xu et al. | UAV-based bridge geometric shape measurement using automatic bridge component detection and distributed multi-view reconstruction | |
| CN115294541A (zh) | 一种局部特征增强Transformer道路裂缝检测方法 | |
| Lin et al. | Optimal CNN-based semantic segmentation model of cutting slope images | |
| CN114419421A (zh) | 一种基于影像的地铁隧道裂缝识别系统及方法 | |
| CN117152617A (zh) | 一种城市洪涝识别方法及系统 | |
| CN116052110B (zh) | 一种路面标线缺损智能定位方法及系统 | |
| Baduge et al. | Assessment of crack severity of asphalt pavements using deep learning algorithms and geospatial system | |
| Yu et al. | Adaptive vehicle extraction in real-time traffic video monitoring based on the fusion of multi-objective particle swarm optimization algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |