CN114048835A - 一种基于时序卷积网络的道路基层应变分析方法 - Google Patents

一种基于时序卷积网络的道路基层应变分析方法 Download PDF

Info

Publication number
CN114048835A
CN114048835A CN202110877658.0A CN202110877658A CN114048835A CN 114048835 A CN114048835 A CN 114048835A CN 202110877658 A CN202110877658 A CN 202110877658A CN 114048835 A CN114048835 A CN 114048835A
Authority
CN
China
Prior art keywords
data
strain
time sequence
road
convolution network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110877658.0A
Other languages
English (en)
Inventor
薛忠军
宋波
王佳妮
赵世博
吴雨晗
徐子金
刘卓
侯越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center)
Beijing University of Technology
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center)
Beijing University of Technology
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center), Beijing University of Technology, Beijing University of Civil Engineering and Architecture filed Critical Beijing Road Engineering Quality Supervision Station (beijing Highway Engineering Quality Inspection Center)
Priority to CN202110877658.0A priority Critical patent/CN114048835A/zh
Publication of CN114048835A publication Critical patent/CN114048835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于时序卷积网络的道路基层应变分析方法,本发明先对自动化道路监测系统获取的长期监测数据进行原始数据预处理,在此基础上采用皮尔逊相关性分析,以达到输入数据降维的目的,从而提升模型的预测精度,最后挑选出合适时间段的数据一起输入到时序卷积网络模型进行训练,学习监测数据特征,针对每个时间段之间并不连续的问题,采用权重自迁移的训练方式,使得历史信息特征在下一时间端内相对更加明显,更易被模型学习,有助于提高模型的记忆能力,减少过拟合。此外,本发明不仅可以节约人工和时间成本,还可以为后续的道路养护工作奠定基础。

Description

一种基于时序卷积网络的道路基层应变分析方法
技术领域
本发明属于时序数据分析领域,涉及一种基于时序卷积网络的道路基层应变分析方法。本发明应用于利用多传感器融合的道路监测系统获取的路面结构监测数据进行道路基层应变分析。
背景技术
近二十年来,我国公路网已经逐步建设成型,未来的公路基建局势已经从“建设”渐渐转化为“养护”。裂缝、坑槽等病害在一定程度上影响行车的安全性和舒适性,因此,准确的基层应变分析结果可以最大程度上避免道路将来发生严重的结构性损坏,以及为后续的道路养护管理工作提供可靠、有效的技术支持。
由于缺少足够的基础理论和技术支撑,目前传统的基层应变预测分析方法一般是基于长期监测的应力、应变数据本身,进行数理统计的回归分析,计算过程繁琐、耗时长、且精度很多时候难以保证。受益于人工智能技术的发展,机器学习方法被逐渐应用于监测大数据分析领域,能够相对快速高效地对获得的数据进行预测和分析,节约时间,降低成本。
目前基于深度学习的道路基层应变预测分析经常面临输入数据维度大,以及监测数据的时间不连续等问题,进行数据的相关性分析来对输入端进行数据降维,并且在训练过程中采用“权重自迁移”可以带来可观的性能提升,提高准确性和稳定性,并减少过度拟合。
因此,本发明提出了一种基于时序卷积网络的道路基层应变分析方法。本发明首先将道路监测系统收集的传感器数据进行原始数据预处理得到可以输入网络进行训练的数据集,再对数据集经过特征相关性分析求得皮尔逊相关性系数,从而去掉相关性系数较小的特征数据达到数据降维的目的,最后将最终的数据集用时序卷积神经网络进行训练,从而对道路基层应变数据进行预测分析,以预先了解基层应变变化趋势,为之后的道路养护工作奠定基础。
发明内容
本发明的目的在于通过一种基于时序卷积网络的道路基层应变预测分析方法,对传感器获取的从2012年到2020年长达八年的路面监测数据进行分析,长期监测数据包括沥青应变、埋入式三向应变、土层应变、土压力、温度、渗透压、土壤水分,从而根据合适的影响因素对基层应变进行预测,且获取未来一段时间内的基层应变变化趋势。
一、时序卷积网络
本发明采用的时序卷积网络(Temporal Convolutional Network,TCN)由具有相同输入和输出长度的扩张的、因果的1D卷积层组成。用膨胀因果卷积层代替传统的因果卷积层,从而较好的捕捉更长的时间依赖信息。时序卷积网络由两部分组成:膨胀因果卷积层和残差链接,如图1所示。膨胀因果卷积层将卷积核根据不同的膨胀因子来获取更大的感受野,将输出端获取更长的依赖关系且减少网络层数;残差模块使得网络可以以跨层的方式传递信息,将解决深层网络出现梯度消失的问题。
本发明采用的技术方案为一种基于时序卷积网络的道路基层应变预测分析方法,包括原始监测数据预处理、特征相关性分析、数据集制作、时序卷积网络基层应变预测四大部分,如图2所示,具体步骤如下:
步骤一:原始监测数据预处理;
首先,将各种传感器获取的道路监测数据进行整合。
其次,根据道路监测系统获取数据的时间跨度,选取合适时间段的数据之后进行删除数据重复值和跃变值,并将缺失值补充完毕,以防监测数据训练效果不佳。
最后,根据时序数据的特点,将所有数据点之间的时间间隔统一为1小时。
步骤二:特征相关性分析;
第一步,将处理过后每个传感器获取的前三个数据点进行相关性分析,根据皮尔逊相关性系数衡量特征之间的相关性。第二步,由于土层应变的相关性不大将其去除。
步骤三:数据集制作;
对沥青应变、渗透压、土壤水分和基层三向应变的所有监测数据点进行取平均值,则温度按照温度传感器的埋设位置,将划分为面层、基层和土基三部分进行取平均值。最终把监测数据集按照训练集和测试集比例约为8:2进行划分。
步骤四:时序卷积网络基层应变预测;
时序卷积网络由13层一维卷积层构成。一维卷积层的卷积核尺寸均为2,个数分别为64,膨胀因子为1、2、4、8、16、32。每层均使用ReLU激活函数,后接一个SpatialDropout1D层,衰减率设置为0.05。将预处理和降维后的数据集作为时序卷积网络的输入,时间步长设为8。
本发明可以利用自动化道路监测系统长期获取的路面传感器监测数据,通过深度学习方法,对长期且多维度的道路监测数据进行分析,从而对道路基层应变进行预测分析,同时将每一个时间段训练之后的学习权重迁移至下一个时间段的训练中,提高预测模型的准确性和稳定性,并减少过度拟合。此外,利用本发明可以有效减少人工成本和时间损耗,经过处理的数据可以为后续监测数据分析和挖掘、预测模型的训练奠定基础。
附图说明
图1为时序卷积网络结构示意图
图2为方法实施步骤图
图3为相关性分析热图
图4为输入数据集描述图
图5为时序卷积网络预测效果图
具体实施方式
本发明所采用的原始路面传感器监测数据集为自动化道路监测系统所获取的数据。具体实施步骤如下:
(1)原始监测数据预处理
由于监测数据传输时数据丢失、采集的设备的暂时性故障等系统性误差的问题,原始数据会出现重复、缺失、跃变等问题对网络预测精度造成很大影响。因此,将传感器获取到的原始数据进行删除重复值和跃变值,补充缺失值。为了保证监测数据的时间连续性,我们选取了合适的九个时间段的数据,并将时间间隔统一为一小时,这样将更符合时序数据的特点,便于模型训练。
(2)特征相关性分析
基于三向应变计监测的数据是基层应变值,它是预测目标数据的实测值。该监测系统获得到的所有数据包括很多特征,探究这些特征之间的联系以及和预测目标之间的关联度极为关键。本发明是初步设想通过沥青层应变、土压力、渗压、含水量、温度、土基层应变这几个因素来预测基层应变,如果可以正确地减少一些特征数量将会有助于模型进行大量运算,例如提高精度、降低过拟合的风险等。因此,我们有必要对这些数据特征进行相关性分析。首先,由于每个传感器的监测位置众多,从而导致数据维度大,仅选取每个传感器获取的前三个监测点的数据进行相关性分析;然后,利用皮尔逊相关性系数衡量特征之间的相关性,得相关性分析热图,如图3所示。皮尔逊相关性系数数值越接近1或-1,越具有正负相关性。最后,根据分析结果显示土层应变与其他特征的相关性很小,将其从输入端去除。
(3)数据集制作
为满足监督学习的需要,将路面监测数据集按照训练集和测试集比例约为8:2进行划分。输入数据集描述如图4所示。在训练过程中为了监测模型的训练效果,从训练集中划分20%作为验证集。
(5)时序卷积网络基层应变预测分析
本发明采用的时序卷积网络利用其膨胀因果卷积结构扩大卷积核的感受野,从而对历史数据的长期依赖关系进行捕捉并学习特征之间的映射关系;利用其残差结构将深度网络加入跨层连接的恒等映射,解决深层网络训练发生梯度消失的问题。该发明将具有膨胀性质的因果卷积层代替传统的因果卷积层,将深层网络运用残差模块连接,从而较好的保留长期依赖关系和历史特征信息,改善模型训练效果,提高预测模型鲁棒性和精度。
时序卷积网络由具有相同输入和输出长度的扩张的、因果的1D卷积层组成,一共有13层。一维卷积核尺寸均为2,个数分别为64,每层均使用ReLU激活函数,两个一维卷积层后接一个跨层连接实现残差模块。此时,每个卷积层的卷积核根据不同的膨胀因子增大其感受野以学得更远的输入信息,减少网络复杂程度,随后在残差模块中进行跨层传递信息。最后在输出端将依次获得的预测信息作为输出。最终预测效果如图5所示。
本发明使用的ReLU函数表示如下:
Figure BDA0003190921060000041
在时序卷积网络对路面监测数据的训练过程中,将输入多维数据与目标数据共同训练,从中不断学习数据特征和数据之间的物理关系,优化目标为最小化预测值与实测值的误差。以自适应学习率调整算法Adadelta(Adaptive Learning Rate Method)作为反向传播过程中梯度下降的优化算法,该算法的优势在于能够自适应调整梯度下降时的学习速率,而不需要手动设置。
对于学习方法,使用Adam方法对模型参数进行优化,Adam方法是一种简单、计算效率高的随机目标函数梯度优化算法。该方法在处理稀疏梯度和处理非平稳目标方面具有两个优势。由于Adam可以很好地适用于广泛的非凸优化问题,所以在本发明中使用了它。
Adam保持过去的平均平方梯度vt在指数衰减的趋势。它也有一个指数衰减趋势的过去梯度mt的平均值,并在误差面有一个平坦的最小值的偏好。然后,计算过去的衰减平均值和过去的平方梯度mt和vt相应地如下:
mt=β1mt-1+(1-β1)gt (2)
Figure BDA0003190921060000051
其中mt和vt分别是梯度的第一阶矩(均值)和第二阶矩(无中心方差)的估计值。该算法保持多维数据随机梯度下降保持单一的学习率,更新时序卷积网络中的所有权重。
由于mt和vt初始化为0的向量,它们偏向于0,这些偏向可以计算为:
Figure BDA0003190921060000052
Figure BDA0003190921060000053
然后使用这些t并更新参数为:
Figure BDA0003190921060000054
β1默认值为0.9,β2的默认值为0.999,∈的默认值为10-8。每个epoch是神经网络训练一次遍历整个数据集的全过程,包括向前和向后。在本发明中学习率为0.002。
经观测,随着迭代次数的增加,损失值在不断下降,训练100代后,所使用的时序卷积网络的预测值可以很好地与实测值进行拟合。

Claims (3)

1.一种基于时序卷积网络的道路基层应变分析方法,其特征在于:利用自动化道路监测系统获取路面历史监测数据,结合深度学习方法进行关键数据预测,具体步骤如下:
步骤一:原始监测数据预处理;
首先,将各种传感器获取的道路监测数据进行整合;
其次,根据道路监测系统获取数据的时间跨度,选取时间段的数据之后进行删除数据重复值和跃变值,并将缺失值补充完毕,以防监测数据训练效果不佳;
最后,将所有时序数据的数据点之间的时间间隔统一为1小时;
步骤二:特征相关性分析;
第一步,将处理过后每个传感器获取的前三个数据点进行相关性分析,根据皮尔逊相关性系数衡量特征之间的相关性;第二步,由于土层应变的相关性不大将其去除;
步骤三:数据集制作;
对沥青应变、渗透压、土壤水分和基层三向应变的所有监测数据点进行取平均值,则温度按照温度传感器的埋设位置,将划分为面层、基层和土基三部分进行取平均值;最终把监测数据集按照训练集和测试集比例为8:2进行划分;
步骤四:时序卷积网络基层应变预测;
时序卷积网络由13层一维卷积层构成;一维卷积层的卷积核尺寸均为2,个数分别为64,膨胀因子为1、2、4、8、16、32;每层均使用ReLU激活函数,后接一个SpatialDropout1D层,衰减率设置为0.05;将预处理和降维后的数据集作为时序卷积网络的输入,时间步长设为8。
2.根据权利要求1所述的一种基于时序卷积网络的道路基层应变分析方法,其特征在于,在时序卷积网络对路面监测数据的训练过程中,将输入多维数据与目标数据共同训练,学习数据特征和数据之间的物理关系,优化目标为最小化预测值与实测值的误差;以自适应学习率调整算法Adadelta作为反向传播过程中梯度下降的优化算法。
3.根据权利要求1所述的一种基于自动化道路监测系统的深度学习的应变分析和预测方法,其特征在于,采用时序卷积网络在原始模型进行以下改进:(1)膨胀因果卷积代替因果卷积;(2)添加残差连接的操作,防止学习训练过程出此梯度消失;(3)两层一维卷积层后接一个SpatialDropout1D层;(4)除最后的输出层使用Linear激活函数之外其他层使用ReLU激活函数。
CN202110877658.0A 2021-08-01 2021-08-01 一种基于时序卷积网络的道路基层应变分析方法 Pending CN114048835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110877658.0A CN114048835A (zh) 2021-08-01 2021-08-01 一种基于时序卷积网络的道路基层应变分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110877658.0A CN114048835A (zh) 2021-08-01 2021-08-01 一种基于时序卷积网络的道路基层应变分析方法

Publications (1)

Publication Number Publication Date
CN114048835A true CN114048835A (zh) 2022-02-15

Family

ID=80204594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110877658.0A Pending CN114048835A (zh) 2021-08-01 2021-08-01 一种基于时序卷积网络的道路基层应变分析方法

Country Status (1)

Country Link
CN (1) CN114048835A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143934A (zh) * 2019-12-26 2020-05-12 长安大学 一种基于时间卷积网络的结构变形预测方法
CN111159149A (zh) * 2019-12-13 2020-05-15 国网浙江省电力有限公司紧水滩水力发电厂 一种基于三维卷积神经网络的河流流量预测方法
CN111209883A (zh) * 2020-01-13 2020-05-29 南京大学 一种基于多源运动特征融合的时序自适应视频分类方法
CN111860951A (zh) * 2020-06-12 2020-10-30 北京工业大学 一种基于动态超图卷积网络的轨道交通客流预测方法
CN112767344A (zh) * 2021-01-16 2021-05-07 北京工业大学 一种基于车载摄像的耦合传统和机器学习的病害增强方法
CN112949828A (zh) * 2021-03-04 2021-06-11 湖南大学 一种基于图学习的图卷积神经网络交通预测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111159149A (zh) * 2019-12-13 2020-05-15 国网浙江省电力有限公司紧水滩水力发电厂 一种基于三维卷积神经网络的河流流量预测方法
CN111143934A (zh) * 2019-12-26 2020-05-12 长安大学 一种基于时间卷积网络的结构变形预测方法
CN111209883A (zh) * 2020-01-13 2020-05-29 南京大学 一种基于多源运动特征融合的时序自适应视频分类方法
CN111860951A (zh) * 2020-06-12 2020-10-30 北京工业大学 一种基于动态超图卷积网络的轨道交通客流预测方法
CN112767344A (zh) * 2021-01-16 2021-05-07 北京工业大学 一种基于车载摄像的耦合传统和机器学习的病害增强方法
CN112949828A (zh) * 2021-03-04 2021-06-11 湖南大学 一种基于图学习的图卷积神经网络交通预测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PRADEEP HEWAGE等: "Temporal convolutional neural (TCN) network for an effective weather forecasting using time-series data from the local weather station", 《SPRINGER》, 23 April 2020 (2020-04-23), pages 16453, XP037265545, DOI: 10.1007/s00500-020-04954-0 *

Similar Documents

Publication Publication Date Title
CN114048790B (zh) 一种基于耦合双向lstm和卷积结构网络的道路基层应变分析方法
CN113777496B (zh) 基于时间卷积神经网络的锂离子电池剩余寿命预测方法
CN110866314B (zh) 多层双向门控循环单元网络的旋转机械剩余寿命预测方法
CN111967688B (zh) 一种基于卡尔曼滤波器与卷积神经网络的电力负荷预测方法
CN112926273A (zh) 一种多元退化设备剩余寿命预测方法
CN112070322B (zh) 基于长短期记忆网络的高压电缆线路运行状态预测方法
CN114282443B (zh) 基于mlp-lstm有监督联合模型的剩余使用寿命预测方法
CN109471698B (zh) 云环境下虚拟机异常行为检测系统和方法
CN113128113A (zh) 一种基于深度学习和迁移学习的贫乏信息建筑负荷预测方法
CN114266278B (zh) 一种基于双重注意力网络的设备剩余使用寿命预测方法
CN112668775A (zh) 一种基于时序卷积网络算法的空气质量预测方法
CN115545321A (zh) 一种制丝车间工艺质量在线预测方法
CN111325403A (zh) 一种公路隧道机电设备剩余寿命预测方法
CN110851897B (zh) 一种多因素关联下的渡槽应力应变预测方法
CN114218872A (zh) 基于dbn-lstm半监督联合模型的剩余使用寿命预测方法
CN115510748A (zh) 基于变分模态分解和cnn-gru的滑坡位移预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
CN116662920B (zh) 钻爆法施工装备异常数据辨识方法、系统、装备及介质
CN117521512A (zh) 一种基于多尺度贝叶斯卷积Transformer模型的轴承剩余使用寿命预测方法
CN113159395A (zh) 一种基于深度学习的污水处理厂进水流量预测方法及系统
CN114048835A (zh) 一种基于时序卷积网络的道路基层应变分析方法
CN116244596A (zh) 基于tcn和注意力机制的工业时序数据异常检测方法
CN115204362A (zh) 一种机械设备剩余寿命区间预测方法
Yang et al. Remaining Useful Life Prediction Based on Stacked Sparse Autoencoder and Echo State Network
CN116906025B (zh) 一种采油工程生产异常诊断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination