CN114332722A - 基于视频数据的混合冰雪路面附着系数实时估计方法 - Google Patents
基于视频数据的混合冰雪路面附着系数实时估计方法 Download PDFInfo
- Publication number
- CN114332722A CN114332722A CN202111668767.8A CN202111668767A CN114332722A CN 114332722 A CN114332722 A CN 114332722A CN 202111668767 A CN202111668767 A CN 202111668767A CN 114332722 A CN114332722 A CN 114332722A
- Authority
- CN
- China
- Prior art keywords
- road surface
- shadow
- road
- model
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及基于视频数据的混合冰雪路面附着系数实时估计方法，步骤为：采集包含混合冰雪路面的历史监控视频数据及其对应的环境参数，以及不同的路面阴影图像，构建混合冰雪路面道路历史视频数据及其对应的环境参数数据集、路面阴影图像数据集；离线训练，分别得到背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型，构建路面状态识别系统。本发明基于机器视觉不仅实现了对典型冰雪路面附着系数的估计，同时对多种状态混合的冰雪路面进行准确分割，估计其附着系数，保证了估计的准确性和实时性，对提高预警的安全性具有重大意义。
Description
技术领域
本发明属于图像处理技术领域，涉及一种基于视频数据的混合冰雪路面附着系数实时估计方法。
背景技术
我国北方的公路交通普遍受到冰雪天气的危害，冰雪天气下恶劣的行车环境给冬季行车安全带来了巨大的安全隐患。研究表明，每年约15％～30％的交通事故是由于冬季路面积雪结冰造成的，其中例如“黑冰”路面较难识别，对行驶车辆造成一定的安全隐患，因此准确实时的估计出冰雪路面的附着系数对提高行车安全性具有重大意义，同时还能提升智能系统规划与决策的准确性。
目前，路面附着系数的估计方法主要有三种：
第一种是通过传感器(声、光、温度传感器等)获取所需的路面数据，建立传感器数据与路面附着系数的关系来进行估计。此类方法探测范围广，但传感器价格昂贵且易受环境影响。
第二种是基于动力学响应的估算方法，根据系统响应和数学模型进行估计。采用动力学建模的方法进行路面附着系数估计虽然准确可靠，但是由于模型较为复杂，大量参数难以准确获取，难以保证实时性，且基于动力学估计的方法需车辆轮胎与路面接触才能估计，这样只能估计当前与轮胎接触的路面的附着系数，而不能对未来即将经过的路面进行路面附着系数预测，也就不能及时对车辆进行干预和控制。
第三种是基于机器视觉传感器借助深度学习手段的直接估算路面附着系数。而基于机器视觉的方法不依赖于车辆动力学模型，辨识快速，无需满足一定的激励条件，且辨识结果有一定的超前预测性。识别方法只需一个分类识别模型就能进行路面状态识别，但路面图像中包含多个非线性数据，现有的卷积神经网络中泛化能力不足，这会导致路面状态识别准确率不高。此外，阴影是路面图像的常见干扰因素之一，路面阴影会改变路面图像特征，这容易导致基于机器视觉的方法辨识错误。
发明内容
本发明的目的是提供一种基于视频数据的混合冰雪路面附着系数实时估计方法，构建了一种路面状态检测系统，将监控视频和实时车载视频输入系统中，得到实时的路面状态图像，从而估计出冰雪路面的附着系数。
本发明的技术方案是：基于视频数据的混合冰雪路面附着系数实时估计方法，包括如下步骤：
S1：构建混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集、实时车载视频数据及其对应的环境参数数据集和路面阴影图像数据集；
S2：离线训练，分别得到背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型，构建路面状态检测系统；
S3：在线识别，将各个站点监控设备录制的实时监控视频传输至路面状态检测系统1中，输出路面状态检测结果1并保存；
S4：车载摄像头实时拍摄前方道路视频，传输至路面状态检测系统2中，输出路面状态检测结果2，利用路面状态检测结果1修正路面状态检测结果2，得到最终的路面状态检测结果3，从而达到实时检测冰雪路面附着系数的目的；
S5：根据路面类型与路面附着系数映射关系，得到车辆前方的冰雪路面附着系数的实时估计值。
步骤S1中的冰雪路面包括：松雪路面、雪板路面、雪浆路面、冰板路面、半融化冰板路面、“黑冰”路面六种路面类型；另外环境参数包括：太阳辐射强度、时刻、路面温度、空气温度、降水量、降雪量。采集方式为：利用路面监控设备、车载摄像头采集混合冰雪路面视频图像数据集，同时利用气象站采集不同视频图像对应的环境参数，利用手持相机及网络爬虫等方式采集不同路面状态下的阴影数据。
步骤S2具体包括以下步骤：
S2-1、利用混合高斯背景建模算法得到背景提取模型，使用背景提取模型从监控视频中获取静态背景，为路面区域分割做准备，混合高斯背景建模算法具体步骤如下：
Step1：采用多个单高斯模型对视频图像中每个像素点进行表述，其相应的数学表达式定义像素点的概率如式(1-1)所示：
p(x)＝{[ωi(x,y,t),μi(x,y,t),σi(x,y,z)2]}(i＝1,2,…,N) (1-1)
其中N为混合高斯模型中单高斯模型的个数，取值为3-5之间，ωi(x,y,t)为每个单高斯模型的权重系数，且满足式(1-2)；μi(x,y,t)为这个高斯分布的均值，σi(x,y,z)2为这个高斯分布的协方差。
Step2：为了使得每个新像素值I(x,y,t)匹配到合适的高速分布模型，将其与当前N个模型按式(1-3)进行比较；
其中，设
对于新的视频帧中满足(1-3)式子的像素点会被判定为背景，不满足的则被认为噪声或运动的车辆；
Step3：若像素点被判定为背景，则需要对各模式的权值系数进行更新，新的权值为式(1-4)；
ωi(x,y,t)＝(1-α)ωi(x,y,t-1)+α (1-4)
其中，α∈(0,1)为系数更新过程中的学习因子，即更新的速度；
Step4：分别按照式(1-5)、式(1-6)对各模式的均值与方差进行更新；
μi(x,y,t)＝(1-p)μi-1(x,y,t)+pI(x,y,t) (1-5)
σi(x,y,t)2＝(1-p)σi-1(x,y,t)2+p(I(x,y,t)-μi(x,y,t))2 (1-6)
其中，ρ为均值和方差的学习率，反应的是高斯分布参数的收敛速度，可由α计算得到式(1-7)；
Step5：若新像素点不满足任何高斯模型的匹配条件，则替换权重最小的高斯模型，即当前像素值为该模式的均值，权值为较小值，标准差为初始较大值；
Step6：根据ωi(x,y,t)/σi(x,y,t)降序排列各模式的顺序，将权值大标准差小的模型排在前列；
Step7：最后取前N个模型作为视频建模后背景进行组合，其中参数T为背景所占的比例，ωk为第k个高斯分布的权值大小，参数N的定义满足式(1-8)；
S2-2、对混合冰雪路面道路历史监控视频数据集进行标注，标注出路面区域和非路面区域，建立道路路面区域分割数据集，用于训练基于注意力机制的3D CNN(卷积神经网络)，即将3D CNN与双通道CBAM注意力机制模块融合，双通道注意力机制模块包括通道注意力机制和空间注意力机制，从而得到路面区域分割模型。由于需将像素点分为路面区域和非路面区域两大类，所以选用两个神经元做卷积，并选用Softmax函数计算概率，将其输入交叉熵进行反向传播训练，最后输出二值化的路面区域分割结果。
S2-3、利用路面阴影数据集训练基于阴影DSC特征的阴影检测算法，以检测路面的阴影部分，在其检测到二值化标记掩膜的基础上，构建两个生成对抗网络，一个生成对抗网络用于实现含阴影的路面在阴影掩膜的指导下至消除阴影路面的转换，另一个生成对抗网络用于无阴影的路面在同一阴影掩膜的指导下至含阴影路面图像的重构，生成路面阴影检测与消除模型，最终实现对含阴影路面图像的阴影消除。
S2-4、对混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集进行像素级的标注，构建路面状态数据集，同时利用数据增强技术对数据集进行扩增，训练多模块卷积神经网络，即利用路面状态数据集训练基于残差结构的3D CNN(卷积神经网络)，环境参数用于训练全连接神经网络，最后由全连接层将基于残差结构的3D CNN和全连接神经网络进行连接，从而得到路面状态识别模型。
步骤S3具体包括以下步骤：
S3-1、将各站点监控设备实时录制的监控视频传输至路面状态检测系统1中；
S3-2、通过背景提取模型实现对视频静态背景的提取；
S3-3、从所提取的背景中加载路面分割模型完成路面区域的分割，将分割后的路面区域视频帧保存至本地；
S3-4、路面阴影检测与消除模型对路面区域数据中出现的阴影进行检测并消除，并将消除阴影后的路面区域视频帧保存至本地；
S3-5、路面状态识别模型加载出消除阴影的路面区域视频帧，对其状态进行识别，并用不同深度的颜色表示不同的路面状态，输出所监测路面段的状态图；
S3-6、保存输出的路面状态检测结果1。
步骤S4具体包括以下步骤：
S4-1、将车载摄像头实时拍摄的前方道路视频传输至路面状态检测系统2中；
S4-2、通过背景提取模型实现对视频静态背景的提取；
S4-3、从所提取的背景中加载路面分割模型完成路面区域的分割，将分割后的路面区域视频帧保存至本地；
S4-4、路面阴影检测与消除模型对路面区域视频帧中出现的阴影进行检测并消除，并将消除阴影后的路面区域视频帧保存至本地；
S4-5、路面状态识别模型加载出消除阴影的路面区域视频帧，对其状态进行识别，并用不同深度的颜色表示不同的路面状态，输出路面状态检测结果2；
S4-6、利用路面状态检测结果1对路面状态检测结果2进行修正，得到最终的路面状态检测结果3。
步骤S5中的路面类型与路面附着系数映射关系具体如表1-1所示。
表1-1不同路面状态附着系数
本发明基于视频数据的混合冰雪路面附着系数实时估计方法，基于背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型实现对冰雪路面附着系数的估计，同时分别将监控设备和车载摄像头采集的视频录像加载至路面状态检测系统中，修正路面状态检测结果，提高了冰雪路面附着系数估计的准确性。
与现有技术相比，本发明具有以下有益效果：
1)本发明充分利用了监控设备和车载摄像头实时获取的视频，创新性的提出了基于建立的路面状态检测系统，利用监控设备拍摄的监控路段路面状态检测结果来修正车载摄像头拍摄的前方路面状态检测结果，对典型冰雪路面中较难检测的“黑冰”路面也能准确检测，提高了混合冰雪路面状态的检测准确性和实时性。
2)本发明中的路面状态识别模型考虑了环境参数对路面状态识别结果的影响，将基于残差结构的3D CNN(卷积神经网路)和全连接神经网络相结合，组成了多模块神经网络对路面状态进行分类，进一步提高了混合冰雪路面状态的检测准确性。
附图说明
图1为本发明基于视频数据的混合冰雪路面附着系数实时估计方法的流程图；
图2为路面状态检测系统图；
图3为3D CNN(卷积神经网络)的架构；
图4为路面阴影检测与消除流程图；
图5为残差结构示意图；
图6为多模块卷积神经网络示意图。
具体实施方式
下面结合实施例和附图对本发明进行详细说明。本发明保护范围不限于实施例，本领域技术人员在权利要求限定的范围内做出任何改动也属于本发明保护的范围。
本发明基于视频数据的混合冰雪路面附着系数实时估计方法，如图1所示，包括如下步骤：
S1：构建混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集、实时车载视频数据及其对应的环境参数数据集和路面阴影图像数据集；
S2：离线训练，分别得到背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型，构建路面状态检测系统，如图2所示；
S3：在线识别，将各个站点监控设备录制的实时监控视频传输至路面状态检测系统1中，输出路面状态检测结果1并保存；
S4：车载摄像头实时拍摄前方道路视频，传输至路面状态检测系统2中，输出路面状态检测结果2，利用路面状态检测结果1修正路面状态检测结果2，得到最终的路面状态检测结果3，从而达到实时检测冰雪路面附着系数的目的；
S5：根据路面类型与路面附着系数映射关系，得到车辆前方的冰雪路面附着系数的实时估计值。
具体实施例基于PyQt架构开发，将背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型中的核心算法整合到基于PyQt的GUI系统，从而得到路面状态检测系统。
具体实施例：
步骤一：采集包含混合冰雪路面的历史监控视频数据及其对应的环境参数，以及不同的路面阴影图像，构建混合冰雪路面道路历史视频数据及其对应的环境参数数据集、路面阴影图像数据集。利用路面监控设备、车载摄像头采集的混合冰雪路面包括：松雪路面、雪板路面、雪浆路面、冰板路面、半融化冰板路面、“黑冰”路面；利用气象站采集的环境参数包括：太阳辐射强度、时刻、路面温度、空气温度、降水量、降雪量；利用手持相机及网络爬虫等方式采集不同路面状态下的阴影数据。
步骤二：离线训练，分别得到背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型，构建路面状态识别系统。
背景提取模型由混合高斯背景建模算法得到，利用背景提取模型从监控视频中获取静态背景，为路面区域分割做准备，混合高斯背景建模算法具体步骤如下：
Step1：采用多个单高斯模型对视频图像中每个像素点进行表述，其相应的数学表达式定义像素点的概率如式(1-1)所示：
p(x)＝{[ωi(x,y,t),μi(x,y,t),σi(x,y,z)2]}(i＝1,2,…,N) (1-1)
其中N为混合高斯模型中单高斯模型的个数，取值为3-5之间，ωi(x,y,t)为每个单高斯模型的权重系数，且满足式(1-2)；μi(x,y,t)为这个高斯分布的均值，σi(x,y,z)2为这个高斯分布的协方差。
Step2：为了使得每个新像素值I(x,y,t)匹配到合适的高速分布模型，将其与当前N个模型按式(1-3)进行比较；
其中，设
对于新的视频帧中满足(1-3)式子的像素点会被判定为背景，不满足的则被认为噪声或运动的车辆；
Step3：若像素点被判定为背景，则需要对各模式的权值系数进行更新，新的权值为式(1-4)；
ωi(x,y,t)＝(1-α)ωi(x,y,t-1)+α (1-4)
其中，α∈(0,1)为系数更新过程中的学习因子，即更新的速度；
Step4：分别按照式(1-5)、式(1-6)对各模式的均值与方差进行更新；
μi(x,y,t)＝(1-p)μi-1(x,y,t)+pI(x,y,t) (1-5)
σi(x,y,t)2＝(1-p)σi-1(x,y,t)2+p(I(x,y,t)-μi(x,y,t))2 (1-6)
其中，ρ为均值和方差的学习率，反应的是高斯分布参数的收敛速度，可由α计算得到式(1-7)；
Step5：若新像素点不满足任何高斯模型的匹配条件，则替换权重最小的高斯模型，即当前像素值为该模式的均值，权值为较小值，标准差为初始较大值；
Step6：根据ωi(x,y,t)/σi(x,y,t)降序排列各模式的顺序，将权值大标准差小的模型排在前列；
Step7：最后取前N个模型作为视频建模后背景进行组合，其中参数T为背景所占的比例，参数N的定义满足式(1-8)；
接着对混合冰雪路面道路历史监控视频数据集进行标注，标注出路面区域和非路面区域，建立道路路面区域分割数据集，用于训练基于注意力机制的3D CNN(卷积神经网络)，其中基于Python搭建的3D CNN架构如图3所示，包含一个硬连线hardwired层、3个卷积层、2个池化层和1个全连接层。每个3D卷积核卷积的立方体取连续7帧，每帧大小为60×40，通过第一层提取5个通道的信息，分别是：灰度、x和y方向的梯度，x和y方向的光流；每层卷积核u×v×3(u×v表示空间维度，3表示时间维度)分别对5个通道信息进行卷积运算；利用池化层抽象化特征，经过多层的卷积和池化后，每连续7帧的输入图像都被转化为一个128维的特征向量；基于注意力机制的3D CNN即：将3D CNN与双通道CBAM注意力机制模块融合，双通道注意力机制模块包括通道注意力机制和空间注意力机制，由于需将像素点分为路面区域和非路面区域两大类，所以选用两个神经元做卷积，并选用Softmax函数计算概率，如式(1-9)，并将其输入交叉熵进行反向传播训练，最后输出二值化的路面区域分割结果。
Softmax函数计算公式为：
其中P(y＝i|x)为输入的待检测路面x在分类器中判定属于第i类路面状态的概率，K＝6为本文待检测的六种路面状态。
再利用路面阴影数据集训练基于阴影DSC特征的阴影检测算法，以检测路面的阴影部分，在其检测到二值化标记掩膜的基础上，构建两个生成对抗网络，一个生成对抗网络用于实现含阴影的路面在阴影掩膜的指导下至消除阴影路面的转换，另一个生成对抗网络用于无阴影的路面在同一阴影掩膜的指导下至含阴影路面图像的重构，生成路面阴影检测与消除模型，最终实现对含阴影路面图像的阴影消除，路面阴影检测与消除流程如图4所示。
最后对混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集进行像素级的标注，构建路面状态数据集，同时通过利用数据增强技术数据集进行扩增，训练多模块卷积神经网络，即利用路面状态数据集训练基于残差结构的3D CNN(卷积神经网络)，环境参数用于训练全连接神经网络，其中太阳辐射强度分为1-5、时刻按0.5h划分为0-23.5、路面温度、空气温度、降水量、降雪量为实时测量值，最后由全连接层将基于残差结构的3DCNN和全连接神经网络进行连接，从而得到路面状态识别模型，残差结构如图5所示，多模块卷积神经网络架构如图6所示。
步骤三：a)将各站点监控设备实时录制的监控视频传输至路面状态检测系统1中；b)通过背景提取模型实现对视频静态背景的提取；c)从所提取的背景中加载路面分割模型完成路面区域的分割，将分割后的路面区域视频帧保存至本地；d)路面阴影检测与消除模型对路面区域数据中出现的阴影进行检测并消除，并将消除阴影后的路面区域视频帧保存至本地；e)路面状态识别模型加载出消除阴影的路面区域视频帧，对其状态进行识别，并用不同深度的颜色表示不同的路面状态，输出所监测路面段的状态图；f)保存输出的路面状态检测结果1。
步骤四：a)将车载摄像头实时拍摄的前方道路视频传输至路面状态检测系统2中；b)通过背景提取模型实现对视频静态背景的提取；c)从所提取的背景中加载路面分割模型完成路面区域的分割，将分割后的路面区域视频帧保存至本地；d)路面阴影检测与消除模型对路面区域视频帧中出现的阴影进行检测并消除，并将消除阴影后的路面区域视频帧保存至本地；e)路面状态识别模型加载出消除阴影的路面区域视频帧，对其状态进行识别，并用不同深度的颜色表示不同的路面状态，输出路面状态检测结果2；f)利用路面状态检测结果1对路面状态检测结果2进行修正，得到最终的路面状态检测结果3。
步骤五：将最终得到的路面状态检测结果与路面附着系数相对应，路面类型与路面附着系数映射关系具体如表1-1所示。
表1-1不同路面状态附着系数
Claims (10)
1.一种基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，包括如下步骤：
S1：构建混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集、实时车载视频数据及其对应的环境参数数据集和路面阴影图像数据集；
S2：离线训练，分别得到背景提取模型、路面区域分割模型、路面阴影检测与消除模型、路面状态识别模型，构建路面状态检测系统；
S3：在线识别，将各个站点监控设备录制的实时监控视频传输至路面状态检测系统1中，输出路面状态检测结果1并保存；
S4：车载摄像头实时拍摄前方道路视频，传输至路面状态检测系统2中，输出路面状态检测结果2，利用路面状态检测结果1修正路面状态检测结果2，得到最终的路面状态检测结果3，从而达到实时检测冰雪路面附着系数的目的；
S5：根据路面类型与路面附着系数映射关系，得到车辆前方的冰雪路面附着系数的实时估计值；
步骤2中所述的路面状态检测系统，训练步骤如下：
S2-1、利用混合高斯背景建模算法得到背景提取模型，使用背景提取模型从监控视频中获取静态背景，为路面区域分割做准备；
S2-2、对混合冰雪路面道路历史监控视频数据集进行标注，标注出路面区域和非路面区域，建立道路路面区域分割数据集，用于训练基于注意力机制的3D CNN卷积神经网络，得到路面区域分割模型；
S2-3、利用路面阴影数据集，训练基于全局信息分析的阴影DSC特征的阴影检测算法以检测路面的阴影部分，再训练基于循环生成对抗网络消除路面阴影，由此得到路面阴影检测与消除模型；
S2-4、对混合冰雪路面道路历史监控视频数据及其对应的环境参数数据集进行像素级的标注，构建路面状态数据集，同时利用数据增强技术对数据集进行扩增，训练多模块卷积神经网络，从而得到路面状态识别模型。
2.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于：所述步骤S1中，所述冰雪路面包括：松雪路面、雪板路面、雪浆路面、冰板路面、半融化冰板路面、黑冰路面；所述环境参数包括：太阳辐射强度、时刻、路面温度、空气温度、降水量、降雪量，其中利用路面监控设备、车载摄像头采集不同冰雪路面的视频数据，同时利用气象站采集不同视频数据对应的环境参数，利用手持相机及网络爬虫等方式采集不同路面状态下的阴影数据。
3.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S2-1中所述的背景提取模型采用混合高斯背景建模算法，具体步骤如下：
Step1：采用多个单高斯模型对视频图像中每个像素点进行表述，其相应的数学表达式定义像素点的概率如式(1-1)所示：
p(x)＝*[ωi(x,y,t),μi(x,y,t),σi(x,y,z)2]}(i＝1,2,…,N) (1-1)
其中N为混合高斯模型中单高斯模型的个数，取值为3-5之间，ωi(x,y,t)为每个单高斯模型的权重系数，且满足式(1-2)；μi(x,y,t)为这个高斯分布的均值，σi(x,y,z)2为这个高斯分布的协方差；
Step2：为了使得每个新像素值I(x,y,t)匹配到合适的高速分布模型，将其与当前N个模型按式(1-3)进行比较；
其中，设
对于新的视频帧中满足(1-3)式子的像素点会被判定为背景，不满足的则被认为噪声或运动的车辆；
Step3：若像素点被判定为背景，则需要对各模式的权值系数进行更新，新的权值为式(1-4)；
ωi(x,y,t)＝(1-α)ωi(x,y,t-1)+α(1-4)
其中，α∈(0,1)为系数更新过程中的学习因子，即更新的速度；
Step4：分别按照式(1-5)、式(1-6)对各模式的均值与方差进行更新；
μi(x,y,t)＝(1-p)μi-1(x,y,t)+pI(x,y,t)(1-5)
σi(x,y,t)2＝(1-p)σi-1(x,y,t)2+p(I(x,y,t)-μi(x,y,t))2 (1-6)
其中，ρ为均值和方差的学习率，反应的是高斯分布参数的收敛速度，可由α计算得到式(1-7)：
Step5：若新像素点不满足任何高斯模型的匹配条件，则替换权重最小的高斯模型，即当前像素值为该模式的均值，权值为较小值，标准差为初始较大值；
Step6：根据ωi(x,y,t)/σi(x,y,t)降序排列各模式的顺序，将权值大标准差小的模型排在前列；
Step7：最后取前N个模型作为视频建模后背景进行组合，其中参数T为背景所占的比例，ωk为第k个高斯分布的权值大小，参数N的定义满足式(1-8)；
4.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S2-2所述的基于注意力机制的3D CNN卷积神经网络；具体为：将3D CNN与双通道CBAM注意力机制模块融合，双通道注意力机制模块包括通道注意力机制和空间注意力机制。
5.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S2-3所述的循环生成对抗网络具体为：构建两个生成对抗网络，一个生成对抗网络用于实现含阴影的路面在阴影掩膜的指导下至消除阴影路面的转换，另一个生成对抗网络用于无阴影的路面在同一阴影掩膜的指导下至含阴影路面图像的重构，生成路面阴影检测与消除模型，最终实现对含阴影路面图像的阴影消除。
6.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S2-4所述的多模块卷积神经网络具体为：路面状态数据集用于训练基于残差结构的3D CNN卷积神经网络，环境参数用于训练全连接神经网络，最后由全连接层将基于残差结构的3D CNN和全连接神经网络进行连接，得到最终的路面状态识别结果，其中基于残差结构的3D CNN具体为：以前馈神经网络为基础，增加一个跳跃式的连接以此来绕过原始结构中的一部分。
7.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S2-4中所述的数据增强技术包括：平移转换、翻转改变、数据裁剪、多比例缩放、扭曲以及使用均值文件等方法。
8.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S3具体包括以下步骤：
S3-1、将各站点监控设备实时录制的监控视频传输至路面状态检测系统1中；
S3-2、通过背景提取模型实现对视频静态背景的提取；
S3-3、从所提取的背景中加载路面分割模型完成路面区域的分割，将分割后的路面区域视频帧保存至本地；
S3-4、路面阴影检测与消除模型对路面区域数据中出现的阴影进行检测并消除，并将消除阴影后的路面区域视频帧保存至本地；
S3-5、路面状态识别模型加载出消除阴影的路面区域视频帧，对其状态进行识别，并用不同深度的颜色表示不同的路面状态，输出所监测路面段的状态图；
S3-6、保存输出的路面状态检测结果1。
9.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S4具体包括以下步骤：
S4-1、将车载摄像头实时拍摄的前方道路视频传输至路面状态检测系统2中；
S4-2、通过背景提取模型实现对视频静态背景的提取；
S4-3、从所提取的背景中加载路面分割模型完成路面区域的分割，将分割后的路面区域视频帧保存至本地；
S4-4、路面阴影检测与消除模型对路面区域视频帧中出现的阴影进行检测并消除，并将消除阴影后的路面区域视频帧保存至本地；
S4-5、路面状态识别模型加载出消除阴影的路面区域视频帧，对其状态进行识别，并用不同深度的颜色表示不同的路面状态，输出路面状态检测结果2；
S4-6、利用路面状态检测结果1对路面状态检测结果2进行修正，得到最终的路面状态检测结果3。
10.根据权利要求1所述的基于视频数据的混合冰雪路面附着系数实时估计方法，其特征在于，步骤S5中所述的路面类型与路面附着系数映射关系具体如表1-1所示
表1-1不同路面状态附着系数
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111668767.8A CN114332722A (zh) | 2021-12-31 | 2021-12-31 | 基于视频数据的混合冰雪路面附着系数实时估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111668767.8A CN114332722A (zh) | 2021-12-31 | 2021-12-31 | 基于视频数据的混合冰雪路面附着系数实时估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332722A true CN114332722A (zh) | 2022-04-12 |
Family
ID=81021627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111668767.8A Pending CN114332722A (zh) | 2021-12-31 | 2021-12-31 | 基于视频数据的混合冰雪路面附着系数实时估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332722A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100194A (zh) * | 2022-08-23 | 2022-09-23 | 浙江大华技术股份有限公司 | 锈蚀检测方法、装置及计算机可读存储介质 |
| CN115619777A (zh) * | 2022-12-05 | 2023-01-17 | 中国民航大学 | 道面冰雪状态的检测方法、系统和计算机可读存储介质 |
-
2021
- 2021-12-31 CN CN202111668767.8A patent/CN114332722A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115100194A (zh) * | 2022-08-23 | 2022-09-23 | 浙江大华技术股份有限公司 | 锈蚀检测方法、装置及计算机可读存储介质 |
| CN115100194B (zh) * | 2022-08-23 | 2022-11-22 | 浙江大华技术股份有限公司 | 锈蚀检测方法、装置及计算机可读存储介质 |
| CN115619777A (zh) * | 2022-12-05 | 2023-01-17 | 中国民航大学 | 道面冰雪状态的检测方法、系统和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
| CN114332722A (zh) | 基于视频数据的混合冰雪路面附着系数实时估计方法 | |
| CN111027430B (zh) | 一种面向无人车智能评估的交通场景复杂度计算方法 | |
| CN109444912B (zh) | 一种基于协同控制与深度学习的驾驶环境感知系统及方法 | |
| WO2021013190A1 (zh) | 基于气象参数的高速列车导航盲区定位方法及系统 | |
| CN115311241B (zh) | 一种基于图像融合和特征增强的煤矿井下行人检测方法 | |
| CN114724392B (zh) | 一种快速路出口匝道与邻接交叉口动态信号控制方法 | |
| CN102073852A (zh) | 基于最优阈值和随机标号法的多车辆分割方法 | |
| CN112115871B (zh) | 适用于行人目标检测的高低频交织边缘特征增强方法 | |
| CN113888754B (zh) | 一种基于雷达视觉融合的车辆多属性识别方法 | |
| CN111292366A (zh) | 一种基于深度学习和边缘计算的视觉行车测距算法 | |
| CN116738211A (zh) | 一种基于多源异构数据融合的道路状况识别方法 | |
| CN113538357B (zh) | 一种抗阴影干扰的路面状态在线检测方法 | |
| CN111383273B (zh) | 一种基于改进结构推理网络的高铁接触网零部件定位方法 | |
| CN113506049B (zh) | 基于人工智能的道路洒水车调度方法及系统 | |
| Jin et al. | Road friction estimation method based on fusion of machine vision and vehicle dynamics | |
| Da Silva et al. | MobileWeatherNet for LiDAR-Only Weather Estimation | |
| CN116129327A (zh) | 一种基于改进YOLOv7算法的红外车辆检测方法 | |
| CN115905434A (zh) | 一种基于学习插值预测的道路网轨迹补全方法 | |
| Jiangzhou et al. | Research on real-time object detection algorithm in traffic monitoring scene | |
| CN113312976A (zh) | 一种基于图像处理与路面附着系数相结合的制动距离计算方法 | |
| Ahanin et al. | An efficient traffic state estimation model based on fuzzy C-mean clustering and MDL using FCD | |
| Guoqiang et al. | Pavement Pothole Detection Based on Cascade and Fusion Convolutional Neural Network Using 2D Images under Complex Pavement Conditions | |
| Wang et al. | Research on 3D Target Detection Algorithm Based on PointFusion Algorithm Improvement. | |
| Gao et al. | A Review of Object Detection Techniques for Automobile Assisted Driving9 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |