CN114358401A - 一种融合图像和气象环境数据的道路结冰识别方法 - Google Patents

Abstract

本发明公开了一种融合图像和气象环境数据的道路结冰识别方法，利用现场勘探、远程终端监测系统等多渠道对当地路面的实时状态进行监测后，得到图像数据和气象环境数据，对图像数据和气象环境数据进行特征提取，得到图像数据样本和气象环境数据样本，再将两种数据相融合，并构造一种用于路面结冰积雪识别的全新机器学习模型——卷积‑集成学习模型，通过选择恰当的机器学习方法对该模型进行不断训练与调试，最终建立可用于冬季路面结冰识别的机器学习模型。本发明能提高道路结冰识别的效率与准确性，应用简便，模型容易改进，可以广泛应用于道路、桥梁、机场结冰预测。

Description

一种融合图像和气象环境数据的道路结冰识别方法

技术领域

本发明属于道路交通技术领域，涉及一种道路结冰识别技术，特别涉及一种融合图像和气象环境数据的道路结冰识别方法。

背景技术

机器学习是一种有监督的学习方法，有监督的方法通过训练数据学习得到一个分类模型，并将该分类模型应用到对未知数据的分类中去。当前，融雪化冰技术逐渐应用于道路中，在一些领域已取得很多重大突破，特别是关于桥梁的融冰，以及智能化的预测分析，自动化的监测系统控制，实现精准融冰。随着在其项目中的不断开发，多渠道监测的图像和数据的积累会愈多，模型的复杂度也会愈高，这样会导致图像与数据产生冗杂混乱，无法从实况环境中得到准确又及时的反馈，并且处理图像数据与常规数据只是单向的，并没有融合一起处理，软件运行工作的时间增加，缺乏工作效率，导致系统的崩溃。因此机器学习应该越来越多的应用在图像和数据中，建立一种卷积—集成学习模型很有必要。

发明内容

本发明的目的在于提供一种融合图像和气象环境数据的道路结冰识别方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种融合图像和气象环境数据的道路结冰识别方法，其特征在于，包括如下步骤：

步骤S1：路面环境特征数据的分类采集、特征的抽取，首先对当地路面环境特征数据进行分类收集，即分为两类收集，第一类为图像数据，第二类为气象环境数据，对图像数据和气象环境数据进行整理得到多地域路面结冰积雪和未结冰积雪条件下的路面环境特征数据，对图像数据提取的为图像数据样本，对气象环境数据提取的为气象环境数据样本；

步骤S2：确定标签，形成样本集，对图像数据和气象环境数据进行分析，确定与结冰状态有关的路面状态作为标签，以环境特征数据作为输入数据集，分别得到有标签的图像数据样本集和气象环境数据样本集；

步骤S3：多种类型数据的融合，将收集的图像数据样本集和气象环境数据样本集混合作为融合样本，结合步骤S2中的标签，形成有标签的融合样本集；

步骤S4：建立并训练调试学习模型，对融合样本进行训练并调试，减少误差，最终建立卷积-集成学习模型，并将模型应用于冬季路面结冰积雪识别系统，可以实现是否结冰的预测。

进一步地，所述图像数据为对现场勘探及远程监测系统等多渠道的将所拍摄的图像或录制的视频。

进一步地，所述气象环境数据通过气象环境传感器监测得到，包括温度、湿度、空气质量、风速和风向。

进一步地，步骤S2中，标签通过人为分析图像数据和气象环境数据得到，标签包括干燥、积水、积雪以及结冰状态。

进一步地，步骤S1中，所述图像数据为特征不易提取数据，针对图像数据，首先通过卷积预处理，针对多个卷积层L，第l层的第n个特征图为x(l,n)，利用表达式进行卷积运算，即

其中M为输入特征图的总数，N为卷积后得到的特征图数，ω_l,n为第l层的第n卷积核，激活函数选用ReLU，即f(x)＝max(0,x)；接着再结合交叉验证、超参数分析技术手段，归纳出路面结冰与不结冰条件下的图像样本具有的典型特征作为环境特征数据，建立图像数据样本集。

进一步地，步骤S1中，对于所述气象环境数据，首先利用数据集成、数据变换、数据规约、数据清洗技术对数据进行预处理，接着将处理完成后的数据转换为能用于机器学习的数字特征，即特征值化，并建立数据样本集。

进一步地，步骤S3中，融合具体操作为：将将具有相同标签的图像数据样本和气象环境数据样本混合作为融合样本样。

进一步地，步骤S4中，卷积-集成学习模型以人工神经网络为基础，修改输入层为图像数据和气象数据，输出层为路面状态，建立卷积-集成学习模型；输入隐藏层选择的公式是

其中V_ih表示权重，h表示第h个隐藏神经元的输入，从隐藏层输出到输出层选择的公式是

W_hj同样指权重，j表示第j个神经元的输入；将融合样本集的70％作为训练集，30％作为验证集，即利用70％的融合样本数据进行训练并建立的卷积-集成学习模型，利用剩余30％的融合样本数据对模型的参数进行优化以及对模型的可行性进行一个初步的评估。

进一步地，步骤S1中，所述远程监测系统包括摄像头，环境温湿度传感器，路面温湿度传感器，空气质量传感器，数据与储存平台；远程监测浏览道路面的特征，获取道路面的温湿度，道路周围环境温湿度，空气质量数等，并将其储存于数据库中。

与现有技术相比，本发明的有益成果在于：

(1)本发明提出一种融合图像和气象环境数据的道路结冰识别方法，建立了路面结冰积雪识别的机器学习模型——卷积-集成学习模型，通过大规模的收集图像及气象环境数据和周边环境特征，并对应其独有的标签，最终形成样本集，储存于数据库中。

(2)本发明提出一种融合图像和气象环境数据的道路结冰识别方法，对于特征不明显或者不易提取的路面图像数据，通过卷积预处理，结合交叉验证、超参数分析等技术手段，总结并归纳出不同环境条件下，样本的典型特征，在此基础上建立起样本的合集，为图像数据提供直观的表达，避免了传统识别算法中复杂的特征提取和图像重建过程。

(3)本发明提出一种融合图像和气象环境数据的道路结冰识别方法，在关于气象等易提取的常规数据中，比如温湿度的收集时，首先会利用数据集成、数据变换、数据规约、数据清理等技术对数据进行预处理，将处理完成后的数据转换为可以用于机器学习的数字特征，即特征值化，最后建立数据样本集。

(4)本发明提出一种融合图像和气象环境数据的道路结冰识别方法，考虑了不同样本数据之间的关联，将不同的路面图像数据和气象环境数据进行结合，输入的样本为融合型，输出不变，依旧是路面状态。将大规模的图像数据和气象环境数据融合，增强了它们之间的联系，避免了图像和气象环境数据的繁多造成的紊乱，提高了工作效率的同时，还可以利用图像和气象环境数据对是否结冰进行预测。

(5)本发明提出一种融合图像和气象环境数据的道路结冰识别方法，其中采用了人工神经网络(ANN)，可以保留邻域的联系和空间的局部特点，与常见的全连接深度结构相比，ANN处理实际尺寸的图像效果更好，分类正确率更高。

附图说明

图1是本发明提供的建立识别路面结冰积雪卷积-集成学习模型的结构框架图.

图2是本发明提供的数据集成图。

图3是本发明提供的利用卷积提取图像特征图。

图4是本发明提供的网络结构图。

图5是本发明提供的路面温湿度传感器俯视图。

图6是本发明提供的路面温湿度传感器剖视图。

图7是本发明提供的环境温湿度传感器去掉外壳顶部后俯视图。

图8是本发明提供的环境温湿度传感器剖视图。

具体实施方式

下面对本发明的实施例作详细的说明，本实施例在以本发明技术的方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但对本发明的保护范围不限于下述的实施例。

本发明公开的实施例提供了一种融合图像和气象环境数据的道路结冰识别方法，将建立的路面结冰积雪识别卷积-集成学习模型应用至不同工况下的道路结冰识别中。该方法可以广泛应用于道路、桥梁、机场结冰预测，同时可以多渠道的收集图像数据和气象环境数据。这种方法提高了收集图像和数据的效率，及时的预测道路结冰问题，提升了用户的体验感和极大的反馈，将其应用于冬季路面结冰积雪识别系统中。包括以下步骤：

步骤S1：路面环境特征数据的分类采集、特征的抽取。首先对当地路面环境特征数据进行分类收集，即分为两类收集，第一类为图像数据，第二类为气象环境数据，其中图像数据是通过现场勘探及远程监测系统等多渠道的将所拍摄的图像或录制的视频进行识别，整理得到多地域路面结冰积雪和未结冰积雪条件下的环境特征数据，而气象环境数据可以直接通过传感器测出，收集完成的两种数据经过分析后作为路面环境特征数据。

步骤S2：确定标签，形成样本集。对两种方式下收集的图像数据和气象环境数据分别进行分析，确定与结冰状态有关的路面状态作为标签，结合多个标签所对应的路面环境特征，形成有标签的样本集，分别为图像数据样本集和气象环境数据样本集。

步骤S3：多种类型数据的融合。将收集的图像数据和气象环境数据混合作为融合样本，结合步骤S2中的标签，形成有标签的融合样本集。

融合具体操作为：将将具有相同标签的图像数据样本和气象环境数据样本混合作为融合样本样。

步骤S4：建立并训练调试学习模型。对融合样本样进行训练并调试，减少误差，最终建立卷积-集成学习模型，并将模型应用于冬季路面结冰积雪识别系统，可以实现是否结冰的预测。

步骤S1中，所述远程监测系统包括摄像头，环境温湿度传感器，路面温湿度传感器，空气质量传感器，数据与储存平台；远程监测浏览道路面的特征，获取道路面的温湿度，道路周围环境温湿度，空气质量数等，并将其储存于数据库中。

所述实时监测器摄像头的芯片采用CCD主板，总体来看比CMOS利用率高，自动光圈定焦镜头，多增加了光圈调整环。阵列式红外灯板，为其在夜间镜头提供辅助光源，镜头感受红外光显示图像。枪机型的摄像机外形下设置保护装置，防止其在使用中因气象问题造成损坏，设置于道路的两侧。

如图5和图6所示，所述路面温湿度传感器采用嵌入式安装于道路面，不影响交通，包括外表壳1，接线盒2，测温元件3，所述外表壳1涂有防氧化剂，防止因气象问题造成的影响。测温元件3设置于外表壳1内部，与接线盒2相连接，测量范围为-40-90℃，测温元件3与接线盒2一体式相连接，全部设置于传感器体内。

如图7和图8所示，所述环境温湿度传感器采用包括外壳4，主板5，LED显示屏6，WIFI装置7，引脚8，开关机设置键9，温湿敏电阻10，USB接口11，内部电路12。LED显示屏通过内含导线的黑色板13与主板相连接，使其固定悬空，WIFI装置7嵌于主板上，引脚8位于WIFI装置7的两侧，使其给触发信号，开关机设置键9设置于LED显示屏(6)下方右侧，防止其死机，正常设置开关机等，温湿敏电阻10通过正负极与主板相连，电阻外侧设置有一个防破坏的塑料外壳，内部电路12设置于主板内，USB接口11可以与数据线相接，数据线可以对其充电续航。整个环境温湿度传感器通过防氧化外壳包裹，设置于道路的周围。

所述空气质量传感器同样设置于道路的两侧，传感器内部设置有红外线发光二极管，作为恒定的光源，光源对角处设置光线探测器，通过输出信号判断颗粒物浓度。

作为一直具体实施例，所述路面环境特征数据包括易提取数据和不易提取数据，本实施例中，图像数据为特征不易提取数据，气象环境数据为特征易提取数据。

对于特征不易提取的图像数据，监控摄像头实时拍摄的图像和持续录制监测的视频，会出现大量细节不断变化的图像，并且来往车辆行人对图像进行干扰，首先会经过图像的预处理，即在保证图像数据不变的情况下，将来往车辆行人消除，在连续视频录制拍摄中，增强图像的细节和轮廓，将高通滤波与微分函数结合，激励源中不同频率的信号通过得到幅度变化和相位变化，分子分母与微分方程对应，最终将图像细节边缘和轮廓增强，该方法重复多次，也可将其与平滑处理结合，将路面视频中进行局部处理，道路监测摄像头是可以旋转(360°全方位)移动的，包括水平和竖直移动。在监测前对其设置移动的速率，所述速率可控制调节，每一帧下捕捉的速率可不同，降噪采样得到多种不同的平滑曲线图。

所述特征不易提取的图像数据，将其学习训练找到基于积水和结冰的中间值，即介于积水和结冰积雪。将其设为W，统计其像素点，每一个像素都有其不同的编号。获得的每一个图像与W对比，当像素点低于W时，则表示积水状态，当像素点高于W时，则表示结冰积雪状态。结冰积雪像素点>W>积水像素点。系统得到图像的集合并将其储存于当前的图像大数据库中，以便于调取查阅。

所述气象环境数据的收集整理，多渠道的收集数据会存在偏差，数据储存于带有主题的大数据库中，在步骤S2中样本的建立，确定样本，分别为图像数据样本和气象环境数据样本。在路面状态中设置有干燥、积水、结冰、积雪等以及结冰积雪厚度的样本标签，每一个小的主题模块中都对应有自己的准确浮动变化的实时数据，在Python中建立起相对应的模块进行开发。

所述气象环境数据中首先会进过预处理，预处理中利用数据集成，如图2所示，有四个集成的数据源，收集结果来源于实时监控，当地调查。从左往右第一个储存路面状态，包括干燥，积水，结冰，积雪和结冰积雪厚度。接下来2，3包括了储存的地区，2包括了一个省的数据，而3则包括了省中某一个市的数据，全部储存同一类型的数据，但使用的属性名不同，四则储存了气候预测数据。积水的数据可以从数据源1中直接获得，将属性换成积水，同样，结冰积雪厚度也可以从数据源1中直接得出，将属性换成厚度，并设置单位毫米。由于确定某一具体位置的气候数据情况，则必须通过先访问数据源1，然后将数据源1中的得到的信息输入到3中。得到大量数据统计时，缩小真实环境中的数据误差，可将数据进行适当转换，如平方根反正弦转换，满足方差分析的要求。由于监测摄像头持续监测造成的地区的数据量太大，许多相关型有重复的特征，对于不同城市的位置不同，但其气候环境状况相同，数据集合的子集合并成一个大的合集，将旧属性利用决策树对初始数据进行归纳学习，并把无关重复数据删除，节约其样本空间。同时采用数据清理，把收集的数据文件中的可以识别的错误纠正，将多的重合的数据过滤，不可影响算法的规律，使其不会造成偏差。软件工作中运行设置好的函数，载入测试合集，同时，调入函数前设置随机数生成的种子。此项目的即是为了把模型在真实环境中带来的误差进一步缩小。

所述特征不易提取，将图像数据进行卷积等操作来提取特征。将多张图像统一规范为32*32像素大小作为输入样本集，卷积层采用5*5的卷积核对输入样本集进行卷积处理，可以得到多个28*28大小的特征图，采样层对2*2大小的子块进行池化处理，得到多个14*14的特征图，此时对图像矩阵进行转化处理，得到特征向量，最后与神经元连接分类，如图3所示。

图像的特征提取完毕后将图像数据与气象环境数据样本集融合，卷积-集成学习模型为人工神经网络，网络结构如图4所示，修改人工神经网络的输入层为图像数据和气象环境数据两个模块，如(X,Y),其中X指图像数据，Y指气象环境数据；输出层为路面状态。输入层这两个模块中包含了众多数据特征，比如：X(X1,X2,X3,X4,X5,X6...Xn)，Y(Y1,Y2,Y3,Y4,Y5,Y6...Yn)，Xn，Yn作为第n个数据特征，众多的数据特征与两个模块连接，图像数据与气象环境数据特征一起存在于输入层中，接着众数据直接输入隐藏层(H)中，其通过矩阵运算，从隐藏层(H)中到输出层同样是通过矩阵运算，得出想要的样本标签(S1,S2)，输出结果为路面状态。通过数据库中的特征集合来进行对比训练，建立起识别路面结冰积集成学习模型。

所述冬季路面结冰积雪识别方法可以用于冬季道路结冰，在利用多渠道收集图像数据和气象环境数据后，一起代入模型进行结冰识别。

一个实施例案例如下：

首先确定使用的学习模型为人工神经网络(ANN)，建立并验证学习模型的具体过程。采集路面温度、环境温度、空气湿度、空气质量数、不同海拔高度的气象环境数据700条和图像700幅，作为验证模型的特征，特征对应有4种不同的标签，分别为干燥、积水、积雪、结冰状态。特征与所对应的标签形成总共1400组样本，随机抽取气象环境数据样本90％条和90％幅的样本图像后，再从其中各抽取70％为训练样本，30％为验证样本，即训练样本中的气象常规样本和图像样本各441组，验证样本中气象常规样本和图像样本189组。融合一起形成训练样本(X,Y)，X指图像数据，Y指气象环境数据。进行机器学习，形成神经网络，其中输入层为融合数据样本(包括图像数据和气象)，输出层为路面状态。输入隐藏层选择的公式是

其中V_ih表示权重，h表示第h个隐藏神经元的输入，从隐藏层输出到输出层选择的公式是

W_hj同样指权重，j表示第j个神经元的输入，优化模型参数，将融合时的各个特征进行不断调整，使其可以准确表达，最终得到机器学习模型中的决策函数。

建立的卷积-集成学习模型，融合了不同类型的数据后，根据图像、环境温湿度、路面温湿度等特征，通过识别模型可以实现结冰的预测。

本发明提供了一种融合图像和气象环境数据的道路结冰识别方法的思路,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (9)

1.一种融合图像和气象环境数据的道路结冰识别方法，其特征在于，包括如下步骤：

步骤S1：路面环境特征数据的分类采集、特征的抽取，首先对当地路面环境特征数据进行分类收集，即分为两类收集，第一类为图像数据，第二类为气象环境数据，对图像数据和气象环境数据进行整理得到多地域路面结冰积雪和未结冰积雪条件下的路面环境特征数据，对图像数据提取的为图像数据样本，对气象环境数据提取的为气象环境数据样本；

步骤S2：确定标签，形成样本集，对图像数据和气象环境数据进行分析，确定与结冰状态有关的路面状态作为标签，以环境特征数据作为输入数据集，分别得到有标签的图像数据样本集和气象环境数据样本集；

步骤S3：多种类型数据的融合，将收集的图像数据样本集和气象环境数据样本集混合作为融合样本，结合步骤S2中的标签，形成有标签的融合样本集；

步骤S4：建立并训练调试学习模型，对融合样本进行训练并调试，减少误差，最终建立卷积-集成学习模型，并将模型应用于冬季路面结冰积雪识别系统，可以实现是否结冰的预测。

2.根据权利要求1所述的道路结冰识别方法，其特征在于，所述图像数据为对现场勘探及远程监测系统等多渠道的将所拍摄的图像或录制的视频。

3.根据权利要求2所述的道路结冰识别方法，其特征在于，所述气象环境数据通过气象环境传感器监测得到，包括温度、湿度、空气质量、风速和风向。

4.根据权利要求3所述的道路结冰识别方法，其特征在于：步骤S2中，标签通过人为分析图像数据和气象环境数据得到，标签包括干燥、积水、积雪以及结冰状态。

5.根据权利要求4所述的道路结冰识别方法，其特征在于：步骤S1中，所述图像数据为特征不易提取数据，针对图像数据，首先通过卷积预处理，针对多个卷积层L，第l层的第n个特征图为x(l,n)，利用表达式进行卷积运算，即

其中M为输入特征图的总数，N为卷积后得到的特征图数，ω_l,n为第l层的第n卷积核，激活函数选用ReLU，即f(x)＝max(0,x)；接着再结合交叉验证、超参数分析技术手段，归纳出路面结冰与不结冰条件下的图像样本具有的典型特征作为环境特征数据，建立图像数据样本集。

6.根据权利要求5所述的道路结冰识别方法，其特征在于：步骤S1中，对于所述气象环境数据，首先利用数据集成、数据变换、数据规约、数据清洗技术对数据进行预处理，接着将处理完成后的数据转换为能用于机器学习的数字特征，即特征值化，并建立数据样本集。

7.根据权利要求5所述的道路结冰识别方法，其特征在于：步骤S3中，融合具体操作为：将将具有相同标签的图像数据样本和气象环境数据样本混合作为融合样本样。

8.根据权利要求7所述的道路结冰识别方法，其特征在于：步骤S4中，卷积-集成学习模型以人工神经网络为基础，修改输入层为图像数据和气象数据，输出层为路面状态，建立卷积-集成学习模型；输入隐藏层选择的公式是

其中V_ih表示权重，h表示第h个隐藏神经元的输入，从隐藏层输出到输出层选择的公式是

W_hj同样指权重，j表示第j个神经元的输入；将融合样本集的70％作为训练集，30％作为验证集，即利用70％的融合样本数据进行训练并建立的卷积-集成学习模型，利用剩余30％的融合样本数据对模型的参数进行优化以及对模型的可行性进行一个初步的评估。

9.根据权利要求8所述的道路结冰识别方法，其特征在于：步骤S1中，所述远程监测系统包括摄像头，环境温湿度传感器，路面温湿度传感器，空气质量传感器，数据与储存平台；远程监测浏览道路面的特征，获取道路面的温湿度，道路周围环境温湿度，空气质量数等，并将其储存于数据库中。

Images