CN114332644B - 一种基于视频卫星数据的大视场交通密度获取方法 - Google Patents

Abstract

本发明提供一种基于视频卫星数据的大视场交通密度获取方法，包括以下步骤：将视频卫星数据输入到预处理模块，得到每一帧图像；采用金字塔道路提取网络，提取第一帧图像中的道路，再对每一帧图像进行掩膜，得到掩膜后道路区域；将掩膜后道路区域输入到基于多策略时空信息选择的车辆检测网络中，进行车辆目标检测；在掩膜后道路区域上绘制热力图，并将该热力图作为图层，叠加到每一帧图像上面，得到大视场交通密度图。本发明提供一种基于视频卫星数据的大视场交通密度获取方法，充分利用目标间的联系，可以准确高效的提取到视频卫星图像中车辆，提高视频卫星交通密度获取的精度与效率。

Description

一种基于视频卫星数据的大视场交通密度获取方法

技术领域

本发明属于遥感信息智能处理技术领域，具体涉及一种基于视频卫星数据的大视场交通密度获取方法。

背景技术

现有技术中，交通密度获取方法主要为：利用地面传感器或遥感数据对某一街道、路段进行车流量统计，进而获取交通密度。具体的，地面传感器主要包括地磁线圈、监控摄像、红外传感器和超声波传感器，遥感数据主要包括无人机数据、遥感影像与视频卫星数据。其中，通过地面传感器获取交通密度的方法无法直接、宏观地展示大视场区域的动态车流变化；基于无人机数据的交通密度获取方法可以直接展示动态车流变化，但容易受到天气影响，同时无人机晃动导致的成像模糊问题，不利于交通密度的准确获取；基于遥感影像的交通密度获取方法虽然能够获取大范围的交通密度，但遥感影像无法连续、不间断地获取交通密度，不能反映某一区域的动态交通密度。

综上所述，通过视频卫星数据获取交通密度的方法，对于准确、直接、宏观地展示大视场区域的动态车流变化具有重要意义。

当前，基于视频卫星数据获取交通密度的方法主要包括：(1)传统的交通密度获取方法：传统的交通密度获取方法通过对视频卫星数据的每一帧图像构建统计模型，通过建立非线性系统状态方程实现交通密度的获取，典型的方法包括卡尔曼滤波、非参数回归以及K最近邻法等，这类方法对于数据的分布情况较为敏感，对数据的拟合性不够鲁棒；(2)基于深度学习的交通密度获取方法：基于深度学习的交通密度获取方法通过大量样本数据对神经网络进行训练，使神经网络能够提取车辆特征，进而完成交通密度获取任务。该类交通密度获取方法包括LinkNet、LSTM、CRF等，但是这些方法无法对车辆特征进行高精度表达，导致车辆检测精度不足。

发明内容

针对现有技术存在的缺陷，本发明提供一种基于视频卫星数据的大视场交通密度获取方法，可有效解决上述问题。

本发明采用的技术方案如下：

本发明提供一种基于视频卫星数据的大视场交通密度获取方法，包括以下步骤：

步骤S1，将共计t"帧的视频卫星数据输入到预处理模块中，对每一帧图像进行双边滤波与直方图均衡化处理，得到每一帧图像Fig_t；其中，t＝1,2,...,t"；

步骤S2，将第一帧图像Fig₁作为道路模板图，输入到金字塔道路提取网络中，得到道路分割结果图RoadMap；其中，在道路分割结果图RoadMap中，道路区域灰度值为1，非道路区域灰度值为0；

步骤S3，对道路分割结果图RoadMap进行形态学闭运算，得到道路区域Area_road；其余区域为非道路区域Area_unroad；

步骤S4，将非道路区域Area_unroad作为掩膜模板，对步骤S1得到的每一帧图像Fig_t进行掩膜，得到掩膜后道路区域Area′_road(t)；

步骤S5，将掩膜后道路区域Area′_road(t)，输入到基于多策略时空信息选择的车辆检测网络中，进行车辆目标检测，得到车辆标记图像CarMap(t)，其中，在车辆标记图像CarMap(t)中，标记道路区域中所有车辆目标的位置与序号；

步骤S6，对于车辆标记图像CarMap(t)中的每个车辆目标，以其中心点坐标为圆心，以长度r为半径，设定缓冲区，计算每个缓冲区中车辆目标数量，即为车辆目标的周边车辆数量；

从而得到t时刻每个车辆目标的周边车辆数量；

步骤S7，根据每个车辆目标的周边车辆数量的分布情况，在掩膜后道路区域Area′_road(t)上绘制热力图，并将该热力图叠加到步骤S1的每一帧图像Fig_t上面，得到t时刻大视场交通密度图。

优选的，步骤S2具体为：

步骤S2.1，构建金字塔道路提取网络；所述金字塔道路提取网络，包括特征提取模块和尺度恢复模块；

步骤S2.2，所述特征提取模块的图像处理过程为：

步骤S2.2.1，对第一帧图像Fig₁进行特征提取，分别得到尺寸缩小2倍、4倍、8倍、16倍的道路金字塔特征图F_PyramidMap(m)，其中，m＝1,2,3,4，代表对图像的道路语义信息的表达逐渐加强；

步骤S2.2.2，依次对道路金字塔特征图F_PyramidMap(m)进行横向连接映射，强化道路金字塔特征图F_PyramidMap(m)的道路语义特征表达，得到与道路金字塔特征图F_PyramidMap(m)相同尺寸的横向连接特征图F_TransMap(m)；

步骤S2.2.3，对横向连接特征图F_TransMap(4)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(3)尺寸相同的上采样特征图F_UpMap(3)；

对横向连接特征图F_TransMap(3)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(2)尺寸相同的上采样特征图F_UpMap(2)；

对横向连接特征图F_TransMap(2)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(1)尺寸相同的上采样特征图F_UpMap(1)；

步骤S2.2.4，对横向连接特征图F_TransMap(3)和上采样特征图F_UpMap(3)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(3)；

对横向连接特征图F_TransMap(2)和上采样特征图F_UpMap(2)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(2)；

对横向连接特征图F_TransMap(1)和上采样特征图F_UpMap(1)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(1)；

其中，道路特征得到增强，同时保留道路附近细节信息；

步骤S2.2.5，通过hardmax函数判断横向连接特征图F_TransMap(4)中每个像素的类别，得到道路分割结果二值化图BinMap(4)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(3)中每个像素的类别，得到道路分割结果二值化图BinMap(3)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(2)中每个像素的类别，得到道路分割结果二值化图BinMap(2)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(1)中每个像素的类别，得到道路分割结果二值化图BinMap(1)；

其中，在道路分割结果二值化图中，道路区域灰度值为1，非道路区域灰度值为0；

步骤S2.3，尺度恢复模块的图像处理过程为：

步骤S2.3.1，分别将道路分割结果二值化图BinMap(n)输入到尺度恢复模块中，通过上采样恢复空间分辨率，得到尺度恢复后特征图F_RecoveryMap(n)；其中，n＝1,2,3,4；

所有尺度恢复后特征图F_RecoveryMap(n)的尺寸均与第一帧图像Fig₁的尺寸相同；

步骤S2.3.2，对尺度恢复后特征图F_RecoveryMap(1)、尺度恢复后特征图F_RecoveryMap(2)、尺度恢复后特征图F_RecoveryMap(3)和尺度恢复后特征图F_RecoveryMap(4)进行对应元素相加后平均，得到道路分割结果图RoadMap。

优选的，步骤S3具体为：

设Square为8*8像素的正方形结构元素，采用下式，对道路分割结果图RoadMap和正方形结构元素Square作闭运算，得到道路区域Area_road：

其中：

是指形态学膨胀运算，Θ是指形态学腐蚀运算。

优选的，步骤S5具体为：

步骤S5.1，通过滑窗方式，将掩膜后道路区域Area′_road(t)裁切为尺寸s*s的多个图像块Block，其中，对像素数不足的边界部分，通过补零的方式保证图像块的尺寸，并且，相邻图像块之间具有设定区域的重叠；

步骤S5.2，对每个图像块Block进行车辆特征提取，分别得到浅层车辆特征图F_ShallowMap和深层车辆特征图F_DeepMap；其中：浅层车辆特征图F_ShallowMap的尺寸，大于深层车辆特征图F_DeepMap的尺寸；

步骤S5.3，对深层车辆特征图F_DeepMap进行初步的车辆特征识别，得到p个车辆候选框Box，候选框参数为(x,y,width,high),其中x和y表示候选框在深层车辆特征图F_DeepMap的中心点坐标，width和high分别表示候选框的宽、高；

然后，分别执行步骤S5.3.1和步骤S5.3.2；

步骤S5.3.1，将步骤S5.3的p个车辆候选框Box映射到深层车辆特征图F_DeepMap的对应位置，从而得到包含p个车辆候选框的车辆特征图F_BoxMap；

步骤S5.3.2，将步骤S5.3得到的p个车辆候选框Box中的width和high参数扩大设定倍数，得到p个扩大候选框Box_Exp，扩大候选框参数为(x′,y′,width′,high′)；其中，所述扩大候选框Box_Exp在包括车辆本身特征信息的基础上，还包括车辆周围的局部上下文信息；其中，x′和y′表示扩大候选框在深层车辆特征图F_DeepMap的中心点坐标，与对应的候选框在深层车辆特征图F_DeepMap的中心点坐标相同；width′和high′分别表示扩大候选框的宽、高；

然后，将p个扩大候选框Box_Exp映射到深层车辆特征图F_DeepMap的对应位置，从而得到包含p个扩大候选框的车辆特征图F_BoxExpMap；

步骤S5.4，将包含p个车辆候选框的车辆特征图F_BoxMap和包含p个扩大候选框的车辆特征图F_BoxExpMap输入至时域门控子网络中，得到每个图像块block中的车辆时域分类结果C_T与车辆时域回归结果R_T；

将包含p个车辆候选框的车辆特征图F_BoxMap输入至空域聚集子网络中，得到车辆空域分类结果C_S与车辆空域回归结果R_S；

其中，时域门控子网络的处理过程为：

步骤A1，将包含p个车辆候选框的车辆特征图F_BoxMap中的每个车辆候选框Box，划分为a个尺寸固定为k的车辆特征图瓦片F_smallMap(1),F_smallMap(2),…,F_smallMap(a)；

将包含p个扩大候选框的车辆特征图F_BoxExpMap中的每个扩大候选框Box_Exp，划分为b个尺寸固定为k的扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)；

步骤A2，对于车辆特征图F_BoxMap，构建对象与对象关系上下文信息，具体方法为：

步骤A2.1，车辆特征图F_BoxMap中包括p个车辆候选框Box，Box_i为第i个车辆候选框；其中，i＝1,2,...,p；Box_j为第j个车辆候选框，其中，j≠i；

则：通过下式计算Box_j对Box_i的影响e_j→i，e_j→i是权重标量：

其中：

relu代表激活函数；

W_s代表维度为1*12的空间位置关系权重向量；

表示Box_i和Box_j的空间位置关系；

tanh为双曲正切函数；

[f_i,f_j]表示视觉特征关系向量，维度为100*1，由车辆特征图F_BoxMap中Box_i范围内各像素特征值f_i和Box_j范围内各像素特征值f_j逐像素串联而成，若串联后维度不足100，则对该向量进行补零；其中，f_i代表Box_i内像素特征值；f_j代表Box_j内像素特征值；

W_v是维度为1*100的视觉特征关系权重向量；

是12维的列向量，每行元素依次为：width_i，high_i，s_i，width_j，high_j，s_j，

其中：

(x_i,y_i)代表第i个车辆候选框Box_i的几何中心坐标；

width_i和high_i代表第i个车辆候选框Box_i的宽度和高度；

s_i代表第i个车辆候选框Box_i的面积；

(x_j,y_j)代表第j个车辆候选框Box_j的几何中心坐标；

width_j和high_j代表第j个车辆候选框Box_j区域的宽度和高度；

s_j代表第j个车辆候选框Box_j区域的面积；

步骤A2.2，通过下式，计算得到车辆候选框Box_i的对象-对象关系上下文信息Objrelation(i)：

Box_Other为p个车辆候选框Box中，去除Box_i后的车辆候选框集合；

即：选择对Box_i影响最大的车辆候选框，作为车辆候选框Box_i的最终的对象-对象关系上下文信息Objrelation(i)；

因此，在车辆特征图F_BoxMap中，对于每个车辆候选框Box，均获得对应的对象-对象关系上下文信息；

步骤A3，通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(1)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)进行特征融合，得到位置融合特征图F_locMap(1)；

依此类推

通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(a)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)进行特征融合，得到位置融合特征图F_locMap(a)；

具体门控循环单元的特征融合方式为：

步骤A3.1，将步骤A1得到的车辆特征图瓦片F_smallMap(1)，作为初始隐藏信息hide₀；将步骤A1得到的扩大特征图瓦片F_largeMap(1)，作为输入信息input₁；

步骤A3.2，对输入信息input₁和初始隐藏信息hide₀分别添加权重；其中，添加权重的方式为，依据对应元素的相似性，对应元素越相似，则初始隐藏信息hide₀的权值越大，反之输入信息input₁的权值越大；

步骤A3.3，将初始隐藏信息hide₀和输入信息input₁与其对应的权值进行相乘实现特征加权，得到加权后的初始隐藏信息hide′₀和输入信息input′₁；

步骤A3.4，将加权后的初始隐藏信息hide′₀和输入信息input′₁进行对应像素相加计算，得到车辆与背景联系图F_ContactMap(1)；

通过门控循环单元，使车辆与背景联系图F_ContactMap(1)中，车辆特征图瓦片F_smallMap(1)在车辆区域贡献的特征值占比较高，进而清晰表达车辆特征，同时在非车辆区域的车辆特征图瓦片F_smallMap(1)依然贡献少量特征值，进而在车辆周围的局部上下文信息中加入了车辆信息，从而在一张特征图中体现车辆与背景的关系；

步骤A3.5，采用车辆与背景联系图F_ContactMap(1)对初始隐藏信息hide₀进行更新，使车辆与背景联系图F_ContactMap(1)作为新的隐藏信息hide₁；

依此类推，重复步骤A3.1至步骤A3.5；

通过门控循环单元将新的隐藏信息hide_a-1与扩大特征图瓦片F_largeMap(b)的特征值进行加权求和，计算出车辆与背景联系图F_ContactMap(a)，然后，采用车辆与背景联系图F_ContactMap(a)对前一步的隐藏信息进行更新，得到新的隐藏信息hide_a；

新的隐藏信息hide_a即为车辆特征图瓦片F_smallMap(1)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)特征融合得到的位置融合特征图F_locmergeMap(1)；

同样的实现方式，获得位置融合特征图F_locmergeMap(2),…,F_locmergeMap(a)；

步骤A4，通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(1)和对象-对象关系上下文信息Objrelation(1),Objrelation(2),…,Objrelation(p)进行特征融合，得到关系融合特征图F_relmergeMap(1)；其中，Objrelation(1),Objrelation(2),…,Objrelation(p)，分别代表车辆候选框Box₁,车辆候选框Box₂,...,车辆候选框Box_p的对象-对象关系上下文信息；

依此类推

通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(a)和对象-对象关系上下文信息Objrelation(1),Objrelation(2),…,Objrelation(p)进行特征融合，得到关系融合特征图F_relmergeMap(a)；

其中，通过门控循环单元的特征信息融合，根据不同候选框内车辆特征信息的关联性，强化候选框区域内相似车辆信息的特征表达；

步骤A5，对步骤A3得到的位置融合特征图F_locmergeMap(1),F_locmergeMap(2),…,F_locmergeMap(a)进行对应元素相加求均值，削弱位置融合特征图F_locmergeMap(1),F_locmergeMap(2),…,F_locmergeMap(a)中噪声部分的特征值，同时控制车辆特征值处于合理数值范围内，得到最终位置融合特征图F_locmergeMap(0)；

对步骤A4得到的关系融合特征图F_relmergeMap(1),F_relmergeMap(2),…,F_relmergeMap(a)进行对应元素相加求均值，得到最终关系融合特征图F_relmergeMap(0)；

对位置融合特征图F_locmergeMap(0)和关系融合特征图F_relmergeMap(0)进行对应元素相加求均值，得到时域车辆特征图F′_BoxMap；

步骤A6，将时域车辆特征图F′_BoxMap通过全连接层，获取车辆时域回归结果R_T；将时域车辆特征图F′_BoxMap通过softmax函数，获得车辆时域分类结果C_T；

其中，空域聚集子网络的处理过程为：

步骤B1，将深层车辆特征图F_DeepMap输入至全连接层，获得车辆回归结果R_J；将深层车辆特征图F_DeepMap输入至softmax函数，获得车辆分类结果C_J；

步骤B2，将深层车辆特征图F_DeepMap输入到聚类区域生成模块，对深层车辆特征图F_DeepMap中的车辆进行聚类操作，得到q个车辆聚集框，分别表示为：车辆聚集框gatherbox₁,gatherbox₂,…,gatherbox_q；

步骤B3，将已标识车辆聚集框的深层车辆特征图F_DeepMap，向浅层车辆特征图F_ShallowMap进行反向映射，从而将深层车辆特征图F_DeepMap中的车辆聚集框，投影到浅层车辆特征图F_ShallowMap中，使浅层车辆特征图F_ShallowMap中标识出q个车辆聚集放大框；其中，浅层车辆特征图F_ShallowMap中的车辆聚集放大框，为深层车辆特征图F_DeepMap中的车辆聚集框放大一定倍数后得到的车辆聚集框；

步骤B4，对于浅层车辆特征图F_ShallowMap中的每个车辆聚集放大框，进行车辆特征识别，从而在每个车辆聚集放大框中，识别得到多个车辆参考框；

再将标识车辆参考框的浅层车辆特征图F_ShallowMap向深层车辆特征图F_DeepMap进行正向映射，从而在深层车辆特征图F_DeepMap中，得到多个车辆参考框；

将每个车辆参考框转化为特征向量输入至全连接层，得到每个车辆参考框的车辆回归结果R″_J，以及通过softmax函数获得车辆分类结果C″_J；

步骤B5，将车辆回归结果R_J和车辆回归结果R″_J进行拼接，得到回归拼接结果R″′_J；将车辆分类结果C_J和车辆分类结果C″_J进行拼接，得到分类拼接结果C″′_J；

步骤B6，依据非极大值抑制原则，将回归拼接结果R″′_J中存在位置重复的区域进行删除，同时在回归拼接结果C″′_J中删除该区域所对应的分类结果，从而获取空域聚集子网络最终的车辆空域回归结果R_S和车辆空域分类结果C_S；

步骤B7，采用下式，将车辆时域回归结果R_T和车辆空域回归结果R_S进行加权融合，得到最终的车辆检测回归结果REG；通过加权融合车辆时域分类结果C_T与车辆空域分类结果C_S后进行softmax函数计算，得到最终的车辆检测分类结果CLS：

REG＝R_T+λR_S

CLS＝softmax(C_T+λC_S)

其中λ为融合权重；

车辆检测回归结果REG和车辆检测分类结果CLS统称为车辆检测结果；

步骤S5.5，将步骤S5.4中得到车辆检测结果的图像块block进行拼接，得到与掩膜后道路区域Area′_road(t)尺寸相同的车辆标记图像CarMap(t)，并自图像左上角起对检测到的车辆进行编号。

本发明提供的一种基于视频卫星数据的大视场交通密度获取方法具有以下优点：

本发明提供一种基于视频卫星数据的大视场交通密度获取方法，通过先提取道路，后检测车辆的方法，精确统计道路区域中车辆分布情况，并有效减少计算量，明显提升交通密度获取效率。同时，本发明充分利用车辆目标间以及车辆目标与周围背景间的特征关联性，最大限度缓解车辆特征不足以及车辆边缘模糊造成的车辆漏检问题，可以准确提取到视频卫星图像中车辆，提高视频卫星交通密度获取的精度与效率。最后，本发明通过绘制热力图的方式，直接、宏观、实时地展示视频卫星数据中每一时刻的交通密度。

附图说明

图1为本发明提供的一种基于视频卫星数据的大视场交通密度获取方法的流程示意图。

图2为本发明提供的金字塔道路提取网络的流程示意图。

图3为本发明提供的基于多策略时空信息选择的车辆检测网络中时域门控子网络的流程示意图。

图4为本发明提供的基于多策略时空信息选择的车辆检测网络中空域聚集子网络的流程示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

为了解决现有方法对于视频卫星数据中车流特征表达能力不足的问题，本发明以深度学习为理论基础，以视频卫星数据为应用场景，提出基于视频卫星数据的大视场交通密度获取方法，该方法具有以下优势：(1)遥感技术是一种远距离、非接触的地物目标探测技术，是一种高效的对地观测信息获取手段。与需要埋设地感线圈相比，视频卫星可以不接触车辆目标进行监测，无需破坏地面，无需设备更新和维护升级，与红外传感器和超声波传感器相比，无需安装，不会受人为损坏的影响。(2)与基于监控摄像的交通密度获取方法相比，遥感视频不受地面供电系统约束，监测范围不受摄像头安置高度和角度的约束，可以实现大范围车流量监测。同时受益于更广的视野范围，基于视频卫星数据无须汇总各路段交通密度数据即可一次性实现大范围交通密度的获取。(3)与基于无人机数据的交通密度获取方法相比，将传感器搭载在卫星平台上进行对地观测，其成像稳定性高，不会出现由于飞行平台剧烈晃动导致的成像模糊等问题。(4)与基于遥感图像的交通密度获取方法相比，视频卫星数据可以持续获取地表某一区域的交通密度，可以通过视频卫星数据对某一区域的动态环境与车流量变化进行持续监视和跟踪。(5)与现有基于视频卫星数据的交通密度获取方法相比，本发明方法通过先提取道路，后检测车辆的方法，精确统计道路区域中车辆分布情况，并有效减少计算量，明显提升交通密度获取效率。同时，本发明有效利用视频卫星数据中的道路与车辆之间、车辆与车辆之间的联系，强化对于车辆特征的表达能力，提升交通密度获取精度。

具体的，从已有的相关技术可以看出，主流的交通密度获取方法重点关注如何从整幅图像中提取车辆，其提取结果无法准确获取交通密度，即：算法会提取到停放于停车场、居民区中的车辆，无法精确统计道路区域中车辆分布情况。同时，主流的交通密度获取方法天然地割裂了道路与车辆之间、车辆与车辆之间的联系，即：算法仅从提取车辆的单一出发点进行设计，并没有对数据进行深入挖掘，在处理过程中没有考虑到视频卫星数据中车辆的分布规律，同时车辆间的联系没有得到充分而合理的应用。

为此，本发明提出基于视频卫星数据的大视场交通密度获取方法，通过先提取道路，后检测车辆的方法，精确统计道路区域中车辆分布情况，并有效减少计算量，明显提升交通密度获取效率。同时，本发明有效利用视频卫星数据中的道路与车辆之间、车辆与车辆之间的联系，强化对于车辆特征的表达能力，提升交通密度获取精度。

具体的，视频卫星采用“凝视”的方式对某一区域进行连续观测，可获得一定时间范围内视频卫星数据，具备对运动车辆的持续监视能力。本发明充分利用视频卫星的成像特点，能够从高空提取到道路与车辆目标，并可以实现实时的交通密度统计。通过充分分析视频卫星中车辆的分布规律与充分利用目标间的联系，提高了视频卫星交通密度获取的精度与效率。

参考图1，本发明提供一种基于视频卫星数据的大视场交通密度获取方法，包括以下步骤：

步骤S1，将共计t"帧的视频卫星数据输入到预处理模块中，对每一帧图像进行双边滤波与直方图均衡化处理，得到每一帧图像Fig_t；其中，t＝1,2,...,t"；

步骤S2，将第一帧图像Fig₁作为道路模板图，输入到金字塔道路提取网络中，得到道路分割结果图RoadMap；其中，在道路分割结果图RoadMap中，道路区域灰度值为1，非道路区域灰度值为0；

步骤S2具体为：

步骤S2.1，构建金字塔道路提取网络；所述金字塔道路提取网络，包括特征提取模块和尺度恢复模块；

步骤S2.2，所述特征提取模块的图像处理过程为：

如图2所示，为金字塔道路提取网络的结构示意图。

步骤S2.2.1，对第一帧图像Fig₁进行特征提取，分别得到尺寸缩小2倍、4倍、8倍、16倍的道路金字塔特征图F_PyramidMap(m)，其中，m＝1,2,3,4，代表对图像的道路语义信息的表达逐渐加强；

例如，在图2中，通过卷积层对第一帧图像Fig₁进行特征提取，分别得到尺寸缩小2倍、4倍、8倍、16倍的道路金字塔特征图，表示为：F_PyramidMap(m)，其中，m＝1,2,3,4；在卷积层中，每个输出神经元在通道方向保持全连接，而在空间方向上只和一小部分输入神经元相连，通过多层卷积层堆叠，各层提取到的特征逐渐由低层级特征过渡到高层级特征，从而实现对于道路特征的高精度表达。

步骤S2.2.2，依次对道路金字塔特征图F_PyramidMap(m)进行横向连接映射，强化道路金字塔特征图F_PyramidMap(m)的道路语义特征表达，得到与道路金字塔特征图F_PyramidMap(m)相同尺寸的横向连接特征图F_TransMap(m)；

例如，在图2中，通过1*1尺寸的卷积核依次对道路金字塔特征图F_PyramidMap(m)进行横向连接映射，得到横向连接特征图F_TransMap(m)，通过1*1尺寸的卷积核计算，可以在通道数方向上进行降维，进而减少网络计算量和参数量。

步骤S2.2.3，对横向连接特征图F_TransMap(4)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(3)尺寸相同的上采样特征图F_UpMap(3)；

对横向连接特征图F_TransMap(3)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(2)尺寸相同的上采样特征图F_UpMap(2)；

对横向连接特征图F_TransMap(2)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(1)尺寸相同的上采样特征图F_UpMap(1)；

步骤S2.2.4，对横向连接特征图F_TransMap(3)和上采样特征图F_UpMap(3)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(3)；

对横向连接特征图F_TransMap(2)和上采样特征图F_UpMap(2)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(2)；

对横向连接特征图F_TransMap(1)和上采样特征图F_UpMap(1)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(1)；

其中，道路特征得到增强，同时保留道路附近细节信息；

步骤S2.2.5，通过hardmax函数判断横向连接特征图F_TransMap(4)中每个像素的类别，得到道路分割结果二值化图BinMap(4)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(3)中每个像素的类别，得到道路分割结果二值化图BinMap(3)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(2)中每个像素的类别，得到道路分割结果二值化图BinMap(2)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(1)中每个像素的类别，得到道路分割结果二值化图BinMap(1)；

其中，在道路分割结果二值化图中，道路区域灰度值为1，非道路区域灰度值为0；

步骤S2.3，尺度恢复模块的图像处理过程为：

步骤S2.3.1，分别将道路分割结果二值化图BinMap(n)输入到尺度恢复模块中，通过上采样恢复空间分辨率，得到尺度恢复后特征图F_RecoveryMap(n)；其中，n＝1,2,3,4；

所有尺度恢复后特征图F_RecoveryMap(n)的尺寸均与第一帧图像Fig₁的尺寸相同；

步骤S2.3.2，对尺度恢复后特征图F_RecoveryMap(1)、尺度恢复后特征图F_RecoveryMap(2)、尺度恢复后特征图F_RecoveryMap(3)和尺度恢复后特征图F_RecoveryMap(4)进行对应元素相加后平均，得到道路分割结果图RoadMap。

因此，通过对各个尺度恢复后特征图进行多尺度融合，得到与输入图像尺寸相同的道路分割结果图。在道路分割结果图中，通过二值化图像表达，道路区域灰度值为1，非道路区域灰度值为0。

为了使金字塔道路提取网络实现对于遥感视频中长度、宽度不统一的道路的逐像素分割，金字塔道路提取网络同时利用低层特征和高层特征，如步骤S2.2.4中通过特征融合的方法，使得在道路特征强化特征图中同时包含深层特征与浅层特征，因为低层特征可以提供更加准确的位置信息，高层特征可以提供更加准确的语义信息，因此结合起来使用，可以提升道路分割的精度。金字塔道路提取网络分别在不同的特征层同时进行预测，如步骤S2.2.5中通过在每一特征层使用hardmax函数判别每一像素类别，从而不需要经过所有的特征层才输出道路范围，这样可以在一定程度上对网络进行加速操作。

步骤S3，对道路分割结果图RoadMap进行形态学闭运算，得到道路区域Area_road；其余区域为非道路区域Area_unroad；

步骤S3具体为：

设Square为8*8像素的正方形结构元素，采用下式，对道路分割结果图RoadMap和正方形结构元素Square作闭运算，得到道路区域Area_road：

其中：

是指形态学膨胀运算，Θ是指形态学腐蚀运算。

具体的，完成道路提取之后，道路内部可能会存在孔洞、噪声点以及不连贯的细节，为此需要采用图像形态学闭运算使道路连贯无孔洞。第一步的膨胀运算去除了小的孔洞、噪声点，并同时增强了图像亮度；第二步的腐蚀运算基本恢复了图像亮度但又不重新引入前面去除的孔洞、噪声点。因此形态学闭运算可以消除图像中比结构元素Square尺寸小的孔洞、噪声点，保持图像中道路整体灰度值和比结构元素Square尺寸大的道路区域不受影响。

步骤S4，将非道路区域Area_unroad作为掩膜模板，对步骤S1得到的每一帧图像Fig_t进行掩膜，得到掩膜后道路区域Area′_road(t)；

步骤S5，将掩膜后道路区域Area′_road(t)，输入到基于多策略时空信息选择的车辆检测网络中，进行车辆目标检测，得到车辆标记图像CarMap(t)，其中，在车辆标记图像CarMap(t)中，标记道路区域中所有车辆目标的位置与序号；

步骤S5具体为：

步骤S5.1，通过滑窗方式，将掩膜后道路区域Area′_road(t)裁切为尺寸s*s的多个图像块Block，其中，对像素数不足的边界部分，通过补零的方式保证图像块的尺寸，并且，相邻图像块之间具有设定区域的重叠；

步骤S5.2，对每个图像块Block进行车辆特征提取，分别得到浅层车辆特征图F_ShallowMap和深层车辆特征图F_DeepMap；其中：浅层车辆特征图F_ShallowMap的尺寸，大于深层车辆特征图F_DeepMap的尺寸；

步骤S5.3，对深层车辆特征图F_DeepMap进行初步的车辆特征识别，得到p个车辆候选框Box，候选框参数为(x,y,width,high),其中x和y表示候选框在深层车辆特征图F_DeepMap的中心点坐标，width和high分别表示候选框的宽、高；

然后，分别执行步骤S5.3.1和步骤S5.3.2；

步骤S5.3.1，将步骤S5.3的p个车辆候选框Box映射到深层车辆特征图F_DeepMap的对应位置，从而得到包含p个车辆候选框的车辆特征图F_BoxMap；

步骤S5.3.2，将步骤S5.3得到的p个车辆候选框Box中的width和high参数扩大设定倍数，例如，扩大1.8倍，得到p个扩大候选框Box_Exp，扩大候选框参数为(x′,y′,width′,high′)；其中，所述扩大候选框Box_Exp在包括车辆本身特征信息的基础上，还包括车辆周围的局部上下文信息；其中，x′和y′表示扩大候选框在深层车辆特征图F_DeepMap的中心点坐标，与对应的候选框在深层车辆特征图F_DeepMap的中心点坐标相同；width′和high′分别表示扩大候选框的宽、高；

然后，将p个扩大候选框Box_Exp映射到深层车辆特征图F_DeepMap的对应位置，从而得到包含p个扩大候选框的车辆特征图F_BoxExpMap；

步骤S5.4，将包含p个车辆候选框的车辆特征图F_BoxMap和包含p个扩大候选框的车辆特征图F_BoxExpMap输入至时域门控子网络中，得到每个图像块block中的车辆时域分类结果C_T与车辆时域回归结果R_T；

将包含p个车辆候选框的车辆特征图F_BoxMap输入至空域聚集子网络中，得到车辆空域分类结果C_S与车辆空域回归结果R_S；

由于在遥感视频数据中，车辆目标所占像素非常小，很难与周围的背景区分，同时车辆目标在视频数据中分布普遍不均匀。因此，根据遥感视频的特点，提出了空域聚集子网络，首先将图像中车辆密集区域进行聚类框选，然后映射到尺寸较大的浅层特征图中进行车辆检测，从而使车辆特征与道路特征区分度更高，提升车辆间的特征差异，进而提升网络对于密集分布的车辆的检测精度。

由于在遥感视频数据中，车辆目标的外观具有多样性和复杂性，在许多情况下，仅仅依靠车辆本身的特征并不能有效地识别车辆，有时甚至会导致两个类别不同但外观特征相似的物体之间的误判。例如，仅仅利用车辆的形状特征来识别车辆可能很困难，因为它的外观在遥感图像中是矩形的，而有些建筑物的楼顶也可能会是矩形的，从而常常被检测器误认为是车辆。在这种情况下，充分利用车辆目标间以及车辆目标与周围背景间的特征关联性，可以最大限度缓解车辆特征不足以及车辆边缘模糊造成的车辆漏检问题，因此，本发明提出时域门控子网络，通过门控循环单元融合车辆目标间特征关联性与车辆目标与周围背景间特征关联性，从而降低网络对于非车辆对象的误判率。

其中，时域门控子网络的处理过程为：

步骤A1，将包含p个车辆候选框的车辆特征图F_BoxMap中的每个车辆候选框Box，划分为a个尺寸固定为k的车辆特征图瓦片F_smallMap(1),F_smallMap(2),…,F_smallMap(a)；

将包含p个扩大候选框的车辆特征图F_BoxExpMap中的每个扩大候选框Box_Exp，划分为b个尺寸固定为k的扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)；

具体的，由于遥感视频数据中车辆方向、大小不同，因此在车辆特征图F_BoxMap中生成的车辆候选框尺寸不统一，因此为了便于计算各候选框内车辆特征的对象与对象关系上下文信息以及位置融合特征图，因此需要车辆候选框Box与扩大候选框Box_Exp划分为统一大小的图像块，使其可以实现对应像素的运算。

步骤A2，对于车辆特征图F_BoxMap，构建对象与对象关系上下文信息，具体方法为：

步骤A2.1，车辆特征图F_BoxMap中包括p个车辆候选框Box，Box_i为第i个车辆候选框；其中，i＝1,2,...,p；Box_j为第j个车辆候选框，其中，j≠i；

则：通过下式计算Box_j对Box_i的影响e_j→i，e_j→i是权重标量：

其中：

relu代表激活函数；

W_s代表维度为1*12的空间位置关系权重向量；

表示Box_i和Box_j的空间位置关系；

tanh为双曲正切函数；

[f_i,f_j]表示视觉特征关系向量，维度为100*1，由车辆特征图F_BoxMap中Box_i范围内各像素特征值f_i和Box_j范围内各像素特征值f_j逐像素串联而成，若串联后维度不足100，则对该向量进行补零；其中，f_i代表Box_i内像素特征值；f_j代表Box_j内像素特征值；

W_v是维度为1*100的视觉特征关系权重向量；

是12维的列向量，每行元素依次为：width_i，high_i，s_i，width_j，high_j，s_j，

其中：

(x_i,y_i)代表第i个车辆候选框Box_i的几何中心坐标；

width_i和high_i代表第i个车辆候选框Box_i的宽度和高度；

s_i代表第i个车辆候选框Box_i的面积；

(x_j,y_j)代表第j个车辆候选框Box_j的几何中心坐标；

width_j和high_j代表第j个车辆候选框Box_j区域的宽度和高度；

s_j代表第j个车辆候选框Box_j区域的面积；

步骤A2.2，通过下式，计算得到车辆候选框Box_i的对象-对象关系上下文信息Objrelation(i)：

Box_Other为p个车辆候选框Box中，去除Box_i后的车辆候选框集合；

即：选择对Box_i影响最大的车辆候选框，作为车辆候选框Box_i的最终的对象-对象关系上下文信息Objrelation(i)；

因此，在车辆特征图F_BoxMap中，对于每个车辆候选框Box，均获得对应的对象-对象关系上下文信息；

步骤A3，通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(1)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)进行特征融合，得到位置融合特征图F_locMap(1)；

依此类推

通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(a)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)进行特征融合，得到位置融合特征图F_locMap(a)；

具体门控循环单元的特征融合方式为：

步骤A3.1，将步骤A1得到的车辆特征图瓦片F_smallMap(1)，作为初始隐藏信息hide₀；将步骤A1得到的扩大特征图瓦片F_largeMap(1)，作为输入信息input₁；

步骤A3.2，对输入信息input₁和初始隐藏信息hide₀分别添加权重；其中，添加权重的方式为，依据对应元素的相似性，对应元素越相似，则初始隐藏信息hide₀的权值越大，反之输入信息input₁的权值越大；

步骤A3.3，将初始隐藏信息hide₀和输入信息input₁与其对应的权值进行相乘实现特征加权，得到加权后的初始隐藏信息hide′₀和输入信息input′₁；

步骤A3.4，将加权后的初始隐藏信息hide′₀和输入信息input′₁进行对应像素相加计算，得到车辆与背景联系图F_ContactMap(1)；

通过门控循环单元，使车辆与背景联系图F_ContactMap(1)中，车辆特征图瓦片F_smallMap(1)在车辆区域贡献的特征值占比较高，进而清晰表达车辆特征，同时在非车辆区域的车辆特征图瓦片F_smallMap(1)依然贡献少量特征值，进而在车辆周围的局部上下文信息中加入了车辆信息，从而在一张特征图中体现车辆与背景的关系；

步骤A3.5，采用车辆与背景联系图F_ContactMap(1)对初始隐藏信息hide₀进行更新，使车辆与背景联系图F_ContactMap(1)作为新的隐藏信息hide₁；

依此类推，重复步骤A3.1至步骤A3.5；

通过门控循环单元将新的隐藏信息hide_a-1与扩大特征图瓦片F_largeMap(b)的特征值进行加权求和，计算出车辆与背景联系图F_ContactMap(a)，然后，采用车辆与背景联系图F_ContactMap(a)对前一步的隐藏信息进行更新，得到新的隐藏信息hide_a；

新的隐藏信息hide_a即为车辆特征图瓦片F_smallMap(1)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)特征融合得到的位置融合特征图F_locmergeMap(1)；

同样的实现方式，获得位置融合特征图F_locmergeMap(2),…,F_locmergeMap(a)；

步骤A4，通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(1)和对象-对象关系上下文信息Objrelation(1),Objrelation(2),…,Objrelation(p)进行特征融合，得到关系融合特征图F_relmergeMap(1)；其中，Objrelation(1),Objrelation(2),…,Objrelation(p)，分别代表车辆候选框Box₁,车辆候选框Box₂,...,车辆候选框Box_p的对象-对象关系上下文信息；

依此类推

通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(a)和对象-对象关系上下文信息Objrelation(1),Objrelation(2),…,Objrelation(p)进行特征融合，得到关系融合特征图F_relmergeMap(a)；

其中，通过门控循环单元的特征信息融合，根据不同候选框内车辆特征信息的关联性，强化候选框区域内相似车辆信息的特征表达；

步骤A5，对步骤A3得到的位置融合特征图F_locmergeMap(1),F_locmergeMap(2),…,F_locmergeMap(a)进行对应元素相加求均值，削弱位置融合特征图F_locmergeMap(1),F_locmergeMap(2),…,F_locmergeMap(a)中噪声部分的特征值，同时控制车辆特征值处于合理数值范围内，得到最终位置融合特征图F_locmergeMap(0)；

对步骤A4得到的关系融合特征图F_relmergeMap(1),F_relmergeMap(2),…,F_relmergeMap(a)进行对应元素相加求均值，得到最终关系融合特征图F_relmergeMap(0)；

对位置融合特征图F_locmergeMap(0)和关系融合特征图F_relmergeMap(0)进行对应元素相加求均值，得到时域车辆特征图F′_BoxMap；

步骤A6，将时域车辆特征图F′_BoxMap通过全连接层，获取车辆时域回归结果R_T；将时域车辆特征图F′_BoxMap通过softmax函数，获得车辆时域分类结果C_T；

其中，空域聚集子网络的处理过程为：

步骤B1，将深层车辆特征图F_DeepMap输入至全连接层，获得车辆回归结果R_J；将深层车辆特征图F_DeepMap输入至softmax函数，获得车辆分类结果C_J；

具体的，通过对深层车辆特征图F_DeepMap进行车辆检测，可以实现对于遥感视频数据中稀疏分布车辆的检测，如此可以与后续步骤中聚集分布的车辆检测结果进行互补，进而实现整张图像中的车辆检测。

步骤B2，将深层车辆特征图F_DeepMap输入到聚类区域生成模块，对深层车辆特征图F_DeepMap中的车辆进行聚类操作，得到q个车辆聚集框，分别表示为：车辆聚集框gatherbox₁,gatherbox₂,…,gatherbox_q；

步骤B3，将已标识车辆聚集框的深层车辆特征图F_DeepMap，向浅层车辆特征图F_ShallowMap进行反向映射，从而将深层车辆特征图F_DeepMap中的车辆聚集框，投影到浅层车辆特征图F_ShallowMap中，使浅层车辆特征图F_ShallowMap中标识出q个车辆聚集放大框；其中，浅层车辆特征图F_ShallowMap中的车辆聚集放大框，为深层车辆特征图F_DeepMap中的车辆聚集框放大一定倍数后得到的车辆聚集框；

具体的，由于深层车辆特征图F_DeepMap尺寸较小，因此该特征图中所包含的车辆聚集框中特征无法清晰反映出车辆的边缘信息，这使得对于车辆聚集区域内部的车辆检测变得困难，而浅层车辆特征图F_ShallowMap中包含清晰的车辆细节信息，各车辆间独立性更明显，因此需要将车辆聚集框投影到浅层车辆特征图F_ShallowMap中。

步骤B4，对于浅层车辆特征图F_ShallowMap中的每个车辆聚集放大框，进行车辆特征识别，从而在每个车辆聚集放大框中，识别得到多个车辆参考框；

再将标识车辆参考框的浅层车辆特征图F_ShallowMap向深层车辆特征图F_DeepMap进行正向映射，从而在深层车辆特征图F_DeepMap中，得到多个车辆参考框；

将每个车辆参考框转化为特征向量输入至全连接层，得到每个车辆参考框的车辆回归结果R″_J，以及通过softmax函数获得车辆分类结果C″_J；

具体的，为了保证车辆检测结果尺寸一致性，因此需要将车辆参考框正向映射到深层车辆特征图F_DeepMap中，从而实现车辆回归结果R″_J，车辆分类结果C″_J与车辆回归结果R_J和车辆分类结果C_J的尺寸一致性，使其可以进行拼接操作。

步骤B5，将车辆回归结果R_J和车辆回归结果R″_J进行拼接，得到回归拼接结果R″′_J；将车辆分类结果C_J和车辆分类结果C″_J进行拼接，得到分类拼接结果C″′_J；

步骤B6，依据非极大值抑制原则，将回归拼接结果R″′_J中存在位置重复的区域进行删除，同时在回归拼接结果C″′_J中删除该区域所对应的分类结果，从而获取空域聚集子网络最终的车辆空域回归结果R_S和车辆空域分类结果C_S；

具体的，由于在步骤B1中，在对车辆稀疏分布区域进行车辆检测的同时也会对车辆聚集区域的车辆进行检测，因此在车辆聚集区域也会出现部分车辆被检测出来的情况，因此进行非极大值抑制来避免重复检测的问题。

步骤B7，采用下式，将车辆时域回归结果R_T和车辆空域回归结果R_S进行加权融合，得到最终的车辆检测回归结果REG；通过加权融合车辆时域分类结果C_T与车辆空域分类结果C_S后进行softmax函数计算，得到最终的车辆检测分类结果CLS：

REG＝R_T+λR_S

CLS＝softmax(C_T+λC_S)

其中λ为融合权重；

车辆检测回归结果REG和车辆检测分类结果CLS统称为车辆检测结果；

步骤S5.5，将步骤S5.4中得到车辆检测结果的图像块block进行拼接，得到与掩膜后道路区域Area′_road(t)尺寸相同的车辆标记图像CarMap(t)，并自图像左上角起对检测到的车辆进行编号。

步骤S6，对于车辆标记图像CarMap(t)中的每个车辆目标，以其中心点坐标为圆心，以长度r为半径，设定缓冲区，计算每个缓冲区中车辆目标数量，即为车辆目标的周边车辆数量；

从而得到t时刻每个车辆目标的周边车辆数量；

步骤S7，根据每个车辆目标的周边车辆数量的分布情况，在掩膜后道路区域Area′_road(t)上绘制热力图，并将该热力图叠加到步骤S1的每一帧图像Fig_t上面，得到t时刻大视场交通密度图。

本发明提供一种基于视频卫星数据的大视场交通密度获取方法，该方法首先对视频卫星数据进行双边滤波与直方图均衡化，实现视频卫星数据平滑与对比度增强，从而突出车辆与道路之间的颜色特征区别，得到每一帧图像；

然后，采用金字塔道路提取网络实现道路的提取，可以有效降低道路类内差异大导致的类别误判率；

通过形态学闭运算与非道路区域腌膜的方法，实现对每一帧图像进行腌膜处理，使每一帧图像中仅显示道路区域，大幅降低后续每帧图像进行车辆提取的运算量，提升计算效率；

采用基于多策略信息选择的车辆检测网络进行车辆提取，通过同时考虑到车辆与周边道路的联系、车辆与车辆之间的联系，可以显著提高对于密集分布车辆的提取精度；

最后，根据交通密度指数分布情况，在道路区域上绘制热力图，并将该热力图作为图层，叠加到原始视频卫星数据图层上，得到大视场交通密度图。

本发明提供一种基于视频卫星数据的大视场交通密度获取方法，通过先提取道路，后检测车辆的方法，精确统计道路区域中车辆分布情况，并有效减少计算量，明显提升交通密度获取效率。同时，本发明有效利用视频卫星数据中的道路与车辆之间、车辆与车辆之间的联系，强化对于车辆特征的表达能力，提升交通密度获取精度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种基于视频卫星数据的大视场交通密度获取方法，其特征在于，包括以下步骤：

步骤S1，将共计t"帧的视频卫星数据输入到预处理模块中，对每一帧图像进行双边滤波与直方图均衡化处理，得到每一帧图像Fig_t；其中，t＝1,2,...,t"；

步骤S2，将第一帧图像Fig₁作为道路模板图，输入到金字塔道路提取网络中，得到道路分割结果图RoadMap；其中，在道路分割结果图RoadMap中，道路区域灰度值为1，非道路区域灰度值为0；

步骤S3，对道路分割结果图RoadMap进行形态学闭运算，得到道路区域Area_road；其余区域为非道路区域Area_unroad；

步骤S4，将非道路区域Area_unroad作为掩膜模板，对步骤S1得到的每一帧图像Fig_t进行掩膜，得到掩膜后道路区域Area′_road(t)；

步骤S5，将掩膜后道路区域Area′_road(t)，输入到基于多策略时空信息选择的车辆检测网络中，进行车辆目标检测，得到车辆标记图像CarMap(t)，其中，在车辆标记图像CarMap(t)中，标记道路区域中所有车辆目标的位置与序号；

基于多策略时空信息选择的车辆检测网络包括空域聚集子网络和时域门控子网络；空域聚集子网络，用于将图像中车辆密集区域进行聚类框选，然后映射到尺寸较大的浅层特征图中进行车辆检测，从而使车辆特征与道路特征区分度提高，提升车辆间的特征差异；时域门控子网络，用于通过门控循环单元融合车辆目标间特征关联性与车辆目标与周围背景间特征关联性，从而降低网络对于非车辆对象的误判率；

步骤S6，对于车辆标记图像CarMap(t)中的每个车辆目标，以其中心点坐标为圆心，以长度r为半径，设定缓冲区，计算每个缓冲区中车辆目标数量，即为车辆目标的周边车辆数量；

从而得到t时刻每个车辆目标的周边车辆数量；

步骤S7，根据每个车辆目标的周边车辆数量的分布情况，在掩膜后道路区域Area′_road(t)上绘制热力图，并将该热力图叠加到步骤S1的每一帧图像Fig_t上面，得到t时刻大视场交通密度图。

2.根据权利要求1所述的一种基于视频卫星数据的大视场交通密度获取方法，其特征在于，步骤S2具体为：

步骤S2.1，构建金字塔道路提取网络；所述金字塔道路提取网络，包括特征提取模块和尺度恢复模块；

步骤S2.2，所述特征提取模块的图像处理过程为：

步骤S2.2.1，对第一帧图像Fig₁进行特征提取，分别得到尺寸缩小2倍、4倍、8倍、16倍的道路金字塔特征图F_PyramidMap(m)，其中，m＝1,2,3,4，代表对图像的道路语义信息的表达逐渐加强；

步骤S2.2.2，依次对道路金字塔特征图F_PyramidMap(m)进行横向连接映射，强化道路金字塔特征图F_PyramidMap(m)的道路语义特征表达，得到与道路金字塔特征图F_PyramidMap(m)相同尺寸的横向连接特征图F_TransMap(m)；

步骤S2.2.3，对横向连接特征图F_TransMap(4)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(3)尺寸相同的上采样特征图F_UpMap(3)；

对横向连接特征图F_TransMap(3)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(2)尺寸相同的上采样特征图F_UpMap(2)；

对横向连接特征图F_TransMap(2)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F_TransMap(1)尺寸相同的上采样特征图F_UpMap(1)；

步骤S2.2.4，对横向连接特征图F_TransMap(3)和上采样特征图F_UpMap(3)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(3)；

对横向连接特征图F_TransMap(2)和上采样特征图F_UpMap(2)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(2)；

对横向连接特征图F_TransMap(1)和上采样特征图F_UpMap(1)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F_EhcMap(1)；

其中，道路特征得到增强，同时保留道路附近细节信息；

步骤S2.2.5，通过hardmax函数判断横向连接特征图F_TransMap(4)中每个像素的类别，得到道路分割结果二值化图BinMap(4)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(3)中每个像素的类别，得到道路分割结果二值化图BinMap(3)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(2)中每个像素的类别，得到道路分割结果二值化图BinMap(2)；

通过hardmax函数判断道路特征强化特征图F_EhcMap(1)中每个像素的类别，得到道路分割结果二值化图BinMap(1)；

其中，在道路分割结果二值化图中，道路区域灰度值为1，非道路区域灰度值为0；

步骤S2.3，尺度恢复模块的图像处理过程为：

步骤S2.3.1，分别将道路分割结果二值化图BinMap(n)输入到尺度恢复模块中，通过上采样恢复空间分辨率，得到尺度恢复后特征图F_RecoveryMap(n)；其中，n＝1,2,3,4；

所有尺度恢复后特征图F_RecoveryMap(n)的尺寸均与第一帧图像Fig₁的尺寸相同；

步骤S2.3.2，对尺度恢复后特征图F_RecoveryMap(1)、尺度恢复后特征图F_RecoveryMap(2)、尺度恢复后特征图F_RecoveryMap(3)和尺度恢复后特征图F_RecoveryMap(4)进行对应元素相加后平均，得到道路分割结果图RoadMap。

3.根据权利要求2所述的一种基于视频卫星数据的大视场交通密度获取方法，其特征在于，步骤S3具体为：

设Square为8*8像素的正方形结构元素，采用下式，对道路分割结果图RoadMap和正方形结构元素Square作闭运算，得到道路区域Area_road：

其中：

是指形态学膨胀运算，Θ是指形态学腐蚀运算。

4.根据权利要求1所述的一种基于视频卫星数据的大视场交通密度获取方法，其特征在于，步骤S5具体为：

步骤S5.1，通过滑窗方式，将掩膜后道路区域Area′_road(t)裁切为尺寸s*s的多个图像块Block，其中，对像素数不足的边界部分，通过补零的方式保证图像块的尺寸，并且，相邻图像块之间具有设定区域的重叠；

步骤S5.2，对每个图像块Block进行车辆特征提取，分别得到浅层车辆特征图F_ShallowMap和深层车辆特征图F_DeepMap；其中：浅层车辆特征图F_ShallowMap的尺寸，大于深层车辆特征图F_DeepMap的尺寸；

步骤S5.3，对深层车辆特征图F_DeepMap进行初步的车辆特征识别，得到p个车辆候选框Box，候选框参数为(x,y,width,high),其中x和y表示候选框在深层车辆特征图F_DeepMap的中心点坐标，width和high分别表示候选框的宽、高；

然后，分别执行步骤S5.3.1和步骤S5.3.2；

步骤S5.3.1，将步骤S5.3的p个车辆候选框Box映射到深层车辆特征图F_DeepMap的对应位置，从而得到包含p个车辆候选框的车辆特征图F_BoxMap；

步骤S5.3.2，将步骤S5.3得到的p个车辆候选框Box中的width和high参数扩大设定倍数，得到p个扩大候选框Box_Exp，扩大候选框参数为(x′,y′,width′,high′)；其中，所述扩大候选框Box_Exp在包括车辆本身特征信息的基础上，还包括车辆周围的局部上下文信息；其中，x′和y′表示扩大候选框在深层车辆特征图F_DeepMap的中心点坐标，与对应的候选框在深层车辆特征图F_DeepMap的中心点坐标相同；width′和high′分别表示扩大候选框的宽、高；

然后，将p个扩大候选框Box_Exp映射到深层车辆特征图F_DeepMap的对应位置，从而得到包含p个扩大候选框的车辆特征图F_BoxExpMap；

步骤S5.4，将包含p个车辆候选框的车辆特征图F_BoxMap和包含p个扩大候选框的车辆特征图F_BoxExpMap输入至时域门控子网络中，得到每个图像块block中的车辆时域分类结果C_T与车辆时域回归结果R_T；

将包含p个车辆候选框的车辆特征图F_BoxMap输入至空域聚集子网络中，得到车辆空域分类结果C_S与车辆空域回归结果R_S；

其中，时域门控子网络的处理过程为：

步骤A1，将包含p个车辆候选框的车辆特征图F_BoxMap中的每个车辆候选框Box，划分为a个尺寸固定为k的车辆特征图瓦片F_smallMap(1),F_smallMap(2),…,F_smallMap(a)；

将包含p个扩大候选框的车辆特征图F_BoxExpMap中的每个扩大候选框Box_Exp，划分为b个尺寸固定为k的扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)；

步骤A2，对于车辆特征图F_BoxMap，构建对象与对象关系上下文信息，具体方法为：

步骤A2.1，车辆特征图F_BoxMap中包括p个车辆候选框Box，Box_i为第i个车辆候选框；其中，i＝1,2,...,p；Box_j为第j个车辆候选框，其中，j≠i；

则：通过下式计算Box_j对Box_i的影响e_j→i，e_j→i是权重标量：

其中：

relu代表激活函数；

W_s代表维度为1*12的空间位置关系权重向量；

表示Box_i和Box_j的空间位置关系；

tanh为双曲正切函数；

[f_i,f_j]表示视觉特征关系向量，维度为100*1，由车辆特征图F_BoxMap中Box_i范围内各像素特征值f_i和Box_j范围内各像素特征值f_j逐像素串联而成，若串联后维度不足100，则对该向量进行补零；其中，f_i代表Box_i内像素特征值；f_j代表Box_j内像素特征值；

W_v是维度为1*100的视觉特征关系权重向量；

是12维的列向量，每行元素依次为：width_i，high_i，s_i，width_j，high_j，s_j，

其中：

(x_i,y_i)代表第i个车辆候选框Box_i的几何中心坐标；

width_i和high_i代表第i个车辆候选框Box_i的宽度和高度；

s_i代表第i个车辆候选框Box_i的面积；

(x_j,y_j)代表第j个车辆候选框Box_j的几何中心坐标；

width_j和high_j代表第j个车辆候选框Box_j区域的宽度和高度；

s_j代表第j个车辆候选框Box_j区域的面积；

步骤A2.2，通过下式，计算得到车辆候选框Box_i的对象-对象关系上下文信息Objrelation(i)：

Box_Other为p个车辆候选框Box中，去除Box_i后的车辆候选框集合；

即：选择对Box_i影响最大的车辆候选框，作为车辆候选框Box_i的最终的对象-对象关系上下文信息Objrelation(i)；

因此，在车辆特征图F_BoxMap中，对于每个车辆候选框Box，均获得对应的对象-对象关系上下文信息；

步骤A3，通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(1)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)进行特征融合，得到位置融合特征图F_locMap(1)；

依此类推

通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(a)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)进行特征融合，得到位置融合特征图F_locMap(a)；

具体门控循环单元的特征融合方式为：

步骤A3.1，将步骤A1得到的车辆特征图瓦片F_smallMap(1)，作为初始隐藏信息hide₀；将步骤A1得到的扩大特征图瓦片F_largeMap(1)，作为输入信息input₁；

步骤A3.2，对输入信息input₁和初始隐藏信息hide₀分别添加权重；其中，添加权重的方式为，依据对应元素的相似性，对应元素越相似，则初始隐藏信息hide₀的权值越大，反之输入信息input₁的权值越大；

步骤A3.3，将初始隐藏信息hide₀和输入信息input₁与其对应的权值进行相乘实现特征加权，得到加权后的初始隐藏信息hide′₀和输入信息input′₁；

步骤A3.4，将加权后的初始隐藏信息hide′₀和输入信息input′₁进行对应像素相加计算，得到车辆与背景联系图F_ContactMap(1)；

通过门控循环单元，使车辆与背景联系图F_ContactMap(1)中，车辆特征图瓦片F_smallMap(1)在车辆区域贡献的特征值占比较高，进而清晰表达车辆特征，同时在非车辆区域的车辆特征图瓦片F_smallMap(1)依然贡献少量特征值，进而在车辆周围的局部上下文信息中加入了车辆信息，从而在一张特征图中体现车辆与背景的关系；

步骤A3.5，采用车辆与背景联系图F_ContactMap(1)对初始隐藏信息hide₀进行更新，使车辆与背景联系图F_ContactMap(1)作为新的隐藏信息hide₁；

依此类推，重复步骤A3.1至步骤A3.5；

通过门控循环单元将新的隐藏信息hide_a-1与扩大特征图瓦片F_largeMap(b)的特征值进行加权求和，计算出车辆与背景联系图F_ContactMap(a)，然后，采用车辆与背景联系图F_ContactMap(a)对前一步的隐藏信息进行更新，得到新的隐藏信息hide_a；

新的隐藏信息hide_a即为车辆特征图瓦片F_smallMap(1)和扩大特征图瓦片F_largeMap(1),F_largeMap(2),…,F_largeMap(b)特征融合得到的位置融合特征图F_locmergeMap(1)；

同样的实现方式，获得位置融合特征图F_locmergeMap(2),…,F_locmergeMap(a)；

步骤A4，通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(1)和对象-对象关系上下文信息Objrelation(1),Objrelation(2),…,Objrelation(p)进行特征融合，得到关系融合特征图F_relmergeMap(1)；其中，Objrelation(1),Objrelation(2),…,Objrelation(p)，分别代表车辆候选框Box₁,车辆候选框Box₂,...,车辆候选框Box_p的对象-对象关系上下文信息；

依此类推

通过门控循环单元将步骤A1得到的车辆特征图瓦片F_smallMap(a)和对象-对象关系上下文信息Objrelation(1),Objrelation(2),…,Objrelation(p)进行特征融合，得到关系融合特征图F_relmergeMap(a)；

其中，通过门控循环单元的特征信息融合，根据不同候选框内车辆特征信息的关联性，强化候选框区域内相似车辆信息的特征表达；

步骤A5，对步骤A3得到的位置融合特征图F_locmergeMap(1),F_locmergeMap(2),…,F_locmergeMap(a)进行对应元素相加求均值，削弱位置融合特征图F_locmergeMap(1),F_locmergeMap(2),…,F_locmergeMap(a)中噪声部分的特征值，同时控制车辆特征值处于合理数值范围内，得到最终位置融合特征图F_locmergeMap(0)；

对步骤A4得到的关系融合特征图F_relmergeMap(1),F_relmergeMap(2),…,F_relmergeMap(a)进行对应元素相加求均值，得到最终关系融合特征图F_relmergeMap(0)；

对位置融合特征图F_locmergeMap(0)和关系融合特征图F_relmergeMap(0)进行对应元素相加求均值，得到时域车辆特征图F′_BoxMap；

步骤A6，将时域车辆特征图F′_BoxMap通过全连接层，获取车辆时域回归结果R_T；将时域车辆特征图F′_BoxMap通过softmax函数，获得车辆时域分类结果C_T；

其中，空域聚集子网络的处理过程为：

步骤B1，将深层车辆特征图F_DeepMap输入至全连接层，获得车辆回归结果R_J；将深层车辆特征图F_DeepMap输入至softmax函数，获得车辆分类结果C_J；

步骤B2，将深层车辆特征图F_DeepMap输入到聚类区域生成模块，对深层车辆特征图F_DeepMap中的车辆进行聚类操作，得到q个车辆聚集框，分别表示为：车辆聚集框gatherbox₁,gatherbox₂,…,gatherbox_q；

步骤B3，将已标识车辆聚集框的深层车辆特征图F_DeepMap，向浅层车辆特征图F_ShallowMap进行反向映射，从而将深层车辆特征图F_DeepMap中的车辆聚集框，投影到浅层车辆特征图F_ShallowMap中，使浅层车辆特征图F_ShallowMap中标识出q个车辆聚集放大框；其中，浅层车辆特征图F_ShallowMap中的车辆聚集放大框，为深层车辆特征图F_DeepMap中的车辆聚集框放大一定倍数后得到的车辆聚集框；

步骤B4，对于浅层车辆特征图F_ShallowMap中的每个车辆聚集放大框，进行车辆特征识别，从而在每个车辆聚集放大框中，识别得到多个车辆参考框；

再将标识车辆参考框的浅层车辆特征图F_ShallowMap向深层车辆特征图F_DeepMap进行正向映射，从而在深层车辆特征图F_DeepMap中，得到多个车辆参考框；

将每个车辆参考框转化为特征向量输入至全连接层，得到每个车辆参考框的车辆回归结果R″_J，以及通过softmax函数获得车辆分类结果C″_J；

步骤B5，将车辆回归结果R_J和车辆回归结果R″_J进行拼接，得到回归拼接结果R″′_J；将车辆分类结果C_J和车辆分类结果C″_J进行拼接，得到分类拼接结果C″′_J；

步骤B6，依据非极大值抑制原则，将回归拼接结果R″′_J中存在位置重复的区域进行删除，同时在分类拼接结果C″′_J中删除该区域所对应的分类结果，从而获取空域聚集子网络最终的车辆空域回归结果R_S和车辆空域分类结果C_S；

步骤B7，采用下式，将车辆时域回归结果R_T和车辆空域回归结果R_S进行加权融合，得到最终的车辆检测回归结果REG；通过加权融合车辆时域分类结果C_T与车辆空域分类结果C_S后进行softmax函数计算，得到最终的车辆检测分类结果CLS：

REG＝R_T+λR_S

CLS＝softmax(C_T+λC_S)

其中λ为融合权重；

车辆检测回归结果REG和车辆检测分类结果CLS统称为车辆检测结果；

步骤S5.5，将步骤S5.4中得到车辆检测结果的图像块block进行拼接，得到与掩膜后道路区域Area′_road(t)尺寸相同的车辆标记图像CarMap(t)，并自图像左上角起对检测到的车辆进行编号。

Images