CN113435370A - 一种基于图像特征融合获取车辆排队长度的方法及装置 - Google Patents
一种基于图像特征融合获取车辆排队长度的方法及装置 Download PDFInfo
- Publication number
- CN113435370A CN113435370A CN202110747097.2A CN202110747097A CN113435370A CN 113435370 A CN113435370 A CN 113435370A CN 202110747097 A CN202110747097 A CN 202110747097A CN 113435370 A CN113435370 A CN 113435370A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- lane
- length
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 121
- 230000011218 segmentation Effects 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 38
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 238000011176 pooling Methods 0.000 claims description 94
- 230000003068 static effect Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 31
- 238000005192 partition Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于图像特征融合获取车辆排队长度的方法及装置，涉及智能交通领域。通过获取目标监控点采集的连续相邻的多帧图像数据，通过基于语义分割网络模型得到车辆图像的特征掩码矩阵，基于轻量图像编码神经网络模型，得到第一车道内车辆图像的特征编码矩阵，将特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵，再基于构建的轻量特征融合神经网络模型得到图像融合特征矩阵，根据轻量化神经网络构建的队列状态及长度预测模型与所述图像融合特征矩阵确定出目标监控点的第一车道上的车辆排队长度。在一定程度上能够有效提高排队长度预测精确度，并可以提高预测效率。本发明适用于交通信号灯及潮汐车道的智能化控制场景中。
Description
技术领域
本发明涉及智能交通领域，尤其涉及一种基于图像特征融合获取车辆排队长度的方法及装置。
背景技术
目前，已知的车辆排队长度确定方法包括：
(1)基于队尾空车道区域纹理特征自动检测路口车辆排队长度，采用固定背景区域窗口最大相似度配准法解决抖动引起的偏差。
(2)以单车道路段当量排队长度模型为依据，建立了最大当量排队长度模型，通过数理统计方法分析其交通流特性、时间特性和空间特性，运用偏微分方法求解了单个时空参数对最大当量排队长度的敏感程度，获得排队长度模型。
(3)使用改进后的FAST角点特征分析技术，以提取出当前交通道路上表征车辆存在的角点特征图和角点位置的运动状态，通过对交通监控下的视频进行预处理后，单一车道内处于静态的角点特征形成车辆排队，并进行PCA处理得到一维向量，最后对一维向量进行形态学处理来检测单一车道内的车辆排队长度。
(4)使用相邻帧差法确定车辆是否处于静止状态，采用轮廓跟踪法进行连通区域搜索，对搜索到得连通区域采用最小边界矩形拟合获取信息，最终获得排队长度。
(5)使用背景差分法获取前景中车辆信息，使用自适应滑动窗口方法，统计滑动窗口中车辆像素占比来判断队首或队尾，已队首和队尾位置获取排队长度。
发明人在实现本发明创造的过程中发现：对于以上几种方法，方案(1)和(5)中需要对实际区域进行背景建模，适应性差；方案(2)中采用统计方法，不便于得到实时排队长度，而且短时间的误差较大；方案(3)中角点特征误差较大，针对较差天气效果不好；方案(4)中相邻帧差法和连通域搜索引入较多经验阈值，适应性不够，影响车辆排队长度的预测精确度。
发明内容
有鉴于此，本发明实施例提供一种基于图像特征融合获取车辆排队长度的方法及装置，在一定程度上能够有效提高排队长度的预测精确度。
第一方面，本发明实施例提供一种基于图像特征融合获取车辆排队长度的方法，包括：
获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；
使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；
根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理；
将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；
对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；
基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；
根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
可选地，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；
所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度包括：
将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；
最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；
调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；
根据所述队列状态分类结果确定第一车道上的车辆运动状态；
根据所述车辆运动状态确定车辆的排队长度。
可选地，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2×2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；
所述根据所述车辆运动状态确定车辆的排队长度包括：
若车辆处于运动状态中，则确定车辆的排队长度为0；
所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度还包括：
若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；
最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；
调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；
根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
可选地，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点；
所述使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵包括：
将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码；
根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0；
计算出每个分区中所述掩码像素值为1的面积占比；
根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。
可选地，所述轻量图像编码神经网络模型包括：第一类卷积块、第二类卷积块及通道压缩器，所述第一类卷积块与第二类卷积块之间、所述第二类卷积块输出端与所述通道压缩器之间分别用池化核为1×2、步长为1×2的第三最大池化层连接，所述通道压缩器输出端连接第三全连接层；其中，第一类卷积块包括三组，第二类卷积块包括两组。
可选地，所述轻量特征融合神经网络模型包括三组第五类卷积块，输出通道依次为16、32和64，卷积块之间不使用池化层。
可选地，所述方法还包括：对构建的轻量图像编码神经网络模型、轻量特征融合神经网络模型、队列状态分类器和队列排队长度回归器联合训练；
分别使用Cross Entropy Loss和Smooth L1 Loss函数作为队列状态分类器和队列排队长度回归器的损失函数；
在训练时，将第一车道随机裁剪截取不同长度，形成不同的训练数据作为输入训练集；
在训练得到队列状态及长度预测模型之后，对所述模型进行验证。
第二方面，本发明实施例提供一种基于图像特征融合获取车辆排队长度的装置，包括：
图像获取程序模块，用于获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；
特征掩码获取程序模块，用于使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；
特征编码获取程序模块，用于根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理；将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；
特征拼接程序模块，用于对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；
图像融合程序模块，用于基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；
排队长度确定程序模块，用于根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
可选地，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；
所述排队长度确定程序模块包括：
第一输入程序单元，用于将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；
最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；
第一输出程序单元，用于调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；
运动状态程序确定单元，用于根据所述队列状态分类结果确定第一车道上的车辆运动状态；
第一确定程序单元，用于根据所述车辆运动状态确定车辆的排队长度。
可选地，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2×2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；
所述第一确定程序单元，具体用于：若车辆处于运动状态中，则确定车辆的排队长度为0；
所述排队长度确定程序模块还包括：
第二输入程序单元，用于若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；
最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；
第二输出程序单元，用于调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；
第二确定程序单元，用于根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
可选地，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点；
所述特征掩码获取程序模块包括：
分割程序单元，将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码；
掩码像素获取程序单元，用于根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0；
占比计算程序单元，用于计算出每个分区中所述掩码像素值为1的面积占比；
统计程序单元，用于根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。
本发明实施例提供的基于图像特征融合获取车辆排队长度的方法及装置，通过获取目标监控点采集的连续相邻的多帧图像数据，通过基于语义分割网络模型得到车辆图像的特征掩码矩阵，基于轻量图像编码神经网络模型，得到第一车道内车辆图像的特征编码矩阵，将特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵，再基于构建的轻量特征融合神经网络模型得到图像融合特征矩阵，进一步地，根据轻量化神经网络构建的队列状态及长度预测模型与所述图像融合特征矩阵确定出目标监控点的第一车道上的车辆排队长度。由于其中使用各网络模型结构及基于深度学习建立的轻量化神经网络预测模型，设置的参数较少，有更好的精度和鲁棒性，在一定程度上能够有效提高排队长度预测精确度，并可以提高预测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明基于图像特征融合获取车辆排队长度的方法一实施例流程示意图；
图2为本发明中一实施例语义分割网络模型结构示意图；
图3为本发明中一实施例轻量图像编码神经网络模型结构示意图；
图4为本发明中一实施例轻量特征融合神经网络模型及队列状态及长度预测模型结构示意图；
图5为本发明基于图像特征融合获取车辆排队长度的装置一实施例结构示意框图。
具体实施方式
下面结合附图对本发明实施例提供的方案进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明实施例提供的基于图像特征融合获取车辆排队长度的方法及装置，适用于安装有监控摄像设备的路口、路段等目标监控点，根据预测得到的车辆排队长度数据，可以作为交通信号灯及潮汐车道的智能化控制依据，从而提高交通通行效率。其中，摄像设备可以是摄像机、高速相机等具有图像采集功能的电子设备。
实施例一
图1为本发明基于图像特征融合获取车辆排队长度的方法一实施例流程示意图，图2为本发明中一实施例语义分割网络模型结构示意图；图3为本发明中一实施例轻量图像编码神经网络模型结构示意图；图4为本发明中一实施例轻量特征融合神经网络模型及队列状态及长度预测模型结构示意图。如图1至图4所示，本实施例的方法可以包括：
步骤101，获取目标监控点采集的连续相邻的多帧图像数据。
其中，在目标监控点设有监拍设备，例如摄像机、高速相机等，用于监拍该监控点车道上的交通状况，所述目标监控点可以为路口、停车场、道路卡点及预定路段等地点。所述图像数据中包括第一车道，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；当所述第一车道上预定距离内存在车辆时，所述图像数据中至少还应包括第一车道上预定距离内的车辆；当然，也会存在第一车道上预定距离内没有车辆的情况，该种情况下的图像数据也会采集。
示例性地，监拍设备连续对目标监控点的车道方向进行拍摄图像(Image)，从中可以获取n帧连续相邻的图像数据(Image Data)G＝{Gi|i＝1,2,...,n}，所述图像数据是用数值表示的图像集合。
在图像中标记出第一车道，第一车道为任意一条单车道，按照预定参考点，例如可以为图像的左上角，预定方向标注第一车道的四个角点坐标，如顺时针坐标设为L(x1,y1,x2,y2,x3,y3,x4,y4)，根据图像中第一车道物理长度，由近及远在第一车道的预定距离内平均分为m个分区
其中(x,y)表示一个点，车道区域及每个分区都是由四个点组成的四边形，四边形可以为规则的，也可以为不规则的；在标记之后，可以将标记的第一车道配置成第一车道图像模型存储，这样，就不用每次都对第一车道重新标记，减少看了图像处理的步骤，从而在一定程度上可提高车辆排队长度的预测效率。
步骤102，使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵。
本实施例中，作为另一可选实施例，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点，例如划分成前述的m个分区
具体地，所述使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵包括：
将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码。
示例性地，对第i帧图像Gi使用语义分割网络获取车辆掩码Si，具体方式为：
如图2所示的语义分割网络模型结构，输入图像分辨率为385×385，使用ResNetV2-38作为特征提取主干网络，输出特征(C2,C3,C4,C5)，后接特征金字塔网络FPN(feature pyramid networks)提取特征(P2,P3,P4,P5)，使用P2输入分割分支网络MaskHead对特征进行语义分割，分割输出的掩码分辨率为97×97，进行插值运算后得到与图像Gi相同分辨率的掩码Si。掩码中只包含0和1，1表示此像素点被分类为车辆，0表示此像素分类为其它物体。根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0。
示例性地，对每一个分区
使用在此四边形区域中的每个坐标，依次获取车辆掩码Si对应位置的掩码像素值，组成Mij。
计算出每个分区中所述掩码像素值为1的面积占比。
示例性地，对图像Gi中分区Uj，计算Mij中掩码像素值为1的数量和Uj分区面积，根据如下公式计算占比rij：
其中pk表示掩码像素值。
根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。
示例性地，统计全部n帧图像G所有分区U的面积占比，获得车辆图像的特征掩码矩阵
步骤103、根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理。
示例性地，使用第一车道坐标L，对每帧图像数据进行透视变换得到高为H宽为W的图像；透视变换所使用的变换公式为：
[x' y' z']＝[u v w]T,
其中，x',y',z'为中间量，u和v是原始图片坐标，w＝1，T为透视变换矩阵，其中
表示线性变换，包括图像旋转、缩放等，[a31 a32]表示平移变换，[a13 a23]T表示透视变换，而a33＝1。
设变换后图片上的坐标为(x,y)，则有
根据第一车道模型可知，第一车道坐标L＝(x1,y1,x2,y2,x3,y3,x4,y4),在变换后图像中对应的坐标为L'＝(0,0,W,0,W,H,0,H)，得到如下方程：
解此方程组可得变换矩阵T，再获得T的逆矩阵
然后对每一帧图像Gi，根据以下公式得到透视变换处理后的图像gi
步骤104、将透视变换处理后的图像gi输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵Ii。
示例性地，轻量图像编码神经网络模型见图3所示，此网络模型主要获取车道内车辆的空间信息；该轻量图像编码神经网络模型包括：第一类卷积块(ConvBlock)V1、第二类卷积块V2、及通道压缩器(CCP，Channels compressor)，所述第一类卷积块V1与第二类卷积块V2之间、所述第二类卷积块V2输出端与所述通道压缩器CCP之间分别用池化核为1×2、步长为1×2的第三最大池化层MP12连接，所述通道压缩器CCP输出端连接第三全连接层FC；其中，第一类卷积块V1包括三组，第二类卷积块V2包括两组。
本实施例中，网络中设计了两种卷积块和一种通道压缩器，每种卷积块都包含卷积层、BN(批标准化)层和Relu(线性整流)激活层，通道压缩器包含两个卷积层和一个平均池化层。第一种卷积块，即第一类卷积块V1中卷积核为3×3；第二种卷积块，即第二类卷积块V2中卷积核为1×5；通过使用第二种卷积块，能够有效获取空间域信息。
两种卷积块共5组，对应图3中的连接顺序，每个卷积块输出通道数依次为16、32、64、128和256，卷积块之间使用步长为1×2最大池化层MP12连接，将透视变换处理后的图像gi输入至第一组第一类卷积块V1之后，经过各卷积块卷积运算处理后，输出特征大小为H×(W/32)×256，然后通过通道压缩器中第一个ConvBlockV1输出特征大小为H×(W/32)×64，第二个ConvBlockV1输出特征大小为H×(W/32)×1，平均池化层AP池化核为1×(W/32)，步长为1×(W/32)，输出特征大小为H×1×1，经过拉平层Flat后特征尺寸为H；第三全连接层FC输入H维特征，输出m维特征，通过第三全连接层FC，获得长为m的特征Ii，调用激活函数sigmoid，将特征Ii压缩到(0,1)区间之中输出。
激活函数sigmoid如下，si表示输出特征，vi表示输入特征
重复使用上述轻量图像编码神经网络模型对n帧图像G执行上述相同步骤的编码，得到第一车道内车辆图像的特征编码矩阵FI＝[I1,I2,...,In]T。
步骤105、对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵。
示例性地，将FM和FI进行通道拼接，获得拼接特征矩阵F，其大小为n×m×2；
由于图像编码特征中Ii中m个特征值分别表示车道中由远及近的特征，而FM中的表示的特征是由近及远的，因此作为一可选实施例，在拼接之前，所述方法还包括：将Ii逆序排列，然后再通道拼接组成拼接特征矩阵F。
步骤106、基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵。
所述轻量特征融合神经网络模型包括三组第五类卷积块，输出通道依次为16、32和64，卷积块之间不使用池化层。示例性地，轻量特征融合神经网络模型结构如图4左侧部分所示，其中使用3组第五类卷积块V5，输出特征通道依次为16、32和64，卷积块之间不使用池化层，池化层也称为下采样层(Down pooling)，大小为n×m×2的拼接特征矩阵F作为输入量，最终输出图像融合特征矩阵大小为n×m×64。
轻量特征融合神经网络模型中，输入尺寸为n×m×2，第一组第五类卷积块V5输出特征大小为n×m×16；第二个第五类卷积块V5输出特征大小为n×m×32；第三个第五类卷积块V5最终输出图像融合特征矩阵为n×m×64。
步骤107、根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
如图4所示，在一些实施例中，构建的所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块V3，相邻组第三类卷积块V3之间使用池化核为3*3、步长为2*2的第一最大池化层MP22，最后一层第三类卷积块V3的输出端连接第一全局平均池化层GAP，第一全局平均池化层GAP输出端连接第一全连接层FC。
所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度包括：
将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块V3进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块V3卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；最后一层第三类卷积块V3进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果。
示例性地，队列状态分类器结构见图4中间部分，它实际是一个二分类器，输出结果为0表示车辆未运动，1表示车流在运动。车辆运动状态信息来源于不同帧的特征差异，因此，通过设计第三类卷积块V3，其中优选卷积核为5×3，即a＝5，b＝3，可获取跨时域信息。
在队列状态分类器中使用4组第三类卷积块，输出通道依次为64、64、128和128，卷积块之间使用池化核为3×3，步长为2×2的第一最大池化层MP22，然后接第一全局平均池化层GAP和全连接层(FC)，第一全连接层输出尺寸为2，调用softmax激活函数，完成队列状态分类。
其中，softmax函数如下，so表示输出得分，vi表示输入特征，N表示输入特征数量；
状态分类器输入为Fd，其大小为n×m×64，第一组第三类卷积块ConvBlockV3输出特征大小为n×m×64，第一个MP22输出特征大小为(n/2)×(m/2)×64；第二组第三类卷积块ConvBlockV3输出特征大小为(n/2)×(m/2)×64，第二个MP22输出特征大小为(n/4)×(m/4)×64；第三组第三类卷积块ConvBlockV3输出特征大小为(n/4)×(m/4)×128，第三个MP22输出特征大小为(n/8)×(m/8)×128；第四组第三类卷积块ConvBlockV3输出特征大小为(n/8)×(m/8)×128，第一个GAP输出特征大小为128；FC输入128维特征，输出2维特征，分别表示车辆运动特征值与车辆静止特征值，再使用softmax激活函数，将特征提取到0-1之间作为分类得分。
根据所述队列状态分类结果确定第一车道上的车辆运动状态。
根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，如果车辆静止概率大，则认为当前队列为静止状态，输出0；否则认为当前队列为运动状态，输出1。
根据所述车辆运动状态确定车辆的排队长度。
可以理解的是，如果状态分类器得分结果表明车流处于运动状态，则确定排队长度为0；如果车流处于静止状态，即车辆没有运动，即输出排队长度。
进一步地，为了在车辆没有运动时，准确预测出排队长度，参看图4所示，在一些实施例中，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2×2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层。
所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度还包括：
若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
示例性地，排队长度回归器结构见图4右侧部分所示，车辆排队长度信息主要来源于空间信息，因此，通过设计第四类卷积块V4，其中卷积核为3×5。可以获取空间信息。
在排队长度回归器中使用4组第四类卷积块，卷积块之间使用池化核为3×3，步长为2×2的第二最大池化层，输出通道依次为64、64、128和128，然后接第二全局平均池化层(GAP)和第二全连接层(FC)，其激活函数使用sigmoid，得到回归排队长度占车道的比例。
排队长度回归器输入为Fd，尺寸为n×m×64，第一组ConvBlockV4输出特征大小为n×m×64，第一组MP22输出特征大小为(n/2)×(m/2)×64；第二组ConvBlockV4输出特征大小为(n/2)×(m/2)×64，第二组MP22输出特征大小为(n/4)×(m/4)×64；第三组ConvBlockV4输出特征大小为(n/4)×(m/4)×128，第三组MP22输出特征大小为(n/8)×(m/8)×128；第四组ConvBlockV4输出特征大小为(n/8)×(m/8)×128，第一组GAP输出特征大小为128；FC输入128维特征，输出1维特征，使用sigmoid激活函数，将特征提取到0-1之间作为回归排队长度和车道长度的比例。
具体地，在根据状态分类器判断出车辆静止时，将所述图像融合特征矩阵输入排队长度回归器中，通过排队长度回归器输出排队长度回归器输出的回归排队长度和车道长度的比例，回归排队长度和车道长度的比例与车道长度的乘积即为排队长度。
本发明实施例提供的基于图像特征融合获取车辆排队长度的方法，通过获取目标监控点采集的连续相邻的多帧图像数据，通过基于语义分割网络模型得到车辆图像的特征掩码矩阵，基于轻量图像编码神经网络模型，得到第一车道内车辆图像的特征编码矩阵，将特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵，再基于构建的轻量特征融合神经网络模型得到图像融合特征矩阵，进一步地，根据轻量化神经网络构建的队列状态及长度预测模型与所述图像融合特征矩阵确定出目标监控点的第一车道上的车辆排队长度。由于其中使用各网络结构及基于深度学习建立的轻量化神经网络预测模型，设置的参数较少，有更好的精度和鲁棒性，在一定程度上能够有效提高排队长度预测精确度，并可以提高预测效率。
在另一些实施例中，所述方法还包括：对构建的轻量图像编码神经网络模型、轻量特征融合神经网络模型、队列状态分类器和队列排队长度回归器联合训练；分别使用CrossEntropy Loss和Smooth L1 Loss函数作为队列状态分类器和队列排队长度回归器的损失函数；在训练时，将第一车道随机裁剪截取不同长度，形成不同的训练数据作为输入训练集；在训练得到队列状态及长度预测模型之后，对所述模型进行验证。
举例来说，在验证过程中，使用n＝16,m＝128,H＝128,W＝32，使用人工标记图像数据13210张，分为训练集10000张，验证集1000张，测试集2210张。
将图像编码特征网络、特征融合网络、队列状态分类器和队列排队长度回归器联合训练，分别使用Cross Entropy Loss和Smooth L1 Loss函数(如下，yi表示真值，yi′表示预测值)作为分类器和回归器的损失函数，训练时，将车道随机裁剪，以获取更多增强数据，使模型适应不同长度的车道。最终，该预测模型在测试集中测试精度为0.98，高于传统算法精度。其中，Cross Entropy Loss和Smooth L1 Loss函数如下：
综上，本发明实施例提供的基于图像特征融合获取车辆排队长度的方法，能够有效提高排队长度估计精度及预测效率。
实施例二
图5为本发明的实施例二中基于图像特征融合获取车辆排队长度的装置示意框图，如图5所示，本实施例的装置可以包括：
图像获取程序模块41，用于获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；
特征掩码获取程序模块42，用于使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；
特征编码获取程序模块43，用于根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理；
将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；
特征拼接程序模块44，用于对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；
图像融合程序模块45，用于基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；
排队长度确定程序模块46，用于根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
在一些实施例中，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；
所述排队长度确定程序模块46包括：
第一输入程序单元，用于将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；
最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；
第一输出程序单元，用于调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；
运动状态程序确定单元，用于根据所述队列状态分类结果确定第一车道上的车辆运动状态；第一确定程序单元，用于根据所述车辆运动状态确定车辆的排队长度。
在另一些实施例中，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2×2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；
所述第一确定程序单元，具体用于：若车辆处于运动状态中，则确定车辆的排队长度为0；
所述排队长度确定程序模块46还包括：
第二输入程序单元，用于若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；
最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；
第二输出程序单元，用于调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；
第二确定程序单元，用于根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
在又一些实施例中，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点。所述特征掩码获取程序模块包括：
分割程序单元，将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码；
掩码像素获取程序单元，用于根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0；
占比计算程序单元，用于计算出每个分区中所述掩码像素值为1的面积占比；
统计程序单元，用于根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。本实施例中提供的装置，由于用于执行图1所示方法实施例的技术方案，其实现原理和技术效果与实施例一类似，或相同，可参看实施例一的具体描述，在此处不再赘述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一组实体或者操作与另一组实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一组……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各组实施例均采用相关的方式描述，各组实施例之间相同相似的部分互相参见即可，每组实施例重点说明的都是与其他实施例的不同之处。
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一组或多组布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。
在上述实施方式中，多组步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一组或多组软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是组人计算机，服务器，或者网络设备等)执行本发明各组实施例或者实施例的某些部分所述的方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于图像特征融合获取车辆排队长度的方法，其特征在于，包括：
获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；
使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；
根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理；
将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；
对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；
基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；
根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
2.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；
所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度包括：
将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；
最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；
调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；
根据所述队列状态分类结果确定第一车道上的车辆运动状态；
根据所述车辆运动状态确定车辆的排队长度。
3.根据权利要求2所述的获取车辆排队长度的方法，其特征在于，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2×2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；
所述根据所述车辆运动状态确定车辆的排队长度包括：
若车辆处于运动状态中，则确定车辆的排队长度为0；
所述根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度还包括：
若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；
最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；
调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；
根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
4.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述第一车道图像模型中还预先将所述第一车道配置为沿第一车道长度方向划分成多个四边形分区，每个分区标记有四个角的坐标点；
所述使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵包括：
将每帧第一分辨率的图像输入至语义分割网络模型中，提取每帧图像的特征，并对所述特征进行语义分割，输出第二分辨率的车辆掩码，对所述车辆掩码插值运算后得到具有第一分辨率的车辆掩码；
根据每帧图像中每个分区的坐标点，获取对应分区的所述第一分辨率的车辆掩码对应的掩码像素值；所述掩码像素值包括1和0；
计算出每个分区中所述掩码像素值为1的面积占比；
根据全部帧图像中计算出的所述面积占比进行统计，得到车辆图像的特征掩码矩阵。
5.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述轻量图像编码神经网络模型包括：第一类卷积块、第二类卷积块及通道压缩器，所述第一类卷积块与第二类卷积块之间、所述第二类卷积块输出端与所述通道压缩器之间分别用池化核为1×2、步长为1×2的第三最大池化层连接，所述通道压缩器输出端连接第三全连接层；其中，第一类卷积块包括三组，第二类卷积块包括两组。
6.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述轻量特征融合神经网络模型包括三组第五类卷积块，输出通道依次为16、32和64，卷积块之间不使用池化层。
7.根据权利要求1所述的获取车辆排队长度的方法，其特征在于，所述方法还包括：对构建的轻量图像编码神经网络模型、轻量特征融合神经网络模型、队列状态分类器和队列排队长度回归器联合训练；
分别使用Cross Entropy Loss和Smooth L1 Loss函数作为队列状态分类器和队列排队长度回归器的损失函数；
在训练时，将第一车道随机裁剪截取不同长度，形成不同的训练数据作为输入训练集；
在训练得到队列状态及长度预测模型之后，对所述模型进行验证。
8.一种基于图像特征融合获取车辆排队长度的装置，其特征在于，包括：
图像获取程序模块，用于获取目标监控点采集的连续相邻的多帧图像数据；所述图像数据中包括第一车道以及第一车道上预定距离内的车辆，所述第一车道预先配置为标记有第一车道坐标点的第一车道图像模型；
特征掩码获取程序模块，用于使用语义分割网络模型对每帧图像数据进行语义分割，得到车辆图像的特征掩码矩阵；
特征编码获取程序模块，用于根据所述第一车道模型中标记的第一车道坐标点，对每帧图像数据进行透视变换处理；将透视变换处理后的图像输入构建的轻量图像编码神经网络模型中处理，得到第一车道内车辆图像的特征编码矩阵；
特征拼接程序模块，用于对得到的所述特征掩码矩阵与特征编码矩阵进行通道拼接，得到拼接特征矩阵；
图像融合程序模块，用于基于构建的轻量特征融合神经网络模型，输入所述拼接特征矩阵，得到图像融合特征矩阵；
排队长度确定程序模块，用于根据构建的队列状态及长度预测模型与所述图像融合特征矩阵，确定目标监控点的第一车道上的车辆排队长度。
9.根据权利要求8所述的获取车辆排队长度的装置，其特征在于，所述队列状态及长度预测模型包括队列状态分类器，所述队列状态分类器包括多组第三类卷积块，相邻组第三类卷积块之间使用池化核为3*3、步长为2*2的第一最大池化层，最后一层第三类卷积块的输出端连接第一全局平均池化层，第一全局平均池化层输出端连接第一全连接层；
所述排队长度确定程序模块包括：
第一输入程序单元，用于将所述图像融合特征矩阵输入至队列状态分类器中，经过多组第三类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第一最大池化层对上一层第三类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为a*b，a和b为正整数，且a<b；
最后一层第三类卷积块进行卷积运算得到的结果输出至第一全局平均池化层处理后，输出至第一全连接层处理得到车辆运动特征值与车辆静止特征值；
第一输出程序单元，用于调用第一激活函数，根据所述车辆运动特征值与车辆静止特征值得到车辆运动概率值与车辆静止概率值，根据所述车辆运动概率值与车辆静止概率值，输出队列状态分类结果；
运动状态程序确定单元，用于根据所述队列状态分类结果确定第一车道上的车辆运动状态；
第一确定程序单元，用于根据所述车辆运动状态确定车辆的排队长度。
10.根据权利要求9所述的获取车辆排队长度的装置，其特征在于，所述队列状态及长度预测模型还包括：排队长度回归器，所述排队长度回归器包括多组第四类卷积块，相邻组第四类卷积块之间使用池化核为3*3、步长为2×2的第二最大池化层，最后一层第四类卷积块的输出端连接第二全局平均池化层，第二全局平均池化层输出端连接第二全连接层；
所述第一确定程序单元，具体用于：若车辆处于运动状态中，则确定车辆的排队长度为0；
所述排队长度确定程序模块还包括：
第二输入程序单元，用于若车辆处于静止状态中，则将所述图像融合特征矩阵输入至排队长度回归器中，经过多组第四类卷积块进行卷积运算得到所述图像融合特征矩阵的特征图，并利用相邻组间的第二最大池化层对上一层第四类卷积块卷积运算得到的特征图进行下采样输出；其中，卷积运算使用的卷积核为b*a；
最后一层第四类卷积块进行卷积运算得到的结果依次经过第二全局平均池化层及第二全连接层处理后输出一维特征；
第二输出程序单元，用于调用第二激活函数，对所述一维特征进行归一化处理，得到回归排队长度与车道长度的比例；
第二确定程序单元，用于根据所述第一车道预定距离以及所述回归长度与车道长度的比例，计算得到第一车道上预定距离内的车辆排队长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110747097.2A CN113435370B (zh) | 2021-06-30 | 2021-06-30 | 一种基于图像特征融合获取车辆排队长度的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110747097.2A CN113435370B (zh) | 2021-06-30 | 2021-06-30 | 一种基于图像特征融合获取车辆排队长度的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435370A true CN113435370A (zh) | 2021-09-24 |
| CN113435370B CN113435370B (zh) | 2024-02-23 |
Family
ID=77758556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110747097.2A Active CN113435370B (zh) | 2021-06-30 | 2021-06-30 | 一种基于图像特征融合获取车辆排队长度的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435370B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898226A (zh) * | 2022-05-31 | 2022-08-12 | 北京百度网讯科技有限公司 | 地图数据处理方法、装置、电子设备和存储介质 |
| CN115273496A (zh) * | 2022-07-27 | 2022-11-01 | 北京英泰智科技股份有限公司 | 动态控制人行横道信号灯配时的方法、系统及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903445A (zh) * | 2014-04-22 | 2014-07-02 | 北京邮电大学 | 一种基于视频的车辆排队长度检测方法与系统 |
| US20160162112A1 (en) * | 2014-09-19 | 2016-06-09 | Lg Electronics Inc. | Mobile terminal and method of controlling the same |
| US20170039431A1 (en) * | 2015-08-03 | 2017-02-09 | Beijing Kuangshi Technology Co., Ltd. | Video monitoring method, video monitoring apparatus and video monitoring system |
| CN107644529A (zh) * | 2017-08-03 | 2018-01-30 | 浙江浩腾电子科技股份有限公司 | 一种基于运动检测的车辆排队长度检测方法 |
| CN108764137A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 基于语义分割的车辆行驶车道定位方法 |
| CN109426788A (zh) * | 2017-08-31 | 2019-03-05 | 浙江宇视科技有限公司 | 排队长度检测方法、装置及服务器 |
| CN110020651A (zh) * | 2019-04-19 | 2019-07-16 | 福州大学 | 基于深度学习网络的车牌检测定位方法 |
| CN111781600A (zh) * | 2020-06-18 | 2020-10-16 | 重庆工程职业技术学院 | 一种适用于信号交叉口场景的车辆排队长度检测方法 |
-
2021
- 2021-06-30 CN CN202110747097.2A patent/CN113435370B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103903445A (zh) * | 2014-04-22 | 2014-07-02 | 北京邮电大学 | 一种基于视频的车辆排队长度检测方法与系统 |
| US20160162112A1 (en) * | 2014-09-19 | 2016-06-09 | Lg Electronics Inc. | Mobile terminal and method of controlling the same |
| US20170039431A1 (en) * | 2015-08-03 | 2017-02-09 | Beijing Kuangshi Technology Co., Ltd. | Video monitoring method, video monitoring apparatus and video monitoring system |
| CN107644529A (zh) * | 2017-08-03 | 2018-01-30 | 浙江浩腾电子科技股份有限公司 | 一种基于运动检测的车辆排队长度检测方法 |
| CN109426788A (zh) * | 2017-08-31 | 2019-03-05 | 浙江宇视科技有限公司 | 排队长度检测方法、装置及服务器 |
| CN108764137A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 基于语义分割的车辆行驶车道定位方法 |
| CN110020651A (zh) * | 2019-04-19 | 2019-07-16 | 福州大学 | 基于深度学习网络的车牌检测定位方法 |
| CN111781600A (zh) * | 2020-06-18 | 2020-10-16 | 重庆工程职业技术学院 | 一种适用于信号交叉口场景的车辆排队长度检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| QING CAI ET AL: "New Calculating Method for HCM 2000 Queue Length Estimation Procedures with the Application of Floating Car Data", 《PROCEDIA - SOCIAL AND BEHAVIORAL SCIENCES》, vol. 96, pages 2201 - 2210 * |
| 杨良义等: "基于视频的交叉路口车辆排队长度检测方法研究", 《重庆理工大学学报（自然科学）》, vol. 32, no. 6, pages 169 - 174 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114898226A (zh) * | 2022-05-31 | 2022-08-12 | 北京百度网讯科技有限公司 | 地图数据处理方法、装置、电子设备和存储介质 |
| CN114898226B (zh) * | 2022-05-31 | 2024-03-26 | 北京百度网讯科技有限公司 | 地图数据处理方法、装置、电子设备和存储介质 |
| CN115273496A (zh) * | 2022-07-27 | 2022-11-01 | 北京英泰智科技股份有限公司 | 动态控制人行横道信号灯配时的方法、系统及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435370B (zh) | 2024-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108171112B (zh) | 基于卷积神经网络的车辆识别与跟踪方法 | |
| CN109918969B (zh) | 人脸检测方法及装置、计算机装置和计算机可读存储介质 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN108830171B (zh) | 一种基于深度学习的智能物流仓库引导线视觉检测方法 | |
| CN112528878A (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| US20130258107A1 (en) | Method of determining parking lot occupancy from digital camera images | |
| CN111008600B (zh) | 一种车道线检测方法 | |
| CN112287912B (zh) | 基于深度学习的车道线检测方法以及装置 | |
| CN110765906A (zh) | 一种基于关键点的行人检测算法 | |
| CN111709416A (zh) | 车牌定位方法、装置、系统及存储介质 | |
| CN104036284A (zh) | 基于Adaboost算法的多尺度行人检测方法 | |
| CN113435370B (zh) | 一种基于图像特征融合获取车辆排队长度的方法及装置 | |
| CN111931683A (zh) | 图像识别方法、装置及计算机可读存储介质 | |
| CN112465854A (zh) | 基于无锚点检测算法的无人机跟踪方法 | |
| CN115578616A (zh) | 多尺度物体实例分割模型的训练方法、分割方法和装置 | |
| CN113408550B (zh) | 基于图像处理的智能称重管理系统 | |
| CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及系统 | |
| Zhang et al. | Image-based approach for parking-spot detection with occlusion handling | |
| CN109583584B (zh) | 可使具有全连接层的cnn接受不定形状输入的方法及系统 | |
| CN115346206A (zh) | 基于改进超分辨的深度卷积特征识别的车牌检测方法 | |
| CN107958238A (zh) | 一种基于眼鼻嘴分类的人脸定位方法 | |
| CN117037049B (zh) | 基于YOLOv5深度学习的图像内容检测方法及系统 | |
| CN111914838B (zh) | 一种基于文本行识别的车牌识别方法 | |
| CN114782459B (zh) | 一种基于语义分割的拼接图像分割方法、装置及设备 | |
| CN114155475B (zh) | 无人机视角下端到端的人员动作识别方法、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: East of 1st floor, No.36 Haidian Street, Haidian District, Beijing, 100086 Applicant after: BEIJING ITARGE TECHNOLOGY CO.,LTD. Address before: 100080 7th floor, block B, Zhongguancun intellectual property building, 21 Haidian South Road, Haidian District, Beijing Applicant before: BEIJING ITARGE TECHNOLOGY CO.,LTD. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |