CN117934555A - 基于深度学习的车辆车速识别方法、装置、设备及介质 - Google Patents
基于深度学习的车辆车速识别方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117934555A CN117934555A CN202410324850.0A CN202410324850A CN117934555A CN 117934555 A CN117934555 A CN 117934555A CN 202410324850 A CN202410324850 A CN 202410324850A CN 117934555 A CN117934555 A CN 117934555A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- positions
- driving
- aerial view
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 45
- 238000010586 diagram Methods 0.000 claims abstract description 55
- 230000011218 segmentation Effects 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 10
- 230000001174 ascending effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 claims 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 238000009434 installation Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于深度学习的车辆车速识别方法、装置、设备及介质，涉及路安全保护技术领域，包括获取车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图；将分割结果图转换为第一鸟瞰图，计算单位像素与实际距离的转换关系式；将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值；将所述行驶位置转换至第二鸟瞰图，并计算得到两个行驶位置之间的实际距离；以计算得到车辆的平均车速，本发明用于解决现有技术中车辆的测速装置成本高，安装繁琐，需要多个设备配合使用才能检测到车速的技术问题。
Description
技术领域
本发明道路安全保护领域，具体而言，涉及基于深度学习的车辆车速识别方法、装置、设备及介质。
背景技术
由于高速公路上车辆行驶速度快，为保障高速公路上车辆行驶的安全性，将车辆车速控制在合理的范围内尤为重要。虽然现有的测速设施在一定程度上增强了高速公路上车辆行驶的安全性，但高速公路上的测速装置一般测量的是车辆在某个区间内行驶的平均速度或在某处的速度，以此来判断车辆是否超速，并不能发现车辆速度的变化情况。且测速装置成本高，安装繁琐，一般需要多个设备配合使用才能检测到车速。
发明内容
本发明的目的在于提供一种基于深度学习的车辆车速识别方法、装置、设备及介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于深度学习的车辆车速识别方法，包括：
获取车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图；
将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式；
将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值；
将所述行驶位置转换至第二鸟瞰图，并由所述转换关系式计算得到两个行驶位置之间的实际距离；
基于两个行驶位置之间的实际距离和时间差值计算得到车辆的平均车速。
第二方面，本申请还提供了一种基于深度学习的车辆车速识别装置，包括：
分割模块：用于获取车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图；
转换模块：用于将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式；
追踪模块：用于将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值；
第一计算模块：用于将所述行驶位置转换至第二鸟瞰图，并由所述转换关系式计算得到两个行驶位置之间的实际距离；
第二计算模块：用于基于两个行驶位置之间的实际距离和时间差值计算得到车辆的平均车速。
第三方面，本申请还提供了一种基于深度学习的车辆车速识别设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于深度学习的车辆车速识别方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于深度学习的车辆车速识别方法的步骤。
本发明的有益效果为：
本发明使用机器视觉的方法对监控视角下车辆的车速进行检测，硬件设施简单，安装简单。先使用车道线分割算法对车道线进行分割，计算出车道线的像素长度，通过计算将单位像素对应到现实距离；再使用目标检测算法对车辆进行定位，使用跟踪算法对车辆进行跟踪，获取到每一个车辆行驶的像素长度和该长度对应的时间；结合车辆在第二鸟瞰图中行驶的像素长度和单位像素长度对应的现实距离，计算车辆行驶的车速。设计了低推理时延高精度的目标跟踪算法，能对车辆进行实时准确的车速识别。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于深度学习的车辆车速识别方法流程示意图;
图2为本发明实施例中所述的车道线透视变换示意图；
图3为本发明实施例中所述第一鸟瞰图中的车道线示意图；
图4为本发明实施例中所述车道像素提取结果图；
图5为本发明实施例中所述的ID分类模块设计结构图；
图6为本发明实施例中所述的特征提取过程示意图；
图7为本发明实施例中所述的基于深度学习的车辆车速识别装置结构示意图；
图8为本发明实施例中所述的基于深度学习的车辆车速识别设备结构示意图。
图中标记：
800、基于深度学习的车辆车速识别设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于深度学习的车辆车速识别方法。
参见图1，图中示出了本方法包括：
S1.获取监控视角下车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图，其中，所述道路图像的大小为640×360；具体的，所述步骤S1包括：
所述车道线分割模型包括编码器和解码器，在进行特征融合时，将获取到的特征按特定的方式融合到解码器中的对应层中。在解码器中融合编码器的特征时，解码层对与自己分辨率大小相同的编码层和比自己分辨率大的编码层进行拼接融合，最后实现车道线像素和道路像素的分离。
解码器各层输入的特征数学表达式为：
；
；
其中，表示编码器第i层输出的特征，/>表示解码器第i层输入的特征D()和U()分别表示下采样和上采样，C()表示卷积操作，[.]表示对特征通道的拼接操作。其中，式(2)说明，当k大于等于1且小于等于5时，式(1)中对应的特征才为有效特征，否则为无效特征。
S2.将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式，通过将监控视角下的车道变为俯视视角下的车道，可恢复车道之间的平行性和车道虚线的等长性；
具体的，所述步骤S2包括：
S21.在分割结果图中确定四个像素点的位置坐标，在鸟瞰图中确定四个所述像素点的位置坐标；
请参阅图2，图2中的（a）表示分割结果图，图2中的（b）表示第一鸟瞰图，先取图2中的（a）中四个点a、b、c、d，再取图2中的（b）上四个点a1、b1、c1、d1，两张图上的四个点一一对应，即原图a点转换为鸟瞰图后变为a1点，b、c、d分别对应b1、c1、d1点。
S22.由四个像素点在分割结果图和第一鸟瞰图中的位置坐标确定转置矩阵；
利用8个坐标计算转置矩阵T，转置矩阵T为3×3大小的矩阵，
；（2）
其中（1<=i,j<=3）为进行位置坐标转换时的参数。
S23.利用所述转置矩阵将分割结果图中的剩余像素点映射至第一鸟瞰图中对应位置；
S24.对第一鸟瞰图上的像素进行聚类，将第一鸟瞰图上属于同一车道线的像素聚为一类，得到多条车道线；
具体的，所述步骤S24包括：
S241.提取第一鸟瞰图上的车道线的像素点；
S242.确定预设半径的圆，将落入圆内的像素点数量作为所述圆的样本密度；
S243.当圆的样本密度大于预设值时，将圆内的像素点纳入临时聚类簇；
S244.将临时聚类簇合并后得到多个聚类簇，一个聚类簇对应一条车道线，请参阅图3，图3为转换为第一鸟瞰图的车道线，先将图3中车道线的像素的位置提取出来，提取结果如图4所示，然后对图4中的像素进行聚类，经过DBSCAN聚类后，一共有8个类别，即8条不同的车道线。
S25.获取多条车道线的像素长度和实际长度，优选的，主要获取道路中部的多条车道线分别计算转换关系式，计算后取其平均值；
第一鸟瞰图的单位像素与实际距离的转换关系式：；（3）
其中，为第一鸟瞰图上单位像素对应的实际长度，/>为车道虚线的实际长度，为车道虚线的像素长度。
S3.将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值，其中，本实施例中基于经典的JDT模式，在YOLOv5网络中添加ReID特征识别模块，使YOLOv5在输出目标位置信息的同时输出目标特征信息，不单独使用特征提取网络，以提高算法的跟踪速度，得到车辆跟踪模型 (YOLOv5-ReID)，ReID模块由特征输出模块和ID分类模块共同模块组成；
所述特征输出模块为使目标能够提取到较为精细准确的特征，将PANet(PathAggregation Network)继续自底向上进行上采样到1/4原图大小，再与车辆跟踪模型主干网中的1/4原图大小的特征进行融合，最后输出原图1/4大小的128维的特征图，作为提取目标特征的特征池；
所述ID分类模块输入的数据从特征池中提取的特征，所述ID分类模块将提取到的特征进行分类，分类结果为车辆的ID。ID分类模块设计如图5所示，包括两层全连接层，两层分别为输入层和输出层，其中输入层设计为128个节点。
具体的，所述步骤S3包括：
S31.将行驶视频按帧率划分为多张单帧图像，对单帧图像中的车辆进行编号；
具体的，所述步骤S31包括：
S311.对单帧图像自底向上进行上采样至单帧图像的1/4，再将采样后的单帧图像与单帧图像的1/4特征进行融合得到特征图；
S312.识别单帧图像中的车辆，并采用标签标记车辆所在位置；
S313.将所述标签映射特征图中的对应位置，提取对应位置上的特征得到车辆的特征；
在特征池中提取车辆的特征时，使用车辆的位置信息在特征池中定位目标特征。如图6所示，图6中的（a）为检测图，方框作为标签标记出车辆所在位置，图6中的（b)为特征池，图中所标记的位置为车辆按比例对应到特征池中的位置，提取该位置上的单位128维特征作为该车辆的特征,请参阅图6中的（c），优选的，车辆按比例对应到特征池中的位置具体计算方法为：；（4）
式中，(m,n)为训练标签中车辆的归一化中心坐标，m为归一化后的横坐标，n为归一化后的竖坐标，w为输入的被检测图像的宽，h为输入的被检测图片的高，(x,y)为在被检测图片中，以(m,n)为中心坐标的目标，其特征在特征池的中心位置，x，y分别为特征的横纵坐标。
S314.根据所述车辆的特征对车辆进行编号；
具体的，利用ID分类模块对车辆进行编号：
请参阅图5，将全连接网络的输出结果采用softmax进行归一化，获得输入特征所代表的目标的类别概率，类别概率最大的节点所代表的ID，则为该目标的预测ID。
S32.在单帧图像中生成多个不同比例大小的候选框，对所述候选框进行类别预测和边界回归得到车辆的检测框；
S33.将所有检测框的置信度得分升序排序，得到置信度最高分对应的目标检测框；
S34.遍历剩余检测框，依次计算目标检测框与当前检测框的IoU；
S35.依次计算剩余检测框的置信度；
S34.根据所述置信度为每个剩余检测框设定IoU阈值，其中，所述IoU阈值与置信度呈正相关，可以减少在车辆相互遮挡时，真实的检测框被错误的抑制的情况，以提高算法的跟踪精度，所述IoU阈值的计算公式为：
；（5）
其中，所述IoU阈值的最低下限值为0.35；为置信值；超参数/>用作过滤掉置信度较低的边框；超参数/>为根据置信度设置IoU过滤阈值，/>表示乘积。
S36.依次比较所述目标检测框与当前检测框的IoU与其对应的IoU阈值大小：
若大于对应的IoU阈值，则删除当前检测框。
S37.将IoU进行升序排序，将最高IoU对应的检测框作为下一个目标检测框；
S38.获取全部目标检测框的位置得到车辆的多个行驶位置。
S4.将所述行驶位置转换至第二鸟瞰图，并由所述转换关系式计算得到两个行驶位置之间的实际距离；
基于转换关系式将单帧图像上的点转换为第二鸟瞰图上的点/>：；（6）
；（7）/>；（8）
其中，w的值为1，、/>、/>为计算的中间结果。
因此，分别将单帧图像上的、单帧图像上的/>转换到第二鸟瞰图上得到点/>、/>后计算/>到/>的像素距离/>：；（9）
由此得到到/>的实际距离为：/>；（10）
S5.基于两个行驶位置之间的实际距离和时间差值计算得到车辆的平均车速：
当车辆在第二鸟瞰图上的两个位置分别为、/>，车辆在从/>到共经过n个单帧图像，设输入视频为f帧每秒，故车辆从/>到/>所需时间差值t为：/>；（11）
车辆的平均车速为：/>；（12）
实施例2：
如图7所示，本实施例提供了一种基于深度学习的车辆车速识别装置，所述装置包括：
分割模块：用于获取车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图；
转换模块：用于将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式；
追踪模块：用于将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值；
第一计算模块：用于将所述行驶位置转换至第二鸟瞰图，并由所述转换关系式计算得到两个行驶位置之间的实际距离；
第二计算模块：用于基于两个行驶位置之间的实际距离和时间差值计算得到车辆的平均车速。
基于以上实施例，所述转换模块包括：
坐标确定单元：用于在分割结果图中确定四个像素点的位置坐标，在第一鸟瞰图中确定四个所述像素点的位置坐标；
第一计算单元：用于由四个像素点在分割结果图和第一鸟瞰图中的位置坐标确定转置矩阵；
映射单元：用于利用所述转置矩阵将分割结果图中的剩余像素点映射至第一鸟瞰图中对应位置；
聚类单元：用于对第一鸟瞰图上的像素进行聚类，将第一鸟瞰图上属于同一车道线的像素聚为一类，得到多条车道线；
第二计算单元：用于获取多条车道线的像素长度和实际长度，以计算第一鸟瞰图的单位像素与实际距离的转换关系式。
基于以上实施例，所述聚类单元包括：
像素提取单元：用于提取第一鸟瞰图上的车道线的像素点；
第一确定单元：用于确定预设半径的圆，将落入圆内的像素点数量作为所述圆的样本密度；
第一判断单元：用于当圆的样本密度大于预设值时，将圆内的像素点纳入临时聚类簇；
合并单元：用于将临时聚类簇合并后得到多个聚类簇，一个聚类簇对应一条车道线。
基于以上实施例，所述追踪模块包括：
划分单元：用于将行驶视频按帧率划分为多张单帧图像，对单帧图像中的车辆进行编号；
处理单元：用于在单帧图像中生成多个不同比例大小的候选框，对所述候选框进行类别预测和边界回归得到车辆的检测框；
第一排序单元：用于将所有检测框的置信度得分升序排序，得到置信度最高分对应的目标检测框；
遍历单元：用于遍历剩余检测框，依次计算目标检测框与当前检测框的IoU；
第二排序单元：用于将IoU进行升序排序，将最高IoU对应的检测框作为下一个目标检测框；
获取单元：用于获取全部目标检测框的位置得到车辆的多个行驶位置。
基于以上实施例，所述划分单元包括：
特征融合单元：用于对单帧图像自底向上进行上采样至单帧图像的1/4，再将采样后的单帧图像与单帧图像的1/4特征进行融合得到特征图；
识别单元：用于识别单帧图像中的车辆，并采用标签标记车辆所在位置；
特征提取单元：用于将所述标签映射特征图中的对应位置，提取对应位置上的特征得到车辆的特征；
编号单元：用于根据所述车辆的特征对车辆进行编号。
基于以上实施例，所述第二排序单元之前，还包括：
第三计算单元：用于依次计算剩余检测框的置信度；
阈值设定单元：用于根据所述置信度为每个剩余检测框设定IoU阈值，其中，所述IoU阈值与置信度呈正相关；
第二判断单元：用于依次比较所述目标检测框与当前检测框的IoU与其对应的IoU阈值大小：
若大于对应的IoU阈值，则删除当前检测框。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种基于深度学习的车辆车速识别设备，下文描述的一种基于深度学习的车辆车速识别设备与上文描述的一种基于深度学习的车辆车速识别方法可相互对应参照。
图8是根据示例性实施例示出的一种基于深度学习的车辆车速识别设备800的框图。如图8所示，该基于深度学习的车辆车速识别设备800可以包括：处理器801，存储器802。该基于深度学习的车辆车速识别设备800还可以包括多媒体组件803， I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于深度学习的车辆车速识别设备800的整体操作，以完成上述的基于深度学习的车辆车速识别方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于深度学习的车辆车速识别设备800的操作，这些数据例如可以包括用于在该基于深度学习的车辆车速识别设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于深度学习的车辆车速识别设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，基于深度学习的车辆车速识别设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital SignalProcessing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于深度学习的车辆车速识别方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于深度学习的车辆车速识别方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于深度学习的车辆车速识别设备800的处理器801执行以完成上述的基于深度学习的车辆车速识别方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于深度学习的车辆车速识别方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于深度学习的车辆车速识别方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于深度学习的车辆车速识别方法，其特征在于，包括：
获取车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图；
将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式；
将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值；
将所述行驶位置转换至第二鸟瞰图，并由所述转换关系式计算得到两个行驶位置之间的实际距离；
基于两个行驶位置之间的实际距离和时间差值计算得到车辆的平均车速。
2.根据权利要求1所述的基于深度学习的车辆车速识别方法，其特征在于，将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式，包括：
在分割结果图中确定四个像素点的位置坐标，在第一鸟瞰图中确定四个所述像素点的位置坐标；
由四个像素点在分割结果图和第一鸟瞰图中的位置坐标确定转置矩阵；
利用所述转置矩阵将分割结果图中的剩余像素点映射至第一鸟瞰图中对应位置；
对第一鸟瞰图上的像素进行聚类，将第一鸟瞰图上属于同一车道线的像素聚为一类，得到多条车道线；
获取多条车道线的像素长度和实际长度，以计算第一鸟瞰图的单位像素与实际距离的转换关系式。
3.根据权利要求1所述的基于深度学习的车辆车速识别方法，其特征在于，将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，包括：
将行驶视频按帧率划分为多张单帧图像，对单帧图像中的车辆进行编号；
在单帧图像中生成多个不同比例大小的候选框，对所述候选框进行类别预测和边界回归得到车辆的检测框；
将所有检测框的置信度得分升序排序，得到置信度最高分对应的目标检测框；
遍历剩余检测框，依次计算目标检测框与当前检测框的IoU；
将IoU进行升序排序，将最高IoU对应的检测框作为下一个目标检测框；
获取全部目标检测框的位置得到车辆的多个行驶位置。
4.根据权利要求3所述的基于深度学习的车辆车速识别方法，其特征在于，对单帧图像中的车辆进行编号，包括：
对单帧图像自底向上进行上采样至单帧图像的1/4，再将采样后的单帧图像与单帧图像的1/4特征进行融合得到特征图；
识别单帧图像中的车辆，并采用标签标记车辆所在位置；
将所述标签映射特征图中的对应位置，提取对应位置上的特征得到车辆的特征；
根据所述车辆的特征对车辆进行编号。
5.一种基于深度学习的车辆车速识别装置，其特征在于，包括：
分割模块：用于获取车辆的行驶视频，从行驶视频中截取道路图像，将所述道路图像输入车道线分割模型中得到车道线与道路的分割结果图；
转换模块：用于将分割结果图转换为第一鸟瞰图，基于所述第一鸟瞰图上的车道线计算得到单位像素与实际距离的转换关系式；
追踪模块：用于将所述行驶视频输入车辆跟踪模型，追踪车辆的至少两个行驶位置和每个行驶位置对应的时刻，以计算车辆在任意两个行驶位置之间的时间差值；
第一计算模块：用于将所述行驶位置转换至第二鸟瞰图，并由所述转换关系式计算得到两个行驶位置之间的实际距离；
第二计算模块：用于基于两个行驶位置之间的实际距离和时间差值计算得到车辆的平均车速。
6.根据权利要求5所述的基于深度学习的车辆车速识别装置，其特征在于，所述转换模块包括：
坐标确定单元：用于在分割结果图中确定四个像素点的位置坐标，在第一鸟瞰图中确定四个所述像素点的位置坐标；
第一计算单元：用于由四个像素点在分割结果图和第一鸟瞰图中的位置坐标确定转置矩阵；
映射单元：用于利用所述转置矩阵将分割结果图中的剩余像素点映射至第一鸟瞰图中对应位置；
聚类单元：用于对第一鸟瞰图上的像素进行聚类，将第一鸟瞰图上属于同一车道线的像素聚为一类，得到多条车道线；
第二计算单元：用于获取多条车道线的像素长度和实际长度，以计算第一鸟瞰图的单位像素与实际距离的转换关系式。
7.根据权利要求5所述的基于深度学习的车辆车速识别装置，其特征在于，所述追踪模块包括：
划分单元：用于将行驶视频按帧率划分为多张单帧图像，对单帧图像中的车辆进行编号；
处理单元：用于在单帧图像中生成多个不同比例大小的候选框，对所述候选框进行类别预测和边界回归得到车辆的检测框；
第一排序单元：用于将所有检测框的置信度得分升序排序，得到置信度最高分对应的目标检测框；
遍历单元：用于遍历剩余检测框，依次计算目标检测框与当前检测框的IoU；
第二排序单元：用于将IoU进行升序排序，将最高IoU对应的检测框作为下一个目标检测框；
获取单元：用于获取全部目标检测框的位置得到车辆的多个行驶位置。
8.根据权利要求7所述的基于深度学习的车辆车速识别装置，其特征在于，所述划分单元包括：
特征融合单元：用于对单帧图像自底向上进行上采样至单帧图像的1/4，再将采样后的单帧图像与单帧图像的1/4特征进行融合得到特征图；
识别单元：用于识别单帧图像中的车辆，并采用标签标记车辆所在位置；
特征提取单元：用于将所述标签映射特征图中的对应位置，提取对应位置上的特征得到车辆的特征；
编号单元：用于根据所述车辆的特征对车辆进行编号。
9.一种基于深度学习的车辆车速识别设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述基于深度学习的车辆车速识别方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于深度学习的车辆车速识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410324850.0A CN117934555A (zh) | 2024-03-21 | 2024-03-21 | 基于深度学习的车辆车速识别方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410324850.0A CN117934555A (zh) | 2024-03-21 | 2024-03-21 | 基于深度学习的车辆车速识别方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117934555A true CN117934555A (zh) | 2024-04-26 |
Family
ID=90750967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410324850.0A Pending CN117934555A (zh) | 2024-03-21 | 2024-03-21 | 基于深度学习的车辆车速识别方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117934555A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108335489A (zh) * | 2018-03-11 | 2018-07-27 | 西安电子科技大学 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
| CN110084829A (zh) * | 2019-03-12 | 2019-08-02 | 上海阅面网络科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| CN111027370A (zh) * | 2019-10-16 | 2020-04-17 | 合肥湛达智能科技有限公司 | 一种多目标跟踪及行为分析检测方法 |
| CN112990128A (zh) * | 2021-04-27 | 2021-06-18 | 电子科技大学 | 一种基于视频跟踪的多车辆测速方法 |
| US20210326699A1 (en) * | 2020-04-21 | 2021-10-21 | Inrix, Inc. | Travel speed prediction |
| CN114863321A (zh) * | 2022-04-08 | 2022-08-05 | 北京凯利时科技有限公司 | 自动视频生成方法、装置及电子设备和芯片系统 |
| CN115497303A (zh) * | 2022-08-19 | 2022-12-20 | 招商新智科技有限公司 | 一种复杂检测条件下的高速公路车速检测方法及系统 |
| KR20230082323A (ko) * | 2021-12-01 | 2023-06-08 | 한국전자통신연구원 | 차량 속도 검출 방법 및 장치 |
-
2024
- 2024-03-21 CN CN202410324850.0A patent/CN117934555A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108335489A (zh) * | 2018-03-11 | 2018-07-27 | 西安电子科技大学 | 高速公路车辆行为语义分析及异常行为监控系统及方法 |
| CN110084829A (zh) * | 2019-03-12 | 2019-08-02 | 上海阅面网络科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
| CN111027370A (zh) * | 2019-10-16 | 2020-04-17 | 合肥湛达智能科技有限公司 | 一种多目标跟踪及行为分析检测方法 |
| US20210326699A1 (en) * | 2020-04-21 | 2021-10-21 | Inrix, Inc. | Travel speed prediction |
| CN112990128A (zh) * | 2021-04-27 | 2021-06-18 | 电子科技大学 | 一种基于视频跟踪的多车辆测速方法 |
| KR20230082323A (ko) * | 2021-12-01 | 2023-06-08 | 한국전자통신연구원 | 차량 속도 검출 방법 및 장치 |
| CN114863321A (zh) * | 2022-04-08 | 2022-08-05 | 北京凯利时科技有限公司 | 自动视频生成方法、装置及电子设备和芯片系统 |
| CN115497303A (zh) * | 2022-08-19 | 2022-12-20 | 招商新智科技有限公司 | 一种复杂检测条件下的高速公路车速检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| WO2023083280A1 (zh) | 一种场景文本识别方法和装置 | |
| CN107341523A (zh) | 基于深度学习的快递单信息识别方法和系统 | |
| CN111914838B (zh) | 一种基于文本行识别的车牌识别方法 | |
| CN110598693A (zh) | 一种基于Faster-RCNN的船牌识别方法 | |
| CN113076804B (zh) | 基于YOLOv4改进算法的目标检测方法、装置及系统 | |
| CN112215188B (zh) | 交警姿态识别方法、装置、设备及存储介质 | |
| CN106845458B (zh) | 一种基于核超限学习机的快速交通标识检测方法 | |
| CN113239725B (zh) | 一种等待过街行人及过街方向识别方法及系统 | |
| CN109740609A (zh) | 一种轨距检测方法及装置 | |
| CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 | |
| CN111507353B (zh) | 一种基于文字识别的中文字段检测方法及系统 | |
| CN114724063B (zh) | 一种基于深度学习的公路交通事件检测方法 | |
| CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
| CN110263836B (zh) | 一种基于多特征卷积神经网络的不良驾驶状态识别方法 | |
| CN111797704B (zh) | 一种基于相关物体感知的动作识别方法 | |
| CN117437615A (zh) | 雾天交通标志检测方法、装置、存储介质和电子设备 | |
| CN114998689B (zh) | 一种轨道数据集的生成方法、轨道识别方法和系统 | |
| CN113158954A (zh) | 交通非现场的基于ai技术的斑马线区域自动检测方法 | |
| CN112418358A (zh) | 一种强化深度融合网络的车辆多属性分类方法 | |
| CN115953744A (zh) | 一种基于深度学习的车辆识别追踪方法 | |
| CN116052189A (zh) | 一种文本识别方法、系统和存储介质 | |
| CN117934555A (zh) | 基于深度学习的车辆车速识别方法、装置、设备及介质 | |
| CN116188755A (zh) | 一种基于深度学习的仪表角度校正与示数识别装置 | |
| CN114882205A (zh) | 基于注意力机制的目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |