CN114219836B - 一种基于时空信息辅助的无人机视频车辆跟踪方法 - Google Patents

一种基于时空信息辅助的无人机视频车辆跟踪方法 Download PDF

Info

Publication number
CN114219836B
CN114219836B CN202111533174.0A CN202111533174A CN114219836B CN 114219836 B CN114219836 B CN 114219836B CN 202111533174 A CN202111533174 A CN 202111533174A CN 114219836 B CN114219836 B CN 114219836B
Authority
CN
China
Prior art keywords
vehicle
map
image frame
deep
frm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111533174.0A
Other languages
English (en)
Other versions
CN114219836A (zh
Inventor
吕京国
白颖奇
曹逸飞
王琛
贺柳良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Civil Engineering and Architecture filed Critical Beijing University of Civil Engineering and Architecture
Priority to CN202111533174.0A priority Critical patent/CN114219836B/zh
Publication of CN114219836A publication Critical patent/CN114219836A/zh
Application granted granted Critical
Publication of CN114219836B publication Critical patent/CN114219836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G06F17/153—Multidimensional correlation or convolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于时空信息辅助的无人机视频车辆追踪方法，包括以下步骤：确定需要追踪的目标车辆S；搜索到目标车辆S；从搜索到目标车辆S开始，采用时空辅助快速追踪方法，对目标车辆S进行追踪。本发明提供的基于时空信息辅助的无人机视频车辆跟踪方法，一旦检索到目标后，先采用车辆区域搜索算法，利用目标上下文信息辅助定位目标车辆位置，同时减少搜索区域以外车辆对跟踪的影响；后通过目标车辆的历史信息与目标车辆模板信息相融合，提高得分图中目标车辆的响应程度，进而实现快速准确的跟踪，因此，本发明大大提高车辆跟踪的应用价值，对于车辆检索追踪方向有着重要意义。

Description

一种基于时空信息辅助的无人机视频车辆跟踪方法
技术领域
本发明属于遥感信息智能处理技术领域，具体涉及一种基于时空信息辅助的无人机视频车辆跟踪方法。
背景技术
随着车辆数目的快速增长，道路交通管理面临的问题越来越复杂。利用监控摄像头获取监控视频，可以使交通管理部门直观的了解当前道路的信息，从而制定更加有效的管理策略。目前，基于监控视频的车辆跟踪算法主要包括：(1)基于车辆轨迹特征进行车辆跟踪；(2)基于车辆外观特征进行车辆跟踪。其中，基于车辆轨迹特征进行车辆跟踪的方法为：将车辆运动的历史轨迹与卡尔曼滤波、粒子滤波、背景差分等算法相结合预测车辆的位置。在车辆运动方向变化较小时，跟踪稳定性好；基于车辆外观特征进行车辆跟踪的方法为：采用相关滤波、均值漂移等算法获取目标车辆的外观特征，如Haar特征、SIFT特征以及HOG特征等，再通过特征匹配获取车辆的位置信息。在车辆特征清晰时，车辆跟踪精确度高。
但上述算法主要应用于地面监控视频中，而传统的地面监控设备主要部署于路口的龙门架上，监控视角有限。若对特定车辆进行持续跟踪监控，需要推算车辆可能会经过的所有路口，然后对所有路口的视频画面进行检测，不仅会导致误跟踪，同时若路口未部署监控摄像头，会直接导致跟踪失败。
随着无人机技术不断成熟，为道路车辆跟踪提供了新的解决思路。不同于传统的地面监控设备，利用无人机进行跟踪，具有成本低，快速、机动、监控范围广的特点，不仅能够动态的对目标进行实时定位与跟踪，还能够进一步利用无人机对目标车辆提供语音信息传递、物品快速送达等服务。
但无人机视频拍摄高度较高，且视频中往往包含大量车辆，而目标车辆在每帧图像中所占的像素少，直接对整帧图像进行车辆特征匹配费时费力，且会产生大量干扰特征，导致车辆误跟踪问题。同时，无人机在车辆跟踪过程中，由于车辆行驶方向不断变化，目标车辆本身的旋转使得其与提供的目标车辆模板产生变化，导致目标车辆得分图响应弱，降低车辆跟踪准确度。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于时空信息辅助的无人机视频车辆跟踪方法，可有效解决上述问题。
本发明采用的技术方案如下：
本发明提供一种基于时空信息辅助的无人机视频车辆跟踪方法，包括以下步骤：
步骤1，确定需要跟踪的目标车辆S；
步骤2，无人机对地面进行拍摄，获得无人机视频数据；将无人机视频数据的每一视频帧作为图像帧；
步骤3，按图像帧生成顺序，依次对各个图像帧进行车辆特征识别，判断每个图像帧是否包含目标车辆S，如果不包含，则继续对下一图像帧进行车辆特征识别，直到定位到包含目标车辆S的图像帧，然后执行步骤4；如果包含，则表明成功搜索到目标车辆S，执行步骤4；
将首次识别到包含目标车辆S的图像帧设为第0图像帧Frm(0)，在第0图像帧Frm(0)中确定包含目标车辆S的车辆结果框Box(0)，再一步确定车辆结果框Box(0)的位置信息，包括：车辆结果框Box(0)的宽w0,高h0以及中心点坐标P0(x0,y0)；
步骤4，从第0图像帧Frm(0)搜索到目标车辆S开始，采用时空信息辅助的无人机视频车辆跟踪方法，对后续的图像帧Frm(t)中的目标车辆S进行跟踪；其中，t＝2,…,End表示当前图像帧距离第0图像帧Frm(0)的帧数，End表示跟踪结束时图像帧的帧数；
对于图像帧Frm(t)，采用以下方法，追踪到目标车辆S在图像帧Frm(t)的位置：
步骤4.1，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；
具体的，以当前图像帧Frm(t)为参考，则图像帧Frm(t-1)表示为当前图像帧Frm(t)的前一图像帧，图像帧Frm(t-2)表示为图像帧Frm(t-1)的前一图像帧；
提取图像帧Frm(t-1)的车辆结果框Box(t-1)和图像帧Frm(t-2)的车辆结果框Box(t-2)的位置信息，根据车辆结果框Box(t-2)向车辆结果框Box(t-1)方向的变化趋势，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；
步骤4.2，确定浅层类内特征图FShallowMap(TB)和深层类间特征图FDeepMap(TB)：
将步骤3中通过车辆特征识别确定的车辆结果框Box(0)作为目标车辆的车辆模板框TB，依次经过conv1、conv2、conv3卷积层，得到浅层类内特征图FShallowMap(TB)；将浅层类内特征图FShallowMap(TB)继续输入到conv4、conv5卷积层，得到深层类间特征图FDeepMap(TB)；
步骤4.3，对车辆疑似位置图Z(t)进行特征提取，得到深层车辆疑似特征图FDeepMap(Z)：
将步骤4.1得到的车辆疑似位置图Z(t)经过conv1、conv2卷积层提取特征，得到初始车辆疑似特征图FinitMap(Z)；然后，以浅层类内特征图FShallowMap(TB)作为卷积核，对初始车辆疑似特征图FinitMap(Z)进行卷积，得到浅层车辆疑似特征图FShallowMap(Z)，进而加强初始车辆疑似特征图FinitMap(Z)中目标车辆的响应程度；最后，将浅层车辆疑似特征图FShallowMap(Z)经过conv4卷积核进行特征提取，得到深层车辆疑似特征图FDeepMap(Z)；
步骤4.4，获取目标车辆得分图ScoreMap：
步骤4.4.1，判断当前帧数t是否大于历史车辆跟踪结果信息辅助帧数K，若t≤K，则执行步骤4.4.2；若t>K，则执行步骤4.4.3；
步骤4.4.2，t≤K时，目标车辆得分图ScoreMap的获取方法：
当t≤K时，以深层类间特征图FDeepMap(TB)作为卷积核，对深层车辆疑似特征图FDeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap，进而抑制深层车辆疑似特征图FDeepMap(Z)中非车辆类别物体的响应程度；然后执行步骤4.5；
步骤4.4.3：t>K时，目标车辆得分图ScoreMap的获取方法：
步骤4.4.3.1，当t>K时，提取历史最接近K个车辆结果框，分别为：图像帧Frm(t-1)的车辆结果框Box(t-1),图像帧Frm(t-2)的车辆结果框Box(t-2)...,图像帧Frm(t-K)的车辆结果框Box(t-K)；
其中，图像帧Frm(t-1)表示当前图像帧Frm(t)的前一帧，…，图像帧Frm(t-K)表示当前图像帧Frm(t)的前第K帧；
上述K个车辆结果框中不仅包含目标车辆的特征信息，还包含目标车辆在时间序列中的变化信息；
步骤4.4.3.2，将车辆结果框Box(t-1),车辆结果框Box(t-2),...,车辆结果框Box(t-K)依次输入conv1至conv5卷积层中，分别得到对应历史帧的深层类间特征图FDeepMap(Bt-1),FDeepMap(Bt-2)，…,FDeepMap(Bt-K)；
步骤4.4.3.3，将历史帧的深层类间特征图FDeepMap(Bt-1),FDeepMap(Bt-2)，…,FDeepMap(Bt-K)分别与步骤4.2得到的深层类间特征图FDeepMap(TB)相减，得到K个深层区别特征图；
将K个深层区别特征图通过concat串联，得到历史变化特征图FChangeMap(B)；将历史变化特征图FChangeMap(B)通过1*1*n的卷积核进行特征融合，输出包含n个通道的历史变化特征融合图FmergeMap(B)；
步骤4.4.3.4，将历史变化特征融合图FmergeMap(B)输入到n分类的全连接网络FCn中，得到1*1*n的权重向量W；
将权重向量W与历史变化特征融合图FmergeMap(B)互卷积，得到加权后历史变化特征融合图FmergeMap(B)′；
步骤4.4.3.5，将加权后历史变化特征融合图FmergeMap(B)′与深层类间特征图FDeepMap(TB)采用串联concat()方式融合后，输入到卷积层conv1*1，得到增强历史信息特征图FEhcMap(TB)；
表达式为：
Figure GDA0003607809550000051
其中：
Figure GDA0003607809550000052
为加权后历史变化特征融合图FmergeMap(B)′的系数；
以增强历史信息特征图FEhcMap(TB)作为卷积核，对深层车辆疑似特征图FDeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap；然后执行步骤4.5；
步骤4.5，根据目标车辆得分图ScoreMap，在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置：
步骤4.5.1，目标车辆得分图ScoreMap中的每个像素点均具有特征值，将特征值最高的点坐标，映射到图像帧Frm(t)中，其在图像帧Frm(t)的坐标即为图像帧Frm(t)的待检测的车辆结果框Box(t)的中心点坐标，表示为：Pt(xt,yt)；
步骤4.5.2，将目标车辆得分图ScoreMap输入到包含两个3*3卷积核的卷积层Conv6，得到偏移量特征图，此时偏移量特征图包含两个图层，分别用于预测车辆结果框宽度偏移量和车辆结果框高度偏移量；
将偏移量特征图进行全局最大值池化，得到当前图像帧Frm(t)车辆结果框Box(t)与上一图像帧Frm(t-1)车辆结果框Box(t-1)的宽偏移量w′t和高偏移量h′t；
步骤4.5.3，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)宽wt-1与宽偏移量w′t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的宽wt，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)高ht-1与高偏移量h′t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的高ht，因此，在图像帧Frm(t)中，以Pt(xt,yt)作为中心点，宽为wt,高为ht，从而在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置；
步骤5，将图像帧Frm(t)作为图像帧Frm(t-1)，返回步骤4，对下一图像帧进行目标车辆S跟踪。
优选的，步骤4.1具体方法为：
步骤4.1.1，获取车辆结果框Box(t-1)的中心点坐标Pt-1(xt-1,yt-1)，宽为wt-1，高为ht-1；
获取车辆结果框Box(t-2)的中心点坐标Pt-2(xt-2,yt-2)、宽为wt-2，高为ht-2；
步骤4.1.2，根据车辆结果框Box(t-1)的中心点坐标和车辆结果框Box(t-2)的中心点坐标，采用下式，计算车辆结果框Box(t-1)和车辆结果框Box(t-2)之间的坐标方位角α：
Figure GDA0003607809550000061
其中：
若yt-1-yt-2＝0Vt＝1，则α＝90°；
步骤4.1.3，采用下式，根据坐标方位角α确定车辆疑似区域的宽wZ和高hZ，增加目标运动方向的空间信息：
Figure GDA0003607809550000071
其中：
四个方向north、south、east、west根据目标车辆的运动方向设置；
北方向north＝{(0,40)∪(320,360)}
南方向south＝{140°,220°}
东方向east＝{50,130}
西方向west＝{230,310}
β1和β2分别为宽放大系数和高放大系数；
步骤4.1.4，根据(xt-1,yt-1,wZ,hZ)在图像帧Frm(t)截取车辆疑似区域，得到车辆疑似位置图Z(t)。
本发明提供的一种基于时空信息辅助的无人机视频车辆跟踪方法具有以下优点：
本发明提供的一种基于时空信息辅助的无人机视频车辆跟踪方法，一旦检索到目标车辆后，采用时空信息辅助快速追踪方法，可准确快速的实现对目标车辆的持续实时追踪，能够有效避免车辆发现再丢失的问题，因此，本发明大大提高车辆检索追踪的应用价值，对于车辆检索追踪方向有着重要意义。
附图说明
图1为本发明提供的一种基于时空信息辅助的无人机视频车辆跟踪方法的流程示意图；
图2为本发明提供的增强历史信息特征图FEhcMap(TB)的生成过程图。
具体实施方式
为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
因此，针对无人机视频数据进行车辆跟踪还存在的诸多问题，本发明提供一种基于时空信息辅助的无人机视频车辆跟踪方法，先采用车辆区域搜索算法，利用目标上下文信息辅助定位目标车辆位置，同时减少搜索区域以外车辆对跟踪的影响；后通过历史目标车辆信息与目标车辆模板信息相融合，提高得分图中目标车辆的响应程度，对提高无人机视频下车辆跟踪的应用价值有着重要意义。
参考图1，本发明提供一种基于时空信息辅助的无人机视频车辆跟踪方法，包括以下步骤：
步骤1，确定需要跟踪的目标车辆S；
例如，预先获得需要跟踪的目标车辆S的图片等。
步骤2，无人机对地面进行拍摄，获得无人机视频数据；将无人机视频数据的每一视频帧作为图像帧；
步骤3，按图像帧生成顺序，依次对各个图像帧进行车辆特征识别，判断每个图像帧是否包含目标车辆S，如果不包含，则继续对下一图像帧进行车辆特征识别，直到定位到包含目标车辆S的图像帧，然后执行步骤4；如果包含，则表明成功搜索到目标车辆S，执行步骤4；
将首次识别到包含目标车辆S的图像帧设为第0图像帧Frm(0)，在第0图像帧Frm(0)中确定包含目标车辆S的车辆结果框Box(0)，再一步确定车辆结果框Box(0)的位置信息，包括：车辆结果框Box(0)的宽w0,高h0以及中心点坐标P0(x0,y0)；
车辆结果框Box(0)为第0图像帧Frm(0)中包含目标车辆S的矩形框。
本步骤中，无人机首先在大范围区域进行目标车辆S的搜索，直到搜索定位到目标车辆S。
步骤4，从第0图像帧Frm(0)搜索到目标车辆S开始，采用时空信息辅助的无人机视频车辆跟踪方法，对后续的图像帧Frm(t)中的目标车辆S进行跟踪；其中，t＝2,…,End表示当前图像帧距离第0图像帧Frm(0)的帧数，End表示跟踪结束时图像帧的帧数；
对于图像帧Frm(t)，采用以下方法，追踪到目标车辆S在图像帧Frm(t)的位置：
步骤4.1，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；
具体的，以当前图像帧Frm(t)为参考，则图像帧Frm(t-1)表示为当前图像帧Frm(t)的前一图像帧，图像帧Frm(t-2)表示为图像帧Frm(t-1)的前一图像帧；
提取图像帧Frm(t-1)的车辆结果框Box(t-1)和图像帧Frm(t-2)的车辆结果框Box(t-2)的位置信息，根据车辆结果框Box(t-2)向车辆结果框Box(t-1)方向的变化趋势，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；
步骤4.1具体方法为：
步骤4.1.1，获取车辆结果框Box(t-1)的中心点坐标Pt-1(xt-1,yt-1)，宽为wt-1，高为ht-1；
获取车辆结果框Box(t-2)的中心点坐标Pt-2(xt-2,yt-2)、宽为wt-2，高为ht-2；
步骤4.1.2，根据车辆结果框Box(t-1)的中心点坐标和车辆结果框Box(t-2)的中心点坐标，采用下式，计算车辆结果框Box(t-1)和车辆结果框Box(t-2)之间的坐标方位角α：
Figure GDA0003607809550000101
其中：
若yt-1-yt-2＝0Vt＝1，则α＝90°；
步骤4.1.3，采用下式，根据坐标方位角α确定车辆疑似区域的宽wZ和高hZ，增加目标运动方向的空间信息：
Figure GDA0003607809550000102
其中：
四个方向north、south、east、west根据目标车辆的运动方向设置；
北方向north＝{(0,40)∪(320,360)}
南方向south＝{140°,220°}
东方向east＝{50,130}
西方向west＝{230,310}
β1和β2分别为宽放大系数和高放大系数；例如，β1和β2均为5。
步骤4.1.4，根据(xt-1,yt-1,wZ,hZ)在图像帧Frm(t)截取车辆疑似区域，得到车辆疑似位置图Z(t)。
步骤4.2，确定浅层类内特征图FShallowMap(TB)和深层类间特征图FDeepMap(TB)：
将步骤3中通过车辆特征识别确定的车辆结果框Box(0)作为目标车辆的车辆模板框TB，依次经过conv1、conv2、conv3卷积层，得到浅层类内特征图FShallowMap(TB)；将浅层类内特征图FShallowMap(TB)继续输入到conv4、conv5卷积层，得到深层类间特征图FDeepMap(TB)；
本步骤中，以车辆结果框Box(0)作为目标车辆的车辆模板框TB，原因为：特定车辆图像信息能够增加大量具体的车辆细节特征，包括车身损伤与粘贴物、以及外饰等等。因此当检测搜索网络发现目标车辆S后，截取无人机视角下该车辆图像的Box(0)，并将其设为目标模板，使网络能够获得更多目标车辆的特征。
步骤4.3，对车辆疑似位置图Z(t)进行特征提取，得到深层车辆疑似特征图FDeepMap(Z)：
将步骤4.1得到的车辆疑似位置图Z(t)经过conv1、conv2卷积层提取特征，得到初始车辆疑似特征图FinitMap(Z)；然后，以浅层类内特征图FShallowMap(TB)作为卷积核，对初始车辆疑似特征图FinitMap(Z)进行卷积，得到浅层车辆疑似特征图FShallowMap(Z)，进而加强初始车辆疑似特征图FinitMap(Z)中目标车辆的响应程度；最后，将浅层车辆疑似特征图FShallowMap(Z)经过conv4卷积核进行特征提取，得到深层车辆疑似特征图FDeepMap(Z)；
步骤4.4，获取目标车辆得分图ScoreMap：
步骤4.4.1，判断当前帧数t是否大于历史车辆跟踪结果信息辅助帧数K，若t≤K，则执行步骤4.4.2；若t>K，则执行步骤4.4.3；
例如，历史车辆跟踪结果信息辅助帧数K设置为5，当t≤K时，表明当前帧数t距离第0图像帧Frm(0)较近，此时，只需要采用步骤4.4.2的方法，即可得到目标车辆得分图ScoreMap；当t>K，表明当前帧数t距离第0图像帧Frm(0)较远，因此，为防止误追踪，提高追踪准确率，采用步骤4.4.3的方法，得到目标车辆得分图ScoreMap。
步骤4.4.2，t≤K时，目标车辆得分图ScoreMap的获取方法：
当t≤K时，以深层类间特征图FDeepMap(TB)作为卷积核，对深层车辆疑似特征图FDeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap，进而抑制深层车辆疑似特征图FDeepMap(Z)中非车辆类别物体的响应程度；然后执行步骤4.5；
步骤4.4.3：t>K时，目标车辆得分图ScoreMap的获取方法：
步骤4.4.3.1，当t>K时，提取历史最接近K个车辆结果框，分别为：图像帧Frm(t-1)的车辆结果框Box(t-1),图像帧Frm(t-2)的车辆结果框Box(t-2)...,图像帧Frm(t-K)的车辆结果框Box(t-K)；
其中，图像帧Frm(t-1)表示当前图像帧Frm(t)的前一帧，…，图像帧Frm(t-K)表示当前图像帧Frm(t)的前第K帧；
上述K个车辆结果框中不仅包含目标车辆的特征信息，还包含目标车辆在时间序列中的变化信息；
步骤4.4.3.2，将车辆结果框Box(t-1),车辆结果框Box(t-2),...,车辆结果框Box(t-K)依次输入conv1至conv5卷积层中，分别得到对应历史帧的深层类间特征图FDeepMap(Bt-1),FDeepMap(Bt-2)，…,FDeepMap(Bt-K)；
步骤4.4.3.3，将历史帧的深层类间特征图FDeepMap(Bt-1),FDeepMap(Bt-2)，…,FDeepMap(Bt-K)分别与步骤4.2得到的深层类间特征图FDeepMap(TB)相减，得到K个深层区别特征图；
将K个深层区别特征图通过concat串联，得到历史变化特征图FChangeMap(B)；将历史变化特征图FChangeMap(B)通过1*1*n的卷积核进行特征融合，输出包含n个通道的历史变化特征融合图FmergeMap(B)；
步骤4.4.3.4，将历史变化特征融合图FmergeMap(B)输入到n分类的全连接网络FCn中，得到1*1*n的权重向量W；
将权重向量W与历史变化特征融合图FmergeMap(B)互卷积，得到加权后历史变化特征融合图FmergeMap(B)′；
步骤4.4.3.5，将加权后历史变化特征融合图FmergeMap(B)′与深层类间特征图FDeepMap(TB)采用串联concat()方式融合后，输入到卷积层conv1*1，得到增强历史信息特征图FEhcMap(TB)；
表达式为：
Figure GDA0003607809550000132
其中：
Figure GDA0003607809550000133
为加权后历史变化特征融合图FmergeMap(B)′的系数；
Figure GDA0003607809550000134
通过结合车辆的历史特征，缓解网络在跟踪过程出现的误跟踪问题。但
Figure GDA0003607809550000135
过大时，会使网络过分依赖历史特征，忽略当前特征，造成目标漂移。作为一种优选方式，
Figure GDA0003607809550000131
以增强历史信息特征图FEhcMap(TB)作为卷积核，对深层车辆疑似特征图FDeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap；然后执行步骤4.5；
目标车辆得分图ScoreMap不仅包含了完整的目标车辆S的特征信息，还融合历史帧中跟踪车辆的特征信息，缓解了无人机视野中由于目标车辆过小造成的特征匮乏和目标车辆自身旋转引起特征分布变化导致的特征响应弱的问题，使跟踪车辆在车辆特征图中的特征位置更显著。
步骤4.4.3.3到步骤4.4.3.5参考图2，为增强历史信息特征图FEhcMap(TB)的生成过程图。
步骤4.5，根据目标车辆得分图ScoreMap，在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置：
步骤4.5.1，目标车辆得分图ScoreMap中的每个像素点均具有特征值，将特征值最高的点坐标，映射到图像帧Frm(t)中，其在图像帧Frm(t)的坐标即为图像帧Frm(t)的待检测的车辆结果框Box(t)的中心点坐标，表示为：Pt(xt,yt)；
步骤4.5.2，将目标车辆得分图ScoreMap输入到包含两个3*3卷积核的卷积层Conv6，得到偏移量特征图，此时偏移量特征图包含两个图层，分别用于预测车辆结果框宽度偏移量和车辆结果框高度偏移量；
将偏移量特征图进行全局最大值池化，得到当前图像帧Frm(t)车辆结果框Box(t)与上一图像帧Frm(t-1)车辆结果框Box(t-1)的宽偏移量w′t和高偏移量h′t；
步骤4.5.3，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)宽wt-1与宽偏移量w′t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的宽wt，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)高ht-1与高偏移量h′t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的高ht，因此，在图像帧Frm(t)中，以Pt(xt,yt)作为中心点，宽为wt,高为ht，从而在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置；
步骤5，将图像帧Frm(t)作为图像帧Frm(t-1)，返回步骤4，对下一图像帧进行目标车辆S跟踪。
通过以上方法，当在某个时刻拍摄到包含目标车辆S的第0图像帧Frm(0)，以第0图像帧Frm(0)为起点，将第0图像帧Frm(0)的车辆结果框Box(0)作为车辆模板框TB，采用步骤4.4.2的方法对后续连续K张图像帧进行目标车辆S的追踪。对于后续连续K张图像帧，一方面，基于前两张图像帧确定本张图像帧中的车辆疑似位置区域，实现目标车辆疑似范围不断修正功能；另一方面，本张图像帧均与车辆结果框Box(0)进行图像融合处理，由于车辆结果框Box(0)是包含目标车辆S特征信息最完整的图像，并且，本张图像帧距离第0图像帧Frm(0)较近，所以，图像融合后得到的车辆特征图更能代表目标车辆S特征，实现本张图像帧中目标车辆S的准确定位追踪。
但是，当追踪到距离第0图像帧Frm(0)较远的图像帧时，例如，追踪到图像帧Frm(6)时，由于其距离第0图像帧Frm(0)较远，因此，需要采用本发明步骤4.4.3的方法，实现目标车辆S的准确定位追踪。通过步骤4.4.3，首先，由于无人机飞行过程中存在拍摄角度的变化，因此历史车辆结果框中包含与车辆模板框TB不同的特征，通过将历史车辆结果框的特征和车辆模板框TB的特征融合能够增强车辆模板框TB的特征表达，实现目标车辆尺度较小时的准确跟踪。其次，车辆结果框中会包含少量背景，而目标车辆周围的背景可以辅助定位，随着时间的推移，目标车辆所处的背景发生变化，车辆模板框TB中所包含的背景难以满足当前车辆的跟踪需求，但直接将历史帧的车辆结果框作为新的车辆模板极易引起模板污染导致跟踪失败，因此通过将车辆模板框TB和历史车辆结果框进行特征融合，既可以缓解车辆模板框TB不被污染，还可以获得车辆当前的背景信息，进而对车辆的准确定位跟踪起到辅助作用。最后，当目标车辆的运动方向发生改变时，车辆在车辆结果框中的特征分布会与车辆模板框TB中的特征分布不同。但基于运动的连贯性，此时车辆的特征分布会与其相近帧相似，通过将与当前帧相近历史帧的车辆结果框和车辆模板框TB的特征融合，使增强历史信息特征图中包含变化后的目标车辆特征分布，实现目标车辆S的长时间准确定位跟踪。
本发明提供一种基于时空信息辅助的无人机视频车辆跟踪方法，先采用车辆区域搜索算法，利用目标上下文信息辅助定位目标车辆位置，同时减少搜索区域以外车辆对跟踪的影响；后通过历史目标车辆信息与目标车辆模板信息相融合，提高得分图中目标车辆的响应程度，对提高无人机视频下车辆跟踪的应用价值有着重要意义。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (1)

1.一种基于时空信息辅助的无人机视频车辆跟踪方法，其特征在于，包括以下步骤：
步骤1，确定需要跟踪的目标车辆S；
步骤2，无人机对地面进行拍摄，获得无人机视频数据；将无人机视频数据的每一视频帧作为图像帧；
步骤3，按图像帧生成顺序，依次对各个图像帧进行车辆特征识别，判断每个图像帧是否包含目标车辆S，如果不包含，则继续对下一图像帧进行车辆特征识别，直到定位到包含目标车辆S的图像帧，然后执行步骤4；如果包含，则表明成功搜索到目标车辆S，执行步骤4；
将首次识别到包含目标车辆S的图像帧设为第0图像帧Frm(0)，在第0图像帧Frm(0)中确定包含目标车辆S的车辆结果框Box(0)，再一步确定车辆结果框Box(0)的位置信息，包括：车辆结果框Box(0)的宽w0,高h0以及中心点坐标P0(x0,y0)；
步骤4，从第0图像帧Frm(0)搜索到目标车辆S开始，采用时空信息辅助的无人机视频车辆跟踪方法，对后续的图像帧Frm(t)中的目标车辆S进行跟踪；其中，t＝2,…,End表示当前图像帧距离第0图像帧Frm(0)的帧数，End表示跟踪结束时图像帧的帧数；
对于图像帧Frm(t)，采用以下方法，追踪到目标车辆S在图像帧Frm(t)的位置：
步骤4.1，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；
具体的，以当前图像帧Frm(t)为参考，则图像帧Frm(t-1)表示为当前图像帧Frm(t)的前一图像帧，图像帧Frm(t-2)表示为图像帧Frm(t-1)的前一图像帧；
提取图像帧Frm(t-1)的车辆结果框Box(t-1)和图像帧Frm(t-2)的车辆结果框Box(t-2)的位置信息，根据车辆结果框Box(t-2)向车辆结果框Box(t-1)方向的变化趋势，在图像帧Frm(t)中，确定车辆疑似位置区域，从而得到车辆疑似位置图Z(t)；
步骤4.2，确定浅层类内特征图FShallowMap(TB)和深层类间特征图FDeepMap(TB)：
将步骤3中通过车辆特征识别确定的车辆结果框Box(0)作为目标车辆的车辆模板框TB，依次经过conv1、conv2、conv3卷积层，得到浅层类内特征图FShallowMap(TB)；将浅层类内特征图FShallowMap(TB)继续输入到conv4、conv5卷积层，得到深层类间特征图FDeepMap(TB)；
步骤4.3，对车辆疑似位置图Z(t)进行特征提取，得到深层车辆疑似特征图FDeepMap(Z)：
将步骤4.1得到的车辆疑似位置图Z(t)经过conv1、conv2卷积层提取特征，得到初始车辆疑似特征图FinitMap(Z)；然后，以浅层类内特征图FShallowMap(TB)作为卷积核，对初始车辆疑似特征图FinitMap(Z)进行卷积，得到浅层车辆疑似特征图FShallowMap(Z)，进而加强初始车辆疑似特征图FinitMap(Z)中目标车辆的响应程度；最后，将浅层车辆疑似特征图FShallowMap(Z)经过conv4卷积核进行特征提取，得到深层车辆疑似特征图FDeepMap(Z)；
步骤4.4，获取目标车辆得分图ScoreMap：
步骤4.4.1，判断当前帧数t是否大于历史车辆跟踪结果信息辅助帧数K，若t≤K，则执行步骤4.4.2；若t>K，则执行步骤4.4.3；
步骤4.4.2，t≤K时，目标车辆得分图ScoreMap的获取方法：
当t≤K时，以深层类间特征图FDeepMap(TB)作为卷积核，对深层车辆疑似特征图FDeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap，进而抑制深层车辆疑似特征图FDeepMap(Z)中非车辆类别物体的响应程度；然后执行步骤4.5；
步骤4.4.3：t>K时，目标车辆得分图ScoreMap的获取方法：
步骤4.4.3.1，当t>K时，提取历史最接近K个车辆结果框，分别为：图像帧Frm(t-1)的车辆结果框Box(t-1),图像帧Frm(t-2)的车辆结果框Box(t-2)...,图像帧Frm(t-K)的车辆结果框Box(t-K)；
其中，图像帧Frm(t-1)表示当前图像帧Frm(t)的前一帧，…，图像帧Frm(t-K)表示当前图像帧Frm(t)的前第K帧；
上述K个车辆结果框中不仅包含目标车辆的特征信息，还包含目标车辆在时间序列中的变化信息；
步骤4.4.3.2，将车辆结果框Box(t-1),车辆结果框Box(t-2),...,车辆结果框Box(t-K)依次输入conv1至conv5卷积层中，分别得到对应历史帧的深层类间特征图FDeepMap(Bt-1),FDeepMap(Bt-2)，…,FDeepMap(Bt-K)；
步骤4.4.3.3，将历史帧的深层类间特征图FDeepMap(Bt-1),FDeepMap(Bt-2)，…,FDeepMap(Bt-K)分别与步骤4.2得到的深层类间特征图FDeepMap(TB)相减，得到K个深层区别特征图；
将K个深层区别特征图通过concat串联，得到历史变化特征图FChangeMap(B)；将历史变化特征图FChangeMap(B)通过1*1*n的卷积核进行特征融合，输出包含n个通道的历史变化特征融合图FmergeMap(B)；
步骤4.4.3.4，将历史变化特征融合图FmergeMap(B)输入到n分类的全连接网络FCn中，得到1*1*n的权重向量W；
将权重向量W与历史变化特征融合图FmergeMap(B)互卷积，得到加权后历史变化特征融合图FmergeMap(B)′；
步骤4.4.3.5，将加权后历史变化特征融合图FmergeMap(B)′与深层类间特征图FDeepMap(TB)采用串联concat()方式融合后，输入到卷积层conv1*1，得到增强历史信息特征图FEhcMap(TB)；
表达式为：
Figure FDA0003607809540000041
其中：
Figure FDA0003607809540000042
为加权后历史变化特征融合图FmergeMap(B)′的系数；
以增强历史信息特征图FEhcMap(TB)作为卷积核，对深层车辆疑似特征图FDeepMap(Z)进行卷积，输出目标车辆得分图ScoreMap；然后执行步骤4.5；
步骤4.5，根据目标车辆得分图ScoreMap，在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置：
步骤4.5.1，目标车辆得分图ScoreMap中的每个像素点均具有特征值，将特征值最高的点坐标，映射到图像帧Frm(t)中，其在图像帧Frm(t)的坐标即为图像帧Frm(t)的待检测的车辆结果框Box(t)的中心点坐标，表示为：Pt(xt,yt)；
步骤4.5.2，将目标车辆得分图ScoreMap输入到包含两个3*3卷积核的卷积层Conv6，得到偏移量特征图，此时偏移量特征图包含两个图层，分别用于预测车辆结果框宽度偏移量和车辆结果框高度偏移量；
将偏移量特征图进行全局最大值池化，得到当前图像帧Frm(t)车辆结果框Box(t)与上一图像帧Frm(t-1)车辆结果框Box(t-1)的宽偏移量w′t和高偏移量h′t；
步骤4.5.3，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)宽wt-1与宽偏移量w′t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的宽wt，将上一图像帧Frm(t-1)的车辆结果框Box(t-1)高ht-1与高偏移量h′t相加，得到当前图像帧Frm(t)的车辆结果框Box(t)的高ht，因此，在图像帧Frm(t)中，以Pt(xt,yt)作为中心点，宽为wt,高为ht，从而在图像帧Frm(t)中确定车辆结果框Box(t)，即为在图像帧Frm(t)中追踪到的目标车辆S所在位置；
步骤5，将图像帧Frm(t)作为图像帧Frm(t-1)，返回步骤4，对下一图像帧进行目标车辆S跟踪；
其中，步骤4.1具体方法为：
步骤4.1.1，获取车辆结果框Box(t-1)的中心点坐标Pt-1(xt-1,yt-1)，宽为wt-1，高为ht-1；
获取车辆结果框Box(t-2)的中心点坐标Pt-2(xt-2,yt-2)、宽为wt-2，高为ht-2；
步骤4.1.2，根据车辆结果框Box(t-1)的中心点坐标和车辆结果框Box(t-2)的中心点坐标，采用下式，计算车辆结果框Box(t-1)和车辆结果框Box(t-2)之间的坐标方位角α：
Figure FDA0003607809540000051
其中：
若yt-1-yt-2＝0Vt＝1，则α＝90°；
步骤4.1.3，采用下式，根据坐标方位角α确定车辆疑似区域的宽wZ和高hZ，增加目标运动方向的空间信息：
Figure FDA0003607809540000052
其中：
四个方向north、south、east、west根据目标车辆的运动方向设置；
北方向north＝{(0,40)∪(320,360)}
南方向south＝{140°,220°}
东方向east＝{50,130}
西方向west＝{230,310}
β1和β2分别为宽放大系数和高放大系数；
步骤4.1.4，根据(xt-1,yt-1,wZ,hZ)在图像帧Frm(t)截取车辆疑似区域，得到车辆疑似位置图Z(t)。
CN202111533174.0A 2021-12-15 2021-12-15 一种基于时空信息辅助的无人机视频车辆跟踪方法 Active CN114219836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111533174.0A CN114219836B (zh) 2021-12-15 2021-12-15 一种基于时空信息辅助的无人机视频车辆跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111533174.0A CN114219836B (zh) 2021-12-15 2021-12-15 一种基于时空信息辅助的无人机视频车辆跟踪方法

Publications (2)

Publication Number Publication Date
CN114219836A CN114219836A (zh) 2022-03-22
CN114219836B true CN114219836B (zh) 2022-06-03

Family

ID=80702336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111533174.0A Active CN114219836B (zh) 2021-12-15 2021-12-15 一种基于时空信息辅助的无人机视频车辆跟踪方法

Country Status (1)

Country Link
CN (1) CN114219836B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846854A (zh) * 2018-05-07 2018-11-20 中国科学院声学研究所 一种基于运动预测与多特征融合的车辆跟踪方法
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN109409208A (zh) * 2018-09-10 2019-03-01 东南大学 一种基于视频的车辆特征提取与匹配方法
CN109816689A (zh) * 2018-12-18 2019-05-28 昆明理工大学 一种多层卷积特征自适应融合的运动目标跟踪方法
CN111931686A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于背景知识增强的视频卫星目标跟踪方法
CN112560799A (zh) * 2021-01-05 2021-03-26 北京航空航天大学 基于自适应目标区域搜索和博弈的无人机智能车辆目标检测方法和应用
CN112598739A (zh) * 2020-12-25 2021-04-02 哈尔滨工业大学（深圳） 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质
CN112991173A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法
CN113569805A (zh) * 2021-08-13 2021-10-29 北京建筑大学 动作识别方法、装置、电子设备和存储介质
CN113657378A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 车辆跟踪方法、车辆跟踪系统和计算设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106448160B (zh) * 2016-09-22 2020-04-10 江苏理工学院 结合车辆行驶轨迹和监控视频数据的目标人物追踪方法
CN108022254B (zh) * 2017-11-09 2022-02-15 华南理工大学 一种基于征点辅助的时空上下文目标跟踪方法
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
US11080529B2 (en) * 2019-10-25 2021-08-03 7-Eleven, Inc. Determining candidate object identities during image tracking
CN111429484B (zh) * 2020-03-31 2022-03-15 电子科技大学 一种基于交通监控视频的多目标车辆轨迹实时构建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846854A (zh) * 2018-05-07 2018-11-20 中国科学院声学研究所 一种基于运动预测与多特征融合的车辆跟踪方法
CN109409208A (zh) * 2018-09-10 2019-03-01 东南大学 一种基于视频的车辆特征提取与匹配方法
CN109360226A (zh) * 2018-10-17 2019-02-19 武汉大学 一种基于时间序列多特征融合的多目标跟踪方法
CN109816689A (zh) * 2018-12-18 2019-05-28 昆明理工大学 一种多层卷积特征自适应融合的运动目标跟踪方法
CN111931686A (zh) * 2020-08-26 2020-11-13 北京建筑大学 一种基于背景知识增强的视频卫星目标跟踪方法
CN112598739A (zh) * 2020-12-25 2021-04-02 哈尔滨工业大学（深圳） 基于时空特征聚合网络的移动机器人红外目标跟踪方法、系统及存储介质
CN112560799A (zh) * 2021-01-05 2021-03-26 北京航空航天大学 基于自适应目标区域搜索和博弈的无人机智能车辆目标检测方法和应用
CN112991173A (zh) * 2021-03-12 2021-06-18 西安电子科技大学 基于双通道特征迁移网络的单帧图像超分辨率重建方法
CN113657378A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 车辆跟踪方法、车辆跟踪系统和计算设备
CN113569805A (zh) * 2021-08-13 2021-10-29 北京建筑大学 动作识别方法、装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Approach Focusing on the Convolutional Layer Characteristics of the VGG Network for Vehicle Tracking;Danlu Zhang 等;《IEEE Access》;20200617;第8卷;112827-112839 *
An Efficient 3D CNN for Action/Object Segmentation in Video;Rui Hou 等;《arxiv平台: https://arxiv.53yu.com/abs/1907.08895》;20190721;1-14 *
基于多目标追踪的异常行为检测算法与系统;邵帅;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20220115(第01期);I138-1672 *
结合RPN网络与SSD算法的遥感影像目标检测算法;成喆 等;《测绘科学》;20210430;第46卷(第04期);75-82+99 *

Also Published As

Publication number Publication date
CN114219836A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
US9619561B2 (en) Change invariant scene recognition by an agent
CN112014857A (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
Wu et al. Vehicle localization using road markings
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
US11436815B2 (en) Method for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor, and apparatus for performing the same
Agostinho et al. A practical survey on visual odometry for autonomous driving in challenging scenarios and conditions
Bansal et al. Understanding how camera configuration and environmental conditions affect appearance-based localization
CN113223045A (zh) 基于动态物体语义分割的视觉与imu传感器融合定位系统
Song et al. End-to-end learning for inter-vehicle distance and relative velocity estimation in adas with a monocular camera
Jang et al. Road lane semantic segmentation for high definition map
CN113256731A (zh) 基于单目视觉的目标检测方法及装置
Zhang et al. Bundle adjustment for monocular visual odometry based on detections of traffic signs
CN107506753B (zh) 一种面向动态视频监控的多车辆跟踪方法
Cai et al. Autoplace: Robust place recognition with single-chip automotive radar
Tsintotas et al. Dimensionality reduction through visual data resampling for low-storage loop-closure detection
CN111739066A (zh) 一种基于高斯过程的视觉定位方法、系统及存储介质
Saleem et al. Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review
Zhao et al. Extracting vessel speed based on machine learning and drone images during ship traffic flow prediction
CN114264297A (zh) Uwb和视觉slam融合算法的定位建图方法及系统
CN113971697A (zh) 一种空地协同车辆定位定向方法
Wong et al. Vision-based vehicle localization using a visual street map with embedded SURF scale
CN114219836B (zh) 一种基于时空信息辅助的无人机视频车辆跟踪方法
CN109815812B (zh) 一种基于水平边缘信息累积的车辆下底边定位方法
Jin et al. Performance comparison of moving target recognition between Faster R-CNN and SSD
CN111239761B (zh) 一种用于室内实时建立二维地图的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant