CN113538523B - 车位检测跟踪方法、电子设备及车辆 - Google Patents

车位检测跟踪方法、电子设备及车辆 Download PDF

Info

Publication number
CN113538523B
CN113538523B CN202111089776.1A CN202111089776A CN113538523B CN 113538523 B CN113538523 B CN 113538523B CN 202111089776 A CN202111089776 A CN 202111089776A CN 113538523 B CN113538523 B CN 113538523B
Authority
CN
China
Prior art keywords
parking space
detection
frame
tracking
aerial view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111089776.1A
Other languages
English (en)
Other versions
CN113538523A (zh
Inventor
袁施薇
虞正华
张如高
李发成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motovis Technology Shanghai Co ltd
Original Assignee
Motovis Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motovis Technology Shanghai Co ltd filed Critical Motovis Technology Shanghai Co ltd
Priority to CN202111089776.1A priority Critical patent/CN113538523B/zh
Publication of CN113538523A publication Critical patent/CN113538523A/zh
Application granted granted Critical
Publication of CN113538523B publication Critical patent/CN113538523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种车位检测跟踪方法、电子设备及车辆，对时序排列的多帧鸟瞰图上的车位进行检测和跟踪，充分利用空间上的连续信息，包括提取前后帧信息、预测前后帧车位坐标偏差等，提高遮挡物体的检出率和准确性、简化匹配跟踪流程，增加车位跟踪效率，不容易发生车位误漏检。

Description

车位检测跟踪方法、电子设备及车辆
技术领域
本发明属于车位检测跟踪技术领域，尤其涉及一种车位检测跟踪方法、电子设备及车辆。
背景技术
近年来，自动泊车技术渐渐成熟，对于自动泊车系统的落地和商业化，稳定性和性价比是必不可少的，这首先需要定位到准确的车位。
在车辆入库的过程中，往往需要跟踪对应车位，得到时刻的车位位置信息。现有方法基本孤立地检测每一帧图片上的车位坐标，再使用现有多目标跟踪方法例如匈牙利算法、卡尔曼滤波等进行车位匹配跟踪，进行车位定位，车位跟踪即得到车位在视频各帧中的位置,这类方法没有充分利用车位的时序和空间信息的平滑特征，会漏检运动过程中被遮挡的目标，且匹配步骤复杂，需要人工设计匹配模式，造成目标跟踪中断。因而，有必要提供一种利用视频中时序空间信息的车位检测跟踪技术。
发明内容
基于此，针对上述技术问题，提供一种高效、准确的车位检测跟踪方法、电子设备及车辆。
本发明采用的技术方案如下：
一方面，提供一种车位检测跟踪方法，其特征在于，包括：
S101、将按时序排列的多帧环视鸟瞰图依次输入检测跟踪模型，得到每一帧环视鸟瞰图上的车位检测信息以及跟踪信息，所述车位检测信息包括以四个角点表示的候选车位检测框的回归坐标、类别预测值以及中心性，所述跟踪信息包括车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差；
S102、根据所述车位检测信息对每一帧环视鸟瞰图上的所有候选车位检测框进行过滤，确定每一帧环视鸟瞰图上最终的车位检测框；
S103、通过所述坐标偏差对所述多帧环视鸟瞰图上的最终的车位检测框进行匹配和跟踪。
另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种车位检测跟踪方法。
再一方面，提供一种车辆，该车辆具有上述一种电子设备。
本发明对时序排列的多帧鸟瞰图上的车位进行检测和跟踪，提高检测鲁棒性，在跟踪中利用空间上的连续信息（车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差），提高了车位跟踪效率，不容易发生车位误漏检。
附图说明
下面结合附图和具体实施方式对本发明进行详细说明：
图1为本发明的流程图；
图2为本发明的以四个角点表示车位的示意图。
具体实施方式
如图1所示，本说明书实施例提供一种车位检测跟踪方法，包括：
S101、将按时序排列的多帧环视鸟瞰图依次输入检测跟踪模型，得到每一帧环视鸟瞰图上的车位检测信息以及跟踪信息。
车位检测信息包括以四个角点表示的候选车位检测框的回归坐标、类别预测值以及中心性(center-ness)，跟踪信息包括车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差。
如果当前输入模型的是第一帧环视鸟瞰图，则只输出车位检测信息。
其中，环视鸟瞰图由车辆四周的鱼眼镜头采集的图片拼接而成。
车位依照车位内面向车位入口外的参考方向，以右前角点p1、左前角点p2、左后角点p3、右后角点p4的顺序表示一个车位，记作s(p1, p2, p3, p4)，参见图2。
当然，图2仅是对车位的示例性说明，并非对车位形状的唯一限定。
在本发明中，模型输出的坐标偏差是指车位入口两个角点在上一帧的坐标与在当前帧的坐标值之差，用于评估两帧之间对应车位之间的联系，这样就简化了跟踪后处理流程。
在一种实施方式中，检测跟踪模型包括图片特征编码器、差别特征提取器、历史车位编码器、特征组合模块以及检测跟踪解码器，检测跟踪解码器包括检测模块以及跟踪模块，各编码器以及模块通过检测信息以及跟踪信息进行训练，可以利用前后帧的信息进行跟踪，同时也可以改进车位检测的准确性，该模型被端到端地训练为：
a、对于当前环视鸟瞰图It，通过图片特征编码器从当前环视鸟瞰图It中提取图片特征Ft。
b、通过差别特征提取器从图片特征Ft与图片特征编码器从上一帧环视鸟瞰图It-1中提取的图片特征Ft-1之间提取差别图片特征Dt。
其中，差别特征提取器将图片特征Ft以及图片特征Ft-1分别输入卷积层分别提取差别特征，再计算差别特征之间的残差，将残差输入卷积层再次提取差别特征，得到差别图片特征Dt。
c、根据对应上一帧环视鸟瞰图It-1的最终的车位检测框，由历史车位编码器输出热力图Ht-1。
历史车位编码器可以采用循环神经网络结构。
在步骤S103中，在从当前环视鸟瞰图中确定最终的车位检测框后，还需要将当前环视鸟瞰图相应的最终的车位检测框输入检测跟踪模型，用于在处理下一帧环视鸟瞰图时由历史车位编码器输出热力图。
其中，历史车位编码器分别以上一帧环视鸟瞰图It-1的最终的车位检测框的车位中心点以及车位入口两个角点为中心、半径为r的圆形范围内生成热力图Ht-1，圆形范围内各点的像素值通过如下渲染函数计算得到：
Figure 514813DEST_PATH_IMAGE001
，
其中，
Figure 228691DEST_PATH_IMAGE002
，
Figure 819814DEST_PATH_IMAGE003
表示高斯渲染函数的方差，p(x,y)代表圆形范围内某个点p的坐标，q(x,y)代表圆形范围的中心点q的坐标，
Figure 100002_DEST_PATH_IMAGE004
代表点p在圆形范围内，
Figure 100002_DEST_PATH_IMAGE005
代表点p在圆形范围外，圆形范围内各点的像素值在(0,1]之间。
d、通过特征组合模块将图片特征Ft、特征Ft-1、差别图片特征Dt以及热力图Ht-1进行组合，得到联合特征Ct。
其中，特征组合模块将图片特征Ft、图片特征Ft-1、差别图片特征Dt以及图片特征Ft-1*热力图Ht-1进行串接合并组合（concatenate），得到联合特征Ct，图片特征Ft-1*热力图Ht-1是指两者的元素积。
e、将联合特征Ct输入检测跟踪解码器，由检测模块输出当前环视鸟瞰图It上以四个角点表示的候选车位检测框、类别预测值和中心性、车位入口两个角点的语义分割，由跟踪模块输出当前环视鸟瞰图It上车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差Δp。
S102、根据模型预测的车位检测信息对每一帧环视鸟瞰图上的所有候选车位检测框进行过滤，确定每一帧环视鸟瞰图上最终的车位检测框。
在一种实施方式中，步骤S102包括：
将预测得到的类别预测值与中心性相乘，得到每一帧环视鸟瞰图上各候选车位检测框的置信度。
其中，上述类别是指非车位类别、可停车位类别以及不可停车位类别，类别预测值是指候选车位检测框中每个点相对于上述三种类别的预测值，预测值在[0,1]之间，如某个点位于可停车车位，则对该点的类别预测值为（0，0.9，0.1），在步骤S102中，将每个点相对于各类别的预测值分别与相应的中心性相乘，得到多个置信度，从中取最大值作为对应候选车位检测框的置信度，如果一个点相对于上述三种类别的预测值中非车位类别的预测值最高，则将该候选车位检测框忽略过滤。
中心性是指候选车位检测框中每个点靠近车位中心的程度，当一个点位于车位正中心时，它的中心性接近1，反之当位于车位边界，它的中心性接近0。
根据置信度，通过非极大值抑制方法对每一帧环视鸟瞰图上的所有候选车位框进行过滤，确定每一帧环视鸟瞰图上最终的车位框：
a、将所有候选车位框加入集合S；
b、根据置信度的大小对集合S中的所有候选车位框进行降序排序；
c、选取置信度最大的候选车位框m，去掉集合S中与候选车位框m的IOU大于等于第一阈值的候选车位框，待集合S中剩余的候选车位框与候选车位框m的IOU都小于第一阈值，将置信度最大的候选车位框m从集合S中取出并放入集合Sfinal；
d、循环步骤c，直到集合S中的所有候选车位框的置信度都小于第二阈值，此时集合Sfinal包含当前帧环视鸟瞰图上最终的车位框。
其中，第一阈值设置为0.3，第二阈值设置为0.3，
IOU（Intersection Over Union）=交集/并集，是指重叠率，用于在特定数据集中检测相应物体准确度的一个标准，在本发明中，IOU是指两个候选车位框内的像素重叠率。
通过非极大值抑制方法可以去除重复多余的候选车位框。
对于检测模块，本发明利用了时间上和空间上的连续数据，端对端得到车位的检测和跟踪结果，在检测中加入了上一帧的信息，提高了检测鲁棒性，在跟踪中直接利用检测得到的特征（上一帧的检测框）和中间结果（如上一帧的图片特征Ft-1等等）进行学习，帮助模型恢复被遮挡和中断的目标，减少误漏检，提高了跟踪效率。
训练模型的目是在实际场合使用模型之前，通过让模型的输出的预测值和我们预期的目标值更接近，从而对模型的参数进行固定（优化），训练上述检测跟踪模型时，将多张环视鸟瞰样本图以及相应的标注输入上述检测跟踪模型，环视鸟瞰样本图由车辆四周的鱼眼镜头采集的图片拼接而成，标注包括图中各车位四个角点的坐标以及相邻环视鸟瞰样本图之间车位的对应关系，并通过如下损失函数以及梯度反向传导方式优化模型的参数：
对于车位入口两个角点的语义分割、类别预测值和中心性的学习，分别使用二分类交叉熵损失函数（binary crossentropy loss）。
样本图中，非车位的点的类别目标值为（1，0，0），可停车位的点的类别目标值为（0，1，0），不可停车位的点的类别目标值为（0，0，1）。
以图2所示的车位为例，中心性的目标值的计算通过如下公式：
Figure 100002_DEST_PATH_IMAGE006
，
Figure DEST_PATH_IMAGE007
，
其中，ps表示样本图上的车位，p表示车位上的任一点，ctn(p)表示p点的中心性的目标值，line表示车位的边，k表示车位边的序号，d(p,linek)表示p点到车位边的距离，u、v表示构成车位边的两个顶点的坐标，p’表示被预测的候选车位检测框中的点,d(p’,linek)表示p’点到车位边的距离，
Figure DEST_PATH_IMAGE008
表示从所有d(p’,linek)中取最大值。
对于以四个角点表示的候选车位检测框的学习，使用聚焦损失函数（distribution focal loss）。
S103、通过坐标偏差对多帧环视鸟瞰图上的最终的车位检测框进行匹配跟踪。
在环视鸟瞰图中，不能保证整个车位都出现在视野中，故使用入口两个角点的坐标偏差来对车位进行跟踪。
在一种实施方式中，步骤S103进一步包括：
a、通过如下公式分别计算车位入口两个角点在上一帧环视鸟瞰图It-1中的坐标p’1和p’2：
Figure DEST_PATH_IMAGE009
，
其中，p1和p2分别代表车位入口两个角点在当前环视鸟瞰图
Figure 57766DEST_PATH_IMAGE010
中的坐标，即（p’1x，p’1y）和（p’2x，p’2y），
Figure DEST_PATH_IMAGE011
和
Figure DEST_PATH_IMAGE012
分别为当前环视鸟瞰图
Figure 999702DEST_PATH_IMAGE010
上车位入口两个角点的语义分割，
Figure DEST_PATH_IMAGE013
代表当前环视鸟瞰图
Figure 415640DEST_PATH_IMAGE010
上车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差。
b、使用最近邻匹配算法，通过坐标p’1和p’2与从上一帧环视鸟瞰图检测到的每个车位的两个角点的坐标分别计算当前车位与上一帧环视鸟瞰图各车位的l2距离，作为距离函数进行最近邻匹配，得到各帧环视鸟瞰图中最终的车位检测框的对应关系。
c、根据上述对应关系，得到车位跟踪结果：每个车位在各帧环视鸟瞰图中的位置，在跟踪结果中，每个车位具有对应的车位记录，如：
车位1 在帧1中的位置 在帧2中的位置......
车位2 在帧1中的位置 在帧2中的位置......
...
车位4 在帧1中的位置 在帧2中的位置......
d、在步骤b中的最近邻匹配时，若当前帧环视鸟瞰图中的某车位无法与前一帧环视鸟瞰图中的车位进行匹配，则将该车位与前一帧环视鸟瞰图之前的预设数量帧的环视鸟瞰图进行依次匹配，同样通过计算l2距离进行最近邻匹配，当预设数量为2时，则与t-2以及t-3帧图片依次进行匹配，若匹配成功，则将车位在当前帧环视鸟瞰图中的位置添加到车位跟踪结果的对应车位记录中，反之，则在车位跟踪结果中增加一个新的车位记录。
如步骤d中的车位为车位2，当前帧为帧5，则在车位2对应的车位记录中进行添加：
车位2 在帧1中的位置 在帧2中的位置.....在帧5中的位置.....。
反之，如果步骤d中的车位为新车位，则在车位跟踪结果中增加一个新的车位记录：
车位5 在帧5中的位置。
在步骤d中，以t帧与t-2帧匹配为例，同样可以参照步骤a和b进行匹配，在计算车位入口两个角点在t-2帧环视鸟瞰图中的坐标时，公式中的Δp可以使用模型对t-2帧输出的坐标偏移。
对于坐标偏差的学习，使用平滑绝对误差损失函数（L1 loss）。
其中，坐标偏差的目标值的计算方式如下：
假设在环视鸟瞰图
Figure 213831DEST_PATH_IMAGE010
有一个车位si（p1,p2,p3,p4），i表示这张鸟瞰图上的第i个车位，该车位在上一帧环视鸟瞰图It-1中为s’i（p’1,p’2,p’3,p’4），p1,p2,p3,p4分别代表车位的四个角点，同理，p’1,p’2,p’3,p’4分别代表上一帧环视鸟瞰图It-1中该车位的四个角点，以入口角点p1为例，其相对于上一帧的坐标偏差的目标值O(p1) = p’1-p1，同理，可以计算入口角点p2的坐标偏差的目标值O(p2)。
此外，由于入口角点为单独的点，不好训练，故这里利用以入口角点周围的点p共同参与训练，以p1为例，其周围点p的坐标偏差的目标值：
Figure DEST_PATH_IMAGE014
，
其中，
Figure DEST_PATH_IMAGE015
代表以p1为中心、半径为thres范围内的点。
需要指出的是，在训练时，对于样本图片的第一张图片，只训练其检测模块的参数，不训练跟踪模块的参数。
此外，对于整体模型的训练，本发明还提出一些数据增强的手段：
1、对于车位跟踪，可以通过单张图片进行数据增强（仿射变换、投影变换、缩放裁剪等）构造图片序列，得到不同状态下的车位信息。
2、为提高跟踪鲁棒性，对前一帧的检测结果，在后一帧进行计算时随机增加车位的误漏检。
基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种车位检测跟踪方法部分中描述的根据本发明各种示例性实施方式的步骤。
其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元(ROM)。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
基于同一发明构思，本说明书实施例还提供一种车辆，该车辆具有上述一种电子设备，此处不再具体赘述。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (10)

1.一种车位检测跟踪方法，其特征在于，包括：
S101、将按时序排列的多帧环视鸟瞰图依次输入检测跟踪模型，得到每一帧环视鸟瞰图上的车位检测信息以及跟踪信息，所述车位检测信息包括以四个角点表示的候选车位检测框的回归坐标、类别预测值和中心性以及车位入口两个角点的语义分割，所述跟踪信息包括车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差；
S102、根据所述车位检测信息对每一帧环视鸟瞰图上的所有候选车位检测框进行过滤，确定每一帧环视鸟瞰图上最终的车位检测框；
S103、通过所述坐标偏差对所述多帧环视鸟瞰图上的最终的车位检测框进行匹配和跟踪；
所述步骤S103进一步包括：
通过如下公式分别计算车位入口两个角点在上一帧环视鸟瞰图It-1中的坐标p’1和p’2：
Figure DEST_PATH_IMAGE001
，
其中，p1和p2分别代表车位入口两个角点在当前环视鸟瞰图It中的坐标，h1(x,y)和h2(x,y)分别为当前环视鸟瞰图It上车位入口两个角点的语义分割，Δp(x,y)代表当前环视鸟瞰图It上车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差；
使用最近邻匹配算法，通过所述坐标p’1和p’2与从上一帧环视鸟瞰图检测到的每个车位的两个角点的坐标分别计算当前车位与上一帧环视鸟瞰图各车位的l2距离，作为距离函数进行最近邻匹配，得到各帧环视鸟瞰图中最终的车位检测框的对应关系；
根据所述对应关系，得到车位跟踪结果：每个车位在各帧环视鸟瞰图中的位置；
若当前帧环视鸟瞰图中的某车位无法与前一帧环视鸟瞰图中的车位进行匹配，则将该车位与所述前一帧环视鸟瞰图之前的预设数量帧的环视鸟瞰图进行依次匹配，若匹配成功，则将所述车位在当前帧环视鸟瞰图中的位置添加到车位跟踪结果的对应车位记录中，反之，则在车位跟踪结果中增加一个新的车位记录；
对于坐标偏差的学习，使用平滑绝对误差损失函数，并利用环视鸟瞰样本图中车位的入口角点以及以入口角点为中心、半径为thres范围内的点进行学习，坐标偏差的目标值均为入口角点在上一帧环视鸟瞰样本图中坐标与在当前帧环视鸟瞰样本图中坐标之差。
2.根据权利要求1所述的一种车位检测跟踪方法，其特征在于，所述步骤S103还包括：
将当前环视鸟瞰图相应的最终的车位检测框输入检测跟踪模型。
3.根据权利要求2所述的一种车位检测跟踪方法，其特征在于，所述检测跟踪模型包括图片特征编码器、差别特征提取器、历史车位编码器、特征组合模块以及检测跟踪解码器，所述检测跟踪解码器包括检测模块以及跟踪模块，该模型被端到端地训练为：
a、对于当前环视鸟瞰图It ，通过图片特征编码器从所述当前环视鸟瞰图It中提取图片特征Ft；
b、通过差别特征提取器从图片特征Ft与所述图片特征编码器从上一帧环视鸟瞰图It-1中提取的图片特征Ft-1之间提取差别图片特征Dt；
c、根据对应上一帧环视鸟瞰图It-1的最终的车位检测框，由历史车位编码器输出热力图Ht-1；
d、通过特征组合模块将所述图片特征Ft、图片特征Ft-1、差别图片特征Dt以及热力图Ht-1进行组合，得到联合特征Ct；
e、将所述联合特征Ct输入检测跟踪解码器，由检测模块输出当前环视鸟瞰图It上以四个角点表示的候选车位检测框的回归坐标、类别预测值和中心性以及车位入口两个角点的语义分割，由跟踪模块输出当前环视鸟瞰图It上所述车位入口两个角点相对于上一帧环视鸟瞰图的坐标偏差Δp。
4.根据权利要求3所述的一种车位检测跟踪方法，其特征在于，步骤b进一步包括：
所述差别特征提取器将图片特征Ft以及图片特征Ft-1分别输入卷积层分别提取差别特征，再计算差别特征之间的残差，将所述残差输入卷积层再次提取差别特征，得到差别图片特征Dt。
5.根据权利要求4所述的一种车位检测跟踪方法，其特征在于，所述步骤c进一步包括：
所述历史车位编码器分别以车位中心点以及车位入口两个角点为中心、半径为r的圆形范围内生成热力图 Ht-1，所述圆形范围内各点的像素值通过如下渲染函数计算得到：
H
Figure DEST_PATH_IMAGE002
，
其中，
Figure DEST_PATH_IMAGE003
，
Figure DEST_PATH_IMAGE004
表示高斯渲染函数的方差，p(x,y)代表所述圆形范围内某个点p的坐标，q(x,y)代表所述圆形范围的中心点q的坐标，
Figure DEST_PATH_IMAGE005
代表点p在所述圆形范围内，
Figure DEST_PATH_IMAGE006
代表点p在所述圆形范围外。
6.根据权利要求5所述的一种车位检测跟踪方法，其特征在于，所述步骤d进一步包括：
所述特征组合模块将所述图片特征Ft、图片特征Ft-1、差别图片特征Dt以及图片特征Ft-1*热力图Ht-1进行组合，得到联合特征Ct。
7.根据权利要求6所述的一种车位检测跟踪方法，其特征在于，所述步骤S102进一步包括：
将所述类别预测值与中心性相乘，得到每一帧环视鸟瞰图上各候选车位检测框的置信度；
根据所述置信度，通过非极大值抑制方法对每一帧环视鸟瞰图上的所有所述候选车位检测框进行过滤，确定每一帧环视鸟瞰图上最终的车位检测框。
8.根据权利要求3或7所述的一种车位检测跟踪方法，其特征在于，训练所述检测跟踪模型时，将多张环视鸟瞰样本图以及相应的标注输入所述检测跟踪模型，所述标注包括图中各车位四个角点的坐标以及相邻环视鸟瞰样本图之间车位的对应关系，并通过如下损失函数以及梯度反向传导方式优化模型的参数：
对于车位入口两个角点的语义分割、类别预测值以及中心性的学习，分别使用二分类交叉熵损失函数；
对于以四个角点表示的候选车位检测框的学习，使用聚焦损失函数；
对于第一张环视鸟瞰样本图，只训练检测模块的参数，不训练跟踪模块的参数。
9.一种电子设备，其特征在于，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行根据权利要求1-8任一项所述的一种车位检测跟踪方法。
10.一种车辆，其特征在于，具有根据权利要求9所述的一种电子设备。
CN202111089776.1A 2021-09-17 2021-09-17 车位检测跟踪方法、电子设备及车辆 Active CN113538523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111089776.1A CN113538523B (zh) 2021-09-17 2021-09-17 车位检测跟踪方法、电子设备及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089776.1A CN113538523B (zh) 2021-09-17 2021-09-17 车位检测跟踪方法、电子设备及车辆

Publications (2)

Publication Number Publication Date
CN113538523A CN113538523A (zh) 2021-10-22
CN113538523B true CN113538523B (zh) 2021-12-31

Family

ID=78093295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089776.1A Active CN113538523B (zh) 2021-09-17 2021-09-17 车位检测跟踪方法、电子设备及车辆

Country Status (1)

Country Link
CN (1) CN113538523B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115223135B (zh) * 2022-04-12 2023-11-21 广州汽车集团股份有限公司 车位跟踪方法、装置、车辆及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530322A (zh) * 2016-11-25 2017-03-22 天津大学 抖动视频中目标跟踪的方法
CN107240117A (zh) * 2017-05-16 2017-10-10 上海体育学院 视频中运动目标的跟踪方法和装置
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和系统
CN113034545A (zh) * 2021-03-26 2021-06-25 河海大学 一种基于CenterNet多目标跟踪算法的车辆跟踪方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3023938A1 (en) * 2014-11-21 2016-05-25 Thomson Licensing Method and apparatus for tracking the motion of image content in a video frames sequence using sub-pixel resolution motion estimation
CN106271081B (zh) * 2016-09-30 2018-02-27 华南理工大学 三坐标直角机器人线激光焊缝自动跟踪系统及其跟踪方法
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN110852313B (zh) * 2020-01-15 2020-04-17 魔视智能科技(上海)有限公司 一种车位检测方法
CN111429514B (zh) * 2020-03-11 2023-05-09 浙江大学 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111753732A (zh) * 2020-06-24 2020-10-09 佛山市南海区广工大数控装备协同创新研究院 一种基于目标中心点的车辆多目标跟踪方法
CN112257609B (zh) * 2020-10-23 2022-11-04 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN112365523A (zh) * 2020-11-05 2021-02-12 常州工学院 基于无锚点孪生网络关键点检测的目标跟踪方法及装置
CN112257698B (zh) * 2020-12-23 2022-04-15 深圳佑驾创新科技有限公司 环视图车位检测结果的处理方法、装置、设备和存储介质
CN113362371A (zh) * 2021-05-18 2021-09-07 北京迈格威科技有限公司 目标跟踪方法及装置、电子设备、存储介质
CN113205068A (zh) * 2021-05-27 2021-08-03 苏州魔视智能科技有限公司 洒水车喷头监控方法、电子设备及车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530322A (zh) * 2016-11-25 2017-03-22 天津大学 抖动视频中目标跟踪的方法
CN107240117A (zh) * 2017-05-16 2017-10-10 上海体育学院 视频中运动目标的跟踪方法和装置
CN111508260A (zh) * 2019-01-30 2020-08-07 上海欧菲智能车联科技有限公司 车辆停车位检测方法、装置和系统
CN113034545A (zh) * 2021-03-26 2021-06-25 河海大学 一种基于CenterNet多目标跟踪算法的车辆跟踪方法

Also Published As

Publication number Publication date
CN113538523A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN111460926B (zh) 一种融合多目标跟踪线索的视频行人检测方法
Kumar et al. Recent trends in multicue based visual tracking: A review
JP7209115B2 (ja) 複数の相対的に接近する様に動いているリジッドなオブジェクトの検出、３ｄ再現および追跡
CN114972418A (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
US20220172346A1 (en) Methods and systems for crack detection using a fully convolutional network
Dinh et al. Transfer learning for vehicle detection using two cameras with different focal lengths
Munir et al. LDNet: End-to-end lane marking detection approach using a dynamic vision sensor
Xing et al. DE‐SLAM: SLAM for highly dynamic environment
Jung et al. Object detection and tracking-based camera calibration for normalized human height estimation
CN114245912A (zh) 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的系统和方法
Gu et al. Embedded and real-time vehicle detection system for challenging on-road scenes
Wang et al. Monocular visual object 3d localization in road scenes
CN112784750A (zh) 基于像素和区域特征匹配的快速视频物体分割方法和装置
JP7327077B2 (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
CN113538523B (zh) 车位检测跟踪方法、电子设备及车辆
Dimitrievski et al. Semantically aware multilateral filter for depth upsampling in automotive lidar point clouds
Yasmin et al. Small obstacles detection on roads scenes using semantic segmentation for the safe navigation of autonomous vehicles
CN114220087A (zh) 一种车牌检测方法、车牌检测器及相关设备
CN116485894A (zh) 视频场景建图与定位方法、装置、电子设备及存储介质
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质
Hehn et al. Instance stixels: Segmenting and grouping stixels into objects
Tian et al. Tracking vulnerable road users with severe occlusion by adaptive part filter modeling
JPWO2020244717A5 (zh)
Tian et al. High confidence detection for moving target in aerial video
CN117670939B (zh) 多相机的多目标跟踪方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant