CN115223135B - 车位跟踪方法、装置、车辆及存储介质 - Google Patents
车位跟踪方法、装置、车辆及存储介质 Download PDFInfo
- Publication number
- CN115223135B CN115223135B CN202210382081.0A CN202210382081A CN115223135B CN 115223135 B CN115223135 B CN 115223135B CN 202210382081 A CN202210382081 A CN 202210382081A CN 115223135 B CN115223135 B CN 115223135B
- Authority
- CN
- China
- Prior art keywords
- parking space
- detection
- target parking
- detected
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 324
- 238000012163 sequencing technique Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30264—Parking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种车位跟踪方法、装置、车辆及存储介质,具体公开了:基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;基于目标车位在第i‑1帧的检测图像中的车位信息以及车辆在第i‑1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位,由此可以实现对车位的精准跟踪。
Description
技术领域
本申请涉及车辆泊车技术领域,更具体地,涉及一种车位跟踪方法、装置、车辆及存储介质。
背景技术
随着自动驾驶技术在车辆中的广泛应用,出现了自动泊车、记忆泊车等技术。而在自动泊车、记忆泊车等技术中,如何对车周车位的位置进行跟踪,以使车辆能根据获取的车位的位置准确进行泊车是一个重要的问题。
但是,在对相关技术的研究和实践过程中,本申请的发明人发现,现有技术中可能由于车位被遮挡、车辆航迹推算结果不准确等问题,导致无法准确获取车位的位置信息,进而导致无法准确对车位进行跟踪,车位跟踪效果差。
发明内容
鉴于上述问题,本申请提出了一种车位跟踪方法、装置、车辆及存储介质,以解决上述的技术问题,本申请实施例提供以下技术方案:
第一方面,本申请实施例提供了一种车位跟踪方法,该方法包括:基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;其中,i为整数,i≥2;基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;其中,特征序列表包括目标车位的历史特征信息;若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
第二方面,本申请实施例提供了一种车位跟踪装置,该装置包括:测模块,用于基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;其中,i为整数,i≥2;预测模块,用于基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;关联模块,用于根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;其中,特征序列表包括目标车位的历史特征信息;匹配模块,用于若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;目标确定模块,用于根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
第三方面,本申请实施例提供了一种车辆,该电子设备包括:一个或多个处理器、存储器以及一个或多个应用程序。其中,一个或多个应用程序被存储在存储器中并被配置由一个或多个处理器执行,一个或多个应用程序配置用于执行上述车位跟踪方法。
第四方面,本申请实施例提供了一种计算机可读取存储介质,该计算机可读取存储介质中存储有程序代码,程序代码可被处理器调用执行上述车位跟踪方法。
本申请提供的技术方案中,基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。由此,通过将检测车位的检测信息和目标车位的预测信息进行运动特征的匹配,且结合检测车位的检测信息与目标车位的历史特征信息进行外观特征的匹配,从而可以实现对车位的精准跟踪。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种车位跟踪方法的流程示意图。
图2是本申请实施例提供的另一种车位跟踪方法的流程示意图。
图3是本申请实施例提供的又一种车位跟踪方法的流程示意图。
图4是本申请实施例提供的车位跟踪装置的结构示意图。
图5是本申请实施例提供的电子设备的结构示意图。
图6是本申请实施例提供的计算机可读取存储介质的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着自动驾驶技术在车辆中的广泛应用,出现了自动泊车、记忆泊车等技术,能在不需要人工干预的情况下,将车辆泊入各种类型的车位中(例如平行车位、垂直车位等)。在自动泊车、记忆泊车等技术中,如何对车周车位的位置进行跟踪,以使车辆能根据获取的车位的位置准确泊入车位是一个重要的问题。
但是,在对相关技术的研究和实践过程中,本申请的发明人发现,现有技术中可能由于车位被遮挡、车辆航迹推算结果不准确等问题,导致无法准确获取车位的位置信息,进而导致无法准确对车位进行跟踪,车位跟踪效果差
因此,为了解决上述问题,本申请实施例基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。由此,通过将检测车位的检测信息和目标车位的预测信息进行运动特征的匹配,且结合检测车位的检测信息与目标车位的历史特征信息进行外观特征的匹配,从而可以实现对车位的精准跟踪。
下面将结合具体的实施例进行详细介绍。
请参阅图1,图1是本申请一实施例提供的车位跟踪方法的流程示意图,应用于车辆,该车位跟踪方法包括步骤110至步骤150。
在步骤110中,基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息。
在本申请实施例中,检测图像是指可以展示车辆周围环境的360°全景鸟瞰图。其中,全景鸟瞰图是通过对摄像装置获取的车辆四周的图像经过处理得到的图像。可选地,车辆中可以包括图像处理模块,用于对摄像装置获取的车辆四周的图像进行处理,以使得到车辆的360°全景鸟瞰图。
在一些实施方式中,摄像装置可以安装在车体的前、后、左、右位置,例如:安装在车体前、后、左、右位置中轴线的车顶上。可以理解的,摄像装置只要获取到的图像经过处理可以得到全景鸟瞰图,具体的安装位置可以根据实际需要进行设置,本申请对此不做限制。
在一些实施方式中,摄像装置可以是摄像头、摄像模组等,具体可以例如是环视摄像头、广角鱼眼摄像头等。具体地,摄像装置在获取到车辆前、后、左、右方向的图像后,由于获取的图像存在非线性畸变,因此先对这些图像进行畸变矫正得到正常图像,然后根据预设的摄像装置外参,对畸变矫正后的图像进行反投影转换,最后将这些图像合成得到张360°全景鸟瞰图,即检测图像。
其中,非线性畸变是指物体在摄像装置的图像平面上形成的图像与理想图像之间存在的不同程度的非线性光学畸变。可选地,可以采用基于控制对象的方法对存在非线性畸变的图像进行畸变矫正。具体地,先设定控制目标的世界坐标和图像的像素坐标,然后建立目标函数(包括偏差函数、独立性参数、拟合误差等),最后通过最优化目标函数的方法求解变形系数,以实现对存在非线性畸变的图像的畸变矫正。可选地,还可以采用基于模式的校正方法对存在非线性畸变的图像进行畸变矫正。具体地,根据摄像装置的成像模型、姿态模型和光学特性对存在非线性畸变的图像进行畸变矫正。
其中,摄像装置外参可以由旋转矩阵R和平移向量t描述。摄像装置外参决定了摄像装置的位姿(位置和姿态),可以用于描述世界坐标系与相机坐标系之间的转换关系。
在一些实施方式中,车辆中可以包括车载显示屏,全景鸟瞰图即检测图像可以在车载显示屏上显示,以使车主可以通过显示的全景鸟瞰图观察车周环境,可以有效避免由于看不到驾驶盲区的景象而发生事故的场景。
在本申请实施例中,检测车位是指检测图像中识别得到的车位,即通过摄像装置拍摄到的车周实际存在的车位。
在一些实施方式中,车辆可以包括车位检测模块,在获取检测图像后,将检测图像输入车位检测模块中对检测图像进行检测,以确定检测图像中检测车位对应的检测信息。其中,检测信息可以例如是车位类型、车位角点坐标、车位可泊性、车位角点置信度等。可以理解的,检测信息还可以包括车位信息,具体可以根据实际需要设置,本申请对此不做限制。
可选地,车位类型是指车位的方向,不同类型的车位,车辆的停放方向不同。车位类型可以包括垂直车位、水平车位和斜向车位。
可选地,车位角点坐标可以是指构成车位的车位线两两之间的交汇点的坐标(即车位的四个角的坐标),根据车位角点坐标可以确定车位的具体位置。
可选地,车位可泊性是指检测图像中检测到的检测车位是否可以用于停车。可选地,车位角点置信度可以用于表示车位角点坐标属于车位角点的可能性,车位角点置信度越高,认为检测到的车位位置越准确。
在一些实施方式中,车位检测模块中可以包括预先训练好的车位检测模型,用于对输入的检测图像进行检测,输出检测图像中车位对应的检测信息。其中,车位检测模型可以是基于深度学习训练得到的神经网络模型,具体模型类型可以根据实际需要进行选择,例如选用卷积神经网络、深度神经网络等,本申请对此不做限制。
在一些实施方式中,车位对应的每种检测信息也可以分别利用预先训练好的对应的模型进行检测。例如,车位类型可以使用车位类型检测模型进行确定、车位角点坐标可以通过角点坐标检测模型进行确定、车位可泊性可以使用可泊性检测模型确定、车位角点坐标置信度可以通过置信度检测模型确定。可以理解的,当每种检测信息通过对应的模型分别确定的情况下,车位检测模块可以包括车位类型检测模型、角点坐标检测模型、可泊性检测模型和置信度检测模型。
在一些实施方式中,车位可泊性还可以通过超声波进行探测,以判断检测车位所在的区域是否存在障碍物,从而确定检测车位是否可以停车。
在本申请实施例中,由于检测图像是实时获取的,因此对检测图像的检测也是实时进行。具体地,车辆通过图像处理模块获取到第i帧检测图像后,图像处理模块将该检测图像输入车位检测模块,车位检测模块对接收到的第i帧检测图像进行车位检测,从而确定第i帧检测图像中存在的检测车位和每个检测车位对应的检测信息。其中,i可以是任意大于或等于2的整数。
在步骤120中,基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息。
在本申请实施例中,目标车位是指检测图像中的跟踪车位;车位信息为根据检测信息确定的信息,车位信息可以包括车位边界框的中心点坐标、长宽比和高度;检测时刻是指得到检测图像时对应的时刻。
在一些实施方式中,可以为每一个目标车位分配唯一的车位标识,属于同一目标车位采用同一标识进行标记,以便于对车位进行追踪。例如,第i帧检测图像中第一车位的车位标识为第一标识,在第i-1帧检测图像中第二车位的车位标识也为第一标识,则第一车位和第二车位归属于同一目标车位。
在本申请实施例中,运动信息可以是指获取检测图像的时刻所对应的车辆的车速。例如,获取第i-1帧检测图像的时刻为10:00:01(即十点零一秒),10:00:01时刻车辆的车速为45千米每小时(km/h),则获取第i-1帧检测图像对应的检测时刻的运动信息为45km/h。
在本申请实施例中,预测信息是指根据检测图像中目标车位的车位信息和获取该检测图像时对应的检测时刻的车速进行预测,从而得到的目标车位在下一帧的车位信息。进一步地,预测信息可以是与目标车位对应的预测车位的车位信息。
在一些实施方式中,车辆可以包括车位预测模块,可以用于预测第i-1帧的检测图像中的目标车位在第i帧出现的位置,即可以通过车位预测模块得到与目标车位对应的预测车位。具体地,车位预测模块根据第i-1帧的检测图像中目标车位的车位信息和获取第i-1帧检测图像时对应时刻的车速,对第i-1帧检测图像中的目标车位进行轨迹预测,得到与目标车位对应的预测车位的车位信息。
在一些实施方式中,车位预测模块可以为卡尔曼滤波器。具体地,车位预测模块使用8维状态空间(u,v,r,h,u’,v’,h’,u’)对目标车位的运动状态进行预测,得到预测车位的车位信息(u,v,r,h)。其中,(u,v)表示车位边界框的中心点坐标,r表示车位边界框的长宽比,h表示车位边界框的高度,(u’,v’,h’,u’)可以用获取检测图像的时刻对应的车速表示。进一步地,卡尔曼滤波器可以包含匀速运动模型和线性观测模型。可以理解的,卡尔曼滤波器还可以包含其他模型,本申请对比不做限制。
在一些实施方式中,由于有些检测车位的所在区域可能存在障碍物、对应的检测信息误差较大等情况,车辆无法准确完整停在这些车位中,对这些检测车位进行运动状态的预测是一种资源浪费,因此为了避免这种情况,需要先确定检测图像中哪些检测车位满足跟踪条件。
可选地,可以根据检测信息中的车位可泊性、车位角点置信度确定检测车位是否满足跟踪条件。具体地,若车位可泊,且车位角点置信度大于置信度阈值,则可确定车位满足跟踪条件。例如,置信度阈值为0.7,若第一检测车位为可泊车位,且第一检测车位的车位角点置信度为0.8,则确定第一检测车位满足跟踪条件。
在步骤130中,根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离。
在本申请实施例中,根据检测信息中的车位角点坐标可以确定检测车位的车位信息,即车位边界框的中心点坐标、长宽比和高度,可以用(u,v,r,h)表示。
在一些实施方式中,根据目标车位的预测信息确定与该目标车位对应的预测车位的车位信息后,根据检测车位的车位信息与预测车位的车位信息可以确定检测车位和预测车位之间的马氏距离。
具体地,根据第i帧检测图像中的检测车位的车位信息,与第i-1帧的检测图像中的目标车位对应的第i帧的预测车位的车位信息,可以确定检测车位与预测车位之间的马氏距离。其中,马氏距离具体可以如公式一所示,以利用马氏距离衡量第i个预测车位和第j个检测车位之间的距离,具体地:
d(1)(p,q)=(dq-yp)TSp -1(dq-yp) (公式一)
其中,d(1)(p,q)表示第q个检测车位与第p个预测车位之间的马氏距离;dq表示第q个检测车位的车位信息,yp表示第p个预测车位的车位信息,Sp是表示预测车位和检测车位之间的协方差矩阵。在一些实施方式中,yp和Sp可以是通过车位预测模块(例如卡尔曼滤波器)预测得到。可以理解地,若检测车位和预测车位之间的距离相近,则可以认为检测车位的位置是与该预测车位对应的目标车位下一帧运动所至的位置。
其中,第p个预测车位可以是指第i-1帧的检测图像中的第p个目标车位预测得到的预测车位,第i-1帧的检测图像中存在多少个目标车位,则可以得到多少个预测车位。第p个检测车位可以是指第i帧的检测图像中第p个检测车位。
在一些实施方式中,可以设置当检测车位和预测车位之间的马氏距离小于第一预设阈值,则认为检测车位与预测得到该预测车位的目标车位的运动状态关联成功。其中,第一预设阈值可以是预设的任意值,本申请对此不做限制。可选地,车辆中可以包括有第一比较模块,用于比较检测车位和预测车位之间的马氏距离是否小于第一预设阈值。
在本申请实施例中,特征序列表中包括目标车位的历史特征信息。其中,历史特征信息为目标车位最近预设帧数的特征信息,特征信息可以是关于车位角点的特征信息。可选地,特征信息可以用低维度向量表示。示例性的,特征序列表中可以保存目标车位在最近100帧的检测图像中的特征信息。
在一些实施方式中,检测信息中还可以包括特征信息,也就是说,检测车位的特征信息可以通过车位检测模块提取得到,具体可以是通过车位检测模块中预先训练好的模型提取得到。
可选地,特征信息可以通过车位检测模型得到。可选地,车位检测模块中还可以包括特征信息提取模型,用于提取检测车位的特征信息,特征信息提取模型可以是例如是由卷积神经网络训练得到。
在一些实施方式中,可以设定对于车位的检测框大小,将设定的检测框大小数值输入特征信息提取模型,以使特征信息提取模型可以输出每个检测到的车位的特征信息。例如,车位的检测框可以是宽为64px(像素),高为128px,特征信息提取模型输出的特征信息可以是维度为128的向量。
在一些实施方式中,根据检测车位的检测信息中的特征信息和特征序列表中目标车位的历史特征信息,可以确定检测车位和目标车位之间的最小余弦距离,从而确定检测车位的特征信息和最近预设帧数的目标车位的特征信息的相似度。
示例性的,预设帧数为100,则在确定当前帧检测车位的特征信息后,根据当前帧检测车位的特征信息和特征序列表中目标车位的历史特征信息(即前100帧的目标车位的历史特征信息),确定当前帧检测车位的特征信息与目标车位的历史特征信息的相似度。
在一些实施方式中,可以为每一个目标车位建立对应的特征序列表,用于保存最近预设帧数的特征信息,在确定某一确定的检测车位的特征信息后,将该特征信息与所有目标车位即所有已知的特征信息表中的特征信息进行余弦距离计算,将其中数值最小的余弦距离作为检测车位的特征信息与特征信息表之间的最小余弦距离,从而确定检测车位与每个目标车位之间的最小余弦距离。
在一些实施方式中,也可以将全部目标车位最近预设帧数的特征信息保存至一个特征序列表中,在确定某一检测车位的特征信息后,将该特征信息分别与特征序列表中每个目标车位对应的特征信息进行余弦距离计算,得到与每个目标车位最近预设帧数的特征信息的最小余弦距离。
可以理解的,由于相似度越高,最小余弦距离越小,因此可以设置当检测车位和目标车位之间的最小余弦距离小于第二预设阈值时,认为检测车位与该目标车位之间的特征信息关联成功。其中,第二预设阈值可以根据实际检测需要进行设置,本申请对此不做限制。可选地,车辆可以包括有第二比较模块,用于比较检测车位和目标车位之间的最小余弦距离是否小于第二预设阈值。
其中,最小余弦距离具体可以如公式二所示,以利用最小余弦距离衡量目标车位最近预设帧数的历史特征信息与第q个检测车位的特征信息之间的距离,具体地:
d(2)(p,q)=min{1-rq Trk (p)∣rk (p)∈Rp} (公式二)
其中,d(2)(p,q)表示第p个目标车位与第q个检测车位之间的最小余弦距离;rq T表示第q个检测车位的特征信息,rk (p)表示第p个目标车位最近k帧的特征信息,Rp是表示第p个目标车位的特征序列表。
在步骤140中,若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配。
在一些实施方式中,预设匹配条件可以是至少满足马氏距离小于第一预设阈值和最小余弦距离小于第二预设阈值中的其中一个。其中,当检测车位与目标车位对应的预测车位之间的马氏距离小于第一预设阈值时,检测车位与目标车位的运动状态关联成功,则可以认为检测车位与目标车位匹配,即可以认为检测车位与目标车位为同一个车位;当检测车位与目标车位之间的余弦距离小于第二预设阈值时,检测车位与目标车位的特征信息关联成功,则可以认为检测车位与目标车位匹配,即可以认为检测车位与目标车位为同一个车位。
具体地,可以先计算马氏距离,确定检测车位匹配的目标车位,然后将满足马氏距离小于第一预设阈值的检测车位和目标车位去除,计算这些检测车位和目标车位之间的最小余弦距离,确定这些检测车位匹配的目标车位。可以理解的,也可以先计算最小余弦距离,再计算马氏距离。
在一些实施方式中,预设匹配条件也可以是同时满足马氏距离小于第一预设阈值和最小余弦距离小于第二预设阈值。具体地,计算检测车位和每个目标车位的预测车位之间的马氏距离,以及和每个目标车位对应的特征序列表之间的最小余弦距离,检测车位与同时满足马氏距离小于第一预设阈值和最小余弦距离小于第二预设距离的目标车位匹配,由此,提高了检测车位的匹配准确度。
在一些实施方式中,预设匹配条件还可以是马氏距离和最小余弦距离加权计算后的加权结果处于预设阈值范围内。第一预设阈值和第二预设阈值的交集内。具体地,根据马氏距离和预设权重确定第一匹配值,根据最小余弦距离和预设权重确定第二匹配值,然后根据第一匹配值和第二匹配值确定目标匹配值,最后若目标匹配值处于预设阈值范围内,则认为检测车位和目标车位匹配。从而,在同时考虑了马氏距离和最小余弦距离的基础上,将马氏距离和最小余弦距离通过加权计算进行融合,然后根据融合后的结果判断检测车位和目标车位是否匹配,可以极大提高车位的匹配准确度,实现高精度的车位跟踪效果。
具体地,加权计算具体可以如公式三所示:
cp,q=λd(1)(p,q)+(1-λ)d(2)(p,q)(公式三)
其中,λ为权重系数;d(1)(p,q)为马氏距离,可以由公式一得到;d(2)(p,q)为最小余弦距离,可以由公式二得到。可以理解的,λ可以是预设权重,从而第一匹配值为λd(1)(p,q),第二匹配值为(1-λ)d(2)(p,q)。
在一些实施方式中,在根据马氏距离和最小余弦距离确定互相匹配的检测车位和目标车位后,若还存在未匹配的检测车位,则根据未匹配成功的检测车位的检测信息和目标车位的预测信息进行交并比匹配(Intersection-over-Union,IoU),以确定检测车位和目标车位对应的预测车位的车位边界框之间的重叠度。
进一步地,若存在检测车位的检测信息和目标车位的预测信息交并比匹配成功,则表示交并比匹配成功的检测车位与目标车位的预测车位的重叠度满足要求,即车位定位精度满足要求,从而可以确定交并比匹配成功的检测车位和目标车位匹配。其中,由于两个车位边界框的交并比匹配可以认为是两个车位所在区域的像素的集合的交并比匹配,因此交并比匹配具体可以如公式四所示,具体地:
IoU=(A∩B)/(A∪B) (公式四)
其中,A为检测车位所在区域的像素集合,B为目标车位对应的预测车位所在区域的像素集合。可选地,车位边界框的大小可以由车位角点坐标确定。可选地,车位边界框的大小也可以根据车位边界框的长宽比确定。
在一些实施方式中,可以设置交并比阈值,交并比阈值表示两个车位边界框的重叠度。当检测车位的检测信息和目标车位的预测信息的交并比匹配结果大于交并比阈值时,认为二者匹配成功。
可以理解的,若交并比阈值设置过低,则会造成误检率高,导致匹配的精度不高;若交并比阈值设置过高,会导致漏检率高。在具体实际应用中,可根据实际需求偏向设置合理的交并比阈值,本申请实施例对此不做限制。
在一些实施方式中,也可以根据未匹配的检测车位的数量动态调整交并比阈值。可选的,可以随着未匹配的检测车位的数量的增加按预设规则动态增大交并比阈值,以提高匹配精度。
在步骤150中,根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
具体地,若检测车位与目标车位匹配,则确定第i帧的检测图像中的该检测车位为目标车位,即该检测车位为跟踪车位。在一些实施方式中,由于每个目标车位存在唯一的车位标识,因此当确定检测车位与目标车位匹配时,为该检测车位分配与目标车位一样的车位标识,而具有相同车位标识的车位为同一个车位,从而可以根据车位标识是否一致判断哪些车位为同一个车位。
在一些实施方式中,若第i帧的检测图像中的检测车位有匹配的目标车位,则确定检测车位为与检测车位匹配的目标车位,即检测车位为与检测车位匹配的目标车位是同一个车位,从而实现对目标车位的跟踪。若第i帧的检测图像中存在检测车位没有匹配的目标车位,则增加检测车位作为新的目标车位,即该检测车位为新检测到的车位,增加该车位为目标车位以使在之后对其进行跟踪。
示例性的,目标车位包括:第一目标车位和第二目标车位,第i帧的检测图像中存在第一检测车位和第二检测车位,第一检测车位与第一目标车位匹配,第二检测车位与第二目标车位和第二目标车位都不匹配,则确定第一检测车位和第二目标车位是同一个车位,并且增加第二检测车位作为不同于第一目标车位和第二目标车位的新的目标车位,例如可以作为第三目标车位。
进一步地,在一些实施方式中,由于检测图像中不存在匹配的目标车位的检测车位可能是误检得到的结果,也就是说该检测车位可能不是真实存在的车位,因此为了确定该检测车位是否为真实存在的车位,可以将第i帧的检测图像中没有与之匹配的目标车位的检测车位作为待确定车位,待确定车位是指处于待确定状态的目标车位,若该待确定车位在之后预设帧数的检测图像中均存在有匹配的目标车位,则增加该待确定车位作为新的目标车位,此时目标车位为确定状态。进一步地,待确定车位转变为目标车位后,可以为其分配唯一的车位标识。
示例性的,预设帧数为3帧,第i帧检测图像中第一检测车位没有与之匹配的目标车位,则将第一检测车位作为待确定车位,若在之后的第i+1帧、第i+2帧和第i+3帧的检测图像中待确定车位都存在与其匹配的目标车位,则确定第i帧检测图像中的第一检测车位不是误检车位,是真实存在的新的车位,需要对其进行跟踪,因此将待确定车位作为新的目标车位。
由上述可知,本申请实施例基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。由此,通过将检测车位的检测信息和目标车位的预测信息进行运动特征的匹配,且结合检测车位的检测信息与目标车位的历史特征信息进行外观特征的匹配,从而可以实现对车位的精准跟踪。
请参阅图2,图2示出了本申请另一实施例提供的车位跟踪方法的流程示意图,应用于车辆,该车位跟踪方法可以包括步骤210至步骤260。
在步骤210中,基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息。
在步骤220中,基于第i-1帧的检测图像中的目标车位的特征信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息。
在步骤230中,根据检测车位的检测信息与目标车位的预测信息确定检测车位与目标车位的马氏距离;以及根据检测车位的检测信息与特征序列表确定检测车位与目标车位的最小余弦距离。
在步骤240中,若存在与检测车位的马氏距离以及最小余弦距离满足匹配条件的目标车位,则确定检测车位和与检测车位的马氏距离以及最小余弦距离满足匹配条件的目标车位相匹配。
在步骤250中,根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
可以理解的,步骤210至步骤250的具体描述请参阅步骤110至步骤150,在此不再进行赘述。
在步骤260中,根据第i帧的检测图像中的目标车位更新特征序列表。
具体地,在根据检测车位和目标车位的匹配结果确定第i帧的检测图像中存在的目标车位后,即确定哪些检测车位为跟踪车位后,根据确定为目标车位的检测车位更新特征序列表中保存的历史特征信息。
可以理解的,更新特征序列表更新之后可以用于下一帧计算检测车位与目标车位的最小余弦距离,由此,可以实现对每一帧获取的检测图像中的目标车位进行跟踪。
在一些实施方式中,在确定好第i帧的检测图像中的目标车位后,除了更新特征序列表中的历史特征信息,还可以更新车位的状态。例如,待确定车位连续三帧匹配成功,则将待确定车位的状态即待确定状态更新为确定状态,也就是说将待确定车位更新为目标车位。
在一些实施方式中,若第i帧的检测图像中的目标车位属于特征序列表中已有的目标车位,则根据该确定为目标车位的检测车位的检测信息更新特征序列表中对应的目标车位的历史特征信息。示例性的,第i帧的检测图像中确定第一检测车位是第一目标车位的跟踪车位,则第一检测车位为第一目标车位,而特征序列表中已经保存有第一目标车位及其对应的历史特征信息,在这种情况下可以根据第一检测车位的检测信息更新特征序列表中第一目标车位对应的历史特征信息。
进一步地,在确定第i帧的检测图像中存在目标车位属于特征序列表中已有的目标车位后,若特征序列表中对应的目标车位的历史特征信息已存满,则删除特征序列表中对应的目标车位的历史特征信息中保存时间最早的特征信息,然后将确定为目标车位的检测车位的检测信息中的特征信息,更新至特征序列表中对应的目标车位的历史特征信息中;若特征序列表中对应的目标车位的历史特征信息未存满,则直接将确定为目标车位的检测车位的检测信息中的特征信息,更新至特征序列表中对应的目标车位的历史特征信息中。
其中,当特征序列表中已保存目标车位最近预设帧数的特征信息,则表示特则会那个序列表中该目标车位的历史特征信息已存满。
在一些实施方式中,若第i帧的检测图像中的目标车位不属于特征序列表中已有的目标车位,则将目标车位作为特征序列表中的新增目标车位,并根据确定为目标车位的检测车位的检测信息更新特征序列表中新增的目标车位的历史特征信息,即将确定为目标车位的检测车位的检测信息中的特征信息作为特征序列表中新增目标车位的历史特征信息。
示例性的,第i帧的检测图像中确定第一检测车位是第一目标车位的跟踪车位,而特征序列表中未保存第一目标车位及其对应的历史特征信息,在这种情况下可以在特征序列表中增加第一目标车位,并根据第一检测车位的检测信息中的特征信息,更新特征序列表中新增目标车位即第一目标车位对应的历史特征信息。
在一些实施方式中,可以为每个目标车位设置丢失时长,丢失时长为目标车位从上一次匹配成功的时刻起至当前时刻之间的时间,从而可以根据丢失时长确定每个目标车位跟踪失败的时长。具体地,根据第i帧的检测图像中的目标车位更新根据特征序列表中对应的目标车位的丢失时长,若存在目标车位的丢失时长大于预设丢失阈值,则删除特征序列表中丢失时长大于预设丢失阈值的目标车位和该目标车位所对应的历史特征信息。
可以理解的,由于第i帧检测图像中的目标车位是指匹配成功的检测车位,因此在确定第i帧中的目标车位的同时也就确定了哪些检测匹配成功。
在一些实施方式中,在确定第i帧的检测图像中的目标车位后,可以直接将第i帧中的检测图像中的目标车位的丢失时长重置为0。此外,若除第i帧确定的目标车位以外的其他的目标车位(在第i帧中没有与之匹配的检测车位)的丢失时长大于预设丢失阈值,则可以认为这些目标车位以超出摄像装置的检测范围,可以不再对其进行跟踪,因此可以在特征序列表中删除这部分目标车位,同时删除这些目标车位在特征序列表中对应的历史特征信息。
进一步地,若除第i帧确定的目标车位以外其他的目标车位中存在待确定车位,表示待确定未在之后的预设帧数的检测图像中均匹配成功,在这种情况下,可以认为待确定车位为误检的车位,从而可以在特征序列表中删除这部分目标车位,同时删除这些目标车位在特征序列表中对应的历史特征信息。
在一些实施方式中,可以为每个目标车位设置对应的计时模块,从目标车位上一次匹配成功开始计时,从而可以根据每个计时模块记录的时长确定每个对应的目标车位的丢失时长。其中,计时模块可以例如是计时器、定时器等。
由上述可知,本申请实施例基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位;根据第i帧的检测图像中的目标车位更新特征序列表。由此,通过将检测车位的检测信息和目标车位的预测信息进行匹配,确定检测图像中哪些车位为为之前出现过的车位,并且在匹配成功后更新特征序列表,为下一帧匹配做准备,以此可以实现对车位不间断的精准跟踪。
请参阅图3,图3示出了本申请又一实施例给出的车位跟踪方法的流程示意图,应用于车辆,该车位跟踪方法可以包括步骤310至步骤380。
在步骤310中,基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息。
在步骤320中,基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息。
在本申请实施例中,步骤310至步骤320的具体描述请参阅步骤110至步骤120,在此不再进行赘述。
在步骤330中,若存在待匹配的检测车位,则在待匹配的检测车位中确定其中一个检测车位作为第一车位。
在本申请实施例中,若第i帧的检测图像中存在待匹配的检测车位,则可以在待匹配的检测车位中确定其中一个检测车位作为第一车位。例如,存在待匹配的检测车位A和检测车位B,可以选择检测车位B作为第一车位。
在步骤340中,在待匹配的目标车位中确定其中一个目标车位作为第二车位。
在本申请实施例中,若第i-1帧的检测图像中存在待匹配的目标车位,则可以在待匹配的目标车位中确定其中一个目标车位作为第二车位。例如,存在待匹配的目标车位A和目标测车位B,可以选择目标车位A作为第一车位。
在一些实施方式中,由于丢失时长越短的目标车位匹配成功的概率越大,因此可以先将待匹配的目标车位按照丢失时长从小到大的顺序进行排序,然后将排序最前的目标车位作为第二车位,也就是说,将检测车位优先与没有被遮挡过的目标车位匹配,从而可以有效提升匹配效率。
在步骤350中,根据第一车位的检测信息与第二车位的预测信息确定马氏距离。
在本申请实施例中,在确定第一车位和第二车位后,根据第一车位的检测信息可以确定第一车位的车位信息,并且可以根据第二车位的预测信息得到对应的预测车位的车位信息,从而可以根据第一车位的车位信息和预测车位的车位信息可以确定第一车位和与第二车位对应的预设车位的马氏距离。
在步骤360中,根据第一车位的检测信息与特征序列表中第二车位对应的历史特征信息确定最小余弦距离。
在本申请实施例中,根据第一车位的检测信息中的特征信息和特征序列表中第二车位对应的历史特征信息,可以确定第一车位和第二车位之间的最小余弦距离
在步骤370中,若马氏距离与最小余弦距离满足预设匹配条件,则确定第一车位和第二车位匹配。
在本申请实施例中,若马氏距离和最小余弦距离满足预设匹配条件,则可以确定第一车位和第二车位匹配,即第一车位是第二车位的跟踪车位,第一车位和第二车位为同一个车位。
在一些实施方式中,当第一车位与第二车位不匹配时,若存在未与第一车位进行匹配的待匹配的目标车位,则返回执行在待匹配的目标车位中确定其中目标车位作为第二车位的步骤,即将第一车位与其他未匹配的目标车位进行匹配;若不存在未于第一车位进行匹配的待匹配的目标车位,则返回执行若存在待匹配的检测车位,则在待匹配的检测车位中确定其中一个检测车位作为第一车位的步骤,即匹配其他的检测车位。
在一些实施方式中,当第一车位与第二车位匹配时,返回执行若存在待匹配的检测车位,则在待匹配的检测车位中确定其中一个检测车位作为第一车位的步骤,即匹配其他的检测车位。
在步骤380中,根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
可以理解的,步骤380的具体描述可以参阅步骤150,在此不再进行赘述。
由上述可知,本申请实施例基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;若存在待匹配的检测车位,则在待匹配的检测车位中确定其中一个检测车位作为第一车位;在待匹配的目标车位中确定其中一个目标车位作为第二车位;根据第一车位的检测信息与第二车位的预测信息确定马氏距离;根据第一车位的检测信息与特征序列表中第二车位对应的历史特征信息确定最小余弦距离;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。由此,通过依次将未匹配的检测车位的检测信息和目标车位的预测信息进行匹配,确定检测图像中哪些车位为之前出现过的车位,以此可以实现对车位不间断的精准跟踪。
请参阅图4,图4为本申请实施例提供的车位跟踪装置400的结构示意图,应用于车辆,该车位跟踪装置400可以包括检测模块410、预测模块420、关联模块430、匹配模块440和目标确定模块450,具体地:
检测模块410可以用于基于第i帧的检测图像进行车位检测以确定第i帧的检测图像中的检测车位,以及检测车位对应的检测信息;其中,i为整数,i≥2;
预测模块420可以用于基于目标车位在第i-1帧的检测图像中的车位信息以及车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;其中,目标车位为检测图像中的跟踪车位;
关联模块430可以用于根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;其中,特征序列表包括目标车位的历史特征信息;
匹配模块440可以用于若马氏距离和最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;
目标确定模块450可以用于根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参阅图5,图5为本申请实施例提供的车辆500的结构示意图,该车辆500可以运行应用程序。本申请中的电子设备500可以包括一个或多个如下部件:处理器510、存储器520、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器520中并被配置为由一个或多个处理器510执行,一个或多个程序配置用于执行如前述方法实施例所描述的车位跟踪方法。
处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分,通过运行或执行存储在存储器520内的指令、程序、代码集或指令集,以及调用存储在存储器520内的数据,执行电子设备500的各种功能和处理数据。可选地,处理器510可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器510中,单独通过一块通信芯片进行实现。
存储器520可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如预测功能、匹配功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备500在使用中所创建的数据(比如检测信息、预测信息等)。
请参阅图6,图6为本申请实施例提供的计算机可读取存储介质的结构示意图。该计算机可读取介质600中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的车位跟踪方法。
计算机可读取存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读取存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读取存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序设备中读出或者写入到这一个或者多个计算机程序设备中。程序代码610可以例如以适当形式进行压缩。
本申请提供的车位跟踪方法、装置、车辆及存储介质,基于第i帧的检测图像进行车位检测以确定所述第i帧的检测图像中的检测车位,以及所述检测车位对应的检测信息;基于目标车位在第i-1帧的检测图像中的车位信息以及所述车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;若所述马氏距离和所述最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。由此,通过将检测车位的检测信息和目标车位的预测信息进行运动特征的匹配,且结合检测车位的检测信息与目标车位的历史特征信息进行外观特征的匹配,从而可以实现对车位的精准跟踪。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种车位跟踪方法,其特征在于,应用于车辆,所述方法包括:
基于第i帧的检测图像进行车位检测以确定所述第i帧的检测图像中的检测车位,以及所述检测车位对应的检测信息;其中,i为整数,i≥2;
基于目标车位在第i-1帧的检测图像中的车位信息以及所述车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;
根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;其中,所述特征序列表包括目标车位的历史特征信息;
若所述马氏距离和所述最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;
根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
2.根据权利要求1所述的方法,其特征在于,所述根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位之前,所述方法还包括:
若存在未匹配的检测车位,则根据所述未匹配的检测车位的检测信息与未匹配的目标车位的预测信息进行交并比匹配;
若存在检测车位的检测信息与目标车位的预测信息交并比匹配成功,则确定交并比匹配成功的检测车位和目标车位匹配。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述第i帧的检测图像中的目标车位更新所述特征序列表。
4.根据权利要求3所述的方法,其特征在于,所述根据第i帧的检测图像中的目标车位更新所述特征序列表,包括:
若第i帧的检测图像中的目标车位属于特征序列表中已有的目标车位,则根据目标车位的检测信息更新所述特征序列表中对应的目标车位的历史特征信息;
若第i帧的检测图像中的目标车位不属于特征序列表中已有的目标车位,则在特征序列表中新增目标车位,并根据目标车位的检测信息更新所述特征序列表中所述新增目标车位的历史特征信息。
5.根据权利要求4所述的方法,其特征在于,所述根据第i帧的检测图像中的目标车位更新所述特征序列表,还包括:
根据第i帧的检测图像中的目标车位更新根据所述特征序列表中对应的目标车位的丢失时长;其中,所述丢失时长为目标车位从上一次匹配成功的时刻起至当前时刻之间的时间;
若存在目标车位的丢失时长大于预设丢失阈值,则在特征序列表中删除丢失时长大于预设丢失阈值的目标车位和所述目标车位所对应的历史特征信息。
6.根据权利要求1所述的方法,其特征在于,所述若所述马氏距离与所述最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配,包括:
根据所述马氏距离和预设权重确定第一匹配值;
根据所述最小余弦距离和所述预设权重确定第二匹配值;
根据所述第一匹配值和所述第二匹配值确定目标匹配值;
若所述目标匹配值处于预设阈值范围,则确定检测车位和目标车位匹配。
7.根据权利要求1所述的方法,其特征在于,所述根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离,包括:
若存在待匹配的检测车位,则在待匹配的检测车位中确定其中一个检测车位作为第一车位;
在待匹配的目标车位中确定其中一个目标车位作为第二车位;
根据所述第一车位的检测信息与所述第二车位的预测信息确定马氏距离;
根据所述第一车位的检测信息与特征序列表中所述第二车位对应的历史特征信息确定最小余弦距离;
所述若所述马氏距离与所述最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配,包括:
若所述马氏距离与所述最小余弦距离满足预设匹配条件,则确定所述第一车位和所述第二车位匹配。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
当所述第一车位与所述第二车位不匹配时,若存在未与所述第一车位进行匹配的待匹配的目标车位,则返回执行所述在待匹配的目标车位中确定其中一个目标车位作为第二车位的步骤;
若不存在未与所述第一车位进行匹配的待匹配的目标车位,则返回执行若存在待匹配的检测车位,则在待匹配的检测车位中确定其中一个检测车位作为第一车位的步骤。
9.根据权利要求8所述的方法,其特征在于,所述在待检测的目标车位中确定其中一个目标车位作为第二车位,包括:
将待检测的目标车位按照丢失时长从小到大的顺序进行排序;所述丢失时长为目标车位从上一次匹配成功的时刻起至当前时刻的时间;
将排序最前的目标车位作为第二车位。
10.一种车辆跟踪装置,其特征在于,应用于车辆,所述装置包括:
检测模块,用于基于第i帧的检测图像进行车位检测以确定所述第i帧的检测图像中的检测车位,以及所述检测车位对应的检测信息;其中,i为整数,i≥2;
预测模块,用于基于目标车位在第i-1帧的检测图像中的车位信息以及所述车辆在第i-1帧对应的检测时刻的运动信息进行轨迹预测,得到目标车位的预测信息;
关联模块,用于根据检测车位的检测信息与目标车位的预测信息确定马氏距离;以及根据检测车位的检测信息与特征序列表确定最小余弦距离;其中,所述特征序列表包括目标车位的历史特征信息;
匹配模块,用于若所述马氏距离和所述最小余弦距离满足预设匹配条件,则确定检测车位和目标车位匹配;
目标确定模块,用于根据检测车位与目标车位的匹配结果确定第i帧的检测图像中的目标车位。
11.一种车辆,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行如权利要求1-9任一项所述的车辆跟踪方法。
12.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-9任一项所述的车位跟踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210382081.0A CN115223135B (zh) | 2022-04-12 | 2022-04-12 | 车位跟踪方法、装置、车辆及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210382081.0A CN115223135B (zh) | 2022-04-12 | 2022-04-12 | 车位跟踪方法、装置、车辆及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115223135A CN115223135A (zh) | 2022-10-21 |
CN115223135B true CN115223135B (zh) | 2023-11-21 |
Family
ID=83606719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210382081.0A Active CN115223135B (zh) | 2022-04-12 | 2022-04-12 | 车位跟踪方法、装置、车辆及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115223135B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117068145B (zh) * | 2023-10-17 | 2024-01-26 | 北京茵沃汽车科技有限公司 | 泊车方法、泊车装置、计算设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020082258A1 (zh) * | 2018-10-24 | 2020-04-30 | 深圳鲲云信息科技有限公司 | 一种多目标实时跟踪方法、装置及电子设备 |
CN111640140A (zh) * | 2020-05-22 | 2020-09-08 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
CN112257698A (zh) * | 2020-12-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 环视图车位检测结果的处理方法、装置、设备和存储介质 |
CN113538523A (zh) * | 2021-09-17 | 2021-10-22 | 魔视智能科技(上海)有限公司 | 车位检测跟踪方法、电子设备及车辆 |
WO2021226912A1 (zh) * | 2020-05-14 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 泊车位确定方法、装置、计算机设备和存储介质 |
-
2022
- 2022-04-12 CN CN202210382081.0A patent/CN115223135B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020082258A1 (zh) * | 2018-10-24 | 2020-04-30 | 深圳鲲云信息科技有限公司 | 一种多目标实时跟踪方法、装置及电子设备 |
WO2021226912A1 (zh) * | 2020-05-14 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 泊车位确定方法、装置、计算机设备和存储介质 |
CN111640140A (zh) * | 2020-05-22 | 2020-09-08 | 北京百度网讯科技有限公司 | 目标跟踪方法、装置、电子设备及计算机可读存储介质 |
CN112257698A (zh) * | 2020-12-23 | 2021-01-22 | 深圳佑驾创新科技有限公司 | 环视图车位检测结果的处理方法、装置、设备和存储介质 |
CN113538523A (zh) * | 2021-09-17 | 2021-10-22 | 魔视智能科技(上海)有限公司 | 车位检测跟踪方法、电子设备及车辆 |
Non-Patent Citations (2)
Title |
---|
OpenCV停车场车位实时检测项目实践;翻滚的小@强;《https://www.jb51.net/article/243990.htm》;论文第1-15页 * |
Vacant parking slot detection and tracking during driving and parking with a standalone around view monitor;Wei Li等;《Proc IMechE Part D: J Automobile Engineering》;论文第1539-1551页 * |
Also Published As
Publication number | Publication date |
---|---|
CN115223135A (zh) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11002840B2 (en) | Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle | |
EP3627180B1 (en) | Sensor calibration method and device, computer device, medium, and vehicle | |
EP3338248B1 (en) | Systems and methods for object tracking | |
CN113313763B (zh) | 一种基于神经网络的单目相机位姿优化方法及装置 | |
CN111814752B (zh) | 室内定位实现方法、服务器、智能移动设备、存储介质 | |
CN111860352B (zh) | 一种多镜头车辆轨迹全跟踪系统及方法 | |
CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
CN112198878B (zh) | 一种即时地图构建方法、装置、机器人及存储介质 | |
CN114119659A (zh) | 一种多传感器融合的目标跟踪方法 | |
CN111985300A (zh) | 自动驾驶动态目标定位方法、装置、电子设备及存储介质 | |
CN115223135B (zh) | 车位跟踪方法、装置、车辆及存储介质 | |
CN113838125A (zh) | 目标位置确定方法、装置、电子设备以及存储介质 | |
CN113313765B (zh) | 定位方法、装置、电子设备和存储介质 | |
CN113256683A (zh) | 目标跟踪方法及相关设备 | |
CN117496515A (zh) | 点云数据标注方法、存储介质和电子设备 | |
CN113673288A (zh) | 空闲车位检测方法、装置、计算机设备及存储介质 | |
CN114037977B (zh) | 道路灭点的检测方法、装置、设备及存储介质 | |
CN116358528A (zh) | 地图更新方法、地图更新装置、自移动设备及存储介质 | |
CN115761693A (zh) | 一种基于全景图像下车位标志点检测与车辆跟踪定位方法 | |
CN113362370B (zh) | 目标对象的运动信息确定方法、装置、介质及终端 | |
CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
CN113034538B (zh) | 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备 | |
CN113763468A (zh) | 一种定位方法、装置、系统及存储介质 | |
CN117523428B (zh) | 基于飞行器平台的地面目标检测方法和装置 | |
CN113313764B (zh) | 定位方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |