CN115222973A - 一种车辆轨迹匹配方法及装置 - Google Patents
一种车辆轨迹匹配方法及装置 Download PDFInfo
- Publication number
- CN115222973A CN115222973A CN202210879736.5A CN202210879736A CN115222973A CN 115222973 A CN115222973 A CN 115222973A CN 202210879736 A CN202210879736 A CN 202210879736A CN 115222973 A CN115222973 A CN 115222973A
- Authority
- CN
- China
- Prior art keywords
- picture
- track
- pieces
- candidate
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种车辆轨迹匹配方法及装置,从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将第一图片和第二图片组成图片组合,其中,第一候选轨迹和第二候选轨迹所对应的视频分别由不同相机采集,每个图片组合中至少包括一张第一图片和一张第二图片;针对每个图片组合,确定图片组合中的第一图片和第二图片之间的相似度,作为图片组合对应的图片相似度;根据图片组合各自对应的图片相似度,确定第一候选轨迹和第二候选轨迹是否匹配。本申请降低了对时间、空间信息的依赖程度,无需密集地铺设相机即能实现车辆轨迹的匹配。
Description
技术领域
本申请主要涉及计算机视觉领域,特别涉及一种车辆轨迹匹配方法及装置。
背景技术
随着停车业务需求的日益增加,获取车辆在停车场内的全局轨迹十分关键。例如,下述业务需求都依赖于车辆在停车场内的全局轨迹:提供车辆在停车场地图内的实时轨迹;追踪车辆从进入停车场到停车入库的轨迹;为方向感不好的人提供车辆在停车场内的位置信息。
停车场中往往通过布置相机对车辆的轨迹进行识别。受到相机视野范围的限制,单个相机无法捕捉到车辆在停车场内的所有轨迹,因此需要布置多个相机,根据多个相机之间的关联,追踪车辆的全局轨迹。
采用多个相机对车辆的轨迹进行追踪,需要对多个相机采集到的同一车辆的轨迹信息进行匹配。目前,常用的方法是针对拍摄范围存在重叠区域的多个相机,将这多个相机在同一时刻采集到的车辆轨迹信息投射在3D坐标系中,并计算这多个相机采集到的车辆轨迹信息的3D坐标之间的相似度(例如计算车辆轨迹信息的3D坐标之间的欧氏距离),进而,据此判断这多个相机采集到的车辆轨迹信息是否为同一车辆的轨迹信息。
上述方法为了保证轨迹信息能够准确匹配,通常需要保证多个相机在同一时刻针对同一车辆采集到的轨迹信息有较高的重合度,也即需要保证多个相机的拍摄范围存在较大的重叠区域,否则将无法将多个相机采集到的车辆轨迹信息关联起来,进而也无法确定车辆的全局轨迹。而为了保证多个相机的拍摄范围存在较大的重叠区域,需要密集地铺设大量相机,成本较高,也提高了后续开发、调试的复杂度。
发明内容
有鉴于此,本申请提供了一种车辆轨迹匹配方法及装置,能够布置较少的相机,也能达到较好的车辆轨迹匹配效果。
一方面,本申请实施例提供了一种车辆轨迹匹配方法,所述方法包括:
从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将所述第一图片和所述第二图片组成图片组合,所述第一候选轨迹和所述第二候选轨迹所对应的视频分别由不同相机采集,每个所述图片组合中至少包括一张所述第一图片和一张所述第二图片;
针对每个所述图片组合,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,作为所述图片组合对应的图片相似度;
根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配。
可选的,所述确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,包括:
分别提取所述图片组合中所述第一图片和所述第二图片的车辆特征信息;
根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
可选的,所述车辆特征信息包括多个维度的车辆特征信息,所述根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,包括:
对所述图片组合中所述第一图片对应的多个维度的车辆特征信息进行融合,得到第一融合特征;对所述图片组合中所述第二图片对应的多个维度的车辆特征信息进行融合,得到第二融合特征;
对所述第一融合特征和第二融合特征分别进行降维,得到降维后的第一融合特征和降维后的第二融合特征;
计算所述降维后的第一融合特征和所述降维后的第二融合特征的相似度值,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
可选的,所述图片组合包括多个,所述根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配,包括:
选取所述图片组合各自对应的图片相似度中最大的N个值;所述N为大于1的整数且所述N小于所述图片组合的数量;
计算所述N个值的平均值,作为平均相似度;
确定所述平均相似度是否大于预设阈值,若是,则所述第一候选轨迹和所述第二候选轨迹匹配。
可选的,所述第一候选轨迹和所述第二候选轨迹是根据以下步骤确定的:
获取目标区域中的轨迹数据;
从所述轨迹数据中选取所对应的视频由不同相机采集的两条轨迹数据,根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹;
若是,则将所述两条轨迹数据分别作为第一候选轨迹和第二候选轨迹;
若否,则重新从所述目标区域中的轨迹数据中选取两条轨迹数据。
可选的,所述根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据各自对应的首尾时间戳,确定所述两条轨迹数据的时间差;
根据所述两条轨迹数据各自对应的首尾时间戳和空间特征,确定所述两条轨迹数据的空间差;
根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹。
可选的,所述根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机;
根据所述两条轨迹数据各自对应的相机是否为相邻相机,确定所述两条轨迹数据是否为目标候选轨迹。
可选的,所述根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据的时间差是否小于预设时间差阈值和空间差是否小于预设距离阈值,确定所述两条轨迹数据是否为目标候选轨迹。
可选的,所述根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机,包括:
根据所述两条轨迹数据各自对应的相机之间的欧氏距离是否小于预设欧氏距离,和所述两条轨迹数据各自对应的相机之间的连线是否在预设车道范围内,确定所述两条轨迹数据各自对应的相机是否为相邻相机。
另一方面,本申请实施例还提供了一种车辆轨迹匹配装置,所述装置包括:
图片提取单元,用于从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将所述第一图片和所述第二图片组成图片组合,所述第一候选轨迹和所述第二候选轨迹分别由不同相机采集,每个所述图片组合中至少包括一张所述第一图片和一张所述第二图片;
图片相似度确定单元,用于针对每个所述图片组合,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,作为所述图片组合对应的图片相似度;
轨迹匹配单元,用于根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配。
由此可见,本申请实施例有如下有益效果:
本申请从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将第一图片和第二图片组成图片组合,其中,第一候选轨迹和第二候选轨迹所对应的视频分别由不同相机采集,每个图片组合中至少包括一张第一图片和一张第二图片;针对每个图片组合,确定图片组合中的第一图片和第二图片之间的相似度,作为图片组合对应的图片相似度;根据图片组合各自对应的图片相似度,确定第一候选轨迹和第二候选轨迹是否匹配。本申请通过计算由不同相机得到的两条候选轨迹所对应的图片集中,图片之间的相似度,从而能够根据图片相似度,确定两条候选轨迹是否匹配,即两条候选轨迹是否属于同一车辆,从而能够将由不同相机采集到的视频对应的同一车辆的不同轨迹关联起来;其中,本申请通过对图片相似度的比较,匹配车辆特征,从而关联同一车辆的不同轨迹,降低了对时间、空间信息的依赖程度,从而无需密集地铺设相机,即能实现车辆轨迹的匹配。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种车辆轨迹匹配方法的流程图;
图2为本申请实施例提供的一种确定图片相似度的流程图;
图3为本申请实施例提供的一种轨迹是否匹配的判断流程图;
图4为本申请实施例提供的一种车辆轨迹匹配装置的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是本申请还可以采用其它不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施例的限制。
目前,为了对多个相机采集到的同一车辆的轨迹信息进行匹配,常用方法是针对拍摄范围存在重叠区域的多个相机,将这多个相机在同一时刻采集到的车辆轨迹信息投射在3D坐标系中,并计算这多个相机采集到的车辆轨迹信息的3D坐标之间的相似度,进而,据此判断这多个相机采集到的车辆轨迹信息是否为同一车辆的轨迹信息。
上述方法需要保证多个相机在同一时刻针对同一车辆采集到的轨迹信息有较高的重合度,即需要保证多个相机的拍摄范围存在较大重叠区域,从而需要密集地铺设大量相机,成本较高,后续开发、调试的复杂度也大大增加。
为解决上述问题,本申请提供了一种车辆轨迹匹配方法及装置,通过比较不同相机采集的候选轨迹对应的图片集中图片的相似度,匹配车辆特征,从而确定两条候选轨迹是否匹配,降低了对时间、空间信息的依赖程度,从而无需密集地铺设相机,即能实现车辆轨迹的匹配。
为了便于理解,下面结合附图对本申请实施例提供的一种车辆轨迹匹配方法及装置进行详细的说明。
参考图1,为本申请实施例提供的一种车辆轨迹匹配方法的流程图,如图所示,该方法可以包括以下步骤:
S101:从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将所述第一图片和所述第二图片组成图片组合。
其中,所述第一候选轨迹和所述第二候选轨迹所对应的视频分别由不同相机采集,每个所述图片组合中至少包括一张所述第一图片和一张所述第二图片。
本申请实施例中,可以先从相机中采集视频,再对视频进行处理,得到车辆的轨迹数据。例如,对于单个相机采集到的视频,可以根据帧数将视频分为多张图片进行处理,并根据每帧图片中车辆所处的位置和相机在拍摄视野中对实际坐标的标定等,得到车辆的轨迹数据。具体的,可以对图片进行特征比对和截取处理,得到待生成轨迹对应的图片集,再根据图片集和坐标标定,生成车辆轨迹。其中,单个相机在较长的时间内可能会采集到属于不同车辆的轨迹数据,为了减小后续轨迹匹配的工作量,对于不同相机采集的视频处理得到的第一候选轨迹和第二候选轨迹之间的时间、空间关系,以及不同相机之间的空间关系,也可以根据实际需要进行限定。
本申请实施例中,可以从第一候选轨迹对应的图片集中提取若干张图片,作为第一图片,从第二候选轨迹对应的图片集中提取若干张图片,作为第二图片。此处不限定从第一候选轨迹对应的图片集和第二候选轨迹对应的图片集中提取图片的数量,具体地,从第一候选轨迹对应的图片集中提取的图片均可视为第一图片,从第二候选轨迹对应的图片集中提取的图片均可视为第二图片。
本申请实施例中,可以将第一图片和第二图片组成图片组合,其中每个图片组合至少包括一张第一图片和一张第二图片。
一种可能的实现方式中,为了生成尽可能多的图片组合,提高后续轨迹匹配的准确性,可以遍历两两组合所提取出的各第一图片和各第二图片,任意两个图片组合中至少存在一张图片不同;具体地,例如,第一候选轨迹对应的图片集中提取的第一图片有a1、a2、a3,第二候选轨迹对应的图片集中提取的第二图片有b1、b2,则可以生成的图片组合有(a1,b1)、(a1,b2)、(a2,b1)、(a2,b2)、(a3,b1)和(a3,b2)等。此外,上述图片组合均为无序对。
S102:针对每个所述图片组合,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,作为所述图片组合对应的图片相似度。
本申请实施例中,可以通过提取第一图片和第二图片中的特征,进行相似度的比较,得到图片组合对应的图片相似度。
一种可能的实现方式中,所述确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,包括:
分别提取所述图片组合中所述第一图片和所述第二图片的车辆特征信息;
根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
本申请实施例中,分别提取图片组合中第一图片和第二图片的车辆特征信息,从而通过车辆特征信息,确定图片相似度,通过这种方式得到的图片相似度能够表征第一图片和第二图片对应的车辆特征信息的匹配程度。
在分别提取车辆特征信息时,可以利用多种特征识别模型。具体地,车辆特征信息可以包括:外观特征、颜色特征、车型特征和车牌特征等。用于提取车辆特征信息的特征识别模型可以包括:ReID(Re-identification,重识别)模型、车色识别模型、车型识别模型和文字OCR(Optical Character Recognition,光学字符识别)车牌检测与识别模型等。根据多种特征识别模型,可以提取出丰富的车辆特征信息,有利于提高计算图片相似度的准确性。
一种可能的实现方式中,所述车辆特征信息包括多个维度的车辆特征信息,所述根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,包括:
对所述图片组合中所述第一图片对应的多个维度的车辆特征信息进行融合,得到第一融合特征;对所述图片组合中所述第二图片对应的多个维度的车辆特征信息进行融合,得到第二融合特征;
对所述第一融合特征和第二融合特征分别进行降维,得到降维后的第一融合特征和降维后的第二融合特征;
计算所述降维后的第一融合特征和所述降维后的第二融合特征的相似度值,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
本申请实施例中,为了避免单个维度的车辆特征信息造成轨迹匹配结果不准确的问题,可以考虑多个维度的车辆特征信息,得到的图片相似度也更能准确地反映候选轨迹的匹配程度。在处理多个维度的车辆特征信息时,例如外观特征、颜色特征、车型特征和车牌特征等,可以对多个维度的车辆特征信息进行融合。为了避免多维度特征的过拟合现象,可以对第一融合特征和第二融合特征分别进行降维。具体地,可以采用全连接神经网络(Fully Connected Neural Network)对融合特征进行降维。
具体地,参考图2,为本申请实施例提供的一种确定图片相似度的流程图。如图所示,图片组合中包括第一图片和第二图片,第一图片和第二图片各自对应多个维度的车辆特征信息,其中有外观特征、颜色特征、车型特征和车牌特征;对第一图片的车辆特征信息进行融合,得到第一融合特征;对第二图片的车辆特征信息进行融合,得到第二融合特征;对第一融合特征和第二融合特征分别降维,并计算降维后的第一融合特征和降维后的第二融合特征的相似度值,从而确定图片组合中第一图片和第二图片之间的相似度,作为图片相似度。
S103:根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配。
本申请实施例中,根据图片相似度,确定两条候选轨迹是否匹配,即两条候选轨迹是否属于同一车辆,从而能够将由不同相机拍摄到的同一车辆的轨迹关联起来。
一种可能的实现方式中,所述图片组合包括多个,所述根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配:
选取所述图片组合各自对应的图片相似度中最大的N个值;所述N为大于1的整数且所述N小于所述图片组合的数量;
计算所述N个值的平均值,作为平均相似度;
确定所述平均相似度是否大于预设阈值,若是,则所述第一候选轨迹和所述第二候选轨迹匹配。
本申请实施例中,单个图片组合对应的图片相似度可能受到图片不清晰、车辆特征信息不全等影响,难以准确地反映两个视频中轨迹是否匹配;为了更准确地确定第一候选轨迹和第二候选轨迹是否匹配,可以综合分析多个图片组合中的图片相似度,避免单个图片组合中图片相似度无法反映实际的轨迹匹配情况。具体地,假设第一视频中提取的第一图片为a1、a2、a3、a4、a5,第二视频中提取的第二图片为b1、b2、b3、b4,则图片组合可以包括20个,假设N=3,即选取20个图片组合各自对应的图片相似度中最大的3个值,假设为(a1,b2)(a4,b3)(a5,b1)对应的图片相似度,则平均相似度为上述3个图片相似度的平均值。
参考图3所示,为本申请实施例提供的一种轨迹是否匹配的判断流程图。如图所示,图片相似度中最大的N个值为相似度1、相似度2、……相似度N,计算相似度1、相似度2、……相似度N的平均值,作为平均相似度,并判断平均相似度是否大于预设阈值,若大于,则第一候选轨迹和第二候选轨迹匹配;若不大于,则第一候选轨迹和第二候选轨迹不匹配。
一种可能的实现方式中,所述方法还包括:
若匹配,则合并所述第一候选轨迹和第二候选轨迹。
本申请实施例中,若确定第一候选轨迹和第二候选轨迹匹配,即确定第一候选轨迹和第二候选轨迹属于同一车辆,则合并第一候选轨迹和第二候选轨迹。具体地,第一候选轨迹和第二候选轨迹在时间、空间上不一定是首尾相接的,即第一候选轨迹和第二候选轨迹之间可能存在重叠或间断的情况,可以根据具体的时间和空间关系,确定第一候选轨迹和第二候选轨迹的并集在时间和空间上的位置。上述对两条车辆轨迹进行匹配的方法完全可以应用在多条车辆轨迹之间,通过两两匹配,实现对车辆实际轨迹的覆盖。
本申请实施例通过计算不同相机采集的视频对应的候选轨迹中图片的图片相似度,从而能够根据图片相似度,确定两条候选轨迹是否匹配,即两条候选轨迹是否属于同一车辆,从而能够将同一车辆由不同相机得到的轨迹关联起来;其中,本申请通过对图片相似度的比较,匹配车辆特征,从而关联同一车辆的不同轨迹,降低了对时间、空间信息的依赖程度,从而无需密集地铺设相机,即能实现车辆轨迹的匹配。本申请实施例提供的轨迹匹配方法,需要铺设的相机个数少,部署成本和后续的维护成本均较低;即使在相机距离远、存在视角盲区以及车辆运动速度快等极端条件,也能根据对多维度的车辆特征信息的分析,进行车辆轨迹的匹配及合并。
一种可能的实现方式中,所述第一候选轨迹和所述第二候选轨迹是根据以下步骤确定的:
获取目标区域中中的轨迹数据;
从所述轨迹数据中选取所对应的视频由不同相机采集的两条轨迹数据,根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹;若是,则将所述两条轨迹数据分别作为第一候选轨迹和第二候选轨迹;
若否,则重新从所述目标区域中的轨迹数据中选取两条轨迹数据。
本申请实施例中,由于目标区域中存在大量轨迹数据,可以根据时间特征和空间特征,预先对目标区域中的轨迹数据以每两条轨迹数据作为单位进行筛选。筛选得到的轨迹数据为目标候选轨迹,目标候选轨迹对应的轨迹数据作为第一候选轨迹和第二候选轨迹。具体地,目标区域可以为停车场等。需要说明的是,每次重新选取两条轨迹数据时,实际上选取的是由两个不同相机得到的轨迹数据组成的无序对,不一定是和此前选取的轨迹数据完全不同的两条轨迹数据。例如,若轨迹A和轨迹B不是目标候选轨迹,重新选取的两条轨迹数据可以为轨迹A和轨迹C。
一种可能的实现方式中,所述根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据各自对应的首尾时间戳,确定所述两条轨迹数据的时间差;
根据所述两条轨迹数据各自对应的首尾时间戳和空间特征,确定所述两条轨迹数据的空间差;
根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹。
本申请实施例中,可以根据两条轨迹数据的时间差和空间差,确定两条轨迹数据是否为目标候选轨迹。其中,对于时间差,具体可以根据相机采集对应的轨迹数据的开始时间戳和结尾时间戳,确定时间在前的轨迹数据的结尾时间戳和时间在后的轨迹数据的开始时间戳,从而确定两条轨迹数据的时间差;对于空间差,则可以根据时间在前的轨迹数据结尾的空间位置和时间在后的轨迹数据开始的空间位置,确定两条轨迹数据的空间差,具体地,某一时刻相机采集到的轨迹数据的空间位置,可以根据相机在视野范围内对实际坐标的标定进行确定。
一种可能的实现方式中,所述根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据的时间差是否小于预设时间差阈值和空间差是否小于预设距离阈值,确定所述两条轨迹数据是否为目标候选轨迹。
本申请实施例中,假设预设时间差阈值为5s,预设空间差阈值为10米,则对于时间差超过5s或空间差超过10米的两条轨迹数据,可以确定两条轨迹数据不是目标候选轨迹。需要说明的是,上述预设时间差阈值和预设空间差阈值的值仅为一种示例,应用中可根据实际需要进行具体设置。
一种可能的实现方式中,所述根据所述两条轨迹数据各自对应的时间特征和空间特征的至少一种,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机;
根据所述两条轨迹数据各自对应的相机是否为相邻相机,确定所述两条轨迹数据是否为目标候选轨迹。
本申请实施例中,还可以根据两条轨迹数据各自对应的相机是否为相邻相机,确定两条轨迹数据是否为目标候选轨迹。具体地,对相机是否为相邻相机可以有多种判断条件。
一种可能的实现方式中,所述根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机,包括:
根据所述两条轨迹数据各自对应的相机之间的欧氏距离是否小于预设欧氏距离,和所述两条轨迹数据各自对应的相机之间的连线是否在预设车道范围内,确定所述两条轨迹数据各自对应的相机是否为相邻相机。
本申请实施例中,可以根据两条轨迹数据各自对应的相机之间的欧氏距离,即空间坐标系中的距离,以及相机之间的连线,即用于计算欧氏距离的连线,判断是否为相邻相机。
在其他的可选方式中,相机是否为相邻相机的判断条件还可以包括:1、两个相机的视野覆盖的可行驶区域有重叠,或两个相机的视野覆盖的可行驶区域之间相距不超过预设距离;2、两个相机之间只有一条固定可行驶的路线。
上述判断相邻相机的条件,只需要有一条满足,即可判断为相邻相机。需要说明的是,在具体应用中,还可以采用其他方式进行相邻相机的判断,在此不作任何限定。
在实际应用中,可以仅根据轨迹数据的时间差和空间差,确定两条轨迹数据是否为目标候选轨迹;也可以仅根据两条轨迹数据各自对应的时间特征,和两条轨迹数据各自对应的相机是否为相邻相机,确定两条轨迹数据是否为目标候选轨迹;也可以同时参考多方面的因素确定两条轨迹数据是否为目标候选轨迹,例如,根据轨迹数据的时间差和空间差以及两条轨迹数据各自对应的相机是否为相邻相机,共同确定两条轨迹数据是否为目标候选轨迹。在此不作任何限定。
本申请实施例还提供了一种车辆轨迹匹配装置,参考图4,为本申请实施例提供的一种车辆轨迹匹配装置的示意图,如图所示,所述装置200可以包括:
图片提取单元201,用于从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将所述第一图片和所述第二图片组成图片组合,所述第一候选轨迹和所述第二候选轨迹分别由不同相机采集,每个所述图片组合中至少包括一张所述第一图片和一张所述第二图片;
图片相似度确定单元202,用于针对每个所述图片组合,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,作为所述图片组合对应的图片相似度;
轨迹匹配单元203,用于根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配。
一种可能的实现方式中,所述图片相似度确定单元具体用于:
分别提取所述图片组合中所述第一图片和所述第二图片的车辆特征信息;
根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
一种可能的实现方式中,所述车辆特征信息包括多个维度的车辆特征信息,所述图片相似度确定单元具体用于:
对所述图片组合中所述第一图片对应的多个维度的车辆特征信息进行融合,得到第一融合特征;对所述图片组合中所述第二图片对应的多个维度的车辆特征信息进行融合,得到第二融合特征;
对所述第一融合特征和第二融合特征分别进行降维,得到降维后的第一融合特征和降维后的第二融合特征;
计算所述降维后的第一融合特征和所述降维后的第二融合特征的相似度值,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
一种可能的实现方式中,所述图片组合包括多个,所述轨迹匹配单元具体用于:
选取所述图片组合各自对应的图片相似度中最大的N个值;所述N为大于1的整数且所述N小于所述图片组合的数量;
计算所述N个值的平均值,作为平均相似度;
确定所述平均相似度是否大于预设阈值,若是,则所述第一候选轨迹和所述第二候选轨迹匹配。
一种可能的实现方式中,所述装置还包括候选轨迹获取单元,所述候选轨迹获取单元具体用于:
获取目标区域中相机采集的视频,所述视频包括轨迹数据;
从所述目标区域中相机采集的轨迹数据中选取由不同相机采集的两条轨迹数据,根据所述两条轨迹数据各自对应的时间特征和空间特征,确定所述两条轨迹数据是否为目标候选轨迹;
若是,则将所述两条轨迹数据对应的视频作为所述第一视频和第二视频;
若否,则重新从所述目标区域中相机采集的轨迹数据中选取两条轨迹数据。
一种可能的实现方式中,所述候选轨迹获取单元具体用于:
根据所述两条轨迹数据各自对应的首尾时间戳,确定所述两条轨迹数据的时间差;
根据所述两条轨迹数据各自对应的首尾时间戳和空间特征,确定所述两条轨迹数据的空间差;
根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹。
一种可能的实现方式中,所述候选轨迹获取单元具体用于:
根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机;
根据所述两条轨迹数据各自对应的相机是否为相邻相机,确定所述两条轨迹数据是否为目标候选轨迹。
一种可能的实现方式中,所述候选轨迹获取单元具体用于:
根据所述两条轨迹数据的时间差是否小于预设时间差阈值和空间差是否小于预设距离阈值,确定所述两条轨迹数据是否为目标候选轨迹。
一种可能的实现方式中,所述候选轨迹获取单元具体用于:
根据所述两条轨迹数据各自对应的相机之间的欧氏距离是否小于预设欧氏距离,和所述两条轨迹数据各自对应的相机之间的连线是否在预设车道范围内,确定所述两条轨迹数据各自对应的相机是否为相邻相机。
需要说明的是,本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种车辆轨迹匹配方法,其特征在于,所述方法包括:
从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将所述第一图片和所述第二图片组成图片组合,所述第一候选轨迹和所述第二候选轨迹所对应的视频分别由不同相机采集,每个所述图片组合中至少包括一张所述第一图片和一张所述第二图片;
针对每个所述图片组合,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,作为所述图片组合对应的图片相似度;
根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配。
2.根据权利要求1所述的方法,其特征在于,所述确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,包括:
分别提取所述图片组合中所述第一图片和所述第二图片的车辆特征信息;
根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
3.根据权利要求2所述的方法,其特征在于,所述车辆特征信息包括多个维度的车辆特征信息,所述根据所述图片组合中所述第一图片和所述第二图片的车辆特征信息,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,包括:
对所述图片组合中所述第一图片对应的多个维度的车辆特征信息进行融合,得到第一融合特征;对所述图片组合中所述第二图片对应的多个维度的车辆特征信息进行融合,得到第二融合特征;
对所述第一融合特征和第二融合特征分别进行降维,得到降维后的第一融合特征和降维后的第二融合特征;
计算所述降维后的第一融合特征和所述降维后的第二融合特征的相似度值,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度。
4.根据权利要求1所述的方法,其特征在于,所述图片组合包括多个,所述根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配,包括:
选取所述图片组合各自对应的图片相似度中最大的N个值;所述N为大于1的整数且所述N小于所述图片组合的数量;
计算所述N个值的平均值,作为平均相似度;
确定所述平均相似度是否大于预设阈值,若是,则所述第一候选轨迹和所述第二候选轨迹匹配。
5.根据权利要求1所述的方法,其特征在于,所述第一候选轨迹和所述第二候选轨迹是根据以下步骤确定的:
获取目标区域中的轨迹数据;
从所述轨迹数据中选取所对应的视频由不同相机采集的两条轨迹数据,根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹;
若是,则将所述两条轨迹数据分别作为第一候选轨迹和第二候选轨迹;
若否,则重新从所述目标区域中的轨迹数据中选取两条轨迹数据。
6.根据权利要求5所述的方法,其特征在于,所述根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据各自对应的首尾时间戳,确定所述两条轨迹数据的时间差;
根据所述两条轨迹数据各自对应的首尾时间戳和空间特征,确定所述两条轨迹数据的空间差;
根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹。
7.根据权利要求5或权利要求6所述的方法,其特征在于,所述根据所述两条轨迹数据各自对应的时间特征和空间特征中的至少一种,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机;
根据所述两条轨迹数据各自对应的相机是否为相邻相机,确定所述两条轨迹数据是否为目标候选轨迹。
8.根据权利要求6所述的方法,其特征在于,所述根据所述两条轨迹数据的时间差和空间差,确定所述两条轨迹数据是否为目标候选轨迹,包括:
根据所述两条轨迹数据的时间差是否小于预设时间差阈值和空间差是否小于预设距离阈值,确定所述两条轨迹数据是否为目标候选轨迹。
9.根据权利要求7所述的方法,其特征在于,所述根据所述两条轨迹数据各自对应的相机位置,确定所述两条轨迹数据各自对应的相机是否为相邻相机,包括:
根据所述两条轨迹数据各自对应的相机之间的欧氏距离是否小于预设欧氏距离,和所述两条轨迹数据各自对应的相机之间的连线是否在预设车道范围内,确定所述两条轨迹数据各自对应的相机是否为相邻相机。
10.一种车辆轨迹匹配装置,其特征在于,所述装置包括:
图片提取单元,用于从第一候选轨迹对应的图片集中提取多张第一图片,从第二候选轨迹对应的图片集中提取多张第二图片,并将所述第一图片和所述第二图片组成图片组合,所述第一候选轨迹和所述第二候选轨迹分别由不同相机采集,每个所述图片组合中至少包括一张所述第一图片和一张所述第二图片;
图片相似度确定单元,用于针对每个所述图片组合,确定所述图片组合中的所述第一图片和所述第二图片之间的相似度,作为所述图片组合对应的图片相似度;
轨迹匹配单元,用于根据所述图片组合各自对应的图片相似度,确定所述第一候选轨迹和第二候选轨迹是否匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210879736.5A CN115222973A (zh) | 2022-07-25 | 2022-07-25 | 一种车辆轨迹匹配方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210879736.5A CN115222973A (zh) | 2022-07-25 | 2022-07-25 | 一种车辆轨迹匹配方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115222973A true CN115222973A (zh) | 2022-10-21 |
Family
ID=83614500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210879736.5A Pending CN115222973A (zh) | 2022-07-25 | 2022-07-25 | 一种车辆轨迹匹配方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115222973A (zh) |
-
2022
- 2022-07-25 CN CN202210879736.5A patent/CN115222973A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106354816B (zh) | 一种视频图像处理方法及装置 | |
Hua et al. | Vehicle tracking and speed estimation from traffic videos | |
US10943131B2 (en) | Image based lane marking classification | |
TWI425454B (zh) | 行車路徑重建方法、系統及電腦程式產品 | |
US11288820B2 (en) | System and method for transforming video data into directional object count | |
CN109341580B (zh) | 钢轨廓形的追踪方法、系统及装置 | |
US8538082B2 (en) | System and method for detecting and tracking an object of interest in spatio-temporal space | |
US9076047B2 (en) | System and method for recognizing parking space line markings for vehicle | |
CN108389396B (zh) | 一种基于视频的车型匹配方法、装置和计费系统 | |
CN109446917B (zh) | 一种基于级联霍夫变换的消失点检测方法 | |
Bak et al. | Improving person re-identification by viewpoint cues | |
US20130265429A1 (en) | System and method for recognizing parking space line markings for vehicle | |
Lee et al. | Accurate ego-lane recognition utilizing multiple road characteristics in a Bayesian network framework | |
Scharwächter et al. | Visual guard rail detection for advanced highway assistance systems | |
CN115565157A (zh) | 一种多摄像头多目标车辆跟踪方法及系统 | |
Choe et al. | Traffic analysis with low frame rate camera networks | |
CN113450457A (zh) | 道路重建方法、装置、计算机设备和存储介质 | |
CN111368692B (zh) | 信息融合方法及装置、停车位置定位方法及系统 | |
Sala et al. | Measuring traffic lane‐changing by converting video into space–time still images | |
CN115222973A (zh) | 一种车辆轨迹匹配方法及装置 | |
CN115238205A (zh) | 一种待匹配轨迹筛选方法及装置 | |
Quach et al. | A model-based approach to finding tracks in SAR CCD images | |
CN114663793A (zh) | 目标行为识别方法及装置、存储介质、终端 | |
CN114550124A (zh) | 车位内障碍物的检测方法及存储介质 | |
Leibe et al. | Integrating recognition and reconstruction for cognitive traffic scene analysis from a moving vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |