CN115588149A - 基于匹配优先级的跨相机多目标级联匹配方法 - Google Patents

基于匹配优先级的跨相机多目标级联匹配方法 Download PDF

Info

Publication number
CN115588149A
CN115588149A CN202211056167.0A CN202211056167A CN115588149A CN 115588149 A CN115588149 A CN 115588149A CN 202211056167 A CN202211056167 A CN 202211056167A CN 115588149 A CN115588149 A CN 115588149A
Authority
CN
China
Prior art keywords
target
matching
tracking
tracking target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211056167.0A
Other languages
English (en)
Inventor
罗浩
浦慧杰
郭云东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Pan Asia Technical Automotive Center Co Ltd
Original Assignee
Zhejiang University ZJU
Pan Asia Technical Automotive Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Pan Asia Technical Automotive Center Co Ltd filed Critical Zhejiang University ZJU
Priority to CN202211056167.0A priority Critical patent/CN115588149A/zh
Publication of CN115588149A publication Critical patent/CN115588149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了基于匹配优先级的跨相机多目标级联匹配方法，属于计算机视觉领域，该匹配方法具体步骤如下：(1)收集各组影像信息并进行目标标记；(2)估计跟踪目标的运动状态并进行检测记录；(3)依据相机采集信息进行匹配关联；(4)更新运动模型并进行跨相机多目标实时跟踪；本发明通过构建运动模型，有效的提高了跟踪框位置的精度，能够确保其能够与该新增的确定跟踪目标进行充分的跨相机匹配，避免因匹配机会过少而出现漏匹配。

Description

基于匹配优先级的跨相机多目标级联匹配方法
技术领域
本发明涉及计算机视觉领域，尤其涉及基于匹配优先级的跨相机多目标级联匹配方法。
背景技术
计算机视觉是一门研究如何使机器“看”的科学，是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统，其通过使用计算机及相关设备对生物视觉的一种模拟，它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样，现如今，计算机视觉多用于目标识别技术，利用监测设备和计算机对遥远目标进行辨认，通过对采集到的目标特征信息进行分析，在数学上的各种多维空间变换来估算目标的大小、形状、重量和表面层的物理特性参数，最后根据大量训练样本所确定的鉴别函数，在分类器中进行识别判决。现代目标识别不但是对遥远目标进行探测和定位，而且能够测量与目标形体和表面物理特性有关的参数，进而对目标分类和识别；
经检索，中国专利号CN107194413A公开了一种基于多特征融合的判别型级联外观模型的目标匹配方法，该发明虽然实现了多目标的可靠关联，体现了该算法的鲁棒性和扩展性，但是跟踪框位置的精度低，无法确保其能够与该新增的确定跟踪目标进行充分的跨相机匹配，容易出现因匹配机会过少而出现漏匹配；为此，我们提出基于匹配优先级的跨相机多目标级联匹配方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于匹配优先级的跨相机多目标级联匹配方法。
为了实现上述目的，本发明采用了如下技术方案：
基于匹配优先级的跨相机多目标级联匹配方法，该匹配方法具体步骤如下：
(1)收集各组影像信息并进行目标标记；
(2)估计跟踪目标的运动状态并进行检测记录；
(3)依据相机采集信息进行匹配关联；
(4)更新运动模型并进行跨相机多目标实时跟踪。
作为本发明的进一步方案，步骤(1)中所述目标标记具体步骤如下：
步骤一：计算机收集各相机采集的各组影像信息后，离线处理固定帧率的单相机视频或图像序列帧，并对实际视频帧的间隔时间进行计算，其间隔时间具体计算公式如下：
Figure BDA0003824968020000021
Figure BDA0003824968020000022
式中，Δtk+1代表两组视频帧之间的间隔时间，
Figure BDA0003824968020000023
代表下采样得到的视频帧与原始视频流中的之间的延迟时间，
Figure BDA0003824968020000031
代表跟踪算法处理视频帧的消耗时间；
步骤二：记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取跟踪目标的运动状态；
步骤三：对所有跟踪目标分配一个的ID，分配完成后，将所有已经分配了ID的跟踪目标记为集合T，并采集所有跟踪目标的外观特征向量，将采集到的各组特征向量整合归纳为集合Ft，之后将Ft中所有在第i个相机中提取得到的跟踪目标外观特征向量的集合记为Ft i。
作为本发明的进一步方案，步骤(2)中所述运动状态检测记录具体步骤如下：
第一步：运动模型依据对跟踪目标的线性运动假设，对其在视频帧中的运动状态进行定义，其具体定义形式如下：
Figure BDA0003824968020000032
式中，S代表跟踪目标的运动状态，(x,y,w,h)代表跟踪目标边界包围框的中心点坐标和宽高，
Figure BDA0003824968020000033
代表相对应的跟踪目标速度值；
第二步：收集跟踪目标在当前视频帧中的运动状态，并构建预测方程对各跟踪目标在下一视频帧中的运动状态进行估计，其预测方程具体计算公式如下：
Figure BDA0003824968020000034
Figure BDA0003824968020000041
Figure BDA0003824968020000042
式中，
Figure BDA0003824968020000043
代表线性运动模型预测的跟踪目标在下一视频帧中的运动状态均值，
Figure BDA0003824968020000044
代表跟踪目标在当前视频帧中的运动状态最佳估计值，Ak+1代表k+1时刻的状态转移矩阵，Pk+1,k代表预测的跟踪目标在下一视频帧中的运动状态协方差矩阵，Pk,k代表跟踪目标在当前视频帧中的运动状态的协方差矩阵，Qk+1代表k+1时刻的运动模型噪音矩阵；
第三步：将各组跟踪目标在第i个相机的当前视频帧运动状态的集合记为表征位置
Figure BDA0003824968020000045
以及表征协方差矩阵
Figure BDA0003824968020000046
之后收集多目标实时检测算法计算出的第i个相机当前视频帧中所有目标的检测结果以生成集合Di，并将其在当前视频帧中的位置集合记为
Figure BDA0003824968020000047
并对其逐一提取外观特征向量以得到检测结果的外观特征向量集合
Figure BDA0003824968020000048
第四步：根据获取的当前视频帧中的位置集合
Figure BDA0003824968020000049
表征位置
Figure BDA00038249680200000410
以及表征协方差矩阵
Figure BDA00038249680200000411
计算第i个相机的检测结果和跟踪目标的马氏距离矩阵
Figure BDA00038249680200000412
作为本发明的进一步方案，第四步中所述马氏距离具体计算公式如下：
Figure BDA00038249680200000413
式中，Ld代表多目标实时检测算法得到的目标检测框(xd,yd,wd,hd)，Dm代表检测框Ld与跟踪目标的跟踪框Lt之间的马氏距离。
作为本发明的进一步方案，步骤(3)中所述匹配关联关联具体步骤如下：
S1.1：收集第i相机的两组集合
Figure BDA0003824968020000051
以及
Figure BDA0003824968020000052
并依据两组集合计算检测结果与跟踪目标之间的余弦距离，并使用阈值Tin进行过滤以得到余弦距离表征的代价矩阵
Figure BDA0003824968020000053
其余弦距离具体计算公式如下：
Figure BDA0003824968020000054
式中，Fd代表检测结果的128维外观特征向量，Ft代表跟踪目标的128维外观特征向量，Dcos代表检测结果以及跟踪目标之间的余弦距离，其中，Dcos的取值范围为[0,2]，且该值越大表示两者的差异性越大，该值越小则表示两者相似性越高；
S1.2：根据马氏距离矩阵
Figure BDA0003824968020000055
和相关约束条件对余弦距离表征的代价矩阵
Figure BDA0003824968020000056
再次进行过滤，之后采用匈牙利算法对
Figure BDA0003824968020000057
进行二分匹配求解以得到匹配结果集合M，并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中；
S1.3：在第i个相机内，依据集合Ft、
Figure BDA0003824968020000058
以及
Figure BDA0003824968020000059
构建新的集合
Figure BDA00038249680200000510
以及
Figure BDA00038249680200000511
并依据两组集合计算检测结果与跟踪目标之间的余弦距离，并使用阈值Tcross进行过滤后得到余弦距离表征的代价矩阵
Figure BDA00038249680200000512
之后再次采用匈牙利算法对
Figure BDA00038249680200000513
进行二分匹配，并将成功匹配的结果加入到集合M中，将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中；
S1.4：在第i个相机内，计算未成功匹配的检测结果与未成功匹配的跟踪目标之间的杰卡德距离表征的代价矩阵
Figure BDA0003824968020000061
使用阈值Tj过滤后采用匈牙利算法进行二分匹配求解，将成功匹配的结果加入到集合M中；
S1.5：针对未成功匹配的检测结果，若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配，则认为该待定跟踪目标是一个新增的确定跟踪目标，并将该视频帧检测结果的外观特征向量保存到共享的跟踪目标外观特征向量集合Ft中。
作为本发明的进一步方案，步骤(4)中所述多目标实时跟踪具体步骤如下：
S2.1：计算机对于最终匹配失败的跟踪目标的运动模型中的卡尔曼增益和协方差矩阵进行更新，更新完成后，重新对最终匹配失败的各组跟踪目标进行匹配，其更新具体计算公式如下：
Kk+1＝Pk+1,kHT(HPPk+1,kHT+Rk+1)-1 (9)
Pk+1,k+1＝(I-Kk+1H)Pk+1,k (10)
式中，Rk+1代表检测结果的协方差矩阵，其需要根据检测结果的检测框宽高进行设置，H是跟踪目标运动状态空间到检测结果空间的转换矩阵；
S2.2：匹配完成后，计算机依次并行处理每一路视频流的视频帧数据，并对每一路视频流中下采样后得到的视频帧依次执行目标标记、估计跟踪目标的运动状态、匹配关联以及跨相机多目标实时跟踪。
相比于现有技术，本发明的有益效果在于：
该基于匹配优先级的跨相机多目标级联匹配方法相较于以往的匹配方法，本发明通过计算机收集各相机采集的各组影像信息后，离线处理固定帧率的单相机视频或图像序列帧，并对实际视频帧的间隔时间进行计算，之后记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取跟踪目标的运动状态，并采集所有跟踪目标的外观特征向量，同时采集在第i个相机中提取得到的跟踪目标外观特征向量，之后构建预测方程对各跟踪目标在下一视频帧中的运动状态进行估计，并计算第i个相机的检测结果和跟踪目标的马氏距离矩阵，之后依据各组计算结果进行匹配关联，若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配，则认为该待定跟踪目标是一个新增的确定跟踪目标，并将该视频帧检测结果的外观特征向量保存到共享的跟踪目标外观特征向量集合中，通过构建运动模型，有效的提高了跟踪框位置的精度，能够确保其能够与该新增的确定跟踪目标进行充分的跨相机匹配，避免因匹配机会过少而出现漏匹配。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提出的基于匹配优先级的跨相机多目标级联匹配方法的流程框图。
具体实施方式
参照图1，基于匹配优先级的跨相机多目标级联匹配方法，该匹配方法具体步骤如下：
收集各组影像信息并进行目标标记。
具体的，计算机收集各相机采集的各组影像信息后，离线处理固定帧率的单相机视频或图像序列帧，并对实际视频帧的间隔时间进行计算，之后记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取跟踪目标的运动状态，再对所有跟踪目标分配一个的ID，分配完成后，将所有已经分配了ID的跟踪目标记为集合T，并采集所有跟踪目标的外观特征向量，将采集到的各组特征向量整合归纳为集合Ft，之后将Ft中所有在第i个相机中提取得到的跟踪目标外观特征向量的集合记为
Figure BDA0003824968020000081
需要进一步说明的是，其间隔时间具体计算公式如下：
Figure BDA0003824968020000082
Figure BDA0003824968020000083
式中，Δtk+1代表两组视频帧之间的间隔时间，
Figure BDA0003824968020000084
代表下采样得到的视频帧与原始视频流中的之间的延迟时间，
Figure BDA0003824968020000085
代表跟踪算法处理视频帧的消耗时间。
估计跟踪目标的运动状态并进行检测记录。
具体的，运动模型依据对跟踪目标的线性运动假设，对其在视频帧中的运动状态进行定义，再收集跟踪目标在当前视频帧中的运动状态，并构建预测方程对各跟踪目标在下一视频帧中的运动状态进行估计，之后将各组跟踪目标在第i个相机的当前视频帧运动状态的集合记为表征位置
Figure BDA0003824968020000091
以及表征协方差矩阵
Figure BDA0003824968020000092
之后收集多目标实时检测算法计算出的第i个相机当前视频帧中所有目标的检测结果以生成集合Di，并将其在当前视频帧中的位置集合记为
Figure BDA0003824968020000093
并对其逐一提取外观特征向量以得到检测结果的外观特征向量集合
Figure BDA0003824968020000094
之后根据获取的当前视频帧中的位置集合
Figure BDA0003824968020000095
表征位置
Figure BDA0003824968020000096
以及表征协方差矩阵
Figure BDA0003824968020000097
计算第i个相机的检测结果和跟踪目标的马氏距离矩阵
Figure BDA0003824968020000098
需要进一步说明的是，其具体定义形式如下：
Figure BDA0003824968020000099
式中，S代表跟踪目标的运动状态，(x,y,w,h)代表跟踪目标边界包围框的中心点坐标和宽高，
Figure BDA00038249680200000910
代表相对应的跟踪目标速度值；
其预测方程具体计算公式如下：
Figure BDA00038249680200000911
Figure BDA00038249680200000912
Figure BDA00038249680200000913
式中，
Figure BDA00038249680200000914
代表线性运动模型预测的跟踪目标在下一视频帧中的运动状态均值，
Figure BDA0003824968020000101
代表跟踪目标在当前视频帧中的运动状态最佳估计值，Ak+1代表k+1时刻的状态转移矩阵，Pk+1,k代表预测的跟踪目标在下一视频帧中的运动状态协方差矩阵，Pk,k代表跟踪目标在当前视频帧中的运动状态的协方差矩阵，Qk+1代表k+1时刻的运动模型噪音矩阵；
马氏距离具体计算公式如下：
Figure BDA0003824968020000102
式中，Ld代表多目标实时检测算法得到的目标检测框(xd,yd,wd,hd)，Dm代表检测框Ld与跟踪目标的跟踪框Lt之间的马氏距离。
依据相机采集信息进行匹配关联。
具体的，收集第i相机的两组集合
Figure BDA0003824968020000103
以及
Figure BDA0003824968020000104
并依据两组集合计算检测结果与跟踪目标之间的余弦距离，并使用阈值Tin进行过滤以得到余弦距离表征的代价矩阵
Figure BDA0003824968020000105
之后根据马氏距离矩阵
Figure BDA0003824968020000106
和相关约束条件对余弦距离表征的代价矩阵
Figure BDA0003824968020000107
再次进行过滤，之后采用匈牙利算法对
Figure BDA0003824968020000108
进行二分匹配求解以得到匹配结果集合M，并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中，在第i个相机内，依据集合Ft、
Figure BDA0003824968020000109
以及
Figure BDA00038249680200001010
构建新的集合
Figure BDA00038249680200001011
以及
Figure BDA00038249680200001012
并依据两组集合计算检测结果与跟踪目标之间的余弦距离，并使用阈值Tcross进行过滤后得到余弦距离表征的代价矩阵
Figure BDA00038249680200001013
之后再次采用匈牙利算法对
Figure BDA00038249680200001014
进行二分匹配，并将成功匹配的结果加入到集合M中，将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中，在第i个相机内，计算未成功匹配的检测结果与未成功匹配的跟踪目标之间的杰卡德距离表征的代价矩阵
Figure BDA0003824968020000111
使用阈值Tj过滤后采用匈牙利算法进行二分匹配求解，将成功匹配的结果加入到集合M中，最后针对未成功匹配的检测结果，若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配，则认为该待定跟踪目标是一个新增的确定跟踪目标，并将该视频帧检测结果的外观特征向量保存到共享的跟踪目标外观特征向量集合Ft中。
需要进一步说明的是，其余弦距离具体计算公式如下：
Figure BDA0003824968020000112
式中，Fd代表检测结果的128维外观特征向量，Ft代表跟踪目标的128维外观特征向量，Dcos代表检测结果以及跟踪目标之间的余弦距离，其中，Dcos的取值范围为[0,2]，且该值越大表示两者的差异性越大，该值越小则表示两者相似性越高。
此外，需要进一步说明的是，在成为确定的跟踪目标之前，如果该待定跟踪目标有一帧出现未成功匹配的情况，则认为该目标不稳定或之前的检测结果为误检，从而将该待定跟踪目标删除。如果该待定跟踪目标在某一视频帧内的某个检测结果与某个确定的跟踪目标通过外观特征成功匹配，则会赋予该检测结果相应的跟踪ID并删除该待定跟踪目标，在具有重叠视图的多相机系统中，如果某个相机中出现了新增的确定跟踪目标，则将其他相机中的所有待定跟踪目标的已连续匹配次数清零。
更新运动模型并进行跨相机多目标实时跟踪。
具体的，计算机对于最终匹配失败的跟踪目标的运动模型中的卡尔曼增益和协方差矩阵进行更新，更新完成后，重新对最终匹配失败的各组跟踪目标进行匹配，匹配完成后，计算机依次并行处理每一路视频流的视频帧数据，并对每一路视频流中下采样后得到的视频帧依次执行目标标记、估计跟踪目标的运动状态、匹配关联以及跨相机多目标实时跟踪。
需要进一步说明的是，其更新具体计算公式如下：
Kk+1＝Pk+1,kHT(HPPk+1,kHT+Rk+1)-1 (9)
Pk+1,k+1＝(I-Kk+1H)Pk+1,k (10)
式中，Rk+1代表检测结果的协方差矩阵，其需要根据检测结果的检测框宽高进行设置，H是跟踪目标运动状态空间到检测结果空间的转换矩阵。

Claims (6)

1.基于匹配优先级的跨相机多目标级联匹配方法，其特征在于，该匹配方法具体步骤如下：
(1)收集各组影像信息并进行目标标记；
(2)估计跟踪目标的运动状态并进行检测记录；
(3)依据相机采集信息进行匹配关联；
(4)更新运动模型并进行跨相机多目标实时跟踪。
2.根据权利要求1所述的基于匹配优先级的跨相机多目标级联匹配方法，其特征在于，步骤(1)中所述目标标记具体步骤如下：
步骤一：计算机收集各相机采集的各组影像信息后，离线处理固定帧率的单相机视频或图像序列帧，并对实际视频帧的间隔时间进行计算，其间隔时间具体计算公式如下：
Figure FDA0003824968010000011
Figure FDA0003824968010000012
式中，Δtk+1代表两组视频帧之间的间隔时间，
Figure FDA0003824968010000013
代表下采样得到的视频帧与原始视频流中的之间的延迟时间，
Figure FDA0003824968010000014
代表跟踪算法处理视频帧的消耗时间；
步骤二：记录计算出的实际视频帧的间隔时间，并通过卡尔曼滤波理论建立运动模型，同时通过构建的运动模型实时获取跟踪目标的运动状态；
步骤三：对所有跟踪目标分配一个的ID，分配完成后，将所有已经分配了ID的跟踪目标记为集合T，并采集所有跟踪目标的外观特征向量，将采集到的各组特征向量整合归纳为集合Ft，之后将Ft中所有在第i个相机中提取得到的跟踪目标外观特征向量的集合记为Ft i。
3.根据权利要求2所述的基于匹配优先级的跨相机多目标级联匹配方法，其特征在于，步骤(2)中所述运动状态检测记录具体步骤如下：
第一步：运动模型依据对跟踪目标的线性运动假设，对其在视频帧中的运动状态进行定义，其具体定义形式如下：
Figure FDA0003824968010000021
式中，S代表跟踪目标的运动状态，(x,y,w,h)代表跟踪目标边界包围框的中心点坐标和宽高，
Figure FDA0003824968010000022
代表相对应的跟踪目标速度值；
第二步：收集跟踪目标在当前视频帧中的运动状态，并构建预测方程对各跟踪目标在下一视频帧中的运动状态进行估计，其预测方程具体计算公式如下：
Figure FDA0003824968010000023
Figure FDA0003824968010000024
Figure FDA0003824968010000025
式中，
Figure FDA0003824968010000026
代表线性运动模型预测的跟踪目标在下一视频帧中的运动状态均值，
Figure FDA0003824968010000027
代表跟踪目标在当前视频帧中的运动状态最佳估计值，Ak+1代表k+1时刻的状态转移矩阵，Pk+1,k代表预测的跟踪目标在下一视频帧中的运动状态协方差矩阵，Pk,k代表跟踪目标在当前视频帧中的运动状态的协方差矩阵，Qk+1代表k+1时刻的运动模型噪音矩阵；
第三步：将各组跟踪目标在第i个相机的当前视频帧运动状态的集合记为表征位置
Figure FDA0003824968010000031
以及表征协方差矩阵
Figure FDA0003824968010000032
之后收集多目标实时检测算法计算出的第i个相机当前视频帧中所有目标的检测结果以生成集合Di，并将其在当前视频帧中的位置集合记为
Figure FDA0003824968010000033
并对其逐一提取外观特征向量以得到检测结果的外观特征向量集合
Figure FDA0003824968010000034
第四步：根据获取的当前视频帧中的位置集合
Figure FDA0003824968010000035
表征位置
Figure FDA0003824968010000036
以及表征协方差矩阵
Figure FDA0003824968010000037
计算第i个相机的检测结果和跟踪目标的马氏距离矩阵
Figure FDA0003824968010000038
4.根据权利要求3所述的基于匹配优先级的跨相机多目标级联匹配方法，其特征在于，第四步中所述马氏距离具体计算公式如下：
Figure FDA0003824968010000039
式中，Ld代表多目标实时检测算法得到的目标检测框(xd,yd,wd,hd)，Dm代表检测框Ld与跟踪目标的跟踪框Lt之间的马氏距离。
5.根据权利要求1所述的基于匹配优先级的跨相机多目标级联匹配方法，其特征在于，步骤(3)中所述匹配关联关联具体步骤如下：
S1.1：收集第i相机的两组集合
Figure FDA00038249680100000310
以及
Figure FDA00038249680100000311
并依据两组集合计算检测结果与跟踪目标之间的余弦距离，并使用阈值Tin进行过滤以得到余弦距离表征的代价矩阵
Figure FDA00038249680100000312
其余弦距离具体计算公式如下：
Figure FDA0003824968010000041
式中，Fd代表检测结果的128维外观特征向量，Ft代表跟踪目标的128维外观特征向量，Dcos代表检测结果以及跟踪目标之间的余弦距离，其中，Dcos的取值范围为[0,2]，且该值越大表示两者的差异性越大，该值越小则表示两者相似性越高；
S1.2：根据马氏距离矩阵
Figure FDA0003824968010000042
和相关约束条件对余弦距离表征的代价矩阵
Figure FDA0003824968010000043
再次进行过滤，之后采用匈牙利算法对
Figure FDA0003824968010000044
进行二分匹配求解以得到匹配结果集合M，并将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中；
S1.3：在第i个相机内，依据集合Ft、Ft i以及
Figure FDA0003824968010000045
构建新的集合(Ft-Ft i)以及
Figure FDA0003824968010000046
并依据两组集合计算检测结果与跟踪目标之间的余弦距离，并使用阈值Tcross进行过滤后得到余弦距离表征的代价矩阵
Figure FDA0003824968010000047
之后再次采用匈牙利算法对
Figure FDA0003824968010000048
进行二分匹配，并将成功匹配的结果加入到集合M中，将未成功匹配的检测结果和跟踪目标传递到下一阶段的匹配中；
S1.4：在第i个相机内，计算未成功匹配的检测结果与未成功匹配的跟踪目标之间的杰卡德距离表征的代价矩阵
Figure FDA0003824968010000049
使用阈值Tj过滤后采用匈牙利算法进行二分匹配求解，将成功匹配的结果加入到集合M中；
S1.5：针对未成功匹配的检测结果，若连续多组视频帧中的待定跟踪目标都能与某个检测结果成功匹配，则认为该待定跟踪目标是一个新增的确定跟踪目标，并将该视频帧检测结果的外观特征向量保存到共享的跟踪目标外观特征向量集合Ft中。
6.根据权利要求1所述的基于匹配优先级的跨相机多目标级联匹配方法，其特征在于，步骤(4)中所述多目标实时跟踪具体步骤如下：
S2.1：计算机对于最终匹配失败的跟踪目标的运动模型中的卡尔曼增益和协方差矩阵进行更新，更新完成后，重新对最终匹配失败的各组跟踪目标进行匹配，其更新具体计算公式如下：
Kk+1＝Pk+1,kHT(HPPk+1,kHT+Rk+1)-1 (9)
Pk+1,k+1＝(I-Kk+1H)Pk+1,k (10)
式中，Rk+1代表检测结果的协方差矩阵，其需要根据检测结果的检测框宽高进行设置，H是跟踪目标运动状态空间到检测结果空间的转换矩阵；
S2.2：匹配完成后，计算机依次并行处理每一路视频流的视频帧数据，并对每一路视频流中下采样后得到的视频帧依次执行目标标记、估计跟踪目标的运动状态、匹配关联以及跨相机多目标实时跟踪。
CN202211056167.0A 2022-08-31 2022-08-31 基于匹配优先级的跨相机多目标级联匹配方法 Pending CN115588149A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211056167.0A CN115588149A (zh) 2022-08-31 2022-08-31 基于匹配优先级的跨相机多目标级联匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211056167.0A CN115588149A (zh) 2022-08-31 2022-08-31 基于匹配优先级的跨相机多目标级联匹配方法

Publications (1)

Publication Number Publication Date
CN115588149A true CN115588149A (zh) 2023-01-10

Family

ID=84772492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211056167.0A Pending CN115588149A (zh) 2022-08-31 2022-08-31 基于匹配优先级的跨相机多目标级联匹配方法

Country Status (1)

Country Link
CN (1) CN115588149A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189439A (zh) * 2023-05-05 2023-05-30 成都市青羊大数据有限责任公司 城市智能管理系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116189439A (zh) * 2023-05-05 2023-05-30 成都市青羊大数据有限责任公司 城市智能管理系统

Similar Documents

Publication Publication Date Title
CN113034548B (zh) 一种适用于嵌入式终端的多目标跟踪方法及其系统
CN109190508B (zh) 一种基于空间坐标系的多摄像头数据融合方法
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
CN110796074B (zh) 一种基于时空数据融合的行人再识别方法
CN107145862B (zh) 一种基于霍夫森林的多特征匹配多目标跟踪方法
CN109064484B (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
Zhang et al. Keyframe detection for appearance-based visual SLAM
CN101344965A (zh) 基于双目摄像的跟踪系统
CN106355604A (zh) 图像目标跟踪方法与系统
CN114240997B (zh) 一种智慧楼宇在线跨摄像头多目标追踪方法
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
Huang et al. Fish tracking and segmentation from stereo videos on the wild sea surface for electronic monitoring of rail fishing
CN113256690B (zh) 一种基于视频监控的行人多目标跟踪方法
CN111739053A (zh) 一种复杂场景下的在线多行人检测跟踪方法
CN110969648A (zh) 一种基于点云序列数据的3d目标跟踪方法及系统
CN113192105A (zh) 一种室内多人追踪及姿态估量的方法及装置
CN116580333A (zh) 基于YOLOv5和改进StrongSORT的粮库车辆追踪方法
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
CN115588149A (zh) 基于匹配优先级的跨相机多目标级联匹配方法
CN106934339B (zh) 一种目标跟踪、跟踪目标识别特征的提取方法和装置
CN111223126B (zh) 一种基于迁移学习的跨视角轨迹模型构建方法
CN113628251B (zh) 一种智慧酒店终端监测方法
CN113361392B (zh) 无监督的基于相机和无线定位的多模态行人重识别方法
CN115311327A (zh) 融合共现统计与fhog梯度特征的目标跟踪方法及系统
CN106067179B (zh) 一种基于分层网络流图的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination