CN110490911B - 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 - Google Patents

基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 Download PDF

Info

Publication number
CN110490911B
CN110490911B CN201910750141.8A CN201910750141A CN110490911B CN 110490911 B CN110490911 B CN 110490911B CN 201910750141 A CN201910750141 A CN 201910750141A CN 110490911 B CN110490911 B CN 110490911B
Authority
CN
China
Prior art keywords
target
track
tracking
matrix
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910750141.8A
Other languages
English (en)
Other versions
CN110490911A (zh
Inventor
贺宇航
魏星
石伟伟
龚怡宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Honggui Electronic Technology Co ltd
Original Assignee
Xi'an Honggui Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Honggui Electronic Technology Co ltd filed Critical Xi'an Honggui Electronic Technology Co ltd
Priority to CN201910750141.8A priority Critical patent/CN110490911B/zh
Publication of CN110490911A publication Critical patent/CN110490911A/zh
Application granted granted Critical
Publication of CN110490911B publication Critical patent/CN110490911B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Optimization (AREA)
  • Multimedia (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，属于计算机视觉追踪技术领域。利用交叠区域将各个摄像头下追踪到的局部追踪轨迹集合
Figure DDA0002166903660000011
结合其在参考坐标系内的投影，利用各个轨迹中包含的外观特征信息、检测框位置信息以及参考坐标系位置信息计算各个轨迹间的相似度度量矩阵S，然后利用约束条件下非负矩阵分解来求解出轨迹间的分配矩阵A，最后利用各个视角间的信息，将局部追踪轨迹中由于遮挡产生的漏检、ID变换等问题改进，并生成连续无缝的全局追踪轨迹，实现对多摄像头下多个目标的连续无缝的追踪。

Description

基于约束条件下非负矩阵分解的多摄像头多目标追踪方法
技术领域
本发明属于计算机视觉追踪技术领域，具体涉及基于约束条件下非负矩阵分解的多摄像头多目标追踪方法。
背景技术
多摄像头多目标追踪技术目的是在给定的多个视频中确定追踪目标的位置，并且在同一视频内保持被追踪目标的身份信息标签不变，在不同视频间保持被追踪目标身份信息标签一致。多摄像头多目标追踪技术在计算机视频视觉领域有着重要的实际应用价值，例如，其可应用在公安部门视频监控领域来对视频中的可疑人员进行追踪，也可应用于自动驾驶领域对车辆周围的行人进行危险预警，如此等等。针对多摄像头多目标追踪问题，根据摄像头拍摄区域是否有交叠，其可以被进一步划分无交叠区域多摄像头多目标追踪和有交叠区域多摄像头多目标追踪。
基于拍摄区域无交叠的多摄像头多目标追踪方法，尽管可以实现多目标的跨摄像头追踪以获得更广的监控范围，但由于其摄像头之间存在盲区，该方法不能对被追踪目标进行连续无缝的追踪，这导致其不能应用在一些需要对被追踪进行连续跟踪的任务上，如超市中的顾客行为监控分析、火车站内的人流分析等，从而限制了其应用范围。而基于拍摄区域有交叠的多摄像头多目标追踪方法则可以解决这一问题，其利用摄像头间的交叠区域，将不同摄像头间的目标追踪轨迹拼接起来，从而实现对被追踪目标的无缝追踪。
传统的有交叠区域多摄像头多目标追踪方法是将多个摄像头下的被追踪目标投影到同一参考坐标系内，而后根据目标在参考坐标系下的位置关系而后将他们匹配起来。这种方法依赖于对被追踪目标的定位的准确性及其在参考坐标系下投影的准确性，并且无法追踪孤立的目标(即只被一个摄像头拍到)，因此在实际应用过程中有着较大限制。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，实现了对多摄像头下多个目标的连续无缝的追踪。
本发明是通过以下技术方案来实现：
基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，包括以下步骤：包括以下步骤：
步骤1：对于视野有交叠的多个摄像头录制的视频，分别对每个视频进行多目标追踪，并为每个目标生成局部追踪轨迹；
步骤2：将各个摄像头下生成的局部追踪轨迹投影到同一参考坐标系内；
步骤3：建立基于局部追踪轨迹的外观特征、运动特征及参考坐标系位置特征的相似度度量矩阵；
步骤4：将不同摄像头间局部追踪轨迹与局部追踪轨迹的匹配问题转化为局部追踪轨迹与目标的分配问题，并利用基于约束条件下的非负矩阵分解算法来求解局部追踪轨迹与目标的分配矩阵；
步骤5：根据步骤1得到的每个目标的局部追踪轨迹和步骤4得到的轨迹与目标的分配矩阵，为每个目标生成无缝的全局追踪轨迹，完成多摄像头多目标的追踪。
优选地，步骤1的具体步骤为：
101)初始化i＝1；
102)对第i个摄像头拍摄到的视频，使用Faster-RCNN算法获得图像中目标的检测框位置信息；
103)使用Re-ID模型提取目标的外观特征信息；
104)利用目标的检测框位置信息以及目标的外观特征信息，结合使用Hungarian算法，获得单一摄像头下的局部目标追踪轨迹，并用
Figure BDA0002166903640000031
表示第i个摄像头下产生所有的局部追踪轨迹的集合；对于第i个摄像头下获得的任意一条轨迹
Figure BDA0002166903640000032
由一段时间内的轨迹元组构建而成：
Figure BDA0002166903640000033
其中，π为其时间戳集合，
Figure BDA0002166903640000034
为t时刻目标的外观特征信息，
Figure BDA0002166903640000035
为t时刻目标的检测框位置信息，
Figure BDA0002166903640000036
为t时刻目标的参考坐标系位置信息；
105)若i＜M，输出
Figure BDA0002166903640000037
令i＝i+1跳转至步骤102)进行下一次迭代；否则，跳出循环；
用符号
Figure BDA0002166903640000038
表示各个摄像头下生成的局部追踪轨迹的集合。
进一步优选地，步骤2的具体步骤为：
设
Figure BDA0002166903640000039
为局部轨迹集合
Figure BDA00021669036400000310
中的第u条轨迹，用
Figure BDA00021669036400000311
表示第u个目标在t时刻对应检测框底边中点在图像中的位置，其中
Figure BDA00021669036400000312
和
Figure BDA00021669036400000313
分别为第u个目标对应的横坐标和纵坐标，利用如下公式获得该目标在参考坐标系中的投影位置：
Figure BDA00021669036400000314
其中，Hi为第i个相机和参考平面间的映射矩阵，该映射矩阵根据相机的标定参数计算得出，即Hi＝R(Ki[Ri；Ti]，[1，2，4])，其中，[·,·]为矩阵列拼接函数，R(·,[1,2,4])代表将输入矩阵的1,2,4列拼接成一个新的矩阵，Ki、Ri和Ti分别为第i个相机的内参矩阵、外参旋转矩阵和外参平移向量。
进一步优选地，步骤3的具体步骤为：
设
Figure BDA00021669036400000315
为
Figure BDA00021669036400000316
和
Figure BDA00021669036400000317
两个摄像头下局部追踪轨迹间的相似度度量矩阵，其中任意一个元素Sij(u,v)代表轨迹
Figure BDA0002166903640000041
和轨迹
Figure BDA0002166903640000042
的相似度，Ni和Nj分别代表
Figure BDA0002166903640000043
和
Figure BDA0002166903640000044
的轨迹数目；
Figure BDA0002166903640000045
和
Figure BDA0002166903640000046
分别为轨迹
Figure BDA0002166903640000047
中外观特征向量、检测框和参考坐标系位置的集合；给定两个摄像头下的局部追踪轨迹集合
Figure BDA0002166903640000048
和
Figure BDA0002166903640000049
他们间的相似度度量矩阵Sij分为以下两种情况计算：
情况1：
Figure BDA00021669036400000410
和
Figure BDA00021669036400000411
来自同一摄像头，即i＝j；轨迹间的相似度可由以下公式计算：
Figure BDA00021669036400000412
其中，η1为权重系数，ψapp(·,·)是计算轨迹间外观特征信息间的相似度的函数，ψmot(·,·)是计算目标在图像平面运动特征相似度的函数；
情况2：
Figure BDA00021669036400000413
和
Figure BDA00021669036400000414
来自不同摄像头，即i≠j；轨迹间的相似度可由以下公式计算：
Figure BDA00021669036400000415
其中，η2为权重系数，ψapp(·,·)是计算轨迹间外观特征信息间的相似度的函数，ψloc(·,·)是计算目标在参考平面坐标系内位置间的相似度的函数；
获得各个摄像头间的相似度度量矩阵Sij后，构造N×N维度的全局相似度度量矩阵S：
Figure BDA00021669036400000416
进一步优选地，步骤4的具体步骤为：
设
Figure BDA00021669036400000417
为第i个摄像头下的Ni条局部追踪轨迹与全局中K个目标间的匹配矩阵，其中为
Figure BDA00021669036400000418
局部追踪轨迹的个数，K为各个摄像头下拍摄到的目标的数目，Ai(u,v)＝1代表第u条轨迹被分配给第v个目标，而Ai(u,v)＝0则代表第u条轨迹不分配给第v个目标；基于此，构建N×K维的全局分配矩阵A：
Figure BDA0002166903640000051
使用约束条件下的非负矩阵分解来求解全局分配矩阵A：
Figure BDA0002166903640000052
其中，I1和I2分别代表1K×1和1N×1的全1向量；为获得上述公式的解，将全局分配矩阵A的0-1约束松弛为非负约束，并用A'≥0代表松弛后的分配矩阵，原优化问题转化为以下优化问题：
A'*＝arg min‖S-A′A′T‖2+α‖A′1 I-I2‖2,
s.t.A'≥0
其中，α为惩罚因子；针对该优化问题，使用如下迭代优化准则来获取最优解：
Figure BDA0002166903640000053
其中，←代表赋值操作，即将符号右边计算得到的值赋予左边变量；⊙和
Figure BDA0002166903640000054
分别代表基于将两个矩阵的每一元素进行相乘和相除的操作符，sqrt(·)代表将矩阵每一元素进行求平方根的函数。
进一步优选地，步骤5的具体步骤为：
对于第k个目标，根据其对应的分配向量
Figure BDA0002166903640000055
为其生成全局追踪轨迹，其具体生成方法分为以下四种情况：
情况1：第k个目标从未在摄像头i下出现过，即
Figure BDA0002166903640000056
为全零向量，此时使
Figure BDA0002166903640000057
情况2：第k个目标在第i个摄像头下被局部追踪轨迹完整追踪，即
Figure BDA0002166903640000058
中有且仅有一个元素为1，且该元素对应的局部追踪轨迹长度不小于其他摄像头下的追踪轨迹，此时使全局追踪轨迹等于其对应的局部追踪轨迹，即
Figure BDA0002166903640000059
情况3：第k个目标在第i个摄像头下仅被一条局部追踪轨迹部分覆盖，即
Figure BDA0002166903640000061
中有且仅有一个元素为1，且该元素对应的局部追踪轨迹长度小于其他摄像头下的追踪轨迹，此时将目标未被追踪到的轨迹补全，其具体操作方法如下：
Figure BDA0002166903640000062
Figure BDA0002166903640000063
Figure BDA0002166903640000064
Figure BDA0002166903640000065
其中，
Figure BDA0002166903640000066
和
Figure BDA0002166903640000067
分别为t时刻其他视角下目标的外观特征信息、检测框位置信息和参考坐标系位置信息的集合；
情况4：第k个目标在第i个摄像头下有多个局部追踪轨迹，即
Figure BDA0002166903640000068
中有多个元素为1，此时将同属一个目标的局部追踪轨迹连接起来，可写为如下公式：
Figure BDA0002166903640000069
其中，ωi(k)为
Figure BDA00021669036400000610
中属于第k个目标的局部追踪轨迹索引的集合。
与现有技术相比，本发明具有以下有益的技术效果：
本发明公开的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，首先针对特定的追踪目标(如行人)进行目标检测器的模型参数优化，使其在实际使用过程中有更好的检测效果。本发明综合利用了目标的外观特征、运动特征以及参考坐标系位置特征来构建全局相似度度量矩阵S。相比于传统方法仅利用目标的外观特征，综合的利用目标的这三种特征可以减小目标由于不同摄像头下视角变换、拍摄光照变换而带来的外观特征变化影响，从而获得目标间的更准确的相似度度量结果。本发明提出的约束条件下非负矩阵分解的方法，相比于传统方法的视角间的两两匹配方法，是从全局的角度上求解目标间的匹配关系，避免多个视角间两两匹配结果的不一致性，从而获得更加准确的目标间的匹配关系，从而生成准确的全局追踪轨迹，实现对多摄像头下多个目标的连续无缝的追踪。
进一步地，利用Re-ID模型提取具有区分性质的外观特征信息，使同属同一ID的图片提取到的外观特征相近，而属于不同ID的图片提取到的外观特征相远，从而减少轨迹间的ID切换，从而获得更好的追踪效果。
附图说明
图1为本发明由局部追踪轨迹生成全局追踪轨迹流程图；
图2为本发明的全局分配矩阵示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
如图1所示为本发明的流程逻辑框图，本发明的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，包括以下步骤：
1)：对视野有交叠的多个摄像头下录制的视频，分别对每个视频进行多目标追踪，并为每个目标生成局部追踪轨迹，其具体过程分为以下四个步骤：
第1步，初始化i＝1；
第2步，对第i个摄像头下拍摄到的视频，使用Faster-RCNN算法获得图像中目标的检测框位置信息；
第3步，使用Re-ID模型提取目标的外观特征信息；
第4步，利用得到的目标的位置信息以及外观特征信息，结合使用Hungarian算法，获得单一摄像头下的局部目标轨迹，并用
Figure BDA0002166903640000071
表示第i个摄像头下产生所有的局部追踪轨迹的集合。对于第i个摄像头下获得的任意一条轨迹
Figure BDA0002166903640000072
其由一段时间内的轨迹元组组成：
Figure BDA0002166903640000081
其中，π为其时间戳集合，
Figure BDA0002166903640000082
分别为其t时刻的外观特征信息、检测框信息以及参考坐标系位置信息。
第5步，若i＜M,输出
Figure BDA0002166903640000083
令i＝i+1跳转至步骤2，进行下一次迭代；否则，跳出循环。
用符号
Figure BDA0002166903640000084
表示从各个摄像头下生成的局部追踪轨迹的集合。
2)：利用各个相机的标定信息，将各个摄像头下产生的局部追踪轨迹映射到一个参考坐标系平面内，使得同属同一ID的轨迹在这个参考平面内位置相近，而属于不同ID的轨迹在这个参考平面内位置相远。其具体操作方法如下：用
Figure BDA0002166903640000085
表示局部轨迹集合
Figure BDA0002166903640000086
中的一条轨迹，
Figure BDA0002166903640000087
为其在t时刻在图像中检测框底边中点的坐标，其中
Figure BDA0002166903640000088
为其横坐标，
Figure BDA0002166903640000089
为其纵坐标，利用如下公式我们可以获得其在参考坐标系中的投影位置：
Figure BDA00021669036400000810
其中，Hi为第i个相机和参考平面间的映射矩阵，该映射矩阵是根据相机的标定参数计算得来，即Hi＝R(Ki[Ri；Ti],[1,2,4])，其中，[·,·]为矩阵列拼接函数，R(·,[1,2,4])代表将输入矩阵的1,2,4列拼接成一个新的矩阵，Ki,Ri,Ti分别为第i个相机的内参矩阵、外参旋转矩阵和外参平移向量。对轨迹的每一个检测框进行上述操作，得到其在参考坐标系内的投影。
3)：利用局部追踪轨迹的外观特征、运动特征及位置特征的构建轨迹间的相似度度量矩阵。通过建立相似度度量矩阵，我们可以将不同摄像头下的目标关系结构化，以一个矩阵的形式表征他们之间的相似度关系，进而通过进一步的矩阵分析方法来获得目标间的匹配关系。设
Figure BDA00021669036400000811
为
Figure BDA00021669036400000812
和
Figure BDA00021669036400000813
局部追踪轨迹间的相似度度量矩阵，其中任意一个元素Sij(u,v)代表轨迹
Figure BDA00021669036400000814
和轨迹
Figure BDA00021669036400000815
的相似度，Ni和Nj分别代表
Figure BDA00021669036400000816
和
Figure BDA00021669036400000817
的轨迹数目。相似度度量矩阵Sij由轨迹中包含的外观信息、运动信息以及在参考平面的位置信息综合得出。设
Figure BDA00021669036400000818
Figure BDA0002166903640000091
分别为轨迹
Figure BDA0002166903640000092
中的外观特征提取器提取到的外观特征信息、目标检测器提取到的图像位置信息以及投影到参考坐标系内的坐标位置信息，Sij的计算可分为以下两种情况进行计算：
情况1：
Figure BDA0002166903640000093
和
Figure BDA0002166903640000094
来自同一摄像头，即i＝j。轨迹间的相似度可由以下公式计算：
Figure BDA0002166903640000095
其中，η1为权重系数，ψapp(·,·)是计算轨迹间外观特征信息间的相似度的函数，ψmot(·,·)是计算目标在图像平面运动特征相似度的函数。
情况2：
Figure BDA0002166903640000096
和
Figure BDA0002166903640000097
来自不同摄像头，即i≠j。轨迹间的相似度可由以下公式计算：
Figure BDA0002166903640000098
其中，η2为权重系数，ψapp(·,·)是计算轨迹间外观特征信息间的相似度的函数，ψloc(·,·)是计算目标在参考平面坐标系内位置间的相似度的函数。
获得所有摄像头间的相似度度量矩阵
Figure BDA0002166903640000099
后，构造N×N维度的全局相似度度量矩阵S：
Figure BDA00021669036400000910
4)：利用步骤3)中得到的全局相似度矩阵S，利用约束条件下非负矩阵分解来求解局部追踪轨迹间的匹配关系。设
Figure BDA00021669036400000911
为第i个摄像头下的Ni条局部追踪轨迹与全局中K个行人间的匹配矩阵，其中为
Figure BDA00021669036400000912
中局部追踪轨迹的个数，K为各个摄像头下拍摄到的行人的数目。Ai(u,v)＝1则代表第u条轨迹被分配给第v个行人，反之亦然。相似于全局相似度度量矩阵S的构建，我们构建N×K维的全局分配矩阵A：
Figure BDA00021669036400000913
通过分析我们可以发现全局分析矩阵A有如下性质：1)A的每一行只有一个非零元素，即每一个局部追踪轨迹只能分配给特定的一个行人；2)A的每一列可以有多个非零元素，这是因为同一个行人可以同时被多个摄像头拍摄到，因而会产生与之相应的多个局部追踪轨迹；3)如果局部追踪轨迹u和局部追踪轨迹v之间有较高的相似度S(u,v)→1，这两条轨迹则很可能被分配给同一个行人，A(u,:)A(v,:)T→1，而另一方面，如果S(u,v)＝0，则A(u,:)A(v,:)T→0。
根据上述性质可以发现，全局分配矩阵和全局相似度矩阵之间有很高的关联性，即AAT→S。因此，提出如下公式来求解全局分配矩阵：
A*＝arg min‖S-AAT‖2
s.t.A∈{0,1}N×K,
AI1＝I2,
其中，I1和I2分别代表1K×1和1N×1的全1向量。为获得上述公式的解，将分配矩阵A的0-1约束松弛为非负约束，用A'≥0代表松弛后的分配矩阵，原优化问题可转化为以下优化问题：
A'*＝argmin‖S-A′A′T‖2+α‖A′1 I-I2‖2,
s.t.A'≥0
其中，α为惩罚因子。针对上述优化问题，使用以下迭代优化准则来获取最优解：
Figure BDA0002166903640000101
其中，←代表赋值操作，即将符号右边计算得到的值赋予左边变量；⊙和
Figure BDA0002166903640000102
分别代表基于将两个矩阵的每一元素进行相乘和相除的操作符，sqrt(·)代表将矩阵每一元素进行求平方根的函数。优化算法的具体步骤如下：
第1步，使用[0,1]范围间的实数随机初始化全局分配矩阵A'(0)。
第2步，更新全局分配矩阵，
Figure BDA0002166903640000103
其中，A'(t)表示全局分配矩阵的第t次迭代，←代表赋值操作，即将符号右边计算得到的值赋予左边变量；⊙和
Figure BDA0002166903640000111
分别代表基于将两个矩阵的每一元素进行相乘和相除的操作符，sqrt(·)代表将矩阵每一元素进行求平方根的函数。
第3步，如果迭代收敛或者达到最大迭代次数，则停止迭代，输出全局分配矩阵A'；否则，令t＝t+1，跳转至第2步。
如图2所示，对优化求解得到的最优解A'*，通过将其每一行中的最大值设为1，其他项设为0，将这二值化后的分配矩阵作为局部追踪轨迹间的分配矩阵。
5)：利用得到的全局匹配矩阵A*后，将不同摄像头下的局部追踪轨迹拼接起来，实现对目标的跨摄像头追踪；同时进一步利用视角间的交叠区域，将被遮挡的目标的轨迹补全，得到全局追踪轨迹，从而实现对目标的连续无缝的追踪。对于第k个行人，其全局追踪轨迹可根据对应的分配向量A*[:,k]生成，具体生成方法可分为以下四种情况：
情况1：第k个行人从未在摄像头i下出现过，即
Figure BDA0002166903640000112
为全零向量。在这种情况下，我们仅需使
Figure BDA0002166903640000113
情况2：第k个行人在第i个摄像头下被局部追踪轨迹完整追踪，即
Figure BDA0002166903640000114
中有且仅有一个元素为1，且该元素对应的局部追踪轨迹长度不小于其他摄像头下的追踪轨迹。在这种情况下，仅需使全局追踪轨迹等于其对应的局部追踪轨迹，即
Figure BDA0002166903640000115
情况3：第k个行人在第i个摄像头下仅被一条局部追踪轨迹部分覆盖，即
Figure BDA0002166903640000116
中有且仅有一个元素为1，且该元素对应的局部追踪轨迹长度小于其他摄像头下的追踪轨迹。在这种情况下，为使获得的全局追踪轨迹完整，需要将其未被追踪到的轨迹补全，其具体操作方法如下：
Figure BDA0002166903640000121
Figure BDA0002166903640000122
Figure BDA0002166903640000123
Figure BDA0002166903640000124
其中，
Figure BDA0002166903640000125
分别为t时刻其他视角下的外观特征信息、检测框信息以及参考坐标系位置信息的集合。
情况4：第k个行人在第i个摄像头下有多个局部追踪轨迹，即
Figure BDA0002166903640000128
中有多个元素为1。在这种情况下，我们将同属一个人的局部追踪轨迹连接起来，可写为如下公式：
Figure BDA0002166903640000126
其中，ωi(k)为
Figure BDA0002166903640000127
中属于第k个行人的局部追踪轨迹索引的集合。
需要说明的是，以上所述仅为本发明实施方式的一部分，根据本发明所做的等效变化，均包括在本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做类似的方式替代，只要不偏离本发明或者超越本权利要求书所定义的范围，均属于本发明的保护范围。

Claims (6)

1.基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，其特征在于，包括以下步骤：
步骤1：对于视野有交叠的多个摄像头录制的视频，分别对每个视频进行多目标追踪，并为每个目标生成局部追踪轨迹；
步骤2：将各个摄像头下生成的局部追踪轨迹投影到同一参考坐标系内；
步骤3：建立基于局部追踪轨迹的外观特征、运动特征及参考坐标系位置特征的相似度度量矩阵；
步骤4：将不同摄像头间局部追踪轨迹与局部追踪轨迹的匹配问题转化为局部追踪轨迹与目标的分配问题，并利用基于约束条件下的非负矩阵分解算法来求解局部追踪轨迹与目标的分配矩阵；
步骤5：根据步骤1得到的每个目标的局部追踪轨迹和步骤4得到的轨迹与目标的分配矩阵，为每个目标生成无缝的全局追踪轨迹，完成多摄像头多目标的追踪。
2.如权利要求1所述的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，其特征在于，步骤1的具体步骤为：
101)初始化i＝1；
102)对第i个摄像头拍摄到的视频，使用Faster-RCNN算法获得图像中目标的检测框位置信息；
103)使用Re-ID模型提取目标的外观特征信息；
104)利用目标的检测框位置信息以及目标的外观特征信息，结合使用Hungarian算法，获得单一摄像头下的局部目标追踪轨迹，并用
Figure FDA0003196096420000011
表示第i个摄像头下产生所有的局部追踪轨迹的集合；对于第i个摄像头下获得的任意一条轨迹
Figure FDA0003196096420000012
由一段时间内的轨迹元组构建而成：
Figure FDA0003196096420000013
其中，π为其时间戳集合，
Figure FDA0003196096420000014
为t时刻目标的外观特征信息，
Figure FDA0003196096420000015
为t时刻目标的检测框位置信息，
Figure FDA0003196096420000021
为t时刻目标的参考坐标系位置信息；
105)若i＜M，输出
Figure FDA0003196096420000022
令i＝i+1跳转至步骤102)进行下一次迭代；否则，跳出循环；
用符号
Figure FDA0003196096420000023
表示各个摄像头下生成的局部追踪轨迹的集合。
3.如权利要求2所述的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，其特征在于，步骤2的具体步骤为：
设
Figure FDA0003196096420000024
为局部轨迹集合
Figure FDA0003196096420000025
中的第u条轨迹，用
Figure FDA0003196096420000026
表示第u个目标在t时刻对应检测框底边中点在图像中的位置，其中
Figure FDA0003196096420000027
和
Figure FDA0003196096420000028
分别为第u个目标对应的横坐标和纵坐标，利用如下公式获得该目标在参考坐标系中的投影位置：
Figure FDA0003196096420000029
其中，Hi为第i个相机和参考平面间的映射矩阵，该映射矩阵根据相机的标定参数计算得出，即Hi＝R(Ki[Ri；Ti]，[1，2，4])，其中，[·,·]为矩阵列拼接函数，R(·,[1,2,4])代表将输入矩阵的1,2,4列拼接成一个新的矩阵，Ki、Ri和Ti分别为第i个相机的内参矩阵、外参旋转矩阵和外参平移向量。
4.如权利要求2所述的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，其特征在于，步骤3的具体步骤为：
设
Figure FDA00031960964200000210
为
Figure FDA00031960964200000211
和
Figure FDA00031960964200000212
两个摄像头下局部追踪轨迹间的相似度度量矩阵，其中任意一个元素Sij(u,v)代表轨迹
Figure FDA00031960964200000213
和轨迹
Figure FDA00031960964200000214
的相似度，Ni和Nj分别代表
Figure FDA00031960964200000215
和
Figure FDA00031960964200000216
的轨迹数目；
Figure FDA00031960964200000217
和
Figure FDA00031960964200000218
分别为轨迹
Figure FDA00031960964200000219
中外观特征向量、检测框和参考坐标系位置的集合；给定两个摄像头下的局部追踪轨迹集合
Figure FDA00031960964200000220
和
Figure FDA00031960964200000221
他们间的相似度度量矩阵Sij分为以下两种情况计算：
情况1：
Figure FDA00031960964200000222
和
Figure FDA00031960964200000223
来自同一摄像头，即i＝j；轨迹间的相似度可由以下公式计算：
Figure FDA0003196096420000031
其中，η1为权重系数，ψapp(·,·)是计算轨迹间外观特征信息间的相似度的函数，ψmot(·,·)是计算目标在图像平面运动特征相似度的函数；
情况2：
Figure FDA0003196096420000032
和
Figure FDA0003196096420000033
来自不同摄像头，即i≠j；轨迹间的相似度可由以下公式计算：
Figure FDA0003196096420000034
其中，η2为权重系数，ψapp(·,·)是计算轨迹间外观特征信息间的相似度的函数，ψloc(·,·)是计算目标在参考平面坐标系内位置间的相似度的函数；
获得各个摄像头间的相似度度量矩阵Sij后，构造N×N维度的全局相似度度量矩阵S：
Figure FDA0003196096420000035
5.如权利要求2所述的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，其特征在于，步骤4的具体步骤为：
设
Figure FDA0003196096420000036
为第i个摄像头下的Ni条局部追踪轨迹与全局中K个目标间的匹配矩阵，其中Ni为
Figure FDA0003196096420000037
局部追踪轨迹的个数，K为各个摄像头下拍摄到的目标的数目，Ai(u,v)＝1代表第u条轨迹被分配给第v个目标，而Ai(u,v)＝0则代表第u条轨迹不分配给第v个目标；基于此，构建N×K维的全局分配矩阵A：
Figure FDA0003196096420000038
使用约束条件下的非负矩阵分解来求解全局分配矩阵A：
Figure FDA0003196096420000041
其中，I1和I2分别代表1K×1和1N×1的全1向量；为获得上述公式的解，将全局分配矩阵A的0-1约束松弛为非负约束，并用A'≥0代表松弛后的分配矩阵，原优化问题转化为以下优化问题：
Figure FDA0003196096420000042
s.t.A'≥0
其中，α为惩罚因子；针对该优化问题，使用如下迭代优化准则来获取最优解：
Figure FDA0003196096420000043
其中，←代表赋值操作，即将符号右边计算得到的值赋予左边变量；⊙和
Figure FDA0003196096420000044
分别代表基于将两个矩阵的每一元素进行相乘和相除的操作符，sqrt(·)代表将矩阵每一元素进行求平方根的函数。
6.如权利要求5所述的基于约束条件下非负矩阵分解的多摄像头多目标追踪方法，其特征在于，步骤5的具体步骤为：
对于第k个目标，根据其对应的分配向量
Figure FDA0003196096420000045
为其生成全局追踪轨迹，其具体生成方法分为以下四种情况：
情况1：第k个目标从未在摄像头i下出现过，即
Figure FDA0003196096420000046
为全零向量，此时使
Figure FDA0003196096420000047
情况2：第k个目标在第i个摄像头下被局部追踪轨迹完整追踪，即
Figure FDA0003196096420000048
中有且仅有一个元素为1，且该元素对应的局部追踪轨迹长度不小于其他摄像头下的追踪轨迹，此时使全局追踪轨迹等于其对应的局部追踪轨迹，即
Figure FDA0003196096420000049
情况3：第k个目标在第i个摄像头下仅被一条局部追踪轨迹部分覆盖，即
Figure FDA00031960964200000410
中有且仅有一个元素为1，且该元素对应的局部追踪轨迹长度小于其他摄像头下的追踪轨迹，此时将目标未被追踪到的轨迹补全，其具体操作方法如下：
Figure FDA0003196096420000051
Figure FDA0003196096420000052
Figure FDA0003196096420000053
Figure FDA0003196096420000054
其中，
Figure FDA0003196096420000055
和
Figure FDA0003196096420000056
分别为t时刻其他视角下目标的外观特征信息、检测框位置信息和参考坐标系位置信息的集合；
情况4：第k个目标在第i个摄像头下有多个局部追踪轨迹，即
Figure FDA0003196096420000057
中有多个元素为1，此时将同属一个目标的局部追踪轨迹连接起来，可写为如下公式：
Figure FDA0003196096420000058
其中，ωi(k)为
Figure FDA0003196096420000059
中属于第k个目标的局部追踪轨迹索引的集合。
CN201910750141.8A 2019-08-14 2019-08-14 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法 Expired - Fee Related CN110490911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910750141.8A CN110490911B (zh) 2019-08-14 2019-08-14 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910750141.8A CN110490911B (zh) 2019-08-14 2019-08-14 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法

Publications (2)

Publication Number Publication Date
CN110490911A CN110490911A (zh) 2019-11-22
CN110490911B true CN110490911B (zh) 2021-11-23

Family

ID=68549921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910750141.8A Expired - Fee Related CN110490911B (zh) 2019-08-14 2019-08-14 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法

Country Status (1)

Country Link
CN (1) CN110490911B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242987B (zh) * 2020-01-08 2024-02-06 北京天正聚合科技有限公司 一种目标跟踪方法、装置、电子设备及存储介质
CN113515982B (zh) * 2020-05-22 2022-06-14 阿里巴巴集团控股有限公司 轨迹还原方法及设备、设备管理方法及管理设备
CN111833379B (zh) * 2020-07-16 2023-07-28 西安电子科技大学 用单目摄像头追踪移动物体中目标位置的方法
CN113052877A (zh) * 2021-03-22 2021-06-29 中国石油大学(华东) 一种基于多摄像头融合的多目标追踪方法
CN113673483B (zh) * 2021-09-07 2023-07-14 天津大学 一种基于深度神经网络的多视角多目标关联方法
CN114116692B (zh) * 2021-11-04 2024-05-10 重庆大学 一种基于mask和双向模型的缺失POI轨迹补全方法
CN114650397A (zh) * 2022-03-14 2022-06-21 西安邮电大学 一种基于跨摄像头目标管关联的多路视频浓缩方法
CN115619832B (zh) * 2022-12-20 2023-04-07 浙江莲荷科技有限公司 多摄像头协同进行多目标轨迹确认方法、系统及相关装置
CN116843721B (zh) * 2023-08-28 2024-01-19 天津大学 视频多目标检测关联与轨迹生成方法、装置及电子设备
CN117576167B (zh) * 2024-01-16 2024-04-12 杭州华橙软件技术有限公司 多目标跟踪方法、多目标跟踪装置及计算机存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造（中国）有限公司 复杂干扰场景下的目标跟踪方法
CN102254328A (zh) * 2011-05-17 2011-11-23 西安电子科技大学 基于部分稀疏约束非负矩阵分解的视频运动特征提取方法
CN103646405A (zh) * 2013-10-24 2014-03-19 杭州电子科技大学 基于加权ks背景模型优化算法的视频运动目标检测方法
CN106097381A (zh) * 2016-05-27 2016-11-09 北京理工大学 一种基于流形判别非负矩阵分解的目标跟踪方法
CN107424174A (zh) * 2017-07-15 2017-12-01 西安电子科技大学 基于局部约束非负矩阵分解的运动显著区域提取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873798B2 (en) * 2010-02-05 2014-10-28 Rochester Institue Of Technology Methods for tracking objects using random projections, distance learning and a hybrid template library and apparatuses thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101673403A (zh) * 2009-10-10 2010-03-17 安防制造（中国）有限公司 复杂干扰场景下的目标跟踪方法
CN102254328A (zh) * 2011-05-17 2011-11-23 西安电子科技大学 基于部分稀疏约束非负矩阵分解的视频运动特征提取方法
CN103646405A (zh) * 2013-10-24 2014-03-19 杭州电子科技大学 基于加权ks背景模型优化算法的视频运动目标检测方法
CN106097381A (zh) * 2016-05-27 2016-11-09 北京理工大学 一种基于流形判别非负矩阵分解的目标跟踪方法
CN107424174A (zh) * 2017-07-15 2017-12-01 西安电子科技大学 基于局部约束非负矩阵分解的运动显著区域提取方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Non-negative matrix factorization of partial track data for motion segmentation;Anil M. Cheriyadat等;《2009 IEEE 12th International Conference on Computer Vision》;20100506;第865-872页 *
Visual Tracking via Constrained Incremental Non-negative Matrix Factorization;Huanlong Zhang等;《IEEE Signal Processing Letters》;20150219;第22卷(第9期);第1350-1353页 *
联合混合范数约束和增量非负矩阵分解的目标跟踪;陈芸 等;《计算机工程》;20151215;第41卷(第12期);第1658-1666页 *
采用稀疏和平滑双约束的增量正交映射非负矩阵分解目标跟踪;王华彬 等;《计算机辅助设计与图形学学报》;20170915;第29卷(第9期);第1658-1666页 *

Also Published As

Publication number Publication date
CN110490911A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490911B (zh) 基于约束条件下非负矩阵分解的多摄像头多目标追踪方法
Xiong et al. Spatiotemporal modeling for crowd counting in videos
Song et al. Richly activated graph convolutional network for action recognition with incomplete skeletons
Braham et al. Deep background subtraction with scene-specific convolutional neural networks
US8582816B2 (en) Method and apparatus for video analytics based object counting
US9251425B2 (en) Object retrieval in video data using complementary detectors
CN102243765A (zh) 基于多相机的多目标定位跟踪方法及系统
US20100034423A1 (en) System and method for detecting and tracking an object of interest in spatio-temporal space
Li et al. Bottom-up pose estimation of multiple person with bounding box constraint
Ferryman et al. Performance evaluation of crowd image analysis using the PETS2009 dataset
Ren et al. Multi-camera video surveillance for real-time analysis and reconstruction of soccer games
Nie et al. Single/cross-camera multiple-person tracking by graph matching
CN104217442B (zh) 基于多模型估计的航拍视频运动目标检测方法
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
Xu et al. Wide-baseline multi-camera calibration using person re-identification
Weng et al. Rotational rectification network: enabling pedestrian detection for mobile vision
Nguyen et al. Multi-camera multi-object tracking on the move via single-stage global association approach
Le et al. Online multiple view tracking: Targets association across cameras
CN113724293A (zh) 一种基于视觉的智能网联公交场景下目标跟踪方法及系统
Vora et al. Bringing generalization to deep multi-view pedestrian detection
Wang et al. PointIT: A fast tracking framework based on 3D instance segmentation
CN117036404A (zh) 一种单目热成像同时定位与建图方法和系统
Qin et al. Gesture recognition from depth images using motion and shape features
Zhang et al. The target tracking method based on camshift algorithm combined with sift
Gao et al. Multiple Object Tracking as ID Prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211123