CN112163473A - 一种多目标跟踪方法、装置、电子设备和计算机存储介质 - Google Patents
一种多目标跟踪方法、装置、电子设备和计算机存储介质 Download PDFInfo
- Publication number
- CN112163473A CN112163473A CN202010965619.1A CN202010965619A CN112163473A CN 112163473 A CN112163473 A CN 112163473A CN 202010965619 A CN202010965619 A CN 202010965619A CN 112163473 A CN112163473 A CN 112163473A
- Authority
- CN
- China
- Prior art keywords
- subset
- similarity
- tracking
- detection
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims abstract description 129
- 239000011159 matrix material Substances 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 19
- 230000007774 longterm Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010045453 Umbilical cord short Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及多目标跟踪技术领域，具体涉及一种多目标跟踪方法、装置、电子设备和计算机存储介质，该方法包括根据检测子集的当前坐标和跟踪子集的预测坐标，获得运动信息相似度；获取跟踪子集和检测子集的特征信息的长线索相似度，并筛选关联子集对；获取关联子集对的特征信息的短线索相似度；根据运动信息相似度、长线索相似度和短线索相似度获得当前帧的跟踪子集与下一帧的检测子集的子集相似度；构建跟踪集合和检测集合的关联矩阵，并获取最优匹配；重复上述步骤实现连续的多目标跟踪。通过短线索相似度实现相连帧目标相似度的判别，通过长线索相似度解决人员短暂遮挡等造成的漏检，并结合运动信息相似度，提高跟踪的准确度。
Description
技术领域
本发明涉及多目标跟踪技术领域，具体涉及一种多目标跟踪方法、装置、电子设备和计算机存储介质。
背景技术
随着单目标跟踪技术的成熟，越来越多的研究转向于前景更好的多目标跟踪，在城市安全监控，自动驾驶，机器人路径规划等方面，多目标跟踪技术具有显著的商业和学术价值。
当前的一些多目标跟踪的方法，大多应用卡尔曼滤波来检测和预测目标的运动趋势，同时加上一些手动特征以及为了提高多目标跟踪的效果而定义的新模型交互模型等等，辅助进行联合概率或多假设的关联。
发明人在实践中，发现上述现有技术存在以下缺陷：
在实际场景下，存在着跟踪目标的重叠遮挡或者外观巨变，使得多目标跟踪的效果精度不高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种多目标跟踪方法、装置、电子设备和计算机存储介质，所采用的技术方案具体如下：
第一方面，一种多目标跟踪方法，该跟踪方法包括以下步骤：
根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；所述检测子集是将当前帧图像中每帧图像的检测结果作为检测集合的子集，所述跟踪子集是上一帧图像中每帧图像的跟踪轨迹序列作为跟踪集合的子集；
获取所述跟踪子集和检测子集的特征信息的长线索相似度，并筛选所述检测集合和跟踪集合的关联子集对；
获取所述关联子集对的特征信息的短线索相似度；
根据所述运动信息相似度、长线索相似度和短线索相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度；
根据所述子集相似度，构建所述跟踪集合和检测集合的关联矩阵；
根据所述关联矩阵获取最优匹配；
进行下一相邻帧的跟踪，重复上述步骤，实现连续的多目标跟踪。
第二方面，一种多目标跟踪装置，该跟踪装置包括：
运动信息相似度获取模块，用于根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；所述检测子集是将当前帧图像中每帧图像的检测结果作为检测集合的子集，所述跟踪子集是上一帧图像中每帧图像的跟踪轨迹序列作为跟踪集合的子集；
关联子集对获取模块，用于获取所述跟踪子集和检测子集的特征信息的长线索相似度，并筛选所述检测集合和跟踪集合的关联子集对，并筛选所述检测集合和跟踪集合的关联子集对；
短线索相似度获取模块，用于获取所述关联子集对的特征信息的短线索相似度；
子集相似度获取模块，用于根据所述运动信息相似度、长线索相似度和短线索相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度；
构建矩阵模块，用于根据所述子集相似度，构建所述跟踪集合和检测集合的关联矩阵；
匹配模块，用于根据所述关联矩阵获取最优匹配；
循环模块，用于进行下一相邻帧的跟踪，重复相应步骤，实现连续的多目标跟踪。
第三方面，一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述任意一种多目标跟踪方法。
第四方面，一种存储介质，该存储介质中存储有计算机可读的程序指令，所述程序指令被处理器执行时实现上述任意一种多目标跟踪方法。
本发明具有如下有益效果：
本发明实施例公开了一种多目标跟踪方法，通过获取短线索相似度，实现相连帧目标相似度的判别；通过获取的长线索相似度的判别，有效解决人员短暂遮挡等造成的漏检；同时结合运动信息相似度，提高跟踪的准确度。解决了在跟踪目标重叠遮挡或者外观巨变所造成的多目标跟踪的效果精度不高的技术问题。
附图说明
图1为本发明一个实施例提供的一种多目标跟踪方法的流程图；
图2为本发明实施例提供的关于目标关联的方法流程图；
图3为本发明一个实施例提供的多目标跟踪流程示意图；
图4为本发明实施例提供的关于LSTM网络的结构示意图；
图5为本发明实施例提供的关于孪生网络的结构示意图；
图6为本发明实施例提供的关于关联求解的流程图；
图7为本发明另一实施例提供的一种多目标跟踪装置的结构框图；
图8为本发明另一实施例提供的一种终端设备的结构示意图；
图9为本发明另一实施例提供的一种服务器的结构示意图；
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种多目标跟踪方法、装置、电子设备和计算机存储介质，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的属于只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图具体的说明本发明所提供的一种多目标跟踪方法、装置、电子设备和计算机存储介质的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种多目标跟踪方法的流程图，该目标跟踪的方法包括以下步骤：
步骤S001，根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；
检测子集是将当前帧图像中每帧图像的检测结果作为检测集合的检测子集，跟踪子集是上一帧图像中的每帧图像的跟踪轨迹序列作为跟踪集合的跟踪子集。
对于当前帧：利用检测器YOLOv3获取实时视频流的每帧图片中的目标检测结果。
设当前帧t的图像的检测结果作为检测集合：D＝{q1,q2,q3,...,qN}
检测序列的每个检测子集qj＝{c,x,y,w,h}，j＝1,2,3....N
其中，N表示检测结果的数量，c表示置信度，(x,y)表示检测结果的中心坐标，(w,h)表示检测结果的宽高。
对于上一帧：将上一帧t-1所获取的跟踪轨迹序列作为跟踪集合：Ta＝{r1,r2,r3,...,rN}
跟踪序列的每个跟踪子集
其中，id表示目标身份，
表示速度向量，(Δw,Δh)表示宽高变化，{fa}表示长线索表观特征向量集合，{fa}包含跟踪序列近Amax＝10帧的长线索表观特征向量fa,n。
步骤S002，提取检测子集对应的检测特征值以及所述跟踪子集的跟踪特征值，计算所述检测特征值和跟踪特征值的特征相似度，从而获得所述检测子集与跟踪子集的子集相似度。
请参阅图2，其示出了本发明实施例提供的关于目标关联的流程图，为了降低孪生网络求解相似度的基数，首先将相邻帧中的目标进行初步关联，具体包括以下步骤：
步骤201，根据当前帧的检测集合预测下一帧的运动信息，获得跟踪子集的预测子集。
将每帧图像的检测集合的检测子集，包括检测结果的中心坐标(x,y)和检测结果的宽高(w,h)，作为LSTM网络的输入。由于视频流相连帧之间的时间固定不变，采用LSTM网络基于记忆学习的信息和当前帧的检测集合来预测目标在下一帧的运动信息{x′i,y′i,w′i,h′i}，从而获得跟踪子集ri的预测子集ri'，具体的：
跟踪子集：
预测子集：
其中，预测坐标(x′,y′)，预测宽高(w′,h′)。
具体的，请参阅图4，LSTM的基础单元结构包括了新时刻的输入xt、输出ht、输入门it、输出门ot和遗忘门ft。LSTM网络的第一步是决定让什么信息通过cell状态，这个决定通过称为遗忘门层完成。该门会读取h(t-1)(上一个cell输出)和xt(当前cell输入)，输出一个在0到1之间的数值给每个在cell状态中的数字C(t-1)，1表示“完全保留”，0表示“完全舍弃”；下一步是决定让多少新的信息加入到cell状态中来，其输入门会根据当前的输入xt、上一个阶段的状态C(t-1)和上一个状态的输出h(t-1)来决定哪些信息顺利进入当前阶段C(t)进行更新；最终，通过当前的输入xt和上一个cell输出h(t-1)加入输出门过滤结果后输出h(t)。
在本发明实施例中基于MOT16数据集进行LSTM网络模型的训练学习。
步骤202，根据检测子集的当前坐标和步骤S201中所获得跟踪子集的预测坐标，获得检测子集和跟踪子集的运动信息相似度。
首先，将跟踪子集ri的预测坐标与检测子集qj的当前坐标，采用IOU(IntersectionOver Union，交并比)计算两个包围框之间重叠率S(1，1)。
其次，根据跟踪子集ri的当前坐标与检测子集qj的当前坐标，求取检测子集qj的速度向量
宽高变化(Δw,Δh)，此时
通过余弦度量求取两个子集的运动向量相似度S(1，2)。
对上述重叠率S(1，1)和运动向量相似度S(1，2)赋予不同的权重，计算跟踪子集ri和检测子集qj的运动信息相似度S1(i,j)；其中，基于各子集中心点坐标的欧氏距离作为阈值定标准，将图片对角线一般大小作为阈值，筛去相似性较差的子集对：
然后，将每帧图像中各目标检测框图像剪裁变换统一大小输入Re-ID网络，提取检测结果的外观特征，作为外观关联长期线索，并求解长线索上一帧与当前帧的相似度。具体网络结构如表1所示，输入图像被重新缩放到128*64，并在RGB颜色空间中呈现给网络。一系列卷积层将特征图的大小减小到16*8，然后提取长度为128的全局特征向量，其中所有的卷积采用3*3卷积核与最大2*2池化，当特征图的空间分辨率降低时，相应增加通道数量，避免瓶颈，并使用Dropout机制和批处理规范化作为正则化的手段，统一采用ReLU作为各层的激活函数。此时
在本发明实施例中的模型训练中行人类跟踪可采用Market1501，CUHK01等数据集。
表1 Re-ID网络
步骤203，获取跟踪子集和检测子集的特征信息的长线索相似度，并筛选检测集合和跟踪集合的关联子集对。
根据跟踪子集ri的表观特征向量集合{fa}(通过Re-ID网络提取)的每一个特征向量子集{Ai，n}与检测子集qj的表观特征向量Bj(通过Re-ID网络提取)，通过计算作为外观长期线索的特征向量子集{Ai，n}和表观特征向量Bj的余弦度量，保留最大余弦距离作为外观长期线索的长线索相似度
并通过设定阈值η1筛选掉相似性较差的配对：
其中，S2(i,j)∈[η2,1]，Ai,n(m)表示在m帧跟踪子集ri的表观特征向量集合{fa}的每一个特征向量子集，Bj(m)表示在m帧检测子集qj的表观特征向量，η1∈(0,1)。
分别通过目标中心点欧氏距离阈值与目标表观特征余弦距离阈值进行跟踪集合与检测集合的关联子集对筛选，完成初步的关联。
请再次参阅图2，为了构建整个跟踪集合与检测集合的带权二分图，需要将上述关联子集对进行再次关联，具体包括以下步骤：
步骤204，获取关联子集对的特征信息的短线索相似度。
将初步关联的子集对的目标图片剪裁后变换统一大小，依次成对输入孪生网络，获得关联子集对所对应的跟踪集合与检测集合的外观短期线索的短线索相似度。
如图5所示，孪生网络主要由两个相互独立但网络结构一样的分支网络组成，每个分支网络是由3个卷积层+最大池化层(C1～C3)、3个全连接层(F5～F7)组成，3个卷积层分别采用7*7、5*5和5*5，最大池化层采用2*2，通过对两个分支网络添加相同的权值进行各自特征向量的独立提取，然后在孪生网络的最后一层F7对两个特征向量做一个相似度损失函数，进行网络训练，最后全连接层的输出被输入到二进制Soft-max分类器中求解关联子集对的短线索相似度S3，设定阈值η2行初步的筛选。
步骤205，根据所述运动信息相似度、长线索相似度和短线索相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度。
基于以上运动信息、和由外观短期线索和外观长期线索表观信息构成的特征相似度：运动信息相似度
长线索相似度
和短线索相似度S3，来分别计算当前帧跟踪序列子集与下一帧检测子集的相似度。在此，分别赋予权重进行累加求和，子集相似度S(i,j)：
其中，
表示运动信息相似度
所占权重，
表示长线索相似度
所占权重，
会随跟踪序列Ta中a的逐步增大而增大。
步骤S003，根据子集相似度，构建整个跟踪集合与检测集合的关联矩阵。
通过测试进行阈值的设定，根据预设的阈值η，当跟踪子集与检测子集的相似度大于等于阈值η时，判定为跟踪子集与检测子集关联，从而构建整个跟踪集合与检测集合的关联矩阵，获得相应的带权二分图。
步骤S004，进行最优关联匹配，实现多目标跟踪。
为优先考虑最频繁或最新出现的跟踪目标，然后再考虑LSTM获取的因遮挡、漏检等无法检测或离开视野状况的跟踪目标，因此在进行关联匹配时，采取分层级策略，然后应用HM&KM(Hungray Matching and Kuhn Munkres)算法进行关联求解，实现多目标跟踪。
具体的，在HM&KM中，首先将带权二分图G划分为各个不相连的子图gi，即每个子图的任何一个顶点与另一个子图的任何一个顶点都没有边相连接。
首先，针对每个子图gi，应用HM算法求取各子图gi的最大匹配值Limax，则带权二分图G的最大匹配值为各子图gi的最大匹配值的累加和Lmax。
其次，基于KM算法求解每个子图gi的最佳匹配，针对最佳匹配中某顶点含多匹配边的情况，只保留权重最大的边，并进行其匹配值Li的统计。
当最大匹配值Limax和匹配值Li相等时，计算当前情况下的匹配权重和，即为最大匹配下的最大权匹配。
当最大匹配值Limax和匹配值Li不相等时，则采取比较子图gi中所有最大匹配下权重和的思路，基于最大匹配的2L个顶点集合g(i,j)求取当前集合匹配值为Limax的最大权和e(i,j)。
应用KM算法的相等子图思路不断更换顶点，从而求取所有2L个顶点集合g(i,j)的最大权重和e(i,j)，只保留值最大的e(i,j)，即为子图gi最大权和eimax。
最后，融合各子图结果，将获取整个二分图的最大匹配Lmax下的最大权和Emax(Emax大于等于eimax)的匹配。
步骤S005，进行下一相邻帧的跟踪，重复上述步骤，实现连续的多目标跟踪。
如图6所示，整体关联求解步骤如下：
步骤1，构建集合，将跟踪序列集合T分级为多级集合Ta，构建关联集合M和未关联集合Ua。其中，跟踪值a的初始值设为1，最大限度为Amax，初始化集合M、U1均为空；同时基于a的增大，逐步增加长线索相似度的权重，降低短线索相似度的权重。
步骤2，集合匹配，求解检测序列集合D与第一级跟踪序列集合T1的特征相似度S(i,j)，当特征相似度S(i,j)值达到设定门限时认为是匹配关联，再构建第一级跟踪序列集合T1与检测序列集合D的关联矩阵P(1,1)(i,j)。
步骤3，矩阵优化，将关联矩阵P(1,1)(i,j)二值化为矩阵P(1,2)(i,j)，运用Hungary匹配算法求解最大匹配值L1；基于关联矩阵P(1,1)(i,j)和最大匹配值L1，运用KM算法求解关联矩阵P(1,1)(i,j)在最大匹配值为L1对应的最大权重匹配矩阵P(1,3)(i,j)，二值化为矩阵P(1,4)(i,j)，由此获得第一跟踪序列集合T1与检测序列集合D的关联子集对。
例如：
步骤4，关联处理，对于所述关联子集对包含的ri'和qj'，对应更新ri'＝{id,qj'}，T1更新为T1-ri'，其中ri'的{fa}依然保持向量子集个数不便，将qj'中向量替换{fa}的最长帧向量子集，所述检测序列集合D更新为D-qj'，所述关联集合M更新为M＝M∪ri'；对于所述关联子集对没有包含的ri”，通过LSTM模型更新
U2更新为U2＝U1∪ri”。
步骤5，循环处理，将U2赋值为T2，并且所述检测序列集合D更新为D-qj'，返回步骤2，求解更新后的检测序列集合D与第二级跟踪序列集合T2的特征相似度S(i,j)，并重复以上步骤，直至a＝Amax或者所述检测序列集合D更新为空。
请参阅图3，简单来说，本发明实施例基于检测结果，首先采用LSTM网络预测当前帧目标的下一帧状态，获取目标的运动信息，然后采用Re-ID网络提取目标的表观信息。然后，基于上述两种特征进行当前帧跟踪序列与下一帧检测序列的相似度计算：通过跟踪子集预测框与检测子集目标框的交并比与速度余弦距离计算运动信息相似度S1，采用Re-ID网络提取跟踪子集的目标框表观特征向量与检测子集的目标框表观特征向量作为长线索，并获得跟踪子集的目标框表观特征向量与检测子集的目标框表观特征向量之间的余弦距离计算长线索相似度S2。通过预设阈值筛选可初步关联跟踪子集与检测子集的匹配的关联子集对。然后再将关联子集对中跟踪子集与检测子集的图像输入到siamese孪生网络中提取特征作为短线索，并计算短线索相似度S3。最终进行权重分配与累加求和S，构成跟踪子集与检测子集的带权二分图，最后通过HM&KM实现最优匹配求解，进而达到多目标跟踪的目的。本发明实施例基于孪生网络提取的特征作为外观短期线索进行相连帧目标相似度判别，基于Re-ID网络提取的特征作为外观长期线索解决人员短暂遮挡等造成的漏检，有效结合外观信息的长短期线索以及运动信息，从而提高跟踪的准确度。在本发明实施例中孪生网络直接作为多目标的特征提取与相似度求解部分。
综上所述，本发明实施例公开了一种多目标跟踪方法，该跟踪方法根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；根据所述跟踪子集和检测子集的特征信息，获得长线索相似度，并筛选所述检测集合和跟踪集合的关联子集对；获取所述关联子集对的短线索相似度；根据所述运动信息相似度、外观长期相似度和外观短期相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度；根据所述子集相似度，构建所述跟踪集合和检测集合的关联矩阵；根据所述关联矩阵获取最优匹配；进行下一相邻帧的跟踪，重复上述步骤，实现连续的多目标跟踪。本发明实施例通过获取短线索相似度，实现相连帧目标相似度的判别；通过获取的长线索相似度的判别，有效解决人员短暂遮挡等造成的漏检；同时结合运动信息相似度，提高跟踪的准确度。
请参阅图7，其输出了本发明实施例所提供的一种多目标跟踪装置的结构框图，该跟踪装置包括运动信息相似度获取模块701、关联子集对获取模块702、短线索相似度获取模块703、子集相似度获取模块704、构建矩阵模块705、匹配模块706和循环模块707。
具体的，运动信息相似度获取模块701用于根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；所述检测子集是将当前帧图像中每帧图像的检测结果作为检测集合的子集，所述跟踪子集是上一帧图像中每帧图像的跟踪轨迹序列作为跟踪集合的子集。关联子集对获取模块702用于提取所述跟踪子集和检测子集的特征信息作为外观长期线索，获得长线索相似度，并筛选所述检测集合和跟踪集合的关联子集对。短线索相似度获取模块703用于提取所述关联子集对的特征信息作为外观短期线索，并获得短线索相似度。子集相似度获取模块704用于根据所述运动信息相似度、长线索相似度和短线索相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度。构建矩阵模块705用于根据所述子集相似度，构建所述跟踪集合和检测集合的关联矩阵。匹配模块706用于根据所述关联矩阵获取最优匹配。循环模块707用于进行下一相邻帧的跟踪，重复相应步骤，实现连续的多目标跟踪。
优选的，该跟踪装置还包括预测模块，预测模块用于根据当前帧的检测集合预测下一帧的运动信息，获得所述跟踪子集的预测子集。
优选的，所述短线索相似度获取模块包括相似度判断模块和筛选模块，具体的：相似度判断模块，用于将所述关联子集对作为孪生网络的输入，所述孪生网络提取所述关联子集对的特征信息作为外观短期线索，并对其进行相似度的判断，获得短线索相似度。筛选模块，用于根据预设相似度阈值对所述短线索相似度进行筛选。
优选的，所述关联子集对获取模块包括特征提取模块和长相似度获取模块，具体的：特征提取模块，用于通过Re-ID网络提取所述跟踪子集的特征信息和检测子集的特征信息作为外观长期线索。长相似度获取模块，用于通过计算所述跟踪子集和检测子集的特征信息的余弦度量，保留最大余弦距离作为长线索相似度。
需要说明的，所述装置实施例中的装置与方法实施例基于同样的发明构思。
请参阅图8，基于同一发明构思，其示出了一种电子设备的结构示意图，该电子设备包括存储器和处理器，其中：存储器用于存储处理器执行任务所需的指令。处理器用于执行存储器存储的指令，执行上述任意一个实施例中所提供的一种多目标跟踪方法。
其中，在该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的一种多目标跟踪方法。
具体的，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
所述电子设备可以为终端设备，请参阅图8，其所示为本发明实施例提供的一种终端设备的结构示意图，该终端设备用于实施上述实施例中提供的一种多目标跟踪方法。具体来讲：
终端设备1100可以包括RF(RadioFrequency，射频)电路1110、包括有一个或一个以上计算机可读存储介质的存储器1120、输入单元1130、显示单元1140、视频传感器1150、WiFi(wirelessfidelity，无线保真)模块1160、包括有一个或者一个以上处理核心的处理器1170、以及电源110等部件。本领域技术人员可以理解，图8中示出的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路1110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器处理；另外，将涉及上行的数据发送给基站。通常，RF电路1110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(LowNoiseAmplifier，低噪声放大器)、双工器等。此外，RF电路1110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(CodeDivision Multiple Access，码分多址)、WCDMA(Wide band Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service，短消息服务)等。
存储器1120可用于存储软件程序以及模块，处理器通过运行存储在存储器1120的软件程序以及模块，从而执行各种功能应用以及数据处理。在存储器1120中存储有一个或者一个以上程序，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于执行上述方法实施例提供的一种多目标跟踪方法的指令。
输入单元1130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元1130可包括图像输入设备1131以及其他输入设备1132。图像输入设备1131可以是摄像头，也可以是光电扫描设备。除了图像输入设备1131，输入单元1130还可以包括其他输入设备1132。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及终端设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1140可包括显示面板1141，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode，有机发光二极管)等形式来配置显示面板。
终端设备1100可包括至少一种视频传感器1150，视频传感器1150用于获取用户的视频信息。终端设备1100还可以包括其它传感器(未示出)，比如光传感器、运动传感器以及其他传感器。视频电路、扬声器，传声器可提供用户与终端设备之间的视频接口。
WiFi属于短距离无线传输技术，终端设备通过WiFi模块可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块1160，但是可以理解的是，其并不属于终端设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1170是终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端设备的各种功能和处理数据，从而对终端设备进行整体监控。可选的，处理器1170可包括一个或多个处理核心；优选的，处理器1170可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
终端设备1100还包括给各个部件供电的电源110(比如电池)，优选的，电源110可以通过电源管理系统与处理器逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源110还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端设备1100还可以包括蓝牙模块等，在此不再赘述。
所述电子设备可以为服务器，本发明实施例还提供了一种服务器的结构示意图，请参阅图9，该服务器用于实施上述实施例中提供的一种多目标跟踪方法。该服务器可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器1210(CentralProcessing Units，CPU)和存储器1240，一个或一个以上存储应用程序1233或数据1232的存储介质。其中，存储器1240和存储介质1230可以是短暂存储或持久存储。存储在存储介质1230的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1210可以设置为与存储介质1230通信，在服务器1200上执行存储介质1230中的一系列指令操作。服务器1200还可以包括一个或一个以上电源1220，一个或一个以上有线或无线网络接口1250，一个或一个以上输入输出接口1260，和/或，一个或一个以上操作系统1231，例如Windows ServerTM、Mac OS XTM、UnixTM、LinuxTM、FreeBSDTM等等。
本发明的实施例还提供了一种存储介质，所述存储介质可存储有计算机可读的程序指令，可设置于服务器之中以保存用于实现方法实施例中一种多目标跟踪方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的一种多目标跟踪方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种多目标跟踪方法，其特征在于，该跟踪方法包括以下步骤：
根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；所述检测子集是将当前帧图像中每帧图像的检测结果作为检测集合的子集，所述跟踪子集是上一帧图像中每帧图像的跟踪轨迹序列作为跟踪集合的子集；
获取所述跟踪子集和检测子集的特征信息的长线索相似度，并筛选所述检测集合和跟踪集合的关联子集对；
获取所述关联子集对的特征信息的短线索相似度；
根据所述运动信息相似度、长线索相似度和短线索相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度；
根据所述子集相似度，构建所述跟踪集合和检测集合的关联矩阵；
进行最优关联匹配，实现多目标跟踪；
进行下一相邻帧的跟踪，重复上述步骤，实现连续的多目标跟踪。
2.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述根据所述检测子集的当前坐标和所述跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度之前，还包括：
根据当前帧的检测集合预测下一帧的运动信息，获得所述跟踪子集的预测子集。
3.根据权利要求1所述的一种多目标跟踪方法，其特征在于，所述获取所述关联子集对的特征信息的短线索相似度的方法，包括以下步骤：
将所述关联子集对作为孪生网络的输入，所述孪生网络提取所述关联子集对的特征信息作为外观短期线索，并对其进行相似度的判断，获得短线索相似度；
根据预设相似度阈值对所述短线索相似度进行筛选。
4.根据权利要求1~3任意一项所述的一种多目标跟踪方法，其特征在于，所述获取所述跟踪子集和检测子集的特征信息的长线索相似度的方法，包括以下步骤：
通过Re-ID网络提取所述跟踪子集的特征信息和检测子集的特征信息作为外观长期线索；
通过计算所述跟踪子集和检测子集的特征信息的余弦度量，保留最大余弦距离作为长线索相似度。
5.一种多目标跟踪装置，其特征在于，该跟踪装置包括：
运动信息相似度获取模块，用于根据检测子集的当前坐标和跟踪子集的预测坐标，获得所述检测子集和跟踪子集的运动信息相似度；所述检测子集是将当前帧图像中每帧图像的检测结果作为检测集合的子集，所述跟踪子集是上一帧图像中每帧图像的跟踪轨迹序列作为跟踪集合的子集；
关联子集对获取模块，用于获取所述跟踪子集和检测子集的特征信息的长线索相似度，并筛选所述检测集合和跟踪集合的关联子集对，并筛选所述检测集合和跟踪集合的关联子集对；
短线索相似度获取模块，用于获取所述关联子集对的特征信息的短线索相似度；
子集相似度获取模块，用于根据所述运动信息相似度、长线索相似度和短线索相似度，获得所述当前帧的跟踪子集与下一帧的检测子集的子集相似度；
构建矩阵模块，用于根据所述子集相似度，构建所述跟踪集合和检测集合的关联矩阵；
匹配模块，用于根据所述关联矩阵获取最优匹配；
循环模块，用于进行下一相邻帧的跟踪，重复相应步骤，实现连续的多目标跟踪。
6.根据权利要求5所述的一种多目标跟踪装置，其特征在于，该跟踪装置还包括：
预测模块，用于根据当前帧的检测集合预测下一帧的运动信息，获得所述跟踪子集的预测子集。
7.根据权利要求5所述的一种多目标跟踪装置，其特征在于，所述短线索相似度获取模块包括：
相似度判断模块，用于将所述关联子集对作为孪生网络的输入，所述孪生网络提取所述关联子集对的特征信息作为外观短期线索，并对其进行相似度的判断，获得短线索相似度；
筛选模块，用于根据预设相似度阈值对所述短线索相似度进行筛选。
8.根据权利要求5~7任意一项所述的一种多目标跟踪装置，其特征在于，所述关联子集对获取模块包括：
特征提取模块，用于通过Re-ID网络提取所述跟踪子集的特征信息和检测子集的特征信息作为外观长期线索；
长相似度获取模块，用于通过计算所述跟踪子集和检测子集的特征信息的余弦度量，保留最大余弦距离作为长线索相似度。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行权利要求1至4中任意一项所述的方法。
10.一种存储介质，该存储介质中存储有计算机可读的程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010965619.1A CN112163473A (zh) | 2020-09-15 | 2020-09-15 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010965619.1A CN112163473A (zh) | 2020-09-15 | 2020-09-15 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112163473A true CN112163473A (zh) | 2021-01-01 |
Family
ID=73857367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010965619.1A Pending CN112163473A (zh) | 2020-09-15 | 2020-09-15 | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112163473A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883819A (zh) * | 2021-01-26 | 2021-06-01 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN117765031A (zh) * | 2024-02-21 | 2024-03-26 | 四川盎芯科技有限公司 | 一种边缘智能设备的图像多目标预跟踪方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859238A (zh) * | 2019-03-14 | 2019-06-07 | 郑州大学 | 一种基于多特征最优关联的在线多目标跟踪方法 |
| CN110288627A (zh) * | 2019-05-22 | 2019-09-27 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
| CN110443829A (zh) * | 2019-08-05 | 2019-11-12 | 北京深醒科技有限公司 | 一种基于运动特征和相似度特征的抗遮挡跟踪算法 |
| CN111275737A (zh) * | 2020-01-14 | 2020-06-12 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN111639551A (zh) * | 2020-05-12 | 2020-09-08 | 华中科技大学 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
-
2020
- 2020-09-15 CN CN202010965619.1A patent/CN112163473A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109859238A (zh) * | 2019-03-14 | 2019-06-07 | 郑州大学 | 一种基于多特征最优关联的在线多目标跟踪方法 |
| CN110288627A (zh) * | 2019-05-22 | 2019-09-27 | 江苏大学 | 一种基于深度学习和数据关联的在线多目标跟踪方法 |
| CN110443829A (zh) * | 2019-08-05 | 2019-11-12 | 北京深醒科技有限公司 | 一种基于运动特征和相似度特征的抗遮挡跟踪算法 |
| CN111275737A (zh) * | 2020-01-14 | 2020-06-12 | 北京市商汤科技开发有限公司 | 一种目标跟踪方法、装置、设备及存储介质 |
| CN111639551A (zh) * | 2020-05-12 | 2020-09-08 | 华中科技大学 | 基于孪生网络和长短期线索的在线多目标跟踪方法和系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112883819A (zh) * | 2021-01-26 | 2021-06-01 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN112883819B (zh) * | 2021-01-26 | 2023-12-08 | 恒睿(重庆)人工智能技术研究院有限公司 | 多目标跟踪方法、装置、系统及计算机可读存储介质 |
| CN117765031A (zh) * | 2024-02-21 | 2024-03-26 | 四川盎芯科技有限公司 | 一种边缘智能设备的图像多目标预跟踪方法及系统 |
| CN117765031B (zh) * | 2024-02-21 | 2024-05-03 | 四川盎芯科技有限公司 | 一种边缘智能设备的图像多目标预跟踪方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10937169B2 (en) | Motion-assisted image segmentation and object detection | |
| US10628961B2 (en) | Object tracking for neural network systems | |
| CN109829433B (zh) | 人脸图像识别方法、装置、电子设备及存储介质 | |
| CN111368934B (zh) | 图像识别模型训练方法、图像识别方法以及相关装置 | |
| CN108304758B (zh) | 人脸特征点跟踪方法及装置 | |
| KR101887558B1 (ko) | 컨볼루션 신경망 모델의 트레이닝 방법 및 장치 | |
| CN111813532B (zh) | 一种基于多任务机器学习模型的图像管理方法及装置 | |
| CN113284142B (zh) | 图像检测方法、装置、计算机可读存储介质及计算机设备 | |
| CN110798718B (zh) | 一种视频推荐方法以及装置 | |
| CN110995810B (zh) | 一种基于人工智能的对象识别方法和相关装置 | |
| CN112990390B (zh) | 一种图像识别模型的训练方法、图像识别的方法及装置 | |
| CN112163473A (zh) | 一种多目标跟踪方法、装置、电子设备和计算机存储介质 | |
| US11651498B2 (en) | Method for accelerating three-dimensional object segmentation with point cloud simplifications | |
| CN110263216B (zh) | 一种视频分类的方法、视频分类模型训练的方法及装置 | |
| CN110555337A (zh) | 一种指示对象的检测方法、装置以及相关设备 | |
| CN110213591B (zh) | 一种视频运动估计方法、装置及存储介质 | |
| CN107423663A (zh) | 一种图像处理方法及终端 | |
| CN112270238A (zh) | 一种视频内容识别方法和相关装置 | |
| CN110135224B (zh) | 一种监控视频的前景目标提取方法及系统、存储介质及终端 | |
| CN111275089A (zh) | 一种分类模型训练方法及装置、存储介质 | |
| CN108174125B (zh) | 控制hdr功能的方法、装置、电子设备及存储介质 | |
| CN112164034B (zh) | 一种工件表面缺陷检测方法、装置、电子设备及存储介质 | |
| CN112948763B (zh) | 件量预测方法、装置、电子设备及存储介质 | |
| CN112163997A (zh) | 图片可拼接虚拟样本生成方法、装置、设备及存储介质 | |
| CN111862015A (zh) | 一种图像质量等级确定方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |