CN110400329B - 人流计数方法及其系统 - Google Patents

Abstract

本发明提供一种人流计数方法及其系统，属于图像处理技术领域。所述方法包括：对具有帧序的图像集合按帧序进行关于对象的检测，在图像集合中检测到具有第一对象集的第一图像时，在第一图像内获得与第一对象集相对第一图像的位置对应的第一局部向量，再在图像集合中具有第二对象集的第二图像内获得与第二对象集相对第二图像的位置对应的第二局部向量；根据第一局部向量和第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，获得第一对象集内对象的跟踪状态集合。本发明实现了高准召率的检测和跟踪并基于高准召率的检测和跟踪实现了高精度和高鲁棒性人流计数系统。

Description

人流计数方法及其系统

技术领域

本发明涉及图像处理技术领域，具体地涉及一种对象跟踪方法、一种利用对象跟踪方法进行对象计数的方法、一种利用对象跟踪方法进行对象计数的系统、一种用于对象计数的设备和一种计算机可读存储介质。

背景技术

随着计算机视觉计数的不断成熟落地，真实场景中的人体行为理解越来越成为用户的关注点，以安防场景为例，统计往来人群特征成为其核心功能；此外，零售、商超和车站等场景也出现了统计客流量功能需求，以此来反馈顾客到店规律，统计卡口排队时长等。实际人流计数项目中，往往还存在要求解决方案需要具有开放式、高密集人群和轻部署等特点。

早期的人流计数方法，是基于人运动规律判断来估计进出人数，比如：在卡口垂直方向部署朝向地面的摄像头，通过判断前后帧的运动区域(采集光分布变化等)，结合简单的图像处理，可以初略得统计进出人数。

在深度学习人流计数方案实施后，图片检测跟踪在实际场景效果得到大幅提升，出现了利用卷积神经网络进行的检测和跟踪方案，主要在每帧图片提取检测框，在所有相邻图片之间做检测框的跟踪，虽然计数准确率有所提升，但是计算量大了很多且成本显著提升。

一般基于深度学习的人流计数方案存在错误检测和计数重复或无效等棘手的技术问题；错误检测问题通常是由于人体姿态变化、环境遮挡或场景不对称所引起的，并可能在实时检测视频画面中形成“忽闪”现象，忽闪现象即被检测的一个对象在经过姿态变化、遮挡的环境或不对称场景后检测为另一个对象；计数重复或无效问题通常也是跟踪过程中由于人体姿态变化、环境遮挡或场景不对称所引起的，并可能在实时检测视频画面中形成暂时“失踪”现象，失踪现象即被跟踪的一个对象在经过姿态变化、遮挡的环境或不对称场景后被视为跟踪完成但实际上还在画面中的后续帧中继续出现并所出现对象还可能被视为另一跟踪对象。

发明内容

本发明的目的是提供一种人流计数方法及其系统，现有技术存在忽闪现象和失踪现象所造成的错误检测和计数重复或无效等技术问题。

为了实现上述目的，本发明实施例提供一种对象跟踪方法，该方法包括：

S1)对具有帧序的图像集合按所述帧序进行关于对象的检测，在所述图像集合中检测到具有第一对象集的第一图像时，在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量，其中，所述第一图像的帧序小于所述第二图像的帧序，所述第一对象集至少存在一个对象；

S2)根据所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，获得所述第一对象集内对象的跟踪状态集合。

具体的，步骤S1)在对具有帧序的图像集合按所述帧序进行关于对象的检测之后，且于在所述图像集合中检测到具有第一对象集的第一图像时之前，还包括：

检测存在N₁帧图像，其中，所述N₁帧图像共被检测到M个对象且所述M个对象中至少存在一个对象在所述N₁帧图像中N₂帧图像内均被检测到，N₁、N₂和M为正整数、N₂小于等于N₁且N₁和N₂均小于等于所述图像集合的总帧数。

具体的，步骤S1)中在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，包括：

S101)获取所述第一图像的第一特征分布图，并根据所述第一特征分布图和所述第一图像确定所述第一对象集内每个对象相对所述第一图像的位置，并在所述第一图像内获得与所述第一对象集内每个对象相对所述第一图像的位置对应的检测标识框集合；

S102)将所述检测标识框集合的所有检测标识框内所确定的向量作为第一局部向量。

具体的，步骤S1)中在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，包括：

S101)获取所述第一图像的第二特征分布图，并根据所述第二特征分布图确定所述第一对象集内每个对象相对所述第一图像的位置，并在所述第一图像内获得与所述第一对象集内每个对象相对所述第一图像的位置对应的标识蒙版区；

S102)将所述标识蒙版区所覆盖的向量作为第一局部向量。

具体的，步骤S1)于在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量之后，且于再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量之前，还包括：

设置所述图像集合中每帧图像的判别区，在所述第一局部向量与所述判别区存在重叠时，按所述帧序在所述第一图像之后选取N₃帧图像，标记第N₃帧图像为当前起始帧、标记所述第一图像为当前终止帧并将所述当前起始帧至所述当前终止帧范围内的图像按所述帧序减小方式形成具有所述当前起始帧至所述当前终止帧的帧序的第一逆向图像集合，对所述第一逆向图像集合按从所述当前起始帧至所述当前终止帧的帧序进行关于对象的检测，获得每个补偿局部向量序号与所述第一逆向图像集合中图像帧序对应的第一补偿局部向量集合，其中，N₃为正整数且N₃大于等于所述第一图像的帧序和所述图像集合的第一帧图像的帧序的差的绝对值。

具体的，步骤S1)中再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量，其中，所述第N₃帧图像在所述图像集合中的帧序小于等于所述第二图像在所述图像集合中的帧序。

具体的，步骤S1)还包括：

若所述第二图像的帧序与所述第一图像的帧序的差的绝对值大于1，在所述第一图像至所述第二图像的帧序范围内选取N₄帧图像，对所述N₄帧图像按所述帧序进行循环操作，获得具有局部向量的、每个局部向量序号与所述N₄帧图像中图像帧序对应的局部向量集合，其中，每个循环操作包括在所述N₄帧图像中具有第i对象集的第i图像内获得与所述第i对象集相对所述第i图像的位置对应的第i局部向量，i为正整数且大于等于3，N₄为正整数且小于等于所述第二图像的帧序与所述第一图像的帧序的差的绝对值。

具体的，步骤S1)还包括：

若所述第二图像的帧序与所述第一图像的帧序的差的绝对值等于1，在所述图像集合内于所述第二图像之后选取N₅帧图像，对所述N₅帧图像按所述帧序进行循环操作，获得具有局部向量的、每个局部向量序号与所述N₅帧图像中图像帧序对应的局部向量集合，其中，每个循环操作包括在所述N₅帧图像中具有第i对象集的第i图像内获得与所述第i对象集相对所述第i图像的位置对应的第i局部向量，i为正整数且大于等于3，N₅为正整数且小于等于所述图像集合的总帧数。

具体的，步骤S1)中所述每个循环操作还包括：

设置所述第i图像的判别区，在所述第i局部向量与所述第i图像的判别区存在重叠时，按所述帧序在所述第i图像之前选取N_i+2帧图像，标记第i图像为当前起始帧、标记所述第N_i+2帧图像为当前终止帧并将所述当前起始帧至所述当前终止帧范围内的图像按所述帧序减小方式形成具有所述当前起始帧至所述当前终止帧的帧序的第i逆向图像集合，对所述第i逆向图像集合按从所述当前起始帧至所述当前终止帧的帧序进行关于对象的检测，获得具有补偿局部向量的、每个补偿局部向量序号与所述第i逆向图像集合中图像帧序对应的补偿局部向量集合，其中，N_i+2为正整数且N_i+2小于等于所述第i图像在所述图像集合中的帧序和所述图像集合的第一帧图像的帧序的差的绝对值。

具体的，步骤S1)中所述每个循环操作还包括：

在所述第i逆向图像集合中具有第j对象补偿集的第j补偿图像内获得与所述第j对象补偿集相对所述第j补偿图像的位置对应的第j补偿局部向量，其中，j为正整数且j小于等于所述第i逆向图像集合的总帧数。

具体的，步骤S2)中根据所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，包括：

A1)定义函数关系，其中，所述函数关系为第K局部向量和第L局部向量的交集比所述第K局部向量和所述第L局部向量的并集，K、L为正整数；

A2)将所述第K局部向量更新为所述第一局部向量、所述第L局部向量更新为所述第二局部向量并将所述函数关系作为预设跟踪映射关系，计算获得跟踪值集合。

具体的，步骤S2)包括：

S201)按所述帧序选取部分帧图像，对所述部分帧图像的帧序取倒序并重新排列所述部分帧图像，获得逆向图像集，再对所述逆向图像集进行关于对象的检测，获得具有补偿局部向量的、每个补偿局部向量序号与所述逆向图像集中图像帧序对应的补偿局部向量集合；

S202)根据所述补偿局部向量集合、所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，确定符合所述预设跟踪阈值条件的跟踪值并形成跟踪值优化集合；

S203)若在所述补偿局部向量集合中补偿局部向量与所述第一局部向量或所述第二局部向量符合预设逆向补偿条件时，则增加所述补偿局部向量所对应的对象至所述第一对象集，根据所述跟踪值优化集合和所述第一对象集获得所述第一对象集内对象的跟踪状态集合。

具体的，步骤S203)中预设逆向补偿条件包括：

在所述补偿局部向量集合中存在与预设图像区重叠的补偿局部向量、所述第一局部向量或所述第二局部向量与所述预设图像区重叠且与所述预设图像区重叠的补偿局部向量所对应的跟踪值属于所述跟踪值优化集合；还包括：

与所述第一局部向量或所述第二局部向量对应的跟踪值和与所述预设图像区重叠的补偿局部向量所对应的且属于所述跟踪值优化集合的跟踪值的差处于预设逆向阈值范围。

具体的，步骤S2)中在根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系之后，且在获得所述第一对象集内对象的跟踪状态集合之前，还包括：

将所述局部向量集合和/或所述补偿局部向量集合所对应的对象选择地增加至所述第一对象集。

具体的，还包括：

S3)当在所述第一对象集内存在至少一个对象的跟踪状态为失踪时，在所述图像集合中具有第三对象集的第三图像内获得与所述第三对象集相对所述第三图像的位置对应的第三局部向量，其中，所述第二图像的帧序小于所述第三图像的帧序，所述第三对象集至少存在一个对象；

S4)根据所述第三局部向量结合预设跟踪映射关系更新所述跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，更新所述第一对象集内对象的跟踪状态集合。

本发明实施例提供一种利用对象跟踪方法进行对象计数的方法，该方法包括：

B1)获取跟踪状态集合，其中，所述跟踪状态集合具有至少一个对象的跟踪状态、具有与所述跟踪状态对应的帧序图像集合和具有在所述帧序图像集合内每帧图像中分别与每个对象对应的局部向量；

B2)选取所述帧序图像集合中每帧图像的部分图像区域作为状态识别区，将所述跟踪状态集合中每个对象对应的所有局部向量按所述帧序图像集合的帧序依次相对所述状态识别区比较每个局部向量的位置，获得具有次序的对象位置信息集合；

B3)根据所述对象位置信息集合，获得每个对象的计数结果。

具体的，步骤B2)中状态识别区包括：状态区和缓冲区；

步骤B3)包括：

若所述对象位置信息集合符合计数条件，其中，所述计数条件为相对同一对象的位置信息依次存在于所述状态区和所述缓冲区、或者依次存在于所述缓冲区和所述状态区，则对具有符合所述计数条件的位置信息的对象进行计数；

若所述对象位置信息集合符合舍弃条件，其中，所述舍弃条件为相对同一对象的位置信息仅存在于所述状态区或所述缓冲区，则对具有符合所述舍弃条件的位置信息的对象进行舍弃。

本发明实施例还提供一种利用对象跟踪方法进行对象计数的系统，该系统包括：

服务端，用于执行前述方法且接收具有前述方法执行功能的检测端发送的跟踪状态集合数据。

再一方面，本发明实施例提供一种用于对象计数的设备，包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的方法。

又一方面，本发明实施例提供一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行前述的方法。

对应上述方法，本发明通过检测第一图像和第二图像的对象和计算跟踪状态实现具备跳帧功能(也可以是不跳帧，每帧都进行)的检测和跟踪，并且记录当前对象的跟踪状态，从而提供一种对象跟踪架构，该对象跟踪架构可以允许检测忽闪和跟踪丧失，能降低检测端的计算量且因计算量降低而具有更低的硬件需求，具有容错特性和高鲁棒性，更适用中远距离检测和人流大的场景对象跟踪，而现有技术是在第二图像没有相似结果时就视为该对象已离开检测区域并还会在跟踪过程标记跟踪完成，并且现有技术必须每帧检测和每两帧跟踪，存在计算量大、硬件需求高的问题；

本发明在检测过程中，发现对象后并不是积极将其视为要被纳入参与计数的对象，需要同一对象持续存在一部分帧的图像中，才视为该对象被检测到；

本发明可以使用单撷取多检测框或基于聚合特征单撷取多检测框的目标检测器；

本发明可以使用具有目标边界的蒙版的目标检测器；

本发明提供反向(相对原图像集合的帧序为相反的或逆向的)的检测过程，能获取正向过程缺少的检测结果，提高了准召率，并为后面的跟踪过程提供支持；

本发明提供反向的检测帧范围实例，可以将第二图像作为参照；

本发明提供多帧图像对象检测过程的实例，所选的N₄帧图像或N₅帧图像，可以是按帧顺序依次选取的，可以是按帧顺序间隔选取的，还可以是按帧顺序任意抽选的；

本发明提供反向的多帧图像对象检测过程，能获取正向过程缺少的检测结果，提高了准召率，并为后面的跟踪过程提供支持；

本发明使用局部向量交集比并集获得跟踪值以度量被跟踪对象当前跟踪情况，由于没有使用图像识别进行判别跟踪而具有非常高速的跟踪计算速度；

本发明提供反向检测补偿对象结果的高准召率实例，其中部分帧图像可以来自第一图像和第二图像帧范围内或它们帧范围之外，主要是由于相对同一对象的正向检测过程和反向检测过程总会存在有很高重叠的帧图像，该现象会体现在跟踪值的变化上，即对于某些帧的图像，正向检测过程和反向检测过程均存在非常相近的跟踪值，一方面，这很可能是因为同一对象被检测过程视为不同对象或被跟踪过程视为上次跟踪失踪，可以通过上述方法中判别区(也是预设图像区)来确定参考区域，对于该参考区域的正向检测过程和反向检测过程的对象且跟踪过程具有非常相近的跟踪值将被更新为同一对象，另一方面，参考区域内正向跟踪值和反向跟踪值可能没有处于很接近的范围，但是都满足预设跟踪阈值条件，则视为属于正向检测过程没有被检测到的对象，没被检测的对象在反向检测过程中也会被加入对象集；

本发明提供了反向补偿同一对象的判断条件实例，相应帧内的局部向量被补偿后，能充分保证对象的运动过程(从对象在多帧图像中不同位置体现，每个对象位置对应一个局部向量)能是完整的，这对后续对象计数过程的准确性提供了非常重要的支持；

本发明提供了多帧图像反向补偿对象的实例；

本发明提供了对失踪现象的处理操作实例，在一个对象被记录为失踪的跟踪状态后，并不是立刻结束该对象的跟踪，而是累计至一定帧，例如到第三图像时，如果还没出现该对象，才会视为该对象的跟踪完成，但若所累计的一定帧内出现了该对象，那么即继续跟踪该对象，能充分保证对象的运动过程能是完整的，这对后续对象计数过程的准确性提供了非常重要的支持；

本发明提供了计数的实例，由于检测过程和跟踪过程已经提供了准确和完整的对象的帧图像，通过按照帧顺序观察对象在帧图像中的相对位置变化(也是对象在实景中的运动轨迹方向)，预设一个状态识别区(通常所有帧的图像具有相同或类似背景，每帧图像边界相对背景是固定的，所以状态识别区相对背景设置后，相对所有帧的图像的背景也是固定的)作为参照，将具有一定跨越特性的跟踪状态所对应的对象视为计数有效；并同时排除一些徘徊于状态识别区的对象，能充分提高对象计数的准确性；反向检测和跟踪对计数的准确性提供了必要的支持，例如由于检测存在时延，当一个场景内走动过快的对象，可能已经进入了状态识别区才被检测视为一个对象，没有反向检测和跟踪过程，该对象的跟踪状态将在计数过程中被视为没有跨越特性，那么就被视为无效计数，并导致计数误差，然而若使用了反向检测和跟踪，此处该对象的跟踪状态是会被补偿的，即在被正向检测到之前的、状态识别区外的跟踪状态也会对应增加关联到该对象的跟踪状态，对于补偿后的对象跟踪状态即是完整的，并且具有跨越特性，那么该对象将被正确地计数；暂时记录对象的跟踪状态而不是完成跟踪对计数的准确性也提供了必要的支持，例如状态识别区外的、被检测到的对象进入状态识别区后，突然失踪，例如对象为人，弯腰系鞋带等人体姿态变化都可能是造成失踪的原因，若没有等待恢复跟踪过程，该对象也会丧失跨越特性，从而不能有效计数，而在跟踪恢复后，该对象依然会具有完整的跟踪状态，会被判断为有效计数。

本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1为本发明实施例的主要架构示意图；

图2为本发明实施例的跟踪所用函数关系计算处理示意图；

图3为本发明实施例的反向补偿流程示意图；

图4本发明实施例的暂时失踪对象的跟踪过程示意图；

图5为本发明实施例的状态转移过程示意图；

图6为本发明实施例的结合实景的主要架构示意图。

具体实施方式

以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。

实施例1

本发明实施例提供一种对象跟踪方法，该方法包括：

S1)对具有帧序的图像集合按所述帧序进行关于对象的检测，在所述图像集合中检测到具有第一对象集的第一图像时，在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量，其中，所述第一图像的帧序小于所述第二图像的帧序，所述第一对象集至少存在一个对象；

S2)根据所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，获得所述第一对象集内对象的跟踪状态集合；

具有帧序的图像集合可以是检测端针对同一采集区域预先录制的视频或短时缓存的实时串流，视频或串流通过帧率进行度量，每帧图像会对应因具体的视频或串流帧率存在固定的时间度量，因而，实际情况中，可以以时间作为限定与帧数相关的阈值；对象可以是人；检测可以通过目标检测器实现，该目标检测器需要具有发现每帧图像的背景中对象所在的感兴趣区、分类对象和提供位置标识等功能(在一些具体实施中，目标检测器可能还具有识别对象的功能，但需要更高的硬件成本和实现成本，例如需要人脸数据库支持，这还会带来隐私问题)，感兴趣区可以是整个人体，也可以是头部或部分肢体，可以根据具体检测端设备成本、安装位置进行选定所需要的目标检测器，例如检测端设备是具有捕捉画面功能的设备(具有捕捉画面功能的设备包括用于图像捕捉的电荷耦合器件、与电荷耦合器件连接的具备一定计算能力的处理器，如图1中，具有处理器的计算设备CE和具有电荷耦合器件的Cam，在其他具体实施中，CE和Cam可以集成至一个设备)，安装在房间的顶部并朝向房间进出卡口位置，此时需要选择头部为感兴趣区的、预训练的目标检测器，目标检测器可以是基于卷积神经网络预先训练实现的；第一图像和第二图像并不一定分别是第一帧图像和第二帧图像，第二图像也不一定是第一图像的下一帧图像，第二图像相对第一图像可以是间隔多帧的某一帧图像，第二图像内可以存在第一图像中存在的对象，也可以是没有对象的背景(第一图像内对象此时并没有被视为完成跟踪的跟踪状态而是仅仅记录此时为失踪的跟踪状态)，还可以是有相对第一图像中对象为刚被检测到的新对象；局部向量可以是被检测到的对象相对图像的位置处的图像或图像的特征分布图，特征分布图可以是通过神经网络卷积层等手段获得；第二对象集可以是空集合；每个对象集是一帧图像内所被检测到的对象构成的集合，可以通过唯一标识表达某个对象，对象集即是唯一标识集合；本发明跟踪过程会通过第二图像的对象的局部向量和第一图像的对象的局部向量计算第一图像中每个对象的跟踪值，经过条件判断后记录每个对象的当前的跟踪状态至跟踪状态集合，本发明跟踪机制是支持和允许跳帧的，同时，也可以是不跳帧机制，不跳帧机制即按帧序或实时串流时间顺序进行每帧检测并进行每两帧跟踪。

具体的，步骤S1)在对具有帧序的图像集合按所述帧序进行关于对象的检测之后，且于在所述图像集合中检测到具有第一对象集的第一图像时之前，还包括：

检测存在N₁帧图像，其中，所述N₁帧图像共被检测到M个对象且所述M个对象中至少存在一个对象在所述N₁帧图像中N₂帧图像内均被检测到，N₁、N₂和M为正整数、N₂小于等于N₁且N₁和N₂均小于等于所述图像集合的总帧数；

如图1，M取5，O代表对象，虚线的对象表示非当前帧内的对象(由于采集区域固定，背景BG的位置是不变的)，F代表某帧图像，例如Fn为第n帧图像、F(n-b)为第(n-b)帧图像和F(n-a)为第(n-a)帧图像，D代表检测标识框，局部向量可以通过检测标识框进行选取，Fn为当前帧图像，图像集合中的帧序：Fn＞F(n-b)＞F(n-a)(允许存在跳帧)，a、b、n为正整数；

在一些具体实施中，每当成功触发检测发现新对象时，可以定义跟踪参量且跟踪参量的赋值为空(初始化跟踪)，该跟踪参量可以用以记录该新对象所涉及的图像帧、局部向量、跟踪值和/或跟踪状态等信息；本步骤一方面可以显著减少人流在采集区域边缘处徘徊而对应形成大量无效的跟踪，另一方面能提高检测的准召率；当N₁等于N₂时，该对象是每帧都被检测到的，在N₂小于N₁时，该对象是在N₁帧范围内存在N₂帧被检测到，N₂帧内图像可以是存在间隔的，这主要是考虑对象可能在被视为检测到之前，存在姿态变化、环境遮挡(例如对象正在从头顶取下随身携带的手提包或脱下外套)等情况，但该对象若符合N₂帧(图1中对象O4，从F(n-a)至F(n-b))图像被检测到(不论在N₁帧范围内是否出现过忽闪现象或检测暂时失灵等其他现象)的要求，则视为该对象被检测到，并在F(n-b)内开始跟踪T4(跟踪初始化)，该步骤因此具有高准召率；对于帧数参数N₁、N₂的大小可以根据人在该场景中运动的平均速度、系统所需的检测过程的目标准召率进行设置，例如根据人运动的平均速度，取0.3秒，根据具体画面捕捉设备的每秒帧数，确定0.3秒所对应的帧数并且该帧数作为N₁和N₂。

具体的，步骤S1)中在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，包括：

S101)获取所述第一图像的第一特征分布图，并根据所述第一特征分布图和所述第一图像确定所述第一对象集内每个对象相对所述第一图像的位置，并在所述第一图像内获得与所述第一对象集内每个对象相对所述第一图像的位置对应的检测标识框集合；

S102)将所述检测标识框集合的所有检测标识框内所确定的向量作为第一局部向量；

特征分布图可以是通过神经网络卷积层获得，可以使用预训练的单撷取多检测框的目标检测器(SSD，Single Shot MultiBox Detector)或基于聚合特征单撷取多检测框的目标检测器(FSSD，Feature Fusion Single Shot Multibox Detector)进行此处局部向量的获取，如果检测端存在显示设备，该显示设备被配置为呈现被检测的对象和背景，并且有区别于背景和对象的颜色的方框标记对象所对应的局部向量所在图像区域；根据实际应用场景，如果检测设备的安装角度能获取人的脸部，则可以选择预训练的、用于人脸识别的且具有标记检测框功能的目标检测器(FaceBoxes)；第二图像的处理或更多后续被用以跟踪的图像均可使用第一图像处理过程所选用的目标检测器实现，并且对于同一对象的检测标识框的框体识别特征相同，即不同图像中同一对象的框体颜色、尺寸和标识符等框体识别特征相同，以便在显示设备上直观体现同一对象，例如对于图1中对象O4，在不同帧中均用检测标识框D4。

具体的，步骤S1)中在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，包括：

S101)获取所述第一图像的第二特征分布图，并根据所述第二特征分布图确定所述第一对象集内每个对象相对所述第一图像的位置，并在所述第一图像内获得与所述第一对象集内每个对象相对所述第一图像的位置对应的标识蒙版区；

S102)将所述标识蒙版区所覆盖的向量作为第一局部向量；

在一些具体实施中，可以利用目标卷积神经网络R-CNN、快速目标卷积神经网络Fast R-CNN或蒙版目标卷积神经网络Mask R-CNN实现预训练的目标检测器，但是相对SSD和FSSD等目标检测器的计算开销更大；第二图像的处理或更多后续被用以跟踪的图像均可使用第一图像处理过程所选用的目标检测器实现，并且对于同一对象的标识蒙版区的识别特征相同，即不同图像中同一对象的蒙版颜色和标识符等识别特征相同，以便在显示设备上直观体现同一对象。

具体的，步骤S1)于在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量之后，且于再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量之前，还包括：

设置所述图像集合中每帧图像的判别区，在所述第一局部向量与所述判别区存在重叠时，按所述帧序在所述第一图像之后选取N₃帧图像，标记第N₃帧图像为当前起始帧、标记所述第一图像为当前终止帧并将所述当前起始帧至所述当前终止帧范围内的图像按所述帧序减小方式形成具有所述当前起始帧至所述当前终止帧的帧序的第一逆向图像集合，对所述第一逆向图像集合按从所述当前起始帧至所述当前终止帧的帧序进行关于对象的检测，获得每个补偿局部向量序号与所述第一逆向图像集合中图像帧序对应的第一补偿局部向量集合，其中，N₃为正整数且N₃大于等于所述第一图像的帧序和所述图像集合的第一帧图像的帧序的差的绝对值；若所述第一局部向量与所述判别区不存在重叠，则再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量；

在一些具体实施中，检测端若具有摄像头，在摄像头固定后，每帧图像的背景视为固定的或仅仅存在微小变化(不足以触发目标检测器的检测阈值)，通常会选取场景图像中卡口位置作为状态识别区，判别区可以参照状态识别区进行选取，也可以参照具体场景容易漏检区域进行选取，例如可以邻接状态识别区的边界；N₃帧图像可以根据人在场景中运动的平均速度选取，例如取10秒，根据10秒所对应的摄像头画面帧数确定N₃，在形成逆向图像集合后，可以使用上述方法中的目标检测器进行对象检测，并可以按上述方法确定各个对象的局部向量，这一过程可以称为“反向检测过程”；

具体的，步骤S1)中再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量，其中，所述第N₃帧图像在所述图像集合中的帧序小于等于所述第二图像在所述图像集合中的帧序；

在一些具体实施中，当有对象处于判别区，可以在第一图像和第二图像正向检测过程内插入一个反向检测过程，可以对反向检测过程中所涉及的帧图像进行每帧检测，获得第一补偿局部向量集合。

具体的，步骤S1)还包括：

若所述第二图像的帧序与所述第一图像的帧序的差的绝对值大于1，在所述第一图像至所述第二图像的帧序范围内选取N₄帧图像，对所述N₄帧图像按所述帧序进行循环操作，获得具有局部向量的、每个局部向量序号与所述N₄帧图像中图像帧序对应的局部向量集合，其中，每个循环操作包括在所述N₄帧图像中具有第i对象集的第i图像内获得与所述第i对象集相对所述第i图像的位置对应的第i局部向量，i为正整数且大于等于3，N₄为正整数且小于等于所述第二图像的帧序与所述第一图像的帧序的差的绝对值，这一过程可以称为“正向检测过程”；

可以在第一图像之后按帧序无跳帧地依次选取N₄帧图像，也可以跳帧选取N₄帧图像，跳帧可以降低计算量。

具体的，步骤S1)还包括：

若所述第二图像的帧序与所述第一图像的帧序的差的绝对值等于1，在所述图像集合内于所述第二图像之后选取N₅帧图像，对所述N₅帧图像按所述帧序进行循环操作，获得具有局部向量的、每个局部向量序号与所述N₅帧图像中图像帧序对应的局部向量集合，其中，每个循环操作包括在所述N₅帧图像中具有第i对象集的第i图像内获得与所述第i对象集相对所述第i图像的位置对应的第i局部向量，i为正整数且大于等于3，N₅为正整数且小于等于所述图像集合的总帧数，这一过程可以称为“正向检测过程”；

可以在第一图像之后按帧序无跳帧地依次选取N₅帧图像，也可以跳帧选取N₅帧图像，跳帧可以降低计算量。

具体的，步骤S1)中所述每个循环操作还包括：

设置所述第i图像的判别区，在所述第i局部向量与所述第i图像的判别区存在重叠时，按所述帧序在所述第i图像之前选取N_i+2帧图像，标记第i图像为当前起始帧、标记所述第N_i+2帧图像为当前终止帧并将所述当前起始帧至所述当前终止帧范围内的图像按所述帧序减小方式形成具有所述当前起始帧至所述当前终止帧的帧序的第i逆向图像集合，对所述第i逆向图像集合按从所述当前起始帧至所述当前终止帧的帧序进行关于对象的检测，获得具有补偿局部向量的、每个补偿局部向量序号与所述第i逆向图像集合中图像帧序对应的补偿局部向量集合，其中，N_i+2为正整数且N_i+2小于等于所述第i图像在所述图像集合中的帧序和所述图像集合的第一帧图像的帧序的差的绝对值；

检测到对象处于判别区的情况可能发生于某个循环操作过程中，那么就会以此循环操作所涉及的当前帧图像为当前起始帧，选定部分帧的图像进行反向检测过程，增加检测的准召率，N_i+2的大小可以根据检测端计算能力进行选择。

具体的，步骤S1)中所述每个循环操作还包括：

在所述第i逆向图像集合中具有第j对象补偿集的第j补偿图像内获得与所述第j对象补偿集相对所述第j补偿图像的位置对应的第j补偿局部向量，其中，j为正整数且j小于等于所述第i逆向图像集合的总帧数；

循环操作中也可以调用上述方法的目标检测器进行检测，或者选择不同训练样本所预训练的目标检测器进行检测，以充分实现高准召率。

具体的，步骤S2)中根据所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，包括：

A1)定义函数关系，其中，所述函数关系为第K局部向量和第L局部向量的交集比所述第K局部向量和所述第L局部向量的并集，K、L为正整数；

A2)将所述第K局部向量更新为所述第一局部向量(Vec_A)、所述第L局部向量更新为所述第二局部向量(Vec_B)并将所述函数关系作为预设跟踪映射关系，计算获得跟踪值集合；

如图2，可以通过交集比并集的方式获取用于描述对象的跟踪情况的跟踪值，跟踪过程的计算开销非常小、处理速度非常快且适用高帧率的视频或串流，相对检测过程，此处跟踪过程计算开销是可以忽略的。

具体的，步骤S2)包括：

S201)设置预设图像区(可以是判别区或状态识别区以及它们的组合)，然后按所述帧序选取部分帧图像，对所述部分帧图像的帧序取倒序并重新排列所述部分帧图像，获得逆向图像集，再对所述逆向图像集进行关于对象的检测，获得具有补偿局部向量的、每个补偿局部向量序号与所述逆向图像集中图像帧序对应的补偿局部向量集合；

S202)根据所述补偿局部向量集合、所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，确定符合所述预设跟踪阈值条件的跟踪值并形成跟踪值优化集合；

S203)若在所述补偿局部向量集合中补偿局部向量与所述第一局部向量或所述第二局部向量符合预设逆向补偿条件时，则增加所述补偿局部向量所对应的对象至所述第一对象集，根据所述跟踪值优化集合和所述第一对象集获得所述第一对象集内对象的跟踪状态集合；

具体的，步骤S203)中预设逆向补偿条件包括：

在所述补偿局部向量集合中存在与所述预设图像区重叠的补偿局部向量、所述第一局部向量或所述第二局部向量与所述预设图像区重叠且与所述预设图像区重叠的补偿局部向量所对应的跟踪值属于所述跟踪值优化集合；

具体的，步骤S203)中预设逆向补偿条件还包括：

与所述第一局部向量或所述第二局部向量对应的跟踪值和与所述预设图像区重叠的补偿局部向量所对应的且属于所述跟踪值优化集合的跟踪值的差处于预设逆向阈值范围；

如图3，在图像集合中帧序：F(m-k3)＜F(m-k2)＜F(m-k1)＜Fm(允许存在跳帧)，m、k1、k2、k3为正整数，OUT、BA和IN分别为场外区、缓冲区和场内区，可以将IN区和BA区的边界线一定范围内作为预设图像区；对于进入预设图像区的对象O6，可能因为检测问题或者跟踪问题而没有被跟踪T6正常处理或没有被检测D6所发现，正向过程(normal)就会缺少F(m-k3)帧内对象O6的跟踪状态，若直接形成跟踪完成，则该对象就被错误计数(仅有BA区至OUT区的跟踪状态是判定为无效计数)；反向过程(reverse,一般执行10秒所对应的帧图像)可以在跟踪阶段进行触发；可以在所述第一局部向量或所述第二局部向量所对应的图像帧序附近按所述帧序不跳帧依次选取或跳帧地选取部分帧图像进行反向检测过程(可以再检测一次)或(也可以直接用之前检测的结果)反向跟踪(T6_r)，跟踪值优化集合是所有跟踪值中大于等于预设跟踪阈值的跟踪值组成的集合；例如预设跟踪阈值条件可以是大于等于0.8；预设逆向补偿条件能够用于判断是否是同一对象或补偿正向检测过程没有检测到的对象；预设逆向阈值范围用于描述在预设图像区内视为同一对象的跟踪值差变化区间，满足此区间的局部向量和帧图像将更新update至跟踪T6所记录的帧序图像集合中，例如{F(m-k2),F(m-k1),Fm}更新为{F(m-k3),F(m-k2),F(m-k1),Fm}；若与所述预设图像区重叠的补偿局部向量所对应的且属于所述跟踪值优化集合的跟踪值不满足此变化区间，则视为存在之前未被检测的新对象，可以将这些跟踪值所对应的对象增加至第一对象集中。

具体的，步骤S2)中在根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系之后，且在获得所述第一对象集内对象的跟踪状态集合之前，还包括：

将所述局部向量集合和/或所述补偿局部向量集合所对应的对象选择地增加至所述第一对象集；

对于循环操作得到的结果在此处也可以加入用于跟踪状态记录，提高了准召率。

具体的，还包括：

S3)当在所述第一对象集内存在至少一个对象的跟踪状态为失踪时，在所述图像集合中具有第三对象集的第三图像内获得与所述第三对象集相对所述第三图像的位置对应的第三局部向量，其中，所述第二图像的帧序小于所述第三图像的帧序，所述第三对象集至少存在一个对象；

S4)根据所述第三局部向量结合预设跟踪映射关系更新所述跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，更新所述第一对象集内对象的跟踪状态集合；

如图4，帧序：F(n+e)＞F(n+d)＞F(n+c)＞Fn(允许存在跳帧)，对于已经被跟踪的对象O4，本发明支持和允许该被跟踪的对象暂时“失踪”(例如F(n+c)处对象O4失踪，对象O4全部呈虚线，没有检测标识框的对象O4是可能存在的位置，具有检测标识框的对象O4是处于非当前帧的对象O4)，在一些具体实施中，可对跟踪参量附加临时状态，例如定义热跟踪(例如图4中Hot_T4)和冷跟踪(例如图4中Cold_T4)；热跟踪即是被拿出检测的图像内被跟踪对象的局部向量和之前一次被拿出检测的图像内该被跟踪对象的局部向量按交集比并集的方式计算的结果大于等于0.8，冷跟踪即是被拿出检测的图像内未检测到被跟踪对象或被拿出检测的图像内被跟踪对象的局部向量和之前一次被拿出检测的图像内该被跟踪对象的局部向量按交集比并集的方式计算的结果小于0.8；并可以进一步定义冷跟踪的持续时间，例如0.5秒至1秒(如图4，在F(n+d)里面发现对象O4，若时间处于0.5秒至1秒范围内，例如F(n+c)至F(n+d)所存在的帧数满足该时间要求，则判断对象O4仅仅是暂时失踪，并开始热跟踪；时间超过此范围则可以更新该对象的跟踪状态，记录为跟踪完成)，可以根据具体画面捕捉设备和选取策略确定冷跟踪所对应的最大帧数，用于冷跟踪或热跟踪可以按帧序不跳帧地进行，也可以有选择地跳帧地进行，例如间隔帧进行；本发明因此具有非常高的准召率。

实施例2

基于实施例1中的对象跟踪方法，本发明还提供一种利用对象跟踪方法进行对象计数的方法，该方法包括：

B1)获取跟踪状态集合，其中，所述跟踪状态集合具有至少一个对象的跟踪状态、具有与所述跟踪状态对应的帧序图像集合和具有在所述帧序图像集合内每帧图像中分别与每个对象对应的局部向量；

B2)选取所述帧序图像集合中每帧图像的部分图像区域作为状态识别区，将所述跟踪状态集合中每个对象对应的所有局部向量按所述帧序图像集合的帧序依次相对所述状态识别区比较每个局部向量的位置，获得具有次序的对象位置信息集合；

B3)根据所述对象位置信息集合，获得每个对象的计数结果；

具体的，步骤B2)中状态识别区包括：状态区和缓冲区；

步骤B3)包括：

若所述对象位置信息集合符合计数条件，其中，所述计数条件为相对同一对象的位置信息依次存在于所述状态区和所述缓冲区、或者依次存在于所述缓冲区和所述状态区，则对具有符合所述计数条件的位置信息的对象进行计数；

若所述对象位置信息集合符合舍弃条件，其中，所述舍弃条件为相对同一对象的位置信息仅存在于所述状态区或所述缓冲区，则对具有符合所述舍弃条件的位置信息的对象进行舍弃；

如图5，检测端可以设置有摄像头，该摄像头安装在被采集场景的顶部(天花板)并朝向该被采集场景的进出卡口处，在摄像头所捕捉的图像内卡口位置设置状态识别区，具体的，按从被采集场景外至场景内的顺序，设置第一状态区、缓冲区和第二状态区；

可以定义具有状态值转移功能的状态机，比较所述状态识别区和每个局部向量，通过状态机附加对象的状态值；例如第一状态区取为场外(OUT)且场外状态S_-1的值为-1，缓冲区(BA)状态S₀的值为0^*，第二状态区取为场内(IN)且场内状态S₁为1，判断为有效计数的最终行为(具有区域的跨越性)是进场

和出场

判断为无效计数的最终行为是第一类停留

第二类停留

第三类停留

第一类徘徊

和第二类徘徊

由于检测过程的充分补偿了对象的状态，则在对象完整的跟踪状态中几乎不会存在由忽闪现象和失踪现象造成的行为

和

行为形成是通过对跟踪状态集合中对象的局部向量所在的首帧图像的状态作为当前状态，依次判断该对象的所有局部区域，存在局部区域属于与当前状态所对应的状态区或缓冲区不同时，附加新的状态值至该对象的行为，比如至对象当前状态时，所构成的当前行为是

如果判断局部向量和状态识别区，还存在状态值为－1，则利用状态机转换形成最终行为

并记出场一次；如图1中，对象O2具有跨越特性、行为是进场

并且记为有效计数，对象O1无跨越特性、行为是第一类停留

且计数无效，对象O3具有跨越特性、行为是第三类停留

且计数无效，对象O4和对象O5没有跨越特性、行为是第三类停留

且计数无效，则存在进场IN计数值X加1，出场OUT计数值Y暂时不变，X、Y为大于等于0的整数。

实施例3

基于实施例1和2，如图1和图6，本发明实施例提供利用对象跟踪方法进行对象计数的系统，该系统包括：一个或多个服务端；还包括：一个或多个检测端；服务端和检测端通过互联网(Internet)进行加密数据交互；

图6内购物间实景图来源于本发明搭建后的人流计数系统；检测端用于形成跟踪状态集合数据，检测端具有用于图像捕捉的电荷耦合器件和处理器，处理器可以与电荷耦合器件处于同一设备内，例如智能检测摄像头(具有一定计算能力)，处理器也可以处于独立的检测端服务器内，电荷耦合器件处于摄像头内，摄像头将图像数据传输至检测端服务器；每个检测端还可以与显示设备交互，该显示设备可以是属于用户终端，用户终端通过网页服务或应用程序获得智能检测摄像头和/或检测端服务器的图像数据；服务端用于接收由检测端发送的所述跟踪状态集合数据，服务端可以是一个或多个服务器(Server)；每个检测端可以应用于一个场景的人流检测和跟踪，每个服务端可以接收一个或多个检测端的跟踪状态集合数据；在完成人流统计后，服务端可以推送关于当前时间阶段内人流计数结果的消息至对应场景(可以通过检测端关联场景)的用户终端(UE)，或更新用户终端的显示设备上人流计数结果；本发明实现了高准召率的检测和跟踪并基于高准召率的检测和跟踪实现了高精度人和高鲁棒性流计数系统。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

Claims (19)

1.一种对象跟踪方法，其特征在于，该方法包括：

S1)对具有帧序的图像集合按所述帧序进行关于对象的检测，在所述图像集合中检测到具有第一对象集的第一图像时，在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量，其中，所述第一图像的帧序小于所述第二图像的帧序，所述第一对象集至少存在一个对象；

S2)根据所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，获得所述第一对象集内对象的跟踪状态集合；

其中，步骤S2)包括：

S201)按所述帧序选取部分帧图像，对所述部分帧图像的帧序取倒序并重新排列所述部分帧图像，获得逆向图像集，再对所述逆向图像集进行关于对象的检测，获得具有补偿局部向量的、每个补偿局部向量序号与所述逆向图像集中图像帧序对应的补偿局部向量集合；

S202)根据所述补偿局部向量集合、所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，确定符合所述预设跟踪阈值条件的跟踪值并形成跟踪值优化集合；

S203)若在所述补偿局部向量集合中补偿局部向量与所述第一局部向量或所述第二局部向量符合预设逆向补偿条件时，则增加所述补偿局部向量所对应的对象至所述第一对象集，根据所述跟踪值优化集合和所述第一对象集获得所述第一对象集内对象的跟踪状态集合。

2.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S1)在对具有帧序的图像集合按所述帧序进行关于对象的检测之后，且于在所述图像集合中检测到具有第一对象集的第一图像时之前，还包括：

检测存在N₁帧图像，其中，所述N₁帧图像共被检测到M个对象且所述M个对象中至少存在一个对象在所述N₁帧图像中N₂帧图像内均被检测到，N₁、N₂和M为正整数、N₂小于等于N₁且N₁和N₂均小于等于所述图像集合的总帧数。

3.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S1)中在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，包括：

S101)获取所述第一图像的第一特征分布图，并根据所述第一特征分布图和所述第一图像确定所述第一对象集内每个对象相对所述第一图像的位置，并在所述第一图像内获得与所述第一对象集内每个对象相对所述第一图像的位置对应的检测标识框集合；

S102)将所述检测标识框集合的所有检测标识框内所确定的向量作为第一局部向量。

4.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S1)中在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量，包括：

S101)获取所述第一图像的第二特征分布图，并根据所述第二特征分布图确定所述第一对象集内每个对象相对所述第一图像的位置，并在所述第一图像内获得与所述第一对象集内每个对象相对所述第一图像的位置对应的标识蒙版区；

S102)将所述标识蒙版区所覆盖的向量作为第一局部向量。

5.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S1)于在所述第一图像内获得与所述第一对象集相对所述第一图像的位置对应的第一局部向量之后，且于再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量之前，还包括：

设置所述图像集合中每帧图像的判别区，在所述第一局部向量与所述判别区存在重叠时，按所述帧序在所述第一图像之后选取N₃帧图像，标记第N₃帧图像为当前起始帧、标记所述第一图像为当前终止帧并将所述当前起始帧至所述当前终止帧范围内的图像按所述帧序减小方式形成具有所述当前起始帧至所述当前终止帧的帧序的第一逆向图像集合，对所述第一逆向图像集合按从所述当前起始帧至所述当前终止帧的帧序进行关于对象的检测，获得每个补偿局部向量序号与所述第一逆向图像集合中图像帧序对应的第一补偿局部向量集合，其中，N₃为正整数且N₃大于等于所述第一图像的帧序和所述图像集合的第一帧图像的帧序的差的绝对值。

6.根据权利要求5所述的对象跟踪方法，其特征在于，步骤S1)中再在所述图像集合中具有第二对象集的第二图像内获得与所述第二对象集相对所述第二图像的位置对应的第二局部向量，其中，所述第N₃帧图像在所述图像集合中的帧序小于等于所述第二图像在所述图像集合中的帧序。

7.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S1)还包括：

若所述第二图像的帧序与所述第一图像的帧序的差的绝对值大于1，在所述第一图像至所述第二图像的帧序范围内选取N₄帧图像，对所述N₄帧图像按所述帧序进行循环操作，获得具有局部向量的、每个局部向量序号与所述N₄帧图像中图像帧序对应的局部向量集合，其中，每个循环操作包括在所述N₄帧图像中具有第i对象集的第i图像内获得与所述第i对象集相对所述第i图像的位置对应的第i局部向量，i为正整数且大于等于3，N₄为正整数且小于等于所述第二图像的帧序与所述第一图像的帧序的差的绝对值。

8.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S1)还包括：

若所述第二图像的帧序与所述第一图像的帧序的差的绝对值等于1，在所述图像集合内于所述第二图像之后选取N₅帧图像，对所述N₅帧图像按所述帧序进行循环操作，获得具有局部向量的、每个局部向量序号与所述N₅帧图像中图像帧序对应的局部向量集合，其中，每个循环操作包括在所述N₅帧图像中具有第i对象集的第i图像内获得与所述第i对象集相对所述第i图像的位置对应的第i局部向量，i为正整数且大于等于3，N₅为正整数且小于等于所述图像集合的总帧数。

9.根据权利要求7或8所述的对象跟踪方法，其特征在于，步骤S1)中所述每个循环操作还包括：

设置所述第i图像的判别区，在所述第i局部向量与所述第i图像的判别区存在重叠时，按所述帧序在所述第i图像之前选取N_i+2帧图像，标记第i图像为当前起始帧、标记所述第N_i+2帧图像为当前终止帧并将所述当前起始帧至所述当前终止帧范围内的图像按所述帧序减小方式形成具有所述当前起始帧至所述当前终止帧的帧序的第i逆向图像集合，对所述第i逆向图像集合按从所述当前起始帧至所述当前终止帧的帧序进行关于对象的检测，获得具有补偿局部向量的、每个补偿局部向量序号与所述第i逆向图像集合中图像帧序对应的补偿局部向量集合，其中，N_i+2为正整数且N_i+2小于等于所述第i图像在所述图像集合中的帧序和所述图像集合的第一帧图像的帧序的差的绝对值。

10.根据权利要求9所述的对象跟踪方法，其特征在于，步骤S1)中所述每个循环操作还包括：

在所述第i逆向图像集合中具有第j对象补偿集的第j补偿图像内获得与所述第j对象补偿集相对所述第j补偿图像的位置对应的第j补偿局部向量，其中，j为正整数且j小于等于所述第i逆向图像集合的总帧数。

11.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S2)中根据所述第一局部向量和所述第二局部向量结合预设跟踪映射关系获得跟踪值集合，包括：

A1)定义函数关系，其中，所述函数关系为第K局部向量和第L局部向量的交集比所述第K局部向量和所述第L局部向量的并集，K、L为正整数；

A2)将所述第K局部向量更新为所述第一局部向量、所述第L局部向量更新为所述第二局部向量并将所述函数关系作为预设跟踪映射关系，计算获得跟踪值集合。

12.根据权利要求1所述的对象跟踪方法，其特征在于，步骤S203)中预设逆向补偿条件包括：

在所述补偿局部向量集合中存在与预设图像区重叠的补偿局部向量、所述第一局部向量或所述第二局部向量与所述预设图像区重叠且与所述预设图像区重叠的补偿局部向量所对应的跟踪值属于所述跟踪值优化集合；还包括：

与所述第一局部向量或所述第二局部向量对应的跟踪值和与所述预设图像区重叠的补偿局部向量所对应的且属于所述跟踪值优化集合的跟踪值的差处于预设逆向阈值范围。

13.根据权利要求8所述的对象跟踪方法，其特征在于，步骤S2)中在根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系之后，且在获得所述第一对象集内对象的跟踪状态集合之前，还包括：

将所述局部向量集合和/或所述补偿局部向量集合所对应的对象选择地增加至所述第一对象集。

14.根据权利要求1所述的对象跟踪方法，其特征在于，还包括：

S3)当在所述第一对象集内存在至少一个对象的跟踪状态为失踪时，在所述图像集合中具有第三对象集的第三图像内获得与所述第三对象集相对所述第三图像的位置对应的第三局部向量，其中，所述第二图像的帧序小于所述第三图像的帧序，所述第三对象集至少存在一个对象；

S4)根据所述第三局部向量结合预设跟踪映射关系更新所述跟踪值集合，再根据所述跟踪值集合内每个跟踪值与预设跟踪阈值条件的关系，更新所述第一对象集内对象的跟踪状态集合。

15.一种利用对象跟踪方法进行对象计数的方法，其中所述对象跟踪方法权利要求1至14中任意一项所述的对象跟踪方法，其特征在于，该方法包括：

B1)获取跟踪状态集合，其中，所述跟踪状态集合具有至少一个对象的跟踪状态、具有与所述跟踪状态对应的帧序图像集合和具有在所述帧序图像集合内每帧图像中分别与每个对象对应的局部向量；

B2)选取所述帧序图像集合中每帧图像的部分图像区域作为状态识别区，将所述跟踪状态集合中每个对象对应的所有局部向量按所述帧序图像集合的帧序依次相对所述状态识别区比较每个局部向量的位置，获得具有次序的对象位置信息集合；

B3)根据所述对象位置信息集合，获得每个对象的计数结果。

16.根据权利要求15所述的利用对象跟踪方法进行对象计数的方法，其特征在于，步骤B2)中状态识别区包括：状态区和缓冲区；

步骤B3)包括：

若所述对象位置信息集合符合计数条件，其中，所述计数条件为相对同一对象的位置信息依次存在于所述状态区和所述缓冲区、或者依次存在于所述缓冲区和所述状态区，则对具有符合所述计数条件的位置信息的对象进行计数；

若所述对象位置信息集合符合舍弃条件，其中，所述舍弃条件为相对同一对象的位置信息仅存在于所述状态区或所述缓冲区，则对具有符合所述舍弃条件的位置信息的对象进行舍弃。

17.一种利用对象跟踪方法进行对象计数的系统，其特征在于，该系统包括：

服务端，用于执行权利要求15或16所述的利用对象跟踪方法进行对象计数的方法且接收具有权利要求1至14中任意一项所述的对象跟踪方法执行功能的检测端发送的跟踪状态集合数据。

18.一种用于对象计数的设备，其特征在于，包括：

至少一个处理器；

存储器，与所述至少一个处理器连接；

其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现权利要求1至16中任意一项权利要求所述的方法。

19.一种计算机可读存储介质，存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行权利要求1至16中任意一项权利要求所述的方法。

Images