CN113096155A

CN113096155A - 一种社区多特征融合的目标跟踪方法及装置

Info

Publication number: CN113096155A
Application number: CN202110428626.2A
Authority: CN
Inventors: 赵考鹏; 谢宇
Original assignee: Qingdao Hisense Smart Life Technology Co Ltd
Current assignee: Henan Hisense Intelligent Technology Co.,Ltd.; Qingdao Hisense Smart Life Technology Co Ltd
Priority date: 2021-04-21
Filing date: 2021-04-21
Publication date: 2021-07-09
Anticipated expiration: 2041-04-21
Also published as: CN113096155B

Abstract

本发明公开了一种社区多特征融合的目标跟踪方法及装置，该方法包括获取摄像头采集的视频流，对所述视频流进行目标检测，并在检测到目标时，确定出目标的跟踪ID和加权特征，依据目标的跟踪ID和加权特征对目标进行跟踪，得到跟踪的预测框，并确定出检测到目标时的检测框，依据跟踪的预测框和检测框，确定对目标的跟踪情况。通过目标的加权特征对目标进行跟踪，相比现有技术的单一特征跟踪，可以提高识别成功率，而通过检测框和跟踪的预测框相结合来确定目标的跟踪情况，能够提高目标跟踪的准确率。

Description

一种社区多特征融合的目标跟踪方法及装置

技术领域

本发明涉及目标跟踪技术领域，尤其涉及一种社区多特征融合的目标跟踪方法及装置。

背景技术

随着社会科技的发展，人工智能技术在社区监控安防项目被广泛应用。公共安全秩序应对影响社区项目区域内公共安全秩序的各种行为、设施设备安全隐患、作业人员作业行为等进行合理管控，确保社区项目区域内公共安全秩序正常有序。社区内行人跟踪可以有效对外卖人员、快递人员、外来访客等进行有效、规范化管理，解决社区矛盾、建立和谐社区。

传统目标跟踪是指取视频图像第一帧，在第一帧中找到需要跟踪的目标，然后将其用矩形框标注，基本上是通过目标检测得到的结果，接着利用目标跟踪算法在后面的视频帧中继续标注这个目标框。目标跟踪方法主要有模板匹配方法、TLD(Tracking-Learning-Detection，跟踪-学习-检测)方法和光流法等，但这些算法对复杂环境适应性差，跟踪过程中造成较大的偏差，很难在真实环境中应用。

社区内树木、花草较多，且摄像头分布并不密集，当上下班时间很容易出现行人与行人之间遮挡、树木与行人之间遮挡、行人在监控盲区跟丢等状况，现有的算法进行行人跟踪，将已出现的目标特征向量提取后与系统中已存储的特征向量进行对比，得到的跟踪结果可能会为空或者输出错误。

发明内容

本发明实施例提供一种社区多特征融合的目标跟踪方法及装置，用以提高社区中目标跟踪的准确率。

第一方面，本发明实施例提供一种社区多特征融合的目标跟踪方法，包括：

获取摄像头采集的视频流；

对所述视频流进行目标检测，并在检测到目标时，确定出所述目标的跟踪ID和加权特征；

依据所述目标的跟踪ID和加权特征对所述目标进行跟踪，得到跟踪的预测框；并确定出检测到所述目标时的检测框；

依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况。

上述技术方案中，通过目标的加权特征对目标进行跟踪，相比现有技术的单一特征跟踪，可以提高识别成功率，而通过检测框和跟踪的预测框相结合来确定目标的跟踪情况，能够提高目标跟踪的准确率。

可选的，所述对所述视频流进行目标检测，包括：

使用目标检测算法间隔预设数量的视频帧对所述视频流进行目标检测。

可选的，所述依据所述目标的跟踪ID和加权特征对所述目标进行跟踪，包括：

在检测到所述目标之后的所述视频流的任一帧中跟踪到的行人时，提取跟踪到的行人的多个特征，并依据预设权重对所述多个特征进行加权，得到所述行人的加权特征；

确定所述目标的加权特征与所述行人的加权特征是否一致，若一致，则确定所述行人与所述目标为同一人，将所述行人标记为所述目标，并配置所述目标的跟踪ID。

可选的，所述确定出所述目标的跟踪ID和加权特征，包括：

创建所述目标的跟踪ID；

提取所述目标的多个特征，依据所述多个特征的预设权重对所述多个特征进行加权计算，得到所述目标的加权特征；

建立所述目标的跟踪ID和加权特征的关联关系。

可选的，所述依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况，包括：

确定所述跟踪的预测框和所述检测框的交并比，若所述交并比大于预设阈值，则确定跟踪成功，否则确定跟踪失败。

可选的，在依据所述目标的跟踪ID和加权特征对所述目标进行跟踪之后，还包括：

若所述视频帧中任一帧未得到所述目标的检测框，则依据所述目标的跟踪框对所述目标的检测框进行修正；

若所述视频帧中任一帧未得到所述目标的跟踪框，则依据所述目标的检测框对所述目标的跟踪框进行修正。

可选的，在依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况之后，还包括：

将跟踪到的目标在不同摄像头下停留的时间存入数据库，并在确定所述跟踪到的目标在一个位置停留超过预设时间后，发出告警信息。

第二方面，本发明实施例提供一种社区多特征融合的目标跟踪装置，包括：

获取单元，用于获取摄像头采集的视频流；

处理单元，用于对所述视频流进行目标检测，并在检测到目标时，确定出所述目标的跟踪ID和加权特征；依据所述目标的跟踪ID和加权特征对所述目标进行跟踪，得到跟踪的预测框；并确定出检测到所述目标时的检测框；依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况。

可选的，所述处理单元具体用于：

创建所述目标的跟踪ID；

建立所述目标的跟踪ID和加权特征的关联关系。

可选的，所述处理单元具体用于：

可选的，所述处理单元还用于：

在依据所述目标的跟踪ID和加权特征对所述目标进行跟踪之后，若所述视频帧中任一帧未得到所述目标的检测框，则依据所述目标的跟踪框对所述目标的检测框进行修正；

可选的，所述处理单元还用于：

在依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况之后，将跟踪到的目标在不同摄像头下停留的时间存入数据库，并在确定所述跟踪到的目标在一个位置停留超过预设时间后，发出告警信息。

第三方面，本发明实施例还提供一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述社区多特征融合的目标跟踪方法。

第四方面，本发明实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述社区多特征融合的目标跟踪方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统架构的示意图；

图2为本发明实施例提供的一种社区多特征融合的目标跟踪方法的流程示意图；

图3为本发明实施例提供的一种跟踪框效果的示意图；

图4为本发明实施例提供的一种交并比的示意图；

图5为本发明实施例提供的一种社区多特征融合的目标跟踪方法的流程示意图；

图6为本发明实施例提供的一种停留时间存储的示意图；

图7为本发明实施例提供的一种社区多特征融合的目标跟踪装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种系统架构。如图1所示，该系统架构可以为服务器100，该服务器100可以包括处理器110、通信接口120和存储器130。

其中，通信接口120用于与其它终端设备进行通信，收发该其它终端设备传输的信息，实现通信。

处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。

存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。

基于上述描述，图2详细的示出了本发明实施例提供的一种社区多特征融合的目标跟踪方法的流程，该流程可以由社区多特征融合的目标跟踪装置执行。

如图2所示，该流程具体包括：

步骤201，获取摄像头采集的视频流。

在本发明实施例中，视频流是由视频帧组成，可以获取摄像头采集的由多个视频帧组成的视频流。

步骤202，对所述视频流进行目标检测，并在检测到目标时，确定出所述目标的跟踪ID和加权特征。

具体的，使用目标检测算法间隔预设数量的视频帧对视频流进行目标检测。然后创建目标的跟踪ID，提取目标的多个特征，依据多个特征的预设权重对多个特征进行加权计算，得到目标的加权特征。最后建立目标的跟踪ID和加权特征的关联关系。该预设权重可以依据经验设置，例如可以间隔N帧检测一次。

上述多个特征可以包括但不限于人脸特征、ReID(Person Re-identification,，行人重识别)特征和外部特征。该外部特征包括但不限于目标的衣服颜色、身高、头部是否戴头盔等。本发明实施例中的目标可以是社区中的行人。

行人跟踪是在行人检测的基础上再进行跟踪。在检测过程中，首先用检测算法将视频帧中的行人标记出来，然后对行人同时进行三个特征的提取：(1)利用人脸检测网络检测人脸，把人脸通过深度神经网络生成一个512维的向量。此特征所占权重为w1。(2)利用ReID技术学习能够应对在不同摄像头下行人变化的特征，将学习到的特征映射到新的空间，从而使得相同的人更近不同的人更远。此特征所占权重为w2。(3)利用外部特征(衣服颜色、身高、头部是否戴头盔)，将行人上衣和下衣按照比例分割，然后识别出上衣颜色和下衣颜色，帧差算法判断身高，检测算法判断头部受否有头盔。此特征所占权重为w3。w1+w2+w3＝1。该w1+w2+w3为预设权重，可以依据经验设置。

需要说明的是，若只采用人脸特征，由于社区摄像头悬挂高度一般为3米，而人脸识别最小像素值为60*60，当行人刚开始出现在摄像头所能拍摄到的最远端，人脸像素值小，包含的有效信息就很少，在卷积神经网络的下采样中，人脸过小很多信息将会丢失，即训练出来的模型缺乏足够的细节信息去区分他们和背景部分。所以识别人脸很难达到较高的准确率。

若只采用ReID技术去提取行人特征部分，它和传统的图像分类一样，利用人物的ID去训练一个分类器，测试的时候把全连接层拿掉，利用欧式距离进行相似度计算。但在社区实验中，行人穿着、背景以及光照的差异，这些差异很大程度上影响了模型的泛化能力。比如两个人同时在一个摄像头下行走，或者一个人在摄像头下行走，但身体的一部分被树叶遮挡，这样ReID会提取本不属于该人的特征，到另一个摄像头下就会造成误判。

若只采用外部特征(衣服颜色、身高、头部是否戴头盔)，则会出现如下问题：1、同一个人可能会穿同一颜色的衣服，而是不同角度拍摄到的视频帧由于光照原因颜色会发生变化，这样就很大概率将同一种颜色识别成两种。2、利用身高可分辨成人和儿童，但成人与成人之间、儿童与儿童之间却很难分辨。3、对于特殊人群(外卖人员)会戴有头盔，但对于其它快递、访客等却没有效果。

因此，本发明实施例采用了人脸特征、ReID特征、外部特征进行加权的方案，形成多特征融合，这样就不会出现由于单一特征误识别率高的问题。

步骤203，依据所述目标的跟踪ID和加权特征对所述目标进行跟踪，得到跟踪的预测框；并确定出检测到所述目标时的检测框。

具体的，首先在检测到目标之后的视频流的任一帧中跟踪到的行人时，提取跟踪到的行人的多个特征，并依据预设权重对多个特征进行加权，得到行人的加权特征。然后确定目标的加权特征与行人的加权特征是否一致，若一致，则确定行人与目标为同一人，将行人标记为目标，并配置目标的跟踪ID。在跟踪过程中，会出现跟踪框，该跟踪框的效果可以如图3所示。

在实际使用过程中，当行人刚开始进入摄像头下，根据提取的特征对比赋予该行人每N帧一个标签，将标签存入列表中，直至该行人离开摄像头，最后计算列表中各标签出现的次数，出现次数最多的判定为该行人的标签。该标签为了标识不同行人，也就是为行人打标记。比如，当行人走进摄像头下，将启动跟踪算法和检测算法，因为视频流由多帧组成，所以不同帧之间跟踪算法赋予行人的标签为[1,2,3......]，检测算法赋予的标签可能为[陌生人1，陌生人1，陌生人2......]，由于外界环境的影响，不能保证每一帧都检测正确。在跟踪过程中，可能会将标签1识别成标签2，在检测算法中，可能将陌生人1识别成陌生人2。当该行人离开摄像头时，标签1或者陌生人1出现次数为50次，标签2或者陌生人2出现次数为10次，则赋予该行人的跟踪标签为1，检测标签为陌生人1，这样就增大了在跟踪行人的过程中跟踪标签的准确率。

步骤204，依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况。

确定跟踪的预测框和检测框的交并比，若交并比大于预设阈值，则确定跟踪成功，否则确定跟踪失败。该交并比是指预测框和检测框交集与预测框和检测框的并集的比值，如图4所示，预测框和检测框相交的面积与预测框和检测框相并的面积的比值。该预设阈值可以依据经验设置。

具体的，当行人出现在摄像头下后，将得到跟踪框和检测框，将其进行数据融合，可以找到最优的估计值。当需要知道f帧时刻其中一个行人准确的标记框时，记为bbox₀。而f帧之前行人的标记框是已知的，现在分为两个步骤进行得到f帧的标记框bbox₀：首先通过跟踪算法得出跟踪框bbox_p；通过检测算法得到检测框bbox_m，计算跟踪框bbox_p和检测框bbox_m之间的交集与并集的比值(如图4所示的交并比)，当比值小于预设阈值，则跟踪失败，比值大于该预设阈值，则跟踪成功，可以得到当前状态的最优估计值bbox₀进行状态更新。

当对目标进行跟踪之后，若视频帧中任一帧未得到目标的检测框，则依据目标的跟踪框对目标的检测框进行修正。若视频帧中任一帧未得到目标的跟踪框，则依据目标的检测框对目标的跟踪框进行修正。

在实际使用过程中，跟踪算法占用资源小，运行速度快。但行人检测需要占用GPU资源，相对于跟踪算法来说，占用资源多，运行速度相对较慢。因为在整个检测跟踪的过程中，拉取的是一个视频流，所以为多帧图像，即同一行人在摄像头下会连续多帧出现，运行中将检测过程调节为每N帧识别一次，跟踪过程按正常的跟踪速度运行。当多个行人出现在摄像头下时跟踪过程会自动给不同行人打上不同标签，比如[1，2，3，......]，而检测过程检测到后也会给行人打上标签，比如[陌生人1，陌生人2，陌生人3，......]，这样就形成了对应关系，即[1:陌生人1；2：陌生人2；3：陌生人3；......]。此外，在跟踪过程中，还会出现两种情况：①如果跟丢，没有得到跟踪标签1，2，3......或者标签错误，将跟踪标签1变成标签2。②检测失败，没有得到检测标签陌生人1，陌生人2，陌生人3......或者检测标签错误，将陌生人1变成陌生人2。针对以上两种情况，本发明实施例将检测算法与跟踪算法互相补偿，即如果在某一帧出现标签错误，实际上跟踪标签1对应的识别标签为陌生人1，但显示的情况为跟踪标签2对应的识别标签1，按照对应关系，重新纠正跟踪标签，将标签2变成标签1。

在确定对目标的跟踪情况之后，可以将跟踪到的目标在不同摄像头下停留的时间存入数据库，并在确定跟踪到的目标在一个位置停留超过预设时间后，发出告警信息。

当有人出现在摄像头下时，数据库中将会存入该行人进入摄像头的时间、离开摄像头的时间，以及在该摄像头下的停留时间。按照跟踪标签将数据往数据库中写入，当出现第一个行人时，将他写入数据库，当该行人一直在摄像头下时只更新结束时间和停留时间两个字段。只有当再出现新的行人的时候才会往数据库中添加新的行。这样会出现一种特殊情况，即该行人离开摄像头后过段时间又出现在同一摄像头下。这里设置一个时间长度(M分钟)，当行人离开摄像头时间小于M分钟后再次进入同一摄像头则属于同一跟踪标签，只更新结束时间和停留时间。当大于M分钟后再次进入，则属于二次进入，重新在数据库中写入行。

此外数据可以存储在数据库中提供查询，当有人在摄像头下停留时间过长的话，系统将自动向物业人员发出警报，以供物业人员查看视频中的情况，这样就提高了物业的服务水平，降低了服务成本。

为了更好的解释本发明实施例，下面将在具体的实施场景下来描述上述跟踪的过程。

如图5所示，具体包括：

步骤501，拉流，获取视频流。

拉取实时视频流。

步骤502，利用检测算法检测视频帧。

在使用检测算法之前，还需要标柱数据集，训练检测算法模型，训练成功后，利用检测算法模型对视频帧检测，为提高速度，在检测阶段可以间隔N帧检测一次，得到行人的检测框。

步骤503，提取人脸、ReID、衣服颜色特征。

提取检测算法检测到的行人的人脸特征、ReID特征和衣服颜色特征，并将特征按照w1，w2，w3的权重加权，得到加权特征，w1+w2+w3＝1。

步骤504，创建轨迹，并分配trackID(跟踪ID)。

根据提取的加权特征创建轨迹并分配trackID。

步骤505，计算预测框和检测框之间的IOU(Intersection over Union，交并比)。

利用跟踪算法得到预测框，计算预测框和检测框之间的交并比。

步骤506，利用特征匹配为每个预测对象分配正确的trackID。

依据加权特征，使用匹配算法进行特征匹配，为每个预测的目标分配正确的trackID。

步骤507，没有匹配到检测框或没有匹配到跟踪框重新迭代。

对没有匹配到检测框或没有匹配到跟踪框的目标重新迭代。

步骤508，更新状态。

此外，可以将跟踪的陌生人在不同摄像头下停留时间存入数据库，如图6所示。该数据可以提供查询，当陌生人在某个位置停留时间超过一定范围，也会向物业发出警报，以供物业查询。

在本发明实施例中，获取摄像头采集的视频流，对视频流进行目标检测，并在检测到目标时，确定出目标的跟踪ID和加权特征，依据目标的跟踪ID和加权特征对目标进行跟踪，得到跟踪的预测框，并确定出检测到目标时的检测框，依据跟踪的预测框和检测框，确定对目标的跟踪情况。通过目标的加权特征对目标进行跟踪，相比现有技术的单一特征跟踪，可以提高识别成功率，而通过检测框和跟踪的预测框相结合来确定目标的跟踪情况，能够提高目标跟踪的准确率。

基于相同的技术构思，图7示例性的示出了本发明实施例提供的一种社区多特征融合的目标跟踪装置的结构，该装置可以执行社区多特征融合的目标跟踪流程。

如图7所示，该装置具体包括：

获取单元701，用于获取摄像头采集的视频流；

处理单元702，用于对所述视频流进行目标检测，并在检测到目标时，确定出所述目标的跟踪ID和加权特征；依据所述目标的跟踪ID和加权特征对所述目标进行跟踪，得到跟踪的预测框；并确定出检测到所述目标时的检测框；依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况。

可选的，所述处理单元702具体用于：

创建所述目标的跟踪ID；

建立所述目标的跟踪ID和加权特征的关联关系。

可选的，所述处理单元702具体用于：

可选的，所述处理单元702还用于：

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用存储器中存储的程序指令，按照获得的程序执行上述社区多特征融合的目标跟踪方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行计算机可读指令时，使得计算机执行上述社区多特征融合的目标跟踪方法。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种社区多特征融合的目标跟踪方法，其特征在于，包括：

获取摄像头采集的视频流；

2.如权利要求1所述的方法，其特征在于，所述对所述视频流进行目标检测，包括：

3.如权利要求1所述的方法，其特征在于，所述依据所述目标的跟踪ID和加权特征对所述目标进行跟踪，包括：

4.如权利要求1所述的方法，其特征在于，所述确定出所述目标的跟踪ID和加权特征，包括：

创建所述目标的跟踪ID；

建立所述目标的跟踪ID和加权特征的关联关系。

5.如权利要求1所述的方法，其特征在于，所述依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况，包括：

6.如权利要求5所述的方法，其特征在于，在依据所述目标的跟踪ID和加权特征对所述目标进行跟踪之后，还包括：

7.如权利要求1至6任一项所述的方法，其特征在于，在依据所述跟踪的预测框和所述检测框，确定对所述目标的跟踪情况之后，还包括：

8.一种社区多特征融合的目标跟踪装置，其特征在于，包括：

获取单元，用于获取摄像头采集的视频流；

9.一种计算设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1至7任一项所述的方法。

10.一种计算机可读非易失性存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1至7任一项所述的方法。