CN110197163B - 一种基于行人搜索的目标追踪样本扩充方法 - Google Patents

一种基于行人搜索的目标追踪样本扩充方法 Download PDF

Info

Publication number
CN110197163B
CN110197163B CN201910480615.1A CN201910480615A CN110197163B CN 110197163 B CN110197163 B CN 110197163B CN 201910480615 A CN201910480615 A CN 201910480615A CN 110197163 B CN110197163 B CN 110197163B
Authority
CN
China
Prior art keywords
target tracking
network
target
action
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910480615.1A
Other languages
English (en)
Other versions
CN110197163A (zh
Inventor
周勇
马丁
赵佳琦
夏士雄
姚睿
杜文亮
陈莹
朱东郡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201910480615.1A priority Critical patent/CN110197163B/zh
Publication of CN110197163A publication Critical patent/CN110197163A/zh
Application granted granted Critical
Publication of CN110197163B publication Critical patent/CN110197163B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于行人搜索的目标追踪样本扩充方法，用行人搜索网络扩充目标追踪网络样本集，通过强化学习决策对目标追踪网络进行优化更新。本发明将行人搜索网络和目标追踪网络相结合，它们的方法上可以相互借鉴，技术上可以相互促进，基于本发明可以快速找到丢失的追踪目标并有效提高目标追踪效率。

Description

一种基于行人搜索的目标追踪样本扩充方法
技术领域
本发明涉及一种基于行人搜索的目标追踪样本扩充方法，用行人搜索算法扩充目标追踪样本数据集，通过强化学习决策对目标追踪网络进行优化更新，属于图像处理领域中的目标追踪技术。
背景技术
目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。在视频监控中，由于摄像头的分辨率、拍摄角度等参数变化较大，难以实现高质量人脸图片的稳定获取，使得基于人脸识别技术的目标追踪稳定性较差。相对而言，行人搜索(Person Search)技术可以为视频监控提供鲁棒性更强的目标追踪解决方案。
传统的行人搜索技术分为目标检测和行人重识别两个部分，目标检测的目的是从图片中搜索到感兴趣的目标，并对其进行准确定位，由于目标在不同的角度和距离拍摄下，其形状、姿态和相对大小都有变化，再加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题之一。行人重识别是在图像或视频库中判断特定行人是否存在的一种计算机视觉技术，是在目标检测的基础上对行人的身份进行确认。目前，特征学习、度量学习和生成式对抗网络模型被广泛应用到行人重识别领域。行人搜索技术主要利用了图像的空间结构信息，对视频序列的帧间信息利用率不高。而视频目标追踪技术主要利用视频的帧间信息，对感兴趣的目标进行高效的定位，然而，由于目标的形变、突然运动和环境变化等原因，对目标追踪的性能造成了很大的影响。
国内外学者在目标检测、行人重识别和目标追踪三个方面进行了系统深入的研究，并提出了很多方法。然而，在实际应用场景中，为了增加有效地监控范围，摄像头会被安放在较高位置，导致行人目标在整个监控画面中尺寸较小，同时易受到树木、建筑物等异物地遮挡。在一些人流量大，行人密集地区域，多个行人目标之间也容易产生重叠和遮挡。受监控画面清晰度不高、光照、拍摄角度不同以及行人衣着相似等因素地影响，不同身份的行人也可能具有相似的特征。目标追踪主要处理单摄像头数据，行人搜索可以处理多摄像头的视频数据，更加适应于实际应用场景。目标追踪方法可以为行人搜索提供技术的辅助和方法的借鉴。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种基于行人搜索的目标追踪样本扩充方法，利用行人搜索的再识别特性，使用强化学习对目标追踪网络进行更新，运算速度较快，且能够提高目标追踪精度以及时效性。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于行人搜索的目标追踪样本扩充方法，包括如下步骤：
(1)输入视频流数据；
(2)使用行人搜索网络进行样本扩充，包括如下步骤：
(21)将视频流中，目标追踪网络的追踪目标同时设定为行人搜索网络的搜索目标；
(22)当目标追踪网络的目标追踪正确率低于90％时，每隔n帧对行人搜索网络的搜索目标进行采样(由于相邻帧中的目标相似度极高，同时为了减少数据采集量，提高系统运行速度，对n进行合理选择)；
(23)将采样结果按时间顺序保存至扩充样本集C＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧；
(3)运行目标追踪网络：
情况①：若目标追踪网络的目标追踪正确率低于90％，根据强化学习策略，将扩充样本集扩充至目标追踪网络样本集中，优化当前的目标追踪网络；
情况②：若目标追踪网络的目标追踪正确率高于或等于90％，维持当前的目标追踪网络。
本发明根据目标追踪网络的目标追踪正确率，判断是否需要调整目标追踪网络样本集，再使用强化学习策略对目标追踪网络进行优化。
目标追踪网络是在给定某视频序列初始帧的目标大小与位置的情况下，预测后续帧中该目标的大小与位置。通常目标追踪面临几大难点：外观变形、光照变化、快速运动和运动模糊、背景相似干扰等，这些难点会导致跟踪目标丢失。针对目标丢失这一问题，本发明通过引入行人搜索网络，根据行人搜索网络的性质，即在给定行人身份的情况下，从单个或多个摄像头拍摄的视频流中找到该行人运动轨迹的计算机视觉技术。
具体的，所述步骤(3)中，强化学习策略具体为：
(41)初始化：目标追踪网络样本集为U，动作集A＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至U中，即U＝{U,ct,ct-1,ct-2,…,ct-im+1}，动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；
(42)跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)，即持续跟踪目标追踪网络的目标追踪正确率，直至发现低于90％；
(43)执行max{rai}对应的动作ai，即执行奖赏值最高的动作，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；
(44)i＝i+1，执行动作ai，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；
(45)进入该步骤，则说明执行动作ai后，改善了目标追踪网络的目标追踪正确率，并且达到了90％的设定阈值，给予动作ai一个奖赏，rai＝rai+1，返回步骤(42)。
根据强化学习策略的整个过程可以看出，强化学习策略是通过选择奖赏值最高的动作来优化目标追踪网络的方法，使目标追踪网络能够维持一个较高的目标追踪正确率。
具体的，所述步骤(43)中，若存在两个以上max{rai}对应的动作ai，执行i最小的动作，且i≠0；对步骤(43)的限定，表示当多个动作的奖赏值相同时，我们优先采用的方法是增加较少的样本帧，这样可以尽可能地提高系统运行速度。
优选的，所述步骤(22)中，n≥30；由于相邻帧特征相近，若采集数据样本间隔太小，将不能保证样本特征的多样性；若采集数据样本间隔太大，可能会丢失目标。
优选的，所述步骤(41)中，m≥30；当发生目标追踪正确率下降问题，说明当前帧目标特征不明显，因此由当前帧向前扩充至少30帧样本进入目标追踪网络样本集，30帧之内特征相似度较高，可以较好地补充正确率下降帧的特征，以此提高目标追踪正确率。
有益效果：本发明提供的基于行人搜索的目标追踪样本扩充方法，相对于现有技术，具有如下优势：
(1)本发明针对大规模的视频数据，采用行人搜索技术为目标追踪方法自动生成有标签的数据集，由于行人搜索的特性，可以快速找到丢失的追踪目标，并利用强化学习技术进行数据的筛选，实现目标追踪方法性能的提升。
(2)本发明将行人搜索网络和目标追踪网络相结合，它们的方法上可以相互借鉴，技术上可以相互促进。由于行人搜索网络的性质，在进行行人搜索的时候会持续收集目标样本，通过扩充样本集来提升目标追踪的效率，这样可以使得目标追踪网络与行人搜索网络相互促进，形成一个良性循环。
附图说明
图1为本发明的实施流程框图；
图2为实现本发明的逻辑框图。
具体实施方式
下面结合附图对本发明作更进一步的说明。
如图1所示为一种基于行人搜索的目标追踪样本扩充方法的实施流程框图，下面结合附图做具体说明。
步骤一、输入视频流数据
目前在人员密集的公共场所、政府部门、企事业单位、住宅小区、甚至许多居民的家中都装有监控摄像头，为维护社会治安、保障人民生命财产安全提供了可靠的视频监控资源。因此我们有着大量的原始视频数据，输入这些数据作为测试样本集。
步骤二、使用行人搜索网络进行样本扩充
(21)将视频流中，目标追踪网络的追踪目标同时设定为行人搜索网络的搜索目标；
(22)当目标追踪网络的目标追踪正确率低于90％时，每隔n帧对行人搜索网络的搜索目标进行采样(由于相邻帧中的目标相似度极高，同时为了减少数据采集量，提高系统运行速度，对n进行合理选择)；
(23)将采样结果按时间顺序保存至扩充样本集C＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧。
步骤三、运行目标追踪网络
情况①：若目标追踪网络的目标追踪正确率低于90％，根据强化学习策略，将扩充样本集扩充至目标追踪网络样本集中，优化当前的目标追踪网络；
情况②：若目标追踪网络的目标追踪正确率高于或等于90％，维持当前的目标追踪网络。
步骤四、强化学习策略
(41)初始化：目标追踪网络样本集为U，动作集A＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至U中，即U＝{U,ct,ct-1,ct-2,…,ct-im+1}，动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；
(42)跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)，即持续跟踪目标追踪网络的目标追踪正确率，直至发现低于90％；
(43)执行max{rai}对应的动作ai，即执行奖赏值最高的动作，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；
(44)i＝i+1，执行动作ai，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；
(45)进入该步骤，则说明执行动作ai后，改善了目标追踪网络的目标追踪正确率，并且达到了90％的设定阈值，给予动作ai一个奖赏，rai＝rai+1，返回步骤(42)。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于行人搜索的目标追踪样本扩充方法，其特征在于：包括如下步骤：
(1)输入视频流数据；
(2)使用行人搜索网络进行样本扩充，包括如下步骤：
(21)将视频流中目标追踪网络的追踪目标同时设定为行人搜索网络的搜索目标；
(22)当目标追踪网络的目标追踪正确率低于90％时，每隔n帧对行人搜索网络的搜索目标进行采样；
(23)将采样结果按时间顺序保存至扩充样本集C＝{ct,ct-1,ct-2,…}中，ct表示t时刻的样本帧；
(3)运行目标追踪网络：
情况①：若目标追踪网络的目标追踪正确率低于90％，根据强化学习策略，将扩充样本集扩充至目标追踪网络样本集中，优化当前的目标追踪网络；所述强化学习策略具体为：
(41)初始化：目标追踪网络样本集为U，动作集A＝{a0,a1,a2,a3,…}，动作ai表示将扩充样本集中最新的im个样本帧扩充至U中，即
Figure FDA0002801450090000011
动作ai的奖赏值为rai，{rai}＝0，m为正整数；进入步骤(42)；
(42)跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(43)；否则，进入步骤(42)，即持续跟踪目标追踪网络的目标追踪正确率，直至发现低于90％；
(43)执行max{rai}对应的动作ai，即执行奖赏值最高的动作，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；
(44)i＝i+1，执行动作ai，继续跟踪目标追踪网络的目标追踪正确率：若低于90％，则进入步骤(44)；否则，进入步骤(45)；
(45)进入该步骤，则说明执行动作ai后，改善了目标追踪网络的目标追踪正确率，并且达到了90％的设定阈值，给予动作ai一个奖赏，rai＝rai+1，返回步骤(42)；
情况②：若目标追踪网络的目标追踪正确率高于或等于90％，维持当前的目标追踪网络。
2.根据权利要求1所述的基于行人搜索的目标追踪样本扩充方法，其特征在于：所述步骤(43)中，若存在两个以上max{rai}对应的动作ai，执行i最小的动作，且i≠0。
3.根据权利要求1所述的基于行人搜索的目标追踪样本扩充方法，其特征在于：所述步骤(22)中，n≥30。
4.根据权利要求1所述的基于行人搜索的目标追踪样本扩充方法，其特征在于：所述步骤(41)中，m≥30。
CN201910480615.1A 2019-06-04 2019-06-04 一种基于行人搜索的目标追踪样本扩充方法 Active CN110197163B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910480615.1A CN110197163B (zh) 2019-06-04 2019-06-04 一种基于行人搜索的目标追踪样本扩充方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910480615.1A CN110197163B (zh) 2019-06-04 2019-06-04 一种基于行人搜索的目标追踪样本扩充方法

Publications (2)

Publication Number Publication Date
CN110197163A CN110197163A (zh) 2019-09-03
CN110197163B true CN110197163B (zh) 2021-02-12

Family

ID=67753837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910480615.1A Active CN110197163B (zh) 2019-06-04 2019-06-04 一种基于行人搜索的目标追踪样本扩充方法

Country Status (1)

Country Link
CN (1) CN110197163B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法
CN108255182A (zh) * 2018-01-30 2018-07-06 上海交通大学 一种基于深度强化学习的服务机器人行人感知避障方法
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109670528A (zh) * 2018-11-14 2019-04-23 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN109740221A (zh) * 2018-12-25 2019-05-10 南京天洑软件有限公司 一种基于搜索树的智能工业设计算法
CN109756494A (zh) * 2018-12-29 2019-05-14 中国银联股份有限公司 一种负样本变换方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法
CN108255182A (zh) * 2018-01-30 2018-07-06 上海交通大学 一种基于深度强化学习的服务机器人行人感知避障方法
CN109190537A (zh) * 2018-08-23 2019-01-11 浙江工商大学 一种基于掩码感知深度强化学习的多人物姿态估计方法
CN109670528A (zh) * 2018-11-14 2019-04-23 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法
CN109740221A (zh) * 2018-12-25 2019-05-10 南京天洑软件有限公司 一种基于搜索树的智能工业设计算法
CN109756494A (zh) * 2018-12-29 2019-05-14 中国银联股份有限公司 一种负样本变换方法及装置

Also Published As

Publication number Publication date
CN110197163A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
Ren et al. Collaborative deep reinforcement learning for multi-object tracking
CN103077539B (zh) 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN103793477B (zh) 用于生成视频摘要的系统及方法
CN112614159B (zh) 一种面向仓库场景的跨摄像头多目标跟踪方法
CN110826424A (zh) 一种基于行人重识别驱动定位调整的行人搜索方法
CN112257569A (zh) 一种基于实时视频流的目标检测和识别方法
CN109948474A (zh) Ai热成像全天候智能监控方法
Lu et al. A review on object detection based on deep convolutional neural networks for autonomous driving
CN114998993B (zh) 一种自动驾驶场景下联合行人目标检测与跟踪联合方法
Han et al. A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
CN111914625B (zh) 基于检测器与跟踪器数据关联的多目标车辆跟踪装置
Li et al. The integration adjacent frame difference of improved ViBe for foreground object detection
Pan et al. Fourier domain pruning of mobilenet-v2 with application to video based wildfire detection
CN219761112U (zh) 一种多目标跟踪增强系统
CN110197163B (zh) 一种基于行人搜索的目标追踪样本扩充方法
CN110211156B (zh) 一种时-空信息联合的在线学习方法
CN110210405B (zh) 一种基于目标追踪的行人搜索样本扩充方法
Liu et al. Pedestrian detection method in infrared image based on improved YOLOv7
Bai et al. Pedestrian Tracking and Trajectory Analysis for Security Monitoring
Chen Appearance Awared Detector for MOT: An Enhanced ReID Branch for Tracking Memorize
Wu et al. Robust object tracking with bidirectional corner matching and trajectory smoothness algorithm
Yang et al. A Density-Guided Temporal Attention Transformer for Indiscernible Object Counting in Underwater Videos
Cheng et al. Anti-UAV Detection Method Based on Local-Global Feature Focusing Module
Zhang et al. Multi-Moving Camera Pedestrian Tracking with a New Dataset and Global Link Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant