CN112258552A - 一种社区监控场景下行人多目标跟踪方法 - Google Patents

一种社区监控场景下行人多目标跟踪方法 Download PDF

Info

Publication number
CN112258552A
CN112258552A CN202010966065.7A CN202010966065A CN112258552A CN 112258552 A CN112258552 A CN 112258552A CN 202010966065 A CN202010966065 A CN 202010966065A CN 112258552 A CN112258552 A CN 112258552A
Authority
CN
China
Prior art keywords
pedestrian
target
video
network
tracking method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010966065.7A
Other languages
English (en)
Inventor
徐亮
张卫山
孙浩云
尹广楹
张大千
管洪清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Sui Zhi Information Technologies Co ltd
Original Assignee
Qingdao Sui Zhi Information Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Sui Zhi Information Technologies Co ltd filed Critical Qingdao Sui Zhi Information Technologies Co ltd
Priority to CN202010966065.7A priority Critical patent/CN112258552A/zh
Publication of CN112258552A publication Critical patent/CN112258552A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061Partitioning or combining of resources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及视频处理、机器学习、深度学习技术领域,具体公开了一种社区监控场景下行人多目标跟踪方法,该方法将多目标检测技术与多目标跟踪技术相结合,通过改进的Fast‑RCNN网络Fast‑RCNN+网络完成对行人多目标的检测,采用HOG统计和计算图像局部区域的梯度方向直方图来描述图像特征的方法完成对图像特征的提取工作,依据提取到的特征再利用Fast‑RCNN使用神经网络对图像进行分类检测;将多目标行人检测的数据通过关联矩阵的方法来建立数据关联;根据检测得到的具有关联性的目标数据并结合ReCNN网络模型实现基于上下文信息的行人多目标跟踪。本发明大大地提高了行人检测与跟踪的准确度和效率。

Description

一种社区监控场景下行人多目标跟踪方法
技术领域
本发明涉及视频处理、机器学习、深度学习技术领域,特别涉及一种社区监控场景下行人多目标跟踪方法。
背景技术
随着科学技术、信息技术的快速发展,智能视频监控技术在民用、商业、国防等领域的广阔应用前景引起了许多国内外专家的重视,纷纷投入大量研发人员、资源条件以促进其应用发展。近几年来深度学习的发展也进一步带动了视频监控技术的革新。此外,科学技术的发展带动了社会的进步,智慧社区、智慧城市已不再是概念上的话题,同时也为视频监控技术的研究提供了强有力的研究试点平台。因此,行人多目标检测与跟踪技术已成为现在视觉领域研究的热点,在交通、区域监控等众多领域都具有研究意义和应用价值。
行人多目标检测是指把采集到的视频图像序列中的运动目标从背景中分割出来,这一技术是对行人多目标进一步识别和跟踪定位的前提,也是智能行为分析的基础。到目前为止,运动场景下的多目标检测与跟踪技术尚不成熟,背景差分法是最早的运动目标检测方法之一,利用待测图像的背景来实时更新背景模型,但是该方法对背景的依赖性较大,当检测区域变化较大时,识别准确率会相对较低。时域帧差法,利用时域序列得到运动目标的位置信息,但是目标的速度对结果影响较大,检测结果中含有大量的噪声。行人多目标检测与跟踪的发展任重而道远。
行人作为社区监控场景下的重要目标之一,行人多目标检测与跟踪应用在智慧社区领域有着重要的研究意义与应用发展。但是,社区监控场景下,由于场景较复杂,行人属性难以辨识不定性较强,再加上天气变化大,诸多场景因素为多目标检测与跟踪带来巨大困难。精准的检测与跟踪能够解决社区内众多问题,例如:社区内有陌生人口进入,物业通过描述的人体属性与视频监控中人物进行识别定位跟踪,保障了社区安全与稳定。行人多目标检测与跟踪对智慧社区的发展有重要的应用价值。
有鉴于此,在社区监控场景下需要提出一种可以提高对行人多目标检测与跟踪准确率的方法,来解决上述问题。
发明内容
为了解决复杂场景中行人多目标检测与跟踪准确率和效率较低的问题,本发明的目的是提供一种社区监控场景下行人多目标检测与跟踪方法。提出改进的Fast-RCNN网络模型实现对行人多目标的检测,在社区监控场景下建立上下文行人信息,利用ReCNN网络对上下文信息进行跟踪,该方法大大地提高了行人检测与跟踪的准确度和效率。
为了解决上述技术问题,本发明的技术方案是:
一种社区监控场景下行人多目标跟踪方法,包括以下步骤:步骤1:获取社区监控区域下的视频流,并对其进行去噪处理;
步骤2:获取视频中当前帧图像,采用HOG特征提取方法对当前图像进行行人多目标特征提取;
步骤3:根据提取到的特征,训练Fast-RCNN+网络,得到最优参数;
步骤4:利用训练好的Fast-RCNN+网络模型对视频图像实现行人多目标检测工作;
步骤5:将采集到的视频图像中的行人多目标数据建立关联矩阵;
步骤6:提取输入视频帧图像中包含上下文信息(行人的位置信息和背景信息)的特征;
步骤7:将提取的特征训练融合上下文信息的ReCNN网络,获得最优参数;
步骤8:利用训练好的ReCNN网络对视频上下文行人信息进行检测实现追踪的目的;
步骤9:采用GPU调度策略进行GPU调度。
优选地,所述获取监控区域下的视频流的步骤,包括:在社区环境下安装高清摄像头或者视频采集装置,选择需要监测的区域,获取该区域下所有的视频流,采用小波滤波进行去噪的预处理,利用邻帧信息进行帧间滤波来平滑噪声细纹,保证视频去噪后播放的流畅性。
优选地,所述采用HOG特征提取方法对当前图像进行行人多目标特征提取的步骤,包括:首先获取当前帧图像,图像的梯度值很好的描述了目标的轮廓和边缘信息,因此,利用方向梯度直方图(Histogram of Oriented Gradient,HOG)对当前图像进行特征提取。首先对当前图像标准化Gamma空间,以减少光照因素影响,依据图像梯度值统计单元格内梯度方向直方图,并将所有单元格在块上进行归一化,滑动窗口获取所有块的HOG特征。
优选地,所述采用训练Fast-RCNN+网络的步骤,包括:本发明以HOG方法代替Fast-RCNN 网络中通过CNN网络提取提取方法,提高了图像检测的精度。Fast-RCNN+网络结构如图2所示。训练过程:首先使用默认参数进行训练,根据训练中间结果,对初始权值、训练速率和迭代次数不断进行调整,直到所述图像增强网络以预设的效率达到预设的增强效果。
优选地,所述将上下文方法的多目标行人跟踪的步骤:在社区场景中,行人的行为很大程度上受到环境景的约束。通过对视频序列中行人活动的观测值建立上下文行人信息,利用环境上下文完成行人的运动预测。通过提取上下文行人信息的特征训练ReCNN网络模型。基于环境模型的建立使用上下文的跟踪方法最终实现行人多目标跟踪方法。
优选地,所述采用GPU调度策略进行GPU调度的步骤:实时监控GPU处理器集群中的GPU 使用情况,采取适当的调度策略对GPU进行实时调度。
采用上述技术方案,本发明提供的一种社区监控场景下行人多目标跟踪方法,具有以下有益效果:
(1)将多目标行人检测技术和多目标跟踪技术相结合,用深度学习的方法对社区监控复杂场景进行行人检测与跟踪,提高了行人检测的速度和精度;
(2)HOG特征提取方法在人体检测的应用中较CNN网络准确率更高,更为适用,因此本发明通过改进Fast-RCNN网络结构进一步提高了行人多目标检测的准确度,为多目标跟踪提供了数据基础。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明中社区监控场景下行人多目标检测与跟踪方法的总体流程图;
图2为本发明中社区监控场景下行人多目标检测的方法Fast-RCNN+网络结构图;
图3为本发明中GPU处理器集群中的GPU资源调度策略图;
图4为本发明中GPU处理器集群中的GPU资源调度流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明社区监控场景下行人多目标检测与跟踪方法,包括以下几个基本步骤:获取监控区域下的视频流与视频去噪处理;Fast-RCNN+网络模型的行人多目标检测;ReCNN 网络模型实现环境上下文行人目标跟踪;采用GPU调度策略进行GPU调度。该方法将多目标检测技术与多目标跟踪技术相结合,通过改进的Fast-RCNN网络Fast-RCNN+网络完成对行人多目标的检测,采用HOG统计和计算图像局部区域的梯度方向直方图来描述图像特征的方法完成对图像特征的提取工作,依据提取到的特征再利用Fast-RCNN使用神经网络对图像进行分类检测。将多目标行人检测的数据通过关联矩阵的方法来建立数据关联。根据检测得到的具有关联性的目标数据并结合ReCNN网络模型实现基于上下文信息的行人多目标跟踪。本发明的目标检测方法Fast-RCNN+网络与基于上下文的跟踪方法提高了行人多目标检测与跟踪方法的准确度。
下面对社区监控场景下行人多目标检测与跟踪方法进行详细说明:
如图1所示,在社区环境安装高清摄像头或者视频采集装置,选择需要监测的区域,获取该区域下所有的视频流并进行滤波去噪处理,获取视频中当前帧图像,采用HOG特征提取方法对当前图像进行行人多目标特征提取;根据提取到的特征,训练Fast-RCNN+网络,得到最优参数,网络模型如图2;利用训练好的Fast-RCNN+网络模型对视频图像实现行人多目标检测工作;将采集到的视频图像中的行人多目标数据建立关联矩阵;提取输入视频帧图像中包含上下文信息(行人的位置信息和背景信息)的特征;将提取的特征训练融合上下文信息的 ReCNN网络,获得最优参数;利用训练好的ReCNN网络对视频上下文行人信息进行检测实现追踪的目的。
可以理解的,GPU资源调度层根据调度策略如图2所示,实时监控当前GPU资源使用情况,在GPU处理器集群分配任务之前,首先检查当前GPU消耗是否过大,如果消耗过大,则查看GPU使用情况列表和GPU计算能力列表,重新选择GPU接收任务。
可以理解的,采用GPU调度策略进行GPU调度的步骤:如图3所示,实时监控GPU处理器集群中的GPU使用情况,采取适当的调度策略对GPU进行实时调度
本发明的社区监控场景下行人多目标检测与跟踪方法,将目标检测技术和目标跟踪技术相结合,用深度学习的方法对社区内的行人进行多目标检测与跟踪,提高了行人检测的速度和精度;采用多摄像头对重点监测区域进行重叠监控,重复检测,提高了社区内行人检测的准确率。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种社区监控场景下行人多目标跟踪方法,其特征在于:包括以下步骤:
步骤1:获取社区监控区域下的视频流,并对其进行去噪处理;
步骤2:获取视频中当前帧图像,采用HOG特征提取方法对当前图像进行行人多目标特征提取;
步骤3:根据提取到的特征,训练Fast-RCNN+网络,得到最优参数;
步骤4:利用训练好的Fast-RCNN+网络模型对视频图像实现行人多目标检测工作;
步骤5:将采集到的视频图像中的行人多目标数据建立关联矩阵;
步骤6:提取输入视频帧图像中包含上下文信息(行人的位置信息和背景信息)的特征;
步骤7:将提取的特征训练融合上下文信息的ReCNN网络,获得最优参数;
步骤8:利用训练好的ReCNN网络对视频上下文行人信息进行检测实现追踪的目的;
步骤9:采用GPU调度策略进行GPU调度。
2.根据权利要求1所述的社区监控场景下行人多目标跟踪方法,其特征在于:在所述步骤1中,还包括在社区环境下安装高清摄像头或者视频采集装置,选择需要监测的区域,获取该区域下所有的视频流,采用小波滤波进行去噪的预处理,利用邻帧信息进行帧间滤波来平滑噪声细纹,保证视频去噪后播放的流畅性。
3.根据权利要求1所述的社区监控场景下行人多目标跟踪方法,其特征在于:在所述步骤2中,还包括获取当前帧图像,首先对当前图像标准化Gamma空间,以减少光照因素影响,依据图像梯度值统计单元格内梯度方向直方图,并将所有单元格在块上进行归一化,滑动窗口获取所有块的HOG特征。
4.根据权利要求1所述的社区监控场景下行人多目标跟踪方法,其特征在于:在所述步骤3中,还包括训练过程:首先使用默认参数进行训练,根据训练中间结果,对初始权值、训练速率和迭代次数不断进行调整,直到所述图像增强网络以预设的效率达到预设的增强效果。
5.根据权利要求1所述的社区监控场景下行人多目标跟踪方法,其特征在于:在所述步骤7中,还包括利用环境上下文完成行人的运动预测,通过提取上下文行人信息的特征训练ReCNN网络模型,基于环境模型的建立使用上下文的跟踪方法最终实现行人多目标跟踪方法。
6.根据权利要求1所述的社区监控场景下行人多目标跟踪方法,其特征在于:在所述步骤9中,还包括实时监控GPU处理器集群中的GPU使用情况,采取适当的调度策略对GPU进行实时调度。
CN202010966065.7A 2020-09-15 2020-09-15 一种社区监控场景下行人多目标跟踪方法 Pending CN112258552A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010966065.7A CN112258552A (zh) 2020-09-15 2020-09-15 一种社区监控场景下行人多目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010966065.7A CN112258552A (zh) 2020-09-15 2020-09-15 一种社区监控场景下行人多目标跟踪方法

Publications (1)

Publication Number Publication Date
CN112258552A true CN112258552A (zh) 2021-01-22

Family

ID=74231268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010966065.7A Pending CN112258552A (zh) 2020-09-15 2020-09-15 一种社区监控场景下行人多目标跟踪方法

Country Status (1)

Country Link
CN (1) CN112258552A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205902A (zh) * 2022-07-15 2022-10-18 宜宾学院 基于Fast-RCNN和联合概率数据关联滤波器的行人检测方法
CN115617532A (zh) * 2022-11-22 2023-01-17 浙江莲荷科技有限公司 一种目标追踪处理方法、系统及相关装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563299A (zh) * 2017-08-07 2018-01-09 盐城禅图智能科技有限公司 一种利用ReCNN融合上下文信息的行人检测方法
CN107705324A (zh) * 2017-10-20 2018-02-16 中山大学 一种基于机器学习的视频目标检测方法
CN108875465A (zh) * 2017-05-26 2018-11-23 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN111199556A (zh) * 2019-12-31 2020-05-26 同济大学 基于摄像头的室内行人检测和跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875465A (zh) * 2017-05-26 2018-11-23 北京旷视科技有限公司 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质
CN107563299A (zh) * 2017-08-07 2018-01-09 盐城禅图智能科技有限公司 一种利用ReCNN融合上下文信息的行人检测方法
CN107705324A (zh) * 2017-10-20 2018-02-16 中山大学 一种基于机器学习的视频目标检测方法
CN109636829A (zh) * 2018-11-24 2019-04-16 华中科技大学 一种基于语义信息和场景信息的多目标跟踪方法
CN109800624A (zh) * 2018-11-27 2019-05-24 上海眼控科技股份有限公司 一种基于行人重识别的多目标跟踪方法
CN111199556A (zh) * 2019-12-31 2020-05-26 同济大学 基于摄像头的室内行人检测和跟踪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
侯颖等: "融合Faster RCNN和KCF的行人目标跟踪算法", 《信息技术与信息化》 *
李月峰等: "在线多目标视频跟踪算法综述", 《计算技术与自动化》 *
王民等: "基于卷积神经网络优化TLD运动手势跟踪算法", 《计算机工程与应用》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205902A (zh) * 2022-07-15 2022-10-18 宜宾学院 基于Fast-RCNN和联合概率数据关联滤波器的行人检测方法
CN115617532A (zh) * 2022-11-22 2023-01-17 浙江莲荷科技有限公司 一种目标追踪处理方法、系统及相关装置
CN115617532B (zh) * 2022-11-22 2023-03-31 浙江莲荷科技有限公司 一种目标追踪处理方法、系统及相关装置

Similar Documents

Publication Publication Date Title
CN110070033B (zh) 一种电力领域危险工作区域内安全帽佩戴状态检测方法
CN107967451B (zh) 一种对静止图像进行人群计数的方法
CN108492319B (zh) 基于深度全卷积神经网络的运动目标检测方法
Li et al. Robust people counting in video surveillance: Dataset and system
US20160019698A1 (en) Systems and methods for people counting in sequential images
CN104978567A (zh) 基于场景分类的车辆检测方法
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
CN103489012B (zh) 一种基于支持向量机的人群密集度检测方法及系统
CN109635720A (zh) 基于视频主动监控的非法占道实时检测方法
CN109558790B (zh) 一种行人目标检测方法、装置及系统
CN104301585A (zh) 一种运动场景中特定种类目标实时检测方法
CN106503683B (zh) 一种基于动态注意中心的视频显著目标检测方法
CN112258552A (zh) 一种社区监控场景下行人多目标跟踪方法
CN112183450B (zh) 一种多目标跟踪方法
Abbas et al. Crowd detection and management using cascade classifier on ARMv8 and OpenCV-Python
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
Huo et al. 3DVSD: An end-to-end 3D convolutional object detection network for video smoke detection
CN112307895A (zh) 一种社区监控场景下人群聚集异常行为检测方法
CN112270207A (zh) 一种社区监控场景下烟火检测方法
CN112200007A (zh) 一种社区监控场景下车牌检测及识别方法
Chen et al. Moving objects detection based on background subtraction combined with consecutive frames subtraction
CN104616277A (zh) 视频结构化描述中的行人定位方法及其装置
Pratomo et al. Parking detection system using background subtraction and HSV color segmentation
Li et al. An efficient self-learning people counting system
CN108549882A (zh) 一种基于深度学习的实时的铁路口多摄像头行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122