CN106934338B - 一种基于相关滤波器的长期行人跟踪方法 - Google Patents

一种基于相关滤波器的长期行人跟踪方法 Download PDF

Info

Publication number
CN106934338B
CN106934338B CN201710013229.2A CN201710013229A CN106934338B CN 106934338 B CN106934338 B CN 106934338B CN 201710013229 A CN201710013229 A CN 201710013229A CN 106934338 B CN106934338 B CN 106934338B
Authority
CN
China
Prior art keywords
pedestrian
target
features
color
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710013229.2A
Other languages
English (en)
Other versions
CN106934338A (zh
Inventor
包晓安
江维创
陈耀南
张娜
徐新良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hanfan Software Technology Co ltd
Original Assignee
Zhejiang Hanfan Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hanfan Software Technology Co ltd filed Critical Zhejiang Hanfan Software Technology Co ltd
Priority to CN201710013229.2A priority Critical patent/CN106934338B/zh
Publication of CN106934338A publication Critical patent/CN106934338A/zh
Application granted granted Critical
Publication of CN106934338B publication Critical patent/CN106934338B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于相关滤波器的长期行人跟踪方法。本方法包括以下步骤：S1：读入监控视频，划定目标区域；S2：提取目标区域内行人特征；S3：判定目标是否被遮挡；S4：岭回归训练和检测；S5：将跟踪的行人加以标记输出到视频监控。本发明对目标区域内提取行人特征，先判断目标行人是否被遮挡，若被遮挡，则在遮挡后提取预测区域特征与已提取特征进行相似度匹配，达到一定阈值判定搜索到目标行人，再使用岭回归训练检测来跟踪；若无遮挡，则直接进行岭回归训练检测来跟踪。行人再识别提高了目标行人跟踪的准确性，傅立叶变换在岭回归训练检测的应用提高了跟踪的速度。

Description

一种基于相关滤波器的长期行人跟踪方法
技术领域
本发明涉及智能视频监控、计算机视觉、机器视觉领域，具体涉及一种基于相关滤波器的长期行人跟踪方法。
背景技术
行人跟踪在计算机视觉领域中是一个基础性分支，其应用非常广泛，如智能相机、自动驾驶、视频监控等等。在过去几十年里，行人跟踪的研究有了很大的进展，但是由于应用环境的限制，如光照的影响，行人在运动过程中发生的遮挡和形变这些因素，使得行人跟踪算法性能较低，强鲁棒性的算法难以实现。
行人跟踪是智能视频监控的一个重要分支，在机场、火车站、体育场、候车室和展览馆等大型公共场合的行人跟踪是智能视频监控系统不可缺少的内容。目前已有的行人跟踪方法主要存在如下的问题：
行人与行人或者行人与环境的遮挡问题，运动行人发生的形变问题，随着时间的变化光照的变化问题等。行人在运动过程中由于受到上述因素的影响，对其跟踪的过程也变得越来越难，最终便会丢失目标。
所以如何提高在复杂环境下视频监控系统中行人跟踪的鲁棒性是有待解决的问题。
发明内容
为了解决上述的技术问题，本发明的目的就在于提高行人跟踪的准确性和性能，提供一种基于相关滤波器的长期行人跟踪方法。
本发明所采用的技术方案是：
S10，读入监控视频，对目标划定目标区域。
S20，提取目标区域颜色特征和LBP特征。
S30，判定目标是否被遮挡。
S40，岭回归训练和检测。
S50，将跟踪到的行人加以标记输出到视频监控。
上述的技术方案，其中，所述步骤S10中读入监控视频，对目标划定目标区域包括如下步骤：
S11，使用鼠标对行人目标划定矩形区域，系统初始化各类跟踪参数。
上述的技术方案，其中，所述步骤S20中提取目标区域颜色特征和LBP特征中包括如下步骤：
S21，把目标区域平均分成5个水平条带，每个水平条带的每种颜色空间的每个通道都提取16维颜色直方图特征。
S22，对于每个水平条带，分别提取LBP等价模式中邻域点数为8半径为1和邻域点数为16半径为2的特征，然后将所有的特征串联成行人特征。
S23，由于提取出的特征维数较大，使用PCA方法进行降维。
上述的技术方案，其中，所述步骤S30中判定目标是否被遮挡包括如下步骤：
S31，找到行人目标概率分布最大的位置和概率分布的最大值。
S32，在最大值的周围，找出满足大于某个概率分布阈值的所有点。
S33，计算上述所有点到概率分布最大值点的欧式距离和。
S34，若欧式距离和大于设定的阈值，则判定受到遮挡。
上述的技术方案，其中，所述步骤S40中岭回归训练如下步骤：
S41，对划定的目标区域扩大到原来的2.5倍成为一个候选块。
S42，对此候选块向四周循环移位采集负样本。
S43，利用岭回归器对采集的样本进行训练。
S44，当前帧中，对前一帧目标区域进行循环采样。
S45，利用前一帧训练的岭回归器计算样本的响应，响应最大值作为当前帧目标的位置。
本发明的长期行人跟踪方法产生以下几种良好的效果：
效果1：本发明采用跟踪目标的概率分布，计算目标区域与周围候选区域的欧式距离来判断是否发生遮挡，这一过程是算法后续过程的基础，提高了跟踪的准确性。
效果2：本发明采用提取行人多特征的方法，特征为颜色特征和LBP特征，行人一旦发生遮挡，就与已提取的特征进行匹配，相似度最高的为目标行人。行人再识别避免了目标行人在发生遮挡时目标的丢失，提高了行人跟踪的灵活性和准确性。
效果3：本发明采用傅立叶变换的性质进行快速的训练和检测，其训练样本通过目标区域的循环移位得到，利用前一帧训练的岭回归器计算当前帧样本的响应，响应最大值作为当前帧目标的位置。快速傅立叶变换和循环移位的操作是的算法的计算速度得到了很大的提升，满足了算法的实时性。
附图说明
图1是本方法的步骤图；
图2是行人目标跟踪的流程图。
具体实施方式
以下结合附图和具体实施对本发明进行详细描述，但不作为对本发明的限定。
一、方法
如图1和2，本方法的实现步骤如下：
A读入监控视频，对目标划定目标区域
利用摄像头获得监控视频图像数据，并且在第一帧图像中对目标行人划定区域，初始化高斯系数和对目标区域的放大倍数。
B提取目标区域颜色特征和LBP特征
为了提高表征性，将目标区域水平方向平均分成5个部分。先提取颜色特征，从RGB、HSV和YCbCr三种颜色空间中提取，将这三种颜色空间的特征进行融合能提高特征的鲁棒性。对于目标区域水平方向的每个部分都提取每种颜色空间每个颜色通道的16维颜色特征直方图特征，然后将每个直方图特征都串联成一个目标行人的颜色特征，最终得到的特征维数为(3×5×3×12)640维。颜色特征表示的是一种整体特征，为了对行人的表示更准确，提取目标区域的两种等价模式局部LBP特征，一种是采样点数为8半径为1，另一种是采样点数为16半径为2，同理，对每个水平方向部分都提取LBP两种模式的特征，最终将所有的LBP特征串联成行人的局部特征，其特征维数为((59+59)×5)590维。对于上面提取的两种特征，由于特征维数较大，使用PCA方法降维。
C判定目标是否被遮挡
设行人目标的概率分布为f(z)，候选区域的坐标为pos(z)，遮挡阈值为λ1，面积因子为λ2，样本的高度和宽度分别为height和width：
1.首先求f(z)取到最大值的位置posmax(z)和f(z)的最大值fmax(z)。
2.求取posmax(z)周围满足大于λ1·fmax(z)的所有点的位置pos(z)。
3.求取所有pos(z)点到posmax(z)的欧式距离
4.判断是否大于阈值λ2·width·height，如果大于阈值，则判断为受到遮挡；否则判断为未受到遮挡。
D岭回归训练和检测
在上一步的过程中，若行人发生遮挡，则不进行行人目标样本的训练和检测，直到行人目标再识别后进行此步骤。首先对划定的行人目标区域扩大到原来的2.5倍，然后向四周方向进行循环移位，移位的方式可以是每行像素的移动或者列像素的移动，由此获得大量的训练样本，此时循环移位得到的样本为负样本，原区域的样本为正样本，在当前帧中对于上述样本采用岭回归训练，在下一帧中对相同区域周围的样本，使用前一帧计算的岭回归器计算其响应，响应最大值对应的位置即行人目标的位置。
E将跟踪到的行人加以标记输出到视频监控
在上述过程中将跟踪到的行人以外接矩形框的形式显示在监控视频中。

Claims (1)

1.一种基于相关滤波器的长期行人跟踪方法，其特征在于步骤如下：
A读入监控视频，对目标划定目标区域
利用摄像头获得监控视频图像数据，并且在第一帧图像中对目标行人划定区域，初始化高斯系数和对目标区域的放大倍数；
B提取目标区域颜色特征和LBP特征
为了提高表征性，将目标区域水平方向平均分成5个部分，先提取颜色特征，从RGB、HSV和YCbCr三种颜色空间中提取，将这三种颜色空间的特征进行融合能提高特征的鲁棒性，对于目标区域水平方向的每个部分都提取每种颜色空间每个颜色通道的16维颜色特征直方图特征，然后将每个直方图特征都串联成一个目标行人的颜色特征，最终得到的特征维数为3×5×3×12＝640维；颜色特征表示的是一种整体特征，为了对行人的表示更准确，提取目标区域的两种等价模式局部LBP特征，一种是采样点数为8半径为1，另一种是采样点数为16半径为2，对每个水平方向部分都提取LBP两种模式的特征，最终将所有的LBP特征串联成行人的局部特征，其特征维数为(59+59)×5＝590维；对于上面提取的两种特征，使用PCA方法降维；
C判定目标是否被遮挡
设行人目标的概率分布为f(z)，候选区域的坐标为pos(z)，遮挡阈值为λ1，面积因子为λ2，样本的高度和宽度分别为height和width：
1.首先求f(z)取到最大值的位置posmax(z)和f(z)的最大值fmax(z)；
2.求取posmax(z)周围满足大于λ1·fmax(z)的所有点的位置pos(z)；
3.求取所有pos(z)点到posmax(z)的欧式距离；
4.判断是否大于阈值λ2·width·height，如果大于阈值，则判断为受到遮挡；否则判断为未受到遮挡；
D岭回归训练和检测
在上一步的过程中，若行人发生遮挡，则不进行行人目标样本的训练和检测，直到行人目标再识别后进行此步骤；
若行人未受到遮挡，则首先对划定的行人目标区域扩大到原来的2.5倍，然后向四周方向进行循环移位，移位的方式是每行像素的移动或者列像素的移动，由此获得大量的训练样本，此时循环移位得到的样本为负样本，原区域的样本为正样本，在当前帧中对于上述样本采用岭回归训练，在下一帧中对相同区域周围的样本，使用前一帧计算的岭回归器计算其响应，响应最大值对应的位置即行人目标的位置；
E将跟踪到的行人加以标记输出到视频监控。
CN201710013229.2A 2017-01-09 2017-01-09 一种基于相关滤波器的长期行人跟踪方法 Active CN106934338B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710013229.2A CN106934338B (zh) 2017-01-09 2017-01-09 一种基于相关滤波器的长期行人跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710013229.2A CN106934338B (zh) 2017-01-09 2017-01-09 一种基于相关滤波器的长期行人跟踪方法

Publications (2)

Publication Number Publication Date
CN106934338A CN106934338A (zh) 2017-07-07
CN106934338B true CN106934338B (zh) 2020-11-24

Family

ID=59444188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710013229.2A Active CN106934338B (zh) 2017-01-09 2017-01-09 一种基于相关滤波器的长期行人跟踪方法

Country Status (1)

Country Link
CN (1) CN106934338B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480704B (zh) * 2017-07-24 2021-06-29 无际智控(天津)智能科技有限公司 一种具有遮挡感知机制的实时视觉目标跟踪方法
CN107590820B (zh) * 2017-08-25 2020-06-02 兰州飞搜信息科技有限公司 一种基于相关滤波的视频对象追踪方法及其智能装置
CN108305275B (zh) * 2017-08-25 2021-02-12 深圳市腾讯计算机系统有限公司 主动跟踪方法、装置及系统
CN109697385A (zh) * 2017-10-20 2019-04-30 中移(苏州)软件技术有限公司 一种目标跟踪方法及装置
CN109934042A (zh) * 2017-12-15 2019-06-25 吉林大学 基于卷积神经网络的自适应视频对象行为轨迹分析方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0824814B1 (en) * 1995-04-18 2001-12-12 Hewlett-Packard Company, A Delaware Corporation Methods and apparatus for authenticating an originator of a message

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663409B (zh) * 2012-02-28 2015-04-22 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
CN103955951B (zh) * 2014-05-09 2016-08-24 合肥工业大学 基于正则化模板与重建误差分解的快速目标跟踪方法
CN106022231A (zh) * 2016-05-11 2016-10-12 浙江理工大学 一种基于多特征融合的行人快速检测的技术方法
CN106203260A (zh) * 2016-06-27 2016-12-07 南京邮电大学 基于多摄像机监控网络的行人识别与跟踪方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0824814B1 (en) * 1995-04-18 2001-12-12 Hewlett-Packard Company, A Delaware Corporation Methods and apparatus for authenticating an originator of a message

Also Published As

Publication number Publication date
CN106934338A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106934338B (zh) 一种基于相关滤波器的长期行人跟踪方法
CN108062525B (zh) 一种基于手部区域预测的深度学习手部检测方法
CN110400332B (zh) 一种目标检测跟踪方法、装置及计算机设备
CN109284670B (zh) 一种基于多尺度注意力机制的行人检测方法及装置
Basalamah et al. Scale driven convolutional neural network model for people counting and localization in crowd scenes
US9014467B2 (en) Image processing method and image processing device
JP4215781B2 (ja) 異常動作検出装置および異常動作検出方法
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
Tiwari et al. A survey on shadow detection and removal in images and video sequences
CN111027462A (zh) 跨多摄像头的行人轨迹识别方法
CN103093198A (zh) 一种人群密度监测方法及装置
CN103810473A (zh) 一种基于隐马尔科夫模型的人体对象的目标识别方法
CN111027370A (zh) 一种多目标跟踪及行为分析检测方法
CN111291587A (zh) 一种基于密集人群的行人检测方法、存储介质及处理器
CN111508006A (zh) 一种基于深度学习的运动目标同步检测、识别与跟踪方法
KR20120130462A (ko) 객체의 특징점을 기반으로 한 객체 추적 방법
CN108764343B (zh) 一种跟踪算法中的跟踪目标框的定位方法
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Chen et al. A unified model sharing framework for moving object detection
Cretu et al. Building detection in aerial images based on watershed and visual attention feature descriptors
CN110706251A (zh) 一种行人跨镜头跟踪方法
Hongpeng et al. A robust object tracking algorithm based on surf and Kalman filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant