CN106023252A - 一种基于oab算法的多摄像机人体跟踪方法 - Google Patents

一种基于oab算法的多摄像机人体跟踪方法 Download PDF

Info

Publication number
CN106023252A
CN106023252A CN201610323624.6A CN201610323624A CN106023252A CN 106023252 A CN106023252 A CN 106023252A CN 201610323624 A CN201610323624 A CN 201610323624A CN 106023252 A CN106023252 A CN 106023252A
Authority
CN
China
Prior art keywords
camera
algorithm
human body
node
oab
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610323624.6A
Other languages
English (en)
Inventor
包晓安
吴飞虎
张瑞林
张娜
刘晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Sci Tech University ZSTU
Original Assignee
Zhejiang Sci Tech University ZSTU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Sci Tech University ZSTU filed Critical Zhejiang Sci Tech University ZSTU
Priority to CN201610323624.6A priority Critical patent/CN106023252A/zh
Publication of CN106023252A publication Critical patent/CN106023252A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种基于OAB算法的多摄像机人体跟踪方法。它包括以下步骤：(0)利用首先在数据集中训练DPM算法能够使用的人体模型。(1)在其中一个摄像机中选取跟踪目标区域。(2)使用OAB(online boosting)跟踪算法在选取目标区域的摄像机中进行跟踪。(3)用已经得到的DPM人体数据模型的基础上在所有的摄像机进行人体检测。(4)用SURF+FLANN进行匹配，并且匹配的最小值即为所跟踪的人体。(5)利用找到的人体作为其他摄像机中跟踪的目标区域，并且利用OAB算法进行跟踪。

Description

一种基于OAB算法的多摄像机人体跟踪方法
技术领域
本发明涉及到视频监控技术领域，尤其一种基于OAB算法的多摄像机人体跟踪方法。
背景技术
随着计算机技术的进步和机器学习技术的发展，摄像机已经广泛应用到人机交互、导航定位、视频监控等诸多领域，尤其是人们对公共安全和个人安全的日益增长的需求，大大小小、各种各样的摄像机分布在商场、家庭、办公楼、停车场、高速等区域。在安防市场的巨大的需求推动之下，再加上响应的硬件条件、信息与通信、H.264等编解码技术的日趋完善，视频监控技术正在向数字化、网络化、智能化的方向飞速发展，由过去的单个摄像机的范围较小的场景已经不能满足市场的需求，多摄像机将成为视频监控将成为视频监控的主流。面对越来越大的视频监控网络，每时每刻都来自海量的视频监控数据，而且不同时刻的视频之间还有复杂的时间和空间上的密切联系。
在视频监控中，尤其是在多个摄像机中，经常会有一些运动的人出现在多个摄像机区域。为了能够跟踪到多个摄像机中的人，本技术提出了一种基于OAB的视频跟踪算法。目的是在一个摄像机跟踪成功后自动在另外一个摄像机中进行寻找所要跟踪目标，并且进行跟踪。
本技术是在传统的单摄像机的跟踪的基础上进行改进，引入了多重算法，旨在能在多摄像机中对运动的人体进行跟踪，为了解决多摄像机中的交接问题，本技术首先利用DPM检测到人体区域，在此之后利用SURF检测到人体区域的关键点，最后通过FLANN进行匹配，并将匹配后关键点平均的值排序，最大值所对应的人体即为所对应的跟踪目标。找到目标之后，用OAB跟踪算法进行跟踪。
发明内容：
本发明的内容在于设计出一套基于多摄像机跟踪的人体跟踪算法，可以在多个摄像机中跟踪同一个人。
一种基于OAB算法的多摄像机人体跟踪方法，包括以下步骤：
S1：在多摄像机系统的一个摄像机中读入帧，并在该帧中选定需要跟踪的对象，记该摄像机为Camera‐1，在该摄像机中用OAB跟踪算法对后续帧进行对象跟踪；将检测到的跟踪对象用矩形框表示出来；
S2：多摄像机系统的其他摄像机读入帧，并用DPM算法对帧进行人体检测，将检测到的人体在图片帧中的位置存储起来，并用矩形框表示出来；
S3：用SURF算法对Camera‐1中的矩形区域进行关键点检测；SURF(Speeded‐upRobust Features)算法对Camera‐1中的矩形区域进行关键点检测为本领域较为常用的技术，具体可参考Bay H,Tuytelaars T,Gool L V.SURF:Speeded Up RobustFeatures.[J].Computer Vision&Image Understanding,2006,110(3):404‐417；
S4：用FLANN方法将步骤S2得到的各个矩形区域与Camera‐1中的矩形区域进行关键点匹配；
S5：对步骤S2得到的每个矩形区域内的所有关键点的匹配结果求平均值，得到每个矩形区域的平均值，对每个矩形区域的平均值进行排序；
S6:平均值排序的最小值所对应的矩形区域即为所交接的人体目标区域；
S7:对于交接的人体目标在相应的摄像机中使用OAB跟踪算法进行跟踪。
所述的步骤S4具体为：
经过SURF算法得到了图片中关键点的信息及其每个关键点所对应的具有一定维数的向量，设向量的维数为k，在当前图片中检测到的向量集合为T＝{x1,x2,…xN}，T中每一个向量假设为关键点匹配的目标是要在T中找到与目标向量x相近的向量，
关键点匹配过程如下：
1)构造kd树
a)构造根结点，以T中所有实例的x(1)坐标的中位数为切分点，从而划分为两个区域，由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应与坐标x(1)大于切分点的子区域；
b)重复：对深度为j的结点，以所有实例的x(l)坐标的中位数为切分点，l＝j(mod k)+1，同样的也会划分为两个子区域，切分由通过切分点并与坐标轴x(l)垂直的超平面实现，由该节点生成深度为j+1的左、右子结点：左子结点对应于坐标x(l)小于切分点的子区域，右子结点对应坐标x(l)大于切分点的子区域，将落在切分超平面上的实例点保存该结点；
c)重复步骤b)直到所有子区域没有实例存在时停止，从而形成kd树；
2)kd树的最近邻搜索
首先找到包含目标向量x的叶节点；然后从该叶子结点出发，依次回退到父结点；不断查找与目标向量x距离最近的点，当确定不可能存在更近的结点时终止，得到了离x最近的关键点。其他关键点的匹配依此类推，完成了所有关键点的匹配。
本发明与现有技术相比的有益效果是：
跟踪的效率极大的提高。现有的技术往往是精度低，在实际可行的方案中，以Meanshift的变体Camshift算法居多。因为Camshift的速度能够达到实时的效果，Camshift的基本思想是视频图像的所有帧用Meanshift计算，将上一帧跟踪的结果应用到下一帧的Meanshift的初始值，并且进行运算，如果颜色相近的话，则容易跟丢。而OAB算法的主要思想是利用多个弱分类器组合成强分类器，可以区分出跟踪目标与背景，以达到很高的精度。另外，SURF是计算速度很可观的描述子，在CUDA的环境下，将SURF的内部处理并行化，极大的提高了速度，对于多摄像机跟踪系统的流畅性起到了很大的作用。
附图说明
图1是基于OAB的多摄像机跟踪方法总体示意图；
图2是多摄像机人体目标交接示意图；
图3是人体区域匹配示意图。
具体实施方式
本发明利用OAB跟踪算法以及利用多摄像机的人体交接来进行多摄像机的人体目标跟踪。具体的实现包括以下步骤：
(1)在实际环境中，往往因不同的环境而影响DPM检测算法的精度。为了解决这个问题，需要收集大量的，与实际环境相一致的训练集图片，去最大限度的减弱环境的影响。首先，要收集与应用环境相一致的正样本，并且收集一些常用的负样本。为了提高精度，可以适当的加入一些困难样本到训练集中的负样本中去。
(2)用步骤(1)所得到的训练集进行训练，并且得到了DPM算法的模型文件。
(3)在通过摄像机得到的帧并已经选择了跟踪区域后，采用OAB跟踪算法进行跟踪。单摄像机跟踪算法OAB(Real‐time tracking via on‐line Boosting)主要判定了分类器是不是背景的思想，假设在一个图片中还有大量的元素，如果有所跟踪的目标，将跟踪的目标划分为前景，反之，则划分为背景。为了适应目标模型，需要进行不断的模型更新。另外，OAB跟踪算法将多个弱分类器合并成一个强的分类器，更能提高了准确度。
(4)如图1所示，在已有确定人体的跟踪区域的条件下，需要对其他摄像机进行人体检测。用(2)所得到的DPM算法的模型文件对其他摄像机中的图片进行人体检测。DPM算法对视频中的帧检测，并且定位到帧中的人体区域。DPM算法是基于一个判别式训练的、多尺度的、部分模型。DPM检测人体的特征是基于稠密算法的HOG特征(Histogram of Oriented Gradients)。DPM采用的是latent SVM的方法，而HOG采用的是linear SVM的方法来训练。
(5)用SURF进行匹配。图2展示了不同摄像机人体之间的关系并且显示了匹配的具体流程。用SURF在Camera‐1和其他的摄像机中的人体区域进行关键点检测，并且用FLANN(fast library for Approximate Nearest Neighborhood)的方法将Camera‐1的矩形区域与其他的摄像机中的各个矩形区域进行匹配。以两个摄像机为例，如图3所示，坐标的摄像机中的C1是OAB算法跟踪的人体，目的是要在摄像机C2中检测人A的矩形区域。C2中的矩形区域是DPM算法检测出来的区域，将C1中的人A分别与C2中的人A、B、C、D进行FLANN匹配，每一次匹配的结果为一组数据，分别求这一组数据的平均值。将所有的平均值的进行排序，最小值在C2中对应的最小的矩形区域即为所找到的区域。
(6)将这个矩形区域传递给跟踪算法的初始目标，并且用OAB跟踪算法进行跟踪。同样，还以图3为例，将C2中的A的信息交给OAB跟踪算法进行初始化，在初始化后进行跟踪。

Claims (2)

1.一种基于OAB算法的多摄像机人体跟踪方法，包括以下步骤：
S1：在多摄像机系统的一个摄像机中读入帧，并在该帧中选定需要跟踪的对象，记该摄像机为Camera‐1，在该摄像机中用OAB跟踪算法对后续帧进行对象跟踪；将检测到的跟踪对象用矩形框表示出来；
S2：多摄像机系统的其他摄像机读入帧，并用DPM算法对帧进行人体检测，将检测到的人体在图片帧中的位置存储起来，并用矩形框表示出来；
S3：用SURF算法对Camera‐1中的矩形区域进行关键点检测；
S4：用FLANN方法将步骤S2得到的各个矩形区域与Camera‐1中的矩形区域进行关键点匹配；
S5：对步骤S2得到的每个矩形区域内的所有关键点的匹配结果求平均值，得到每个矩形区域的平均值，对每个矩形区域的平均值进行排序；
S6:平均值排序的最小值所对应的矩形区域即为所交接的人体目标区域；
S7:对于交接的人体目标在相应的摄像机中使用OAB跟踪算法进行跟踪。
2.根据权利要求1所述的基于OAB算法的多摄像机人体跟踪方法，其特征在于所述的步骤S4具体为：
经过SURF算法得到了图片中关键点的信息及其每个关键点所对应的具有一定维数的向量，设向量的维数为k，在当前图片中检测到的向量集合为T＝{x1,x2,…xN}，T中每一个向量假设为关键点匹配的目标是要在T中找到与目标向量x相近的向量，
关键点匹配过程如下：
1)构造kd树
a)构造根结点，以T中所有实例的x(1)坐标的中位数为切分点，从而划分为两个区域，由根结点生成深度为1的左、右子结点：左子结点对应坐标x(1)小于切分点的子区域，右子结点对应与坐标x(1)大于切分点的子区域；
b)重复：对深度为j的结点，以所有实例的x(l)坐标的中位数为切分点，l＝j(mod k)+1，同样的也会划分为两个子区域，切分由通过切分点并与坐标轴x(l)垂直的超平面实现，由该节点生成深度为j+1的左、右子结点：左子结点对应于坐标x(l)小于切分点的子区域，右子结点对应坐标x(l)大于切分点的子区域，将落在切分超平面上的实例点保存该结点；
c)重复步骤b)直到所有子区域没有实例存在时停止，从而形成kd树；
2)kd树的最近邻搜索
首先找到包含目标向量x的叶节点；然后从该叶子结点出发，依次回退到父结点；不断查找与目标向量x距离最近的点，当确定不可能存在更近的结点时终止，得到离目标向量x最近的关键点，依此完成所有的关键点匹配。
CN201610323624.6A 2016-05-16 2016-05-16 一种基于oab算法的多摄像机人体跟踪方法 Pending CN106023252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610323624.6A CN106023252A (zh) 2016-05-16 2016-05-16 一种基于oab算法的多摄像机人体跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610323624.6A CN106023252A (zh) 2016-05-16 2016-05-16 一种基于oab算法的多摄像机人体跟踪方法

Publications (1)

Publication Number Publication Date
CN106023252A true CN106023252A (zh) 2016-10-12

Family

ID=57097964

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610323624.6A Pending CN106023252A (zh) 2016-05-16 2016-05-16 一种基于oab算法的多摄像机人体跟踪方法

Country Status (1)

Country Link
CN (1) CN106023252A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485283A (zh) * 2016-10-19 2017-03-08 电子科技大学 一种基于Online Boosting的粒子滤波行人目标跟踪方法
CN108009498A (zh) * 2017-11-30 2018-05-08 天津天地基业科技有限公司 一种基于视频的人员状态检测方法
CN109697392A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 绘制目标对象热力图的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130231769A1 (en) * 2012-03-01 2013-09-05 Taiwan Semiconductor Manufacturing Company, Ltd. Defect Management Systems and Methods
CN104463900A (zh) * 2014-12-31 2015-03-25 天津汉光祥云信息科技有限公司 一种多摄像机间目标自动追踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130231769A1 (en) * 2012-03-01 2013-09-05 Taiwan Semiconductor Manufacturing Company, Ltd. Defect Management Systems and Methods
CN104463900A (zh) * 2014-12-31 2015-03-25 天津汉光祥云信息科技有限公司 一种多摄像机间目标自动追踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
H.GRABNER ETC: "On-line Boosting and Vision", 《COMPUTER SOCIETY》 *
冯亦东 等: "基于SURF特征提取和FLANN搜索的图像匹配算法", 《图学学报》 *
刘树勇 等: "邻近点快速搜索方法在混沌识别中的应用", 《华中科技大学学报（自然科学版）》 *
支晨蛟: "基于视频的高速公路车速检测和车辆跟踪系统", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
熊聪 等: "基于DPM模型的行人检测技术的研究", 《电子设计工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485283A (zh) * 2016-10-19 2017-03-08 电子科技大学 一种基于Online Boosting的粒子滤波行人目标跟踪方法
CN109697392A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 绘制目标对象热力图的方法及装置
CN108009498A (zh) * 2017-11-30 2018-05-08 天津天地基业科技有限公司 一种基于视频的人员状态检测方法

Similar Documents

Publication Publication Date Title
Munaro et al. Tracking people within groups with RGB-D data
Jafari et al. Real-time RGB-D based people detection and tracking for mobile robots and head-worn cameras
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
Wojek et al. Monocular 3d scene understanding with explicit occlusion reasoning
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
CN102243765A (zh) 基于多相机的多目标定位跟踪方法及系统
CN104517095B (zh) 一种基于深度图像的人头分割方法
Zhu et al. Multi-drone-based single object tracking with agent sharing network
CN110599545B (zh) 一种基于特征的构建稠密地图的系统
CN115240130A (zh) 一种行人多目标跟踪方法、装置和计算机可读存储介质
Alvarez et al. Road geometry classification by adaptive shape models
CN112861808B (zh) 动态手势识别方法、装置、计算机设备及可读存储介质
CN111027377A (zh) 一种双流神经网络时序动作定位方法
De Langis et al. Realtime multi-diver tracking and re-identification for underwater human-robot collaboration
CN106023252A (zh) 一种基于oab算法的多摄像机人体跟踪方法
Chen et al. Multiperson tracking by online learned grouping model with nonlinear motion context
Dornaika et al. A new framework for stereo sensor pose through road segmentation and registration
Xu et al. Geometry-aware video object detection for static cameras
CN111767839A (zh) 一种车辆行驶轨迹确定方法、装置、设备及介质
Nemade et al. Adaptive automatic tracking, learning and detection of any real time object in the video stream
Gan et al. A dynamic detection method to improve SLAM performance
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN115188081A (zh) 一种面向复杂场景的检测跟踪一体化方法
Xiong et al. Crowd density estimation based on image potential energy model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161012

RJ01 Rejection of invention patent application after publication