CN107680123A - 跨区域人体视频单目标智能跟踪算法器 - Google Patents
跨区域人体视频单目标智能跟踪算法器 Download PDFInfo
- Publication number
- CN107680123A CN107680123A CN201710762884.8A CN201710762884A CN107680123A CN 107680123 A CN107680123 A CN 107680123A CN 201710762884 A CN201710762884 A CN 201710762884A CN 107680123 A CN107680123 A CN 107680123A
- Authority
- CN
- China
- Prior art keywords
- target
- algorithm
- kalman filter
- tracking
- hungary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种跨区域人体视频单目标智能跟踪算法器,提出了卡尔曼滤波器与匈牙利优化算法相结合的创新混合式算法器算法,在跟踪视频中运动目标时,可以有效的领先预测出运动目标在下一帧图像中可能出现的位置,用卡尔曼滤波器预测目标位置,再用匈牙利优化算法计算人体运动目标最优位置。所提出的算法能够在一系列视频帧中检测人体运动,并在多个摄像机之间从帧到帧跟踪人体运动目标。当目标被严重遮挡或受到同色背景干扰时,本算法仍能快速准确的跟踪人体运动目标,并保持持久,具有很强的适应性和稳定性。
Description
技术领域
本发明涉及一种单目标智能跟踪方法,特别是一种跨区域人体视频单目标智能跟踪算法器。
背景技术
计算机视觉领域,在研究先进视觉目标跟踪算法的基础上, 对单目标的长期跟踪、目标跟踪器、目标检测踪器等问题,结合学术前沿知识,提出了创新智能算法,最后应用到跨区域人体视频目标跟踪智能监控系统,进行单目标长期跟踪、定位与识别,具有较好的技术性能。
单目标的长期跟踪是指在使用一边界框确定了单个被跟踪目标之后,在连续的帧内对该目标进行检测识别与跟踪的过程。在跟踪的过程中,跟踪方法需要克服环境以及被跟踪目标的不断变化的干扰,实现长期的目标跟踪。一般需要解决的干扰包括了环境光照变化、噪声、视频传感器的移动、遮挡问题、目标离开场景和目标再次进入场景。对目标离开场景和目标再次进入场景的检测和持续的跟踪。针对问题,对单一摄像头涵盖范围内的目标检测与跟踪,不论是利用方向梯度直方图、初始特征点、微粒群、空间最近邻近、光流等算法都有人提出。但是当想要利用多个摄像头进行目标连续跟踪与预测,上面的算法就无法直接达到目的,由于数据量的大幅增加,更不用想进行实时跟踪。
而且现有算法技术在目标识别开始跟踪后通常可以保持良好的跟踪性,但是一旦因为遮挡失去跟踪,当目标再出现时往往因为目标形变、视角改变、复杂背景以及其他原因造成无法接续识别为先前相同目标并将预测跟踪线画出,如此一来现有算法将完全无法使用于多摄像头的识别跟踪环境。针对上述问题,提出创新混合式算法器,将多种识别、跟踪、智能预测以及机器学习算法器组合使用,以达到单一目标在多摄像头间移动最佳的跟踪效果。
发明内容
为了克服现有技术的不足,本发明提供一种跨区域人体视频单目标智能跟踪算法器。
本发明解决其技术问题所采用的技术方案是:
与权利要求相同。
本发明的有益效果是:本方法提出了卡尔曼滤波器与匈牙利优化算法相结合的创新混合式算法器算法,在跟踪视频中运动目标时,可以有效的领先预测出运动目标在下一帧图像中可能出现的位置,用卡尔曼滤波器预测目标位置,再用匈牙利优化算法计算人体运动目标最优位置。所提出的算法能够在一系列视频帧中检测人体运动,并在多个摄像机之间从帧到帧跟踪人体运动目标。当目标被严重遮挡或受到同色背景干扰时,本算法仍能快速准确的跟踪人体运动目标,并保持持久,具有很强的适应性和稳定性。以达到单一人体运动姿态目标在多摄像头间移动最佳的跟踪效果,应用到跨区域人体视频目标跟踪智能监控系统,进行单目标长期跟踪、定位与识别,具有较好的技术性能。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是卡尔曼滤波器与匈牙利优化算法混合式算法流程框图。
具体实施方式
参照图1,本发明公开了一种跨区域人体视频单目标智能跟踪算法器,包括以下步骤:
一,从视频序列中选取一帧图像作为背景帧图像,对背景帧图像建模,计算当前帧图像与背景帧图像的差分,并得到人体运动目标,上述过程为视频跟踪识别领域内的常规方法,因而具体不详述,
二,初始化搜索窗口,根据当前帧图像与背景帧图像的差分得到的运动目标所在位置的最优估计值,通过卡尔曼滤波器预测运动目标在当前帧图像中所在的位置,其具体计算方法如下:
卡尔曼滤波器包括预测方程组和观测更新方程组,预测方程组用来实时推算误差协方差的值和当前的状态变量;观测更新方程组用来将计算得到的观测变量与先验估计相结合来获得修正后的后验估计,同时后验估计的结果作为下一个时间状态的先验估计,因为单通过预测方程组计算所获得的预测值是不精确的,因而需要将预测方程组获得的值代入代入更新方程组得到精确的值,即得到更精确的位置;
预测方程组:
(1)状态预测:
(2)误差协方差预测:
观测更新方程组(校正):
(1)计算卡尔曼增益:
(2)状态校正:
(3)误差协差校正:
返回,
xk是n×1维状态向量,A是状态转移矩阵,uk-1是动态干扰(白噪声)的随机向量,B是n×n维输入矩阵,Q为协方差矩阵;Zk是m×1维观测向量,H是m×n维观测值,协方差维 R,
三,利用匈牙利优化算法在卡尔曼滤波器预测的目标中心点领域内搜索迭代搜索,计算出运动目标的最优位置,匈牙利优化算法是一个用于标记新对象的优化算法,或者从帧到帧匹配移动对象的标签,假设每个人的运动都是独立于他人的,对于需要跟踪的场景中的每个人,应用单独的卡尔曼滤波器来模拟其轨迹,跟踪算法将保持当前在帧K处跟踪的一组对象(人),以及在该帧上可用的一组观测值Mk:
其中Nk表示物体的数量,Lk是测量的数量。令DN*N是每个O和 M之间的距离矩阵,使得D(i,j)=dist(Oi,Mj),然后
在实际实施中,先计算每个对象和观测的成对距离。匈牙利优化算法的具体实施步骤如下:
1.先计算每个对象和观测的成对距离评价矩阵的值,从而将代价矩阵转化为评价矩阵。
2.对评价矩阵进行线性变换,每行每列都减去该行该列中的最小元素,评价矩阵的每行元素减去该行的最小元素hi,再从所得到的新的评价矩阵的每列元素中减去该列的最小元素 nj,使其各行各列中出现0元素。
3.根据得到的新的评价矩阵进行试分配,寻求最优的分配结果。按以下的步骤进行变换。
例1:
经过变换后,新评价矩阵中的每行每列都出现了0 元素,它具有n个独立的0元素,因此得到了问题的最优解。该算法是非常有效的,能够在复杂情况下,可靠地跟踪目标,适用于人体运动目标实时跟踪。
四,用匈牙利优化算法计算的最优值作为观测值,更新卡尔曼滤波器,可准确判断出人体运动目标的位置,
五,当出现背景颜色干扰或者目标被部分遮挡,用卡尔曼滤波器预测值作为观测值,并更新卡尔曼滤波器,可以准确预测出人体运动目标的位置,
六,步骤二至五反复循环,实现人体运动目标预测和透过各摄像头位置与姿态对目标进行智能定位跟踪。
以上对本发明实施例所提供的一种跨区域人体视频单目标智能跟踪算法器,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (1)
1.一种跨区域人体视频单目标智能跟踪算法器,其特征在于:包括以下步骤:
一,从视频序列中选取一帧图像作为背景帧图像,对背景帧图像建模,计算当前帧图像与背景帧图像的差分,并得到人体运动目标,
二,初始化搜索窗口,根据当前帧图像与背景帧图像的差分得到的运动目标所在位置的最优估计值,通过卡尔曼滤波器预测运动目标在当前帧图像中所在的位置,其具体计算方法如下:
卡尔曼滤波器包括预测方程组和观测更新方程组,预测方程组用来实时推算误差协方差的值和当前的状态变量;观测更新方程组用来将计算得到的观测变量与先验估计相结合来获得修正后的后验估计,同时后验估计的结果作为下一个时间状态的先验估计;
预测方程组:
(1)状态预测:
(2)误差协方差预测:
观测更新方程组(校正):
(1)计算卡尔曼增益:
Kk=Pk -HT(HPk -HT+R)-1
(2)状态校正:
(3)误差协差校正:
返回,
xk是n×1维状态向量,A是状态转移矩阵,B是n×n维输入矩阵,Q为协方差矩阵;Zk是m×1维观测向量,H是m×n维观测值,协方差维R,
三,利用匈牙利优化算法在卡尔曼滤波器预测的目标中心点领域内搜索迭代搜索,计算出运动目标的最优位置,匈牙利优化算法这是一个用于标记新对象的优化算法,对于需要跟踪的场景中的每个人,应用单独的卡尔曼滤波器来模拟其轨迹,匈牙利优化算法将保持当前在帧K处跟踪的一组对象(人),以及在该帧上可用的一组观测值Mk:
其中Nk表示物体的数量,Lk是测量的数量。令DN*N是每个O和M之间的距离矩阵,使得D(i,j)=dist(Oi,Mj),然后
四,用匈牙利优化算法计算的最优值作为观测值,更新卡尔曼滤波器,
五,当出现背景颜色干扰或者目标被部分遮挡,用卡尔曼滤波器预测值作为观测值,并更新卡尔曼滤波器,
六,步骤二至五反复循环,实现人体运动目标预测和透过各摄像头位置与姿态对目标进行智能定位跟踪。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710762884.8A CN107680123A (zh) | 2017-08-30 | 2017-08-30 | 跨区域人体视频单目标智能跟踪算法器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710762884.8A CN107680123A (zh) | 2017-08-30 | 2017-08-30 | 跨区域人体视频单目标智能跟踪算法器 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107680123A true CN107680123A (zh) | 2018-02-09 |
Family
ID=61134403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710762884.8A Pending CN107680123A (zh) | 2017-08-30 | 2017-08-30 | 跨区域人体视频单目标智能跟踪算法器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107680123A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872341A (zh) * | 2019-01-14 | 2019-06-11 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与系统 |
CN113963034A (zh) * | 2021-10-22 | 2022-01-21 | 长春一汽富晟集团有限公司 | 一种基于视觉的多车位目标跟踪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7705780B1 (en) * | 2007-12-20 | 2010-04-27 | The United States Of America As Represented By The Secretary Of The Navy | Electronic support measures (ESM) tracking system and method |
CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
-
2017
- 2017-08-30 CN CN201710762884.8A patent/CN107680123A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7705780B1 (en) * | 2007-12-20 | 2010-04-27 | The United States Of America As Represented By The Secretary Of The Navy | Electronic support measures (ESM) tracking system and method |
CN101794385A (zh) * | 2010-03-23 | 2010-08-04 | 上海交通大学 | 用于视频序列的多角度多目标快速人脸跟踪方法 |
Non-Patent Citations (3)
Title |
---|
于海彬: ""智能监控系统的运动目标检测跟踪算法研究与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
张建: ""基于视觉的行人统计系统设计"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
韩光星,等: ""基于多模型检测的视频监控行人跟踪算法"", 《华中科技大学学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109872341A (zh) * | 2019-01-14 | 2019-06-11 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与系统 |
CN109872341B (zh) * | 2019-01-14 | 2020-11-24 | 中建三局智能技术有限公司 | 一种基于计算机视觉的高空抛物检测方法与系统 |
CN113963034A (zh) * | 2021-10-22 | 2022-01-21 | 长春一汽富晟集团有限公司 | 一种基于视觉的多车位目标跟踪方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dai et al. | Rgb-d slam in dynamic environments using point correlations | |
Qin et al. | Vins-mono: A robust and versatile monocular visual-inertial state estimator | |
Bryner et al. | Event-based, direct camera tracking from a photometric 3d map using nonlinear optimization | |
Parisotto et al. | Global pose estimation with an attention-based recurrent network | |
Iyer et al. | Geometric consistency for self-supervised end-to-end visual odometry | |
Zhang et al. | Real-time human motion tracking using multiple depth cameras | |
Zhang et al. | Motion analysis | |
Gallego et al. | Event-based camera pose tracking using a generative event model | |
Hwangbo et al. | Inertial-aided KLT feature tracking for a moving camera | |
JP2019536012A (ja) | 可変コントラスト追跡残余を用いる視覚慣性ナビゲーション | |
KR101665386B1 (ko) | 로봇 위치 추정 장치 및 방법 | |
KR20150088636A (ko) | 위치 추정 장치 및 방법 | |
JP2016525842A (ja) | カメラ動き予測及び修正のための方法 | |
CN102110296A (zh) | 一种复杂场景下的运动目标跟踪方法 | |
CN101853511A (zh) | 一种抗遮挡目标轨迹预测跟踪方法 | |
Li et al. | Vision-aided inertial navigation for resource-constrained systems | |
Gallego et al. | Event-based, 6-dof camera tracking for high-speed applications | |
CN105374049B (zh) | 一种基于稀疏光流法的多角点跟踪方法及装置 | |
CN108133487A (zh) | 视频跨区域单人体姿态目标检测提取方法 | |
Spica et al. | Plane estimation by active vision from point features and image moments | |
CN107680123A (zh) | 跨区域人体视频单目标智能跟踪算法器 | |
CN102982556B (zh) | 基于流形上粒子滤波算法的视频目标跟踪方法 | |
Ringer et al. | Modelling and tracking articulated motion from multiple camera views | |
Cordella et al. | Robust pose estimation algorithm for wrist motion tracking | |
Monteleone et al. | Particle filtering for tracking in 360 degrees videos using virtual PTZ cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180209 |