CN108921881A - 一种基于单应性约束的跨摄像头目标跟踪方法 - Google Patents

一种基于单应性约束的跨摄像头目标跟踪方法 Download PDF

Info

Publication number
CN108921881A
CN108921881A CN201810706085.3A CN201810706085A CN108921881A CN 108921881 A CN108921881 A CN 108921881A CN 201810706085 A CN201810706085 A CN 201810706085A CN 108921881 A CN108921881 A CN 108921881A
Authority
CN
China
Prior art keywords
target
camera
homography
color characteristic
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810706085.3A
Other languages
English (en)
Inventor
黄�俊
许二敏
余忠永
施新岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810706085.3A priority Critical patent/CN108921881A/zh
Publication of CN108921881A publication Critical patent/CN108921881A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于单应性约束的跨摄像头目标跟踪方法，步骤如下：一、针对输入的图片，使用HOG特征和颜色特征对目标进行特征提取；二、根据得到的特征，使用相关滤波器的学习规则学习得到滤波模板，同时更新模板；三、根据给定的特征因子对目标响应映射进行融合，得到最终响应映射最大值的位置即为目标所在的位置；四、根据单应性约束以及颜色特征限制，确定相邻摄像头中目标是否为同一目标；五、结合多摄像头目标定位以及单摄像头目标跟踪结果，得到最终跨摄像头场景下目标跟踪结果。本发明针对目前目标跟踪领域出现的目标快速移动、目标离开视野、光照变化、目标遮挡等情况给出了一种新的解决方案，为将目标跟踪应用于实际场景提供了新思路。

Description

一种基于单应性约束的跨摄像头目标跟踪方法
许二敏
技术领域
本发明属于计算机视觉、图像处理领域，特别涉及一种基于单应性约束的跨摄像头目标跟踪方法。
背景技术
跨摄像头目标跟踪是当前视频目标跟踪领域的研究热点，其主要任务是跟踪目标在多个摄像头之间的运动，是智能视频分析的基础。跨摄像头是在多个摄像头之间跟踪具有时间和空间离散性的运动目标，在智能交通、公共安全等领域具有重要应用价值。相对于单摄像头下的目标跟踪，它能够提供对运动目标跨视域、大范围、长时间、鲁棒性更好的跟踪效果。但同时跨摄像头目标跟踪也是极具难度的，首先，单摄像头目标跟踪通常面临几大难点：外观变形、光照变化、快速运动和运动模糊、背景相似干扰、平面外旋转、平面内旋转、尺度变化、遮挡和出视野等情况，而跨摄像头目标跟踪不仅继承了单摄像头目标跟踪的复杂性，同时还需要建立摄像头关联模型，融合来自各个摄像头的图像信息。因此，针对跨摄像头目标跟踪方法值得进一步研究。
跨摄像头目标跟踪通常主要包括单摄像头目标跟踪以及跨摄像头目标定位两个问题。目标跟踪，目前公认分为两大类：生成模型方法和判别模型方法，目标比较流行的是判别类方法也叫检测跟踪。通过对近几年举办的OTB和VOT竞赛结果分析，判别类方法已经成为主流算法，OTB50里面的大部分方法都是判别类方法，经典判别算法以Struck和TLD方法为代表，Struck在2012年之前是最好的方法，TLD是经典长时间跟踪的代表，而之后相关滤波器方法以及深度学习方法相继出现，由于其优异的跟踪准确率以及实时性，占据主流算法的地位。
单摄像头目标跟踪方面，在OTB50上表现优异的相关滤波器类方法，往往无法解决目标跟踪的常见问题如快速运动、光照变化等，导致在实际场景中跟踪效果差。跨摄像头目标定位方面，实际场景中往往会出现作为足部位置被遮挡的情况，导致基于单应性约束的目标确认结果较差，在这种情况下仅仅利用单应性约束很难将目标在摄像头之间正确匹配起来。
该发明单摄像头目标跟踪采用相关滤波器结合颜色特征以及HOG特征的方法，可以有效的应对目标快速变形和快速运动以及光照变化和背景相似颜色的问题；跨摄像头目标定位采用高效的单应性约束结合颜色特征，可以有效的解决跨摄像头目标定位问题。综合以上方法提出的跨摄像头目标跟踪算法可以有效的解决目标跟踪中出现的目标快速变形和快速运动、光照变化和背景相似、目标遮挡等情况，具有极大的实用价值。
发明内容
本发明的目的在于克服现有技术的缺点和不足，提供一种适用于实际应用场景，克服目标跟踪领域常见技术难点的跨摄像头目标跟踪方法，采用单摄像头目标跟踪结合跨摄像头目标定位，实现跨摄像头目标跟踪。具体技术方案实现，一种基于单应性约束的跨摄像头目标跟踪方法：
1.可选地，步骤如下：
步骤一、分析输入视频图像的每一帧图片，提取HOG特征和颜色特征；
步骤二、基于HOG特征和颜色特征分别学习得到两个滤波器模板，在目标未离开当前摄像头视域的情况下，使用两个滤波器模板对目标分别学习得到对应的响应，实现在单摄像头下的目标跟踪；
步骤三、目标进入两个摄像头视野重叠区域后，使用基于单应性约束的跨摄像头目标定位方法确定下一摄像头中目标位置，再次执行单摄像头下的目标跟踪；
步骤四、结合单摄像头下的目标跟踪结果和跨摄像头目标定位结果，得到跨摄像头目标跟踪结果。
2.可选地，在所述步骤二中还包括：使用HOG特征和颜色特征对滤波模板进行学习，然后对滤波模板进行更新，使用两个滤波器模板对目标分别学习，得到对应的响应，使用以下规则：
f(x)＝γrmplftmpl(x)+γhistfhist(x)
对目标进行融合，得到最终的基于当前位置的响应，响应最大的位置即为目标所在的位置，重复这个步骤直至目标离开当前摄像头视域范围；式中γrmpl和γhist分别为HOG特征和颜色特征对应的权重，ftmpl(x)和fhist(x)分别是HOG特征和颜色特征对应的响应，f(x)为基于当前位置最终响应；
3.可选地，在所述步骤三中还包括：结合单应性约束可以实现跨摄像头的目标定位，主要包括以下内容：在两个摄像头视野重叠区域分别取四个特征点A,B,C,D；
在摄像头1图像坐标系中的坐标为：
A1(x1,y1),B1(x2,y2),C1(x3,y3),D1(x4,y4)
在摄像头2图像坐标系中的坐标为：
A2(x’1,y’1),B2(x’2,y’2),C2(x’3,y’3),D2(x’4,y’4)
定义单应矩阵为：
根据摄像头1和2中四对坐标点，即可以联立方程求解出单应矩阵H的参数，生成相邻摄像头的单应变换矩阵；根据单应变矩阵能得到摄像头1中的目标在摄像头2中对应的坐标。
4.可选地，在所述步骤三中，结合颜色特征可以解决摄像头重叠区域足部被遮挡情况下的跨摄像头目标定位，主要包括以下内容：提取摄像头视野下跟踪目标颜色特征，在摄像头监控重叠区域内发生足部遮挡的情况即根据颜色特征确认目标。因为颜色特征等目标固有的特性不会随着摄像头坐标的单应性变换发生改变，因此通过颜色特征可以解决目标遮挡情况下的跨摄像头目标定位。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明方法在相关滤波器的基础上结合颜色特征和HOG特征进行目标跟踪，颜色特征对颜色比较敏感，但是对形变和运动模糊目标有很好的跟踪效果，HOG特征对形变和运动模糊比较敏感，但是对颜色变化有很好的跟踪效果。同时使用两个特征可以解决大部分实际场景中的问题。
(2)本发明方法设计的基于单应性约束的跨摄像头目标定位方法，单应性约束可以解决大多数情况下的目标定位问题，当结合了颜色特征之后可以有效地解决在实际场景中遇到的目标遮挡等问题。
(3)本发明提出的跨摄像头目标跟踪方法可以克服单摄像头目标跟踪视野有限等缺陷，同时着重解决了在实际应用中可能出现的问题，所以具有极大的应用价值。
附图说明
图1是本发明中多摄像头目标投影关系图。
图2是本发明中单摄像头目标跟踪算法流程图。
图3是本发明中跨摄像头目标跟踪算法流程图。
具体实施方式
本发明用于提供一种基于单应性约束的跨摄像头目标跟踪方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用于解释本发明，并不用于限定本发明。
本实例公开了一种基于单应性约束的跨摄像头目标跟踪方法，步骤如下：
一、对于输入的一张图片，使用HOG特征对目标图片进行特征提取，根据相关滤波器的学习规则学习得到的滤波模板，并更新模板；
二、使用颜色特征对滤波模板进行学习，然后对滤波模板进行更新；
三、基于上一帧学习到的位置处，使用给定大小的目标框标出大致目标位置所在，然后使用学习得到的两个滤波器模板对目标分别学习，得到对应的响应，使用给定的规则：
f(x)＝γrmplftmpl(x)+γhistfhist(x)
对目标进行融合，得到最终的基于当前位置的响应，响应最大的位置即为目标所在的位置，重复这个步骤直至目标离开当前摄像头视域范围；
四、在两个摄像头视野重叠区域分别取四个特征点A,B,C,D；
在摄像头1图像坐标系中的坐标为：
A1(x1,y1),B1(x2,y2),C1(x3,y3),D1(x4,y4)
在摄像头2图像坐标系中的坐标为：
A2(x’1,y’1),B2(x’2,y’2),C2(x’3,y’3),D2(x’4,y’4)
定义单应矩阵为：
根据摄像头1和2中四对坐标点，即可以联立方程求解出单应矩阵H的参数，生成相邻摄像头的单应变换矩阵；
五、提取摄像头1中各目标颜色特征，作为发生遮挡情况时多摄像头目标匹配的依据；
六、摄像头2图像坐标系中可以分别得到目标的投影以及依据单应变换矩阵得到的目标投影，两个投影如果有交点即可认为该目标在两个摄像头视野中为同一目标。
七、对每个摄像头视野中目标分配编号，进行单摄像头目标跟踪，当某个目标离开当前摄像头视野，依据单应性约束，分配相对应的编号，得到最终的目标跟踪结果。

Claims (4)

1.一种基于单应性的跨摄像头目标跟踪方法，其特征在于，步骤如下：
步骤一、分析输入视频图像的每一帧图片，提取HOG特征和颜色特征；
步骤二、基于HOG特征和颜色特征分别学习得到两个滤波器模板，在目标未离开当前摄像头视域的情况下，使用两个滤波器模板对目标分别学习得到对应的响应，实现在单摄像头下的目标跟踪；
步骤三、目标进入两个摄像头视野重叠区域后，使用基于单应性约束的跨摄像头目标定位方法确定下一摄像头中目标位置，再次执行单摄像头下的目标跟踪；
步骤四、结合单摄像头下的目标跟踪结果和跨摄像头目标定位结果，得到跨摄像头目标跟踪结果。
2.根据权利要求1所述的基于单应性约束的跨摄像头目标跟踪方法，其特征在于，在所述步骤二中还包括：使用HOG特征和颜色特征对滤波模板进行学习，然后对滤波模板进行更新，使用两个滤波器模板对目标分别学习，得到对应的响应，使用以下规则：
f(x)＝γrmplftmpl(x)+γhistfhist(x)
对目标进行融合，得到最终的基于当前位置的响应，响应最大的位置即为目标所在的位置，重复这个步骤直至目标离开当前摄像头视域范围；式中γrmpl和γhist分别为HOG特征和颜色特征对应的权重，ftmpl(x)和fhist(x)分别是HOG特征和颜色特征对应的响应，f(x)为基于当前位置最终响应。
3.根据权利要求1所述的基于单应性约束的跨摄像头目标跟踪方法，其特征在于，在所述步骤三中还包括：结合单应性约束可以实现跨摄像头的目标定位，主要包括以下内容：在两个摄像头视野重叠区域分别取四个特征点A,B,C,D；
在摄像头1图像坐标系中的坐标为：
A1(x1,y1),B1(x2,y2),C1(x3,y3),D1(x4,y4)
在摄像头2图像坐标系中的坐标为：
A2(x’1,y’1),B2(x’2,y’2),C2(x’3,y’3),D2(x’4,y’4)
定义单应矩阵为：
根据摄像头1和2中四对坐标点，即可以联立方程求解出单应矩阵H的参数，生成相邻摄像头的单应变换矩阵；根据单应变矩阵能得到摄像头1中的目标在摄像头2中对应的坐标。
4.根据权利要求1所述的基于单应性约束的跨摄像头目标跟踪方法，其特征在于，在所述步骤三中，结合颜色特征可以解决摄像头重叠区域足部被遮挡情况下的跨摄像头目标定位，主要包括以下内容：提取摄像头视野下跟踪目标颜色特征，在摄像头监控重叠区域内发生足部遮挡的情况即根据颜色特征确认目标。因为颜色特征等目标固有的特性不会随着摄像头坐标的单应性变换发生改变，因此通过颜色特征可以解决目标遮挡情况下的跨摄像头目标定位。
CN201810706085.3A 2018-06-28 2018-06-28 一种基于单应性约束的跨摄像头目标跟踪方法 Pending CN108921881A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810706085.3A CN108921881A (zh) 2018-06-28 2018-06-28 一种基于单应性约束的跨摄像头目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810706085.3A CN108921881A (zh) 2018-06-28 2018-06-28 一种基于单应性约束的跨摄像头目标跟踪方法

Publications (1)

Publication Number Publication Date
CN108921881A true CN108921881A (zh) 2018-11-30

Family

ID=64422665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810706085.3A Pending CN108921881A (zh) 2018-06-28 2018-06-28 一种基于单应性约束的跨摄像头目标跟踪方法

Country Status (1)

Country Link
CN (1) CN108921881A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517298A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 轨迹匹配方法和装置
CN110688895A (zh) * 2019-08-23 2020-01-14 中国矿业大学 基于多模板学习的井下跨视域目标检测跟踪方法
CN110706251A (zh) * 2019-09-03 2020-01-17 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110866480A (zh) * 2019-11-07 2020-03-06 浙江大华技术股份有限公司 对象的跟踪方法及装置、存储介质、电子装置
CN111402286A (zh) * 2018-12-27 2020-07-10 杭州海康威视系统技术有限公司 一种目标跟踪方法、装置、系统及电子设备
CN111405243A (zh) * 2020-02-28 2020-07-10 北京大学（天津滨海）新一代信息技术研究院 基于多摄像机的目标监控方法及系统
CN116055898A (zh) * 2023-01-04 2023-05-02 深圳闪新软件技术服务有限公司 一种回收终端摄像头控制系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156863A (zh) * 2011-05-16 2011-08-17 天津大学 跨摄像头的多运动目标跟踪方法
CN102164269A (zh) * 2011-01-21 2011-08-24 北京中星微电子有限公司 全景监控方法及装置
CN103997624A (zh) * 2014-05-21 2014-08-20 江苏大学 重叠域双摄像头目标跟踪系统及方法
CN106991690A (zh) * 2017-04-01 2017-07-28 电子科技大学 一种基于运动目标时序信息的视频序列同步方法
CN107240124A (zh) * 2017-05-19 2017-10-10 清华大学 基于时空约束的跨镜头多目标跟踪方法及装置
CN107580199A (zh) * 2017-09-08 2018-01-12 深圳市伊码泰珂电子有限公司 重叠视域多摄像机协同的目标定位与跟踪系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164269A (zh) * 2011-01-21 2011-08-24 北京中星微电子有限公司 全景监控方法及装置
CN102156863A (zh) * 2011-05-16 2011-08-17 天津大学 跨摄像头的多运动目标跟踪方法
CN103997624A (zh) * 2014-05-21 2014-08-20 江苏大学 重叠域双摄像头目标跟踪系统及方法
CN106991690A (zh) * 2017-04-01 2017-07-28 电子科技大学 一种基于运动目标时序信息的视频序列同步方法
CN107240124A (zh) * 2017-05-19 2017-10-10 清华大学 基于时空约束的跨镜头多目标跟踪方法及装置
CN107580199A (zh) * 2017-09-08 2018-01-12 深圳市伊码泰珂电子有限公司 重叠视域多摄像机协同的目标定位与跟踪系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUCA BERTINETTO 等: "Staple：Complementary Learners for Real-Time Tracking", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
卢湖川 等: "目标跟踪算法综述", 《模式识别与人工智能》 *
吴与同: "多摄像头环境中目标跟踪算法研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王先彬 等: "跨摄像头目标跟踪综述", 《现代计算机》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402286A (zh) * 2018-12-27 2020-07-10 杭州海康威视系统技术有限公司 一种目标跟踪方法、装置、系统及电子设备
CN111402286B (zh) * 2018-12-27 2024-04-02 杭州海康威视系统技术有限公司 一种目标跟踪方法、装置、系统及电子设备
CN110688895A (zh) * 2019-08-23 2020-01-14 中国矿业大学 基于多模板学习的井下跨视域目标检测跟踪方法
CN110688895B (zh) * 2019-08-23 2023-04-07 中国矿业大学 基于多模板学习的井下跨视域目标检测跟踪方法
CN110517298A (zh) * 2019-08-27 2019-11-29 北京百度网讯科技有限公司 轨迹匹配方法和装置
CN110517298B (zh) * 2019-08-27 2022-10-21 北京百度网讯科技有限公司 轨迹匹配方法和装置
CN110706251A (zh) * 2019-09-03 2020-01-17 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110706251B (zh) * 2019-09-03 2022-09-23 北京正安维视科技股份有限公司 一种行人跨镜头跟踪方法
CN110866480A (zh) * 2019-11-07 2020-03-06 浙江大华技术股份有限公司 对象的跟踪方法及装置、存储介质、电子装置
CN111405243A (zh) * 2020-02-28 2020-07-10 北京大学（天津滨海）新一代信息技术研究院 基于多摄像机的目标监控方法及系统
CN116055898A (zh) * 2023-01-04 2023-05-02 深圳闪新软件技术服务有限公司 一种回收终端摄像头控制系统

Similar Documents

Publication Publication Date Title
CN108921881A (zh) 一种基于单应性约束的跨摄像头目标跟踪方法
WO2021196294A1 (zh) 一种跨视频人员定位追踪方法、系统及设备
WO2021138995A1 (zh) 一种棋盘格角点全自动检测方法
CN105518744B (zh) 行人再识别方法及设备
CN104517102B (zh) 学生课堂注意力检测方法及系统
CN106874884B (zh) 基于部位分割的人体再识别方法
CN104778690B (zh) 一种基于摄像机网络的多目标定位方法
WO2018209934A1 (zh) 基于时空约束的跨镜头多目标跟踪方法及装置
CN103927016B (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
JP6453488B2 (ja) 人体頭頂部の識別に基づく通行人の統計方法及び装置
Chu et al. Object tracking algorithm based on camshift algorithm combinating with difference in frame
CN108198221A (zh) 一种基于肢体动作的舞台灯光自动跟踪系统及方法
CN102243765A (zh) 基于多相机的多目标定位跟踪方法及系统
CN110264493A (zh) 一种针对运动状态下的多目标对象追踪方法和装置
CN111199556B (zh) 基于摄像头的室内行人检测和跟踪方法
CN103530599A (zh) 一种真实人脸和图片人脸的区别方法和系统
CN103440667B (zh) 一种遮挡状态下运动目标稳定追踪的自动装置
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN106446862A (zh) 一种人脸检测方法及系统
CN105022999A (zh) 一种人码伴随实时采集系统
Xu et al. Integrated approach of skin-color detection and depth information for hand and face localization
CN106327525A (zh) 一种机房重地越界行为实时监测方法
CN106022211B (zh) 一种利用手势控制多媒体设备的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181130

WD01 Invention patent application deemed withdrawn after publication