CN105261039B - 一种基于深度图像的自适应调整目标跟踪算法 - Google Patents

一种基于深度图像的自适应调整目标跟踪算法 Download PDF

Info

Publication number
CN105261039B
CN105261039B CN201510663035.8A CN201510663035A CN105261039B CN 105261039 B CN105261039 B CN 105261039B CN 201510663035 A CN201510663035 A CN 201510663035A CN 105261039 B CN105261039 B CN 105261039B
Authority
CN
China
Prior art keywords
depth
target
tracks
center
dist
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510663035.8A
Other languages
English (en)
Other versions
CN105261039A (zh
Inventor
杨阳
张宁
刘云霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN201510663035.8A priority Critical patent/CN105261039B/zh
Publication of CN105261039A publication Critical patent/CN105261039A/zh
Application granted granted Critical
Publication of CN105261039B publication Critical patent/CN105261039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种基于深度图像的自适应调整目标跟踪算法，首先，利用采用深度传感器采集深度图像信息，然后，通过深度相机标定，获取跟踪目标和深度相机之间的距离与跟踪目标中心点深度值的关系；最后，根据跟踪目标中心点深度值的变化，实现搜索半径自适应调整，实现对跟踪目标的准确跟踪。本发明保护跟踪目标隐私的同时有效克服了跟踪目标之间的阻塞、重叠等问题。本发明算法过程简单，有效减少了计算的复杂度，缩短算法运行时间，提高了跟踪效率，适用于监控、视频编码、智能交通，军工等众多领域。

Description

一种基于深度图像的自适应调整目标跟踪算法
技术领域
本发明涉及一种基于深度图像的自适应调整目标跟踪算法，属于计算机视觉技术领域。
背景技术
随着深度传感器的推出，如何有效利用深度传感器得到的深度信息来解决计算机视觉中的关键问题已成为目前的研究热点。虽然基于彩色图像的人体跟踪已经取得了一定的进展，但是却常常因为受光照变化、阴影、物体遮挡及复杂背景等因素的干扰。深度图像作为一种新型的数据描述方式，不仅可以保存物体的空间位置信息，而且具有保护隐私、不受光照变化影响的优点。
深度相机能够实时快速的计算深度信息，达到几十到100fps。而双目立体相机需要用到复杂的相关性算法，处理速度较慢。深度相机的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测。而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。深度相机的深度计算精度不随距离改变而变化，基本能稳定在cm级，这对于一些大范围运动的应用场合非常有意义。
现有的目标跟踪算法，计算复杂，计算量大，并且在跟踪目标的运行速度基本稳定的情况下，不需要如此繁琐复杂的算法计算。
发明内容
针对现有技术的不足，本发明提供了一种基于深度图像的自适应调整目标跟踪算法；
首先，利用采用深度传感器采集深度图像信息，然后，通过深度相机标定，获取跟踪目标和深度相机之间的距离与跟踪目标中心点深度值的关系；最后，根据跟踪目标中心点深度值的变化，实现搜索半径自适应调整，从而实现对跟踪目标的准确、实时跟踪。
本发明避免了光照变化等复杂背景下跟踪目标的不稳定问题，算法简单、精确，运行速度快，实现了实时、快速、准确跟踪目标的目的。
术语解释
基于最小二乘法的直线拟合，是一种数学上的近似和优化，利用已知的数据得出一条直线，使之在坐标系上与已知数据之间的距离的平方和最小。
本发明的技术方案为：
一种基于深度图像的自适应调整目标跟踪算法，具体步骤如下：
(1)采用深度传感器采集跟踪目标的深度图像；
(2)通过深度相机标定，获取跟踪目标和深度相机之间的距离与跟踪目标中心点深度值的关系；具体步骤包括：
a、保持跟踪目标处于深度相机的视野的中心位置，在深度相机的有效识别范围内，在跟踪目标和深度相机之间，每间隔距离ΔDist通过深度相机得到对应的深度图像，共得到n帧深度图像，ΔDist的取值范围(1-20)mm，获取每帧深度图像中跟踪目标中心点的深度值；
b、通过步骤a获取n组数据，每组数据包括：跟踪目标和深度相机之间的距离及该距离对应的跟踪目标中心点的深度值，对n组数据进行基于最小二乘法的直线拟合，得到跟踪目标和深度相机之间的距离与跟踪目标中心点的深度值的关系式，如式(Ⅰ)所示：
Dist＝α·Depth+β (Ⅰ)
式(Ⅰ)中，Depth表示跟踪目标中心点的深度值，Dist表示跟踪目标和深度相机之间的距离，α的取值范围为1.02-1.04，β取值范围为(-275)-(-175)；
(3)使用深度相机进行目标跟踪：根据目标中心点深度值的变化，不断更新搜索半径的大小以适应跟踪目标在视野中的变化，i的初始值为2，i的取值范围：2≤i≤n，具体步骤包括：
c、在第(i-1)帧深度图像中，跟踪目标和深度相机的距离Dist(i-1)与目标中心点深度值Depth(i-1)之间的关系式如式(Ⅱ)所示：
Dist(i-1)＝α·Depth(i-1)+β (Ⅱ)
在第i帧深度图像中，跟踪目标和深度相机的距离Disti与目标中心点深度值Depthi之间的关系式如式(Ⅲ)所示：
Disti＝α·Depthi+β (Ⅲ)
将式(Ⅲ)与式(Ⅱ)作差，得到式(Ⅳ)：
ΔDisti＝α·ΔDepthi (Ⅳ)
式(Ⅳ)中，ΔDisti＝Disti-Dist(i-1)，表示跟踪目标和深度相机之间的距离的变化量；ΔDepthi＝Depthi-Depth(i-1)，表示跟踪目标在深度相机成像后的跟踪目标中心点深度值的变化量；
d、当|ΔDepthi|≤ΔDepthopt，ri＝R；否则， ΔDepthopt是指阈值；v是指跟踪目标的最大运动速度，v的单位为m/s；k是指深度相机的帧率，即深度相机每秒获取k帧深度图像；ri是指第i帧深度图像的搜索半径；R是指初始搜索半径；sgn(ΔDepthi)为符号函数，当ΔDepthi≥0时，sgn(ΔDepthi)＝1，否则，sgn(ΔDepthi)＝-1；所述搜索半径是指深度图像中偏离目标中心点坐标的距离；
e、根据得到的搜索半径ri，在第i帧深度图像中搜素跟踪目标；当i＝n时，结束；否则，i加1，进入步骤c。
根据本发明优选的，所述深度相机的型号为Microsoft Kinect V2.0。
本发明的有益效果为：
1、本发明利用深度图像信息，排除了光照、阴影及物体表面的纹理产生的干扰，得到可靠的三维物体几何信息，利用深度图像信息进行目标跟踪，保护跟踪目标隐私的同时有效克服了跟踪目标之间的阻塞、重叠等问题。
2、本发明定位精度较高，能够实现搜索半径随着跟踪目标中心深度值的变化而自适应调整，实时适应跟踪目标大小的变化。
3、本发明算法过程简单，有效减少了计算的复杂度，缩短算法运行时间，提高了跟踪效率，适用于监控、视频编码、智能交通，军工等众多领域。
具体实施方式
下面结合实施例对本发明作进一步限定，但不限于此。
实施例
一种基于深度图像的自适应调整目标跟踪算法，具体步骤如下：
(1)采用深度传感器采集跟踪目标的深度图像；
(2)通过深度相机标定，获取跟踪目标和深度相机之间的距离与跟踪目标中心点深度值的关系；具体步骤包括：
a、保持跟踪目标处于深度相机的视野的中心位置，在深度相机的有效识别范围内，在跟踪目标和深度相机之间，每间隔距离ΔDist通过深度相机得到对应的深度图像，共得到n帧深度图像，ΔDist的取值范围10mm，获取每帧深度图像中跟踪目标中心点的深度值；
b、通过步骤a获取n组数据，每组数据包括：跟踪目标和深度相机之间的距离及该距离对应的跟踪目标中心点的深度值，对n组数据进行基于最小二乘法的直线拟合，得到跟踪目标和深度相机之间的距离与跟踪目标中心点的深度值的关系式，如式(Ⅰ)所示：
Dist＝α·Depth+β (Ⅰ)
式(Ⅰ)中，Depth表示跟踪目标中心点的深度值，Dist表示跟踪目标和深度相机之间的距离，α＝1.03,β＝-225；
(3)使用深度相机进行目标跟踪：根据目标中心点深度值的变化，不断更新搜索半径的大小以适应跟踪目标在视野中的变化，i＝2，2≤i≤n，具体步骤包括：
c、在第(i-1)帧深度图像中，跟踪目标和深度相机的距离Dist(i-1)与目标中心点深度值Depth(i-1)之间的关系式如式(Ⅱ)所示：
Dist(i-1)＝α·Depth(i-1)+β (Ⅱ)
在第i帧深度图像中，跟踪目标和深度相机的距离Disti与目标中心点深度值Depthi之间的关系式如式(Ⅲ)所示：
Disti＝α·Depthi+β (Ⅲ)
将式(Ⅲ)与式(Ⅱ)作差，得到式(Ⅳ)：
ΔDisti＝α·ΔDepthi (Ⅳ)
式(Ⅳ)中，ΔDisti＝Disti-Dist(i-1)，表示跟踪目标和深度相机之间的距离的变化量；ΔDepthi＝Depthi-Depth(i-1)，表示跟踪目标在深度相机成像后的跟踪目标中心点深度值的变化量；
d、当|ΔDepthi|≤ΔDepthopt，ri＝R；否则， ΔDepthopt是指阈值；v是指跟踪目标的最大运动速度，v的单位为m/s；k是指深度相机的帧率，即深度相机每秒获取k帧深度图像；ri是指第i帧深度图像的搜索半径；R是指初始搜索半径；sgn(ΔDepthi)为符号函数，当ΔDepthi≥0时，sgn(ΔDepthi)＝1，否则，sgn(ΔDepthi)＝-1；所述搜索半径是指深度图像中偏离目标中心点坐标的距离；
e、根据得到的搜索半径ri，在第i帧深度图像中搜素跟踪目标；当i＝n时，结束；否则，i加1，进入步骤c。
所述深度相机的型号为Microsoft Kinect V2.0。

Claims (2)

1.一种基于深度图像的自适应调整目标跟踪方法，其特征在于，具体步骤如下：
(1)采用深度传感器采集跟踪目标的深度图像；
(2)通过深度相机标定，获取跟踪目标和深度相机之间的距离与跟踪目标中心点深度值的关系；具体步骤包括：
a、保持跟踪目标处于深度相机的视野的中心位置，在深度相机的有效识别范围内，在跟踪目标和深度相机之间，每间隔距离△Dist通过深度相机得到对应的深度图像，共得到n帧深度图像，△Dist的取值范围(1-20)mm，获取每帧深度图像中跟踪目标中心点的深度值；
b、通过步骤a获取n组数据，每组数据包括：跟踪目标和深度相机之间的距离及该距离对应的跟踪目标中心点的深度值，对n组数据进行基于最小二乘法的直线拟合，得到跟踪目标和深度相机之间的距离与跟踪目标中心点的深度值的关系式，如式(I)所示：
Dist＝α·Depth+β (I)
式(I)中，Depth表示跟踪目标中心点的深度值，Dist表示跟踪目标和深度相机之间的距离，α的取值范围为1.02-1.04，β取值范围为(-275)-(-175)；
(3)使用深度相机进行目标跟踪：根据目标中心点深度值的变化，不断更新搜索半径的大小以适应跟踪目标在视野中的变化，i的初始值为2，i的取值范围：2≤i≤n，具体步骤包括：
c、在第(i-1)帧深度图像中，跟踪目标和深度相机的距离Dist(i-1)与目标中心点深度值Depth(i-1)之间的关系式如式(II)所示：
Dist(i-1)＝α·Depth(i-1)+β (II)
在第i帧深度图像中，跟踪目标和深度相机的距离Disti与目标中心点深度值Depthi之间的关系式如式(III)所示：
Disti＝α·Depthi+β (III)
将式(III)与式(II)作差，得到式(IV)：
△Disti＝α·△Depthi (IV)
式(IV)中，△Disti＝Disti-Dist(i-1)，表示跟踪目标和深度相机之间的距离的变化量；△Depthi＝Depthi-Depth(i-1)，表示跟踪目标在深度相机成像后的跟踪目标中心点深度值的变化量；
d、当|△Depthi|≤△Depthopt，使得ri＝R；否则，△Depthopt是指阈值，v是指跟踪目标的最大运动速度，v的单位为m/s；k是指深度相机的帧率，即深度相机每秒获取k帧深度图像；ri是指第i帧深度图像的搜索半径；R是指初始搜索半径；sgn(△Depthi)为符号函数，当△Depthi≥0时，sgn(△Depthi)＝1，否则，sgn(△Depthi)＝-1；所述搜索半径是指深度图像中偏离目标中心点坐标的距离；
e、根据得到的搜索半径ri，在第i帧深度图像中搜素跟踪目标；当i＝n时，结束；否则，i加1，进入步骤c。
2.根据权利要求1所述的一种基于深度图像的自适应调整目标跟踪方法，其特征在于，所述深度相机的型号为Microsoft Kinect V2.0。
CN201510663035.8A 2015-10-14 2015-10-14 一种基于深度图像的自适应调整目标跟踪算法 Active CN105261039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510663035.8A CN105261039B (zh) 2015-10-14 2015-10-14 一种基于深度图像的自适应调整目标跟踪算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510663035.8A CN105261039B (zh) 2015-10-14 2015-10-14 一种基于深度图像的自适应调整目标跟踪算法

Publications (2)

Publication Number Publication Date
CN105261039A CN105261039A (zh) 2016-01-20
CN105261039B true CN105261039B (zh) 2016-08-17

Family

ID=55100710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510663035.8A Active CN105261039B (zh) 2015-10-14 2015-10-14 一种基于深度图像的自适应调整目标跟踪算法

Country Status (1)

Country Link
CN (1) CN105261039B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106504227B (zh) * 2016-09-26 2019-01-15 深圳奥比中光科技有限公司 基于深度图像的人数统计方法及其系统
CN107066975B (zh) * 2017-04-17 2019-09-13 合肥工业大学 基于深度传感器的视频识别与跟踪系统及其方法
CN107977984B (zh) * 2017-12-01 2020-09-01 天津大学 基于深度图的权重关联目标跟踪算法
CN111223139B (zh) * 2018-11-26 2024-02-13 深圳市优必选科技有限公司 目标定位方法及终端设备
WO2020133206A1 (zh) * 2018-12-28 2020-07-02 深圳市大疆创新科技有限公司 雷达仿真方法及装置
CN110986816B (zh) * 2019-10-20 2022-02-11 奥比中光科技集团股份有限公司 一种深度测量系统及其测量方法
CN111973410A (zh) * 2020-06-30 2020-11-24 北京迈格威科技有限公司 障碍物检测方法、装置、避障设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959089A (zh) * 2012-11-21 2014-07-30 Lsi公司 自适应照明感兴趣对象的深度成像的方法和装置
CN104794737A (zh) * 2015-04-10 2015-07-22 电子科技大学 一种深度信息辅助粒子滤波跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103959089A (zh) * 2012-11-21 2014-07-30 Lsi公司 自适应照明感兴趣对象的深度成像的方法和装置
CN104794737A (zh) * 2015-04-10 2015-07-22 电子科技大学 一种深度信息辅助粒子滤波跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《一种深度图像中人体的实时跟踪算法》;曹昊等;《计算机工程》;20130930;第39卷(第9期);201-205 *

Also Published As

Publication number Publication date
CN105261039A (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
CN105261039B (zh) 一种基于深度图像的自适应调整目标跟踪算法
CN111739063B (zh) 一种基于多传感器融合的电力巡检机器人定位方法
CN106548173B (zh) 一种基于分级匹配策略的改进无人机三维信息获取方法
CN104215239B (zh) 基于视觉的无人机自主着陆导引装置实现的导引方法
CN108802785A (zh) 基于高精度矢量地图和单目视觉传感器的车辆自定位方法
CN108460779A (zh) 一种动态环境下的移动机器人图像视觉定位方法
CN103112015B (zh) 一种适用于工业机器人的操作物位置姿态识别方法
CN105354531A (zh) 一种面部关键点的标注方法
CN104484868B (zh) 一种结合模板匹配和图像轮廓的运动目标航拍跟踪方法
CN111307146B (zh) 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统
CN109087323A (zh) 一种基于精细cad模型的图像车辆三维姿态估计方法
CN105631899B (zh) 一种基于灰度纹理特征的超声图像运动目标跟踪方法
CN103942542A (zh) 人眼跟踪方法及装置
CN107798691A (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN104820435A (zh) 基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法
Zeng et al. Monocular visual odometry using template matching and IMU
CN113916221B (zh) 一种融合视觉里程计和bp网络的自适应行人航迹推算方法
CN104268551A (zh) 基于视觉特征点的转向角度控制方法
CN106408593A (zh) 一种基于视频的车辆跟踪方法及装置
CN108694725A (zh) 一种基于视觉显著性的机器人动态跟踪方法及系统
CN111402324B (zh) 一种目标测量方法、电子设备以及计算机存储介质
CN116299525A (zh) 一种基于点云区域相关性的动态环境rgb-d视觉slam方法
CN114550219B (zh) 行人追踪方法及装置
CN109903309A (zh) 一种基于角度光流法的机器人运动信息估计方法
CN114638858B (zh) 一种基于车载双相机系统的运动目标位置与速度估计方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant