CN102074018B - 一种基于深度信息的轮廓跟踪方法 - Google Patents

一种基于深度信息的轮廓跟踪方法 Download PDF

Info

Publication number
CN102074018B
CN102074018B CN 201010601597 CN201010601597A CN102074018B CN 102074018 B CN102074018 B CN 102074018B CN 201010601597 CN201010601597 CN 201010601597 CN 201010601597 A CN201010601597 A CN 201010601597A CN 102074018 B CN102074018 B CN 102074018B
Authority
CN
China
Prior art keywords
depth
degree
contour
frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 201010601597
Other languages
English (en)
Other versions
CN102074018A (zh
Inventor
刘纹高
付东
邵诗强
黄卫东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Corp
Original Assignee
TCL Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Corp filed Critical TCL Corp
Priority to CN 201010601597 priority Critical patent/CN102074018B/zh
Publication of CN102074018A publication Critical patent/CN102074018A/zh
Application granted granted Critical
Publication of CN102074018B publication Critical patent/CN102074018B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供一种基于深度信息的轮廓跟踪方法,包括以下步骤:A.连续获取场景区域的深度帧;B.判断在当前深度帧之前是否已出现启动动作,如有则进入步骤F,无则进入步骤C;C.判断当前深度帧中是否出现启动动作,是则进入步骤D,否则返回步骤A;D.发现启动动作后在当前深度帧中场景区域的深度变化区域中提取启动轮廓面积;E.在启动轮廓内对所有的深度值求算术平均值作为轮廓跟踪参考信息;F.在深度帧中根据参考信息提取归一化灰度图;G在归一化灰度图中找到轮廓的顶点;H.输出顶点的运动轨迹信息并重新获取轮廓跟踪参考信息。本发明通过对对目标轮廓的判定,能够实时跟踪人手轮廓并输出相关的运动轨迹信息。

Description

一种基于深度信息的轮廓跟踪方法
技术领域
本发明涉及图像处理技术,尤其涉及一种基于深度信息的轮廓跟踪方法。
背景技术
图像处理(image processing)是用计算机对图像进行分析,以达到所需结果的技术。又称影像处理。图像处理技术的主要内容包括图像压缩,图像增强和复原,图像匹配、描述和识别等三大部分。
常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等,图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组,该数组的元素称为像素,其值为一整数,称为灰度值。虽然某些处理也可以用光学方法或模拟技术实现,但它们远不及数字图像处理那样灵活和方便,因而数字图像处理成为图像处理的主要方面。
目前普通的图像主要由二维的像素点组成的平面图像,这种二维平面图像只能反映图像场景的X、Y的位置坐标信息,而无法反映图像场景的深度位置信息Z坐标,随着技术的进步,越来越多的出现了能够采集深度位置信息的装置设备,这些能够采集深度图(Depth Map)的装置设备,将图像处理技术从二维图像X、Y坐标带入到三维图像X、Y、Z坐标新时代。
获取场景中各点相对于摄象机的距离是计算机视觉系统的重要任务之一,场景中各点相对于摄象机的距离可以用深度图Depth Map来表示,深度图DepthMap生成的技术目前主要有三种方法,结构光测距方法、激光测距雷达方法、变焦测距方法,通过各种方法获取真实场景的深度信息并生成深度图,能够应用于各种技术领域的图像处理需求。
目前市场上已经开始出现能够实时输出深度图的设备,如何使用这些设备,来开发出各种人机交互的应用,已经成为未来人机交互技术发展方向之一,在深度Z方向上,人的肢体动作识别、跟踪和二维图像的处理存在很大差别,而且深度图能够感知动作前后运动的变化,使得我们能够更加真实获取人机交互的控制信息,在基于深度信息的条件下,实时跟踪人手轮廓并输出相关的运动轨迹信息,已经成为深度信息图像处理技术领域,需要进行研究解决的问题。
发明内容
本发明方法提供一种图像轮廓运动检测系统和方法,能够在基于深度信息的条件下,实时跟踪人手轮廓并输出相关的运动信息。
本发明的技术方案如下:
一种基于深度信息的轮廓跟踪方法,包括以下步骤:
A.连续获取场景区域的深度帧;
B.判断在当前深度帧之前是否已出现启动动作,如有则进入步骤F,无则进入步骤C;
C.判断当前深度帧中是否出现启动动作,是则进入步骤D,否则返回步骤A;
D.发现启动动作后在当前深度帧中场景区域的深度变化区域中提取启动轮廓面积,并判断启动轮廓面积是否符合预设的面积范围,符合则进入步骤E,不符合则返回步骤A;
E.在启动轮廓内对所有的深度值求算术平均值作为轮廓跟踪参考信息;
F.在深度帧中根据轮廓跟踪参考信息提取归一化灰度图,并判断归一化灰度图中的轮廓面积是否符合预设的面积范围,符合则进入步骤G,不符合则返回步骤A;
G.在归一化灰度图中找到轮廓的顶点;
H.输出顶点的运动轨迹信息并重新获取轮廓跟踪参考信息。
所述的基于深度信息的轮廓跟踪方法,其中,在上述步骤D中,在获得启动轮廓面积后还判断启动轮廓面积是否符合预设的面积范围,符合则进入步骤E,不符合则返回步骤A。
所述的基于深度信息的轮廓跟踪方法,其中,所述步骤C具体包括步骤:
C1.设定启动条件集合;
C2.将当前深度帧与前一深度帧进行深度值变化比较获得深度变化值;
C3.判断深度变化值是否属于启动条件集合,属于则判定出现启动动作,否则判定未出现启动动作。
所述的基于深度信息的轮廓跟踪方法,其中,在所述步骤D中提取启动轮廓面积具体为:根据启动条件提取启动轮廓。
所述的基于深度信息的轮廓跟踪方法,其中,在所述步骤F中,在根据参考信息提取归一化灰度图时,若在当前深度帧之前未出现启动动作,则根据由当前深度帧获取的轮廓跟踪参考信息提取当前深度帧的归一化灰度图;若在当前帧之前已出现启动动作,则根据已有的轮廓跟踪参考信息提取当前深度帧的归一化灰度图。
所述的基于深度信息的轮廓跟踪方法,其中,所述步骤G具体包括步骤:
G1.在归一化灰度图中,依此在上下左右四个方向寻找灰度轮廓的第一个点;
G2.在对应的深度图中以上述四个点的坐标为中心,分别向上下左右四个方向寻找深度相似点;
G3.上述四点中满足只有一个方向上存在深度相似点的即为轮廓的顶点,有多个点满足只有一个方向上存在深度相似点的条件时,在其中任选一个作为轮廓的顶点。
所述的基于深度信息的轮廓跟踪方法,其中,所述步骤H中的顶点的轨迹信息包括顶点的位置信息和深度信息。
本发明通过对对目标轮廓的判定,在深度场景下根据人体的特征,运用顶点法对人手轮廓进行识别、分析和跟踪,能够实时跟踪人手轮廓并输出相关的运动轨迹信息供其它设备使用。
附图说明
图1为本发明基于深度信息的轮廓跟踪方法较佳实施方式的流程图;
图2为本发明中场景区域的深度图示意图;
图3为本发明中归一化灰度图示意图;
图4a~4d为本发明中在归一化灰度图中用顶点法确定轮廓边缘的示意图;
图5为本发明中在深度图和归一化灰度图中确认顶点的示意图;
图6为本发明中轮廓跟踪的运动轨迹示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参考图1,本发明基于深度信息的轮廓跟踪方法较佳实施方式包括步骤:
S1、启动深度图采集设备,实时监测场景区域获取深度图序列,该序列中每张深度图即为深度帧,如图2所示;
S2、在获取当前深度帧之后,判断之前获取的深度帧中是否已经出现过启动动作,若之前的深度帧中已经出现过启动动作则进入步骤S7,若之前的深度帧中未出现启动动作则进入步骤S3判断当前深度帧中是否出现启动动作;
S3、在当前深度帧中判断是否出现启动动作,将当前深度帧与前一帧的深度帧进行深度值变化比较,当变化状态满足预先设定的阈值条件时,则认为在当前深度帧中发现了启动动作,若不满足预设的阈值条件则返回步骤S1继续获取深度帧以监测启动动作,具体包括:设定启用条件集合SARTUP(D),启动动作是以深度前帧DEPTHx1(z,x,y)作为参考帧,其中,z为深度值,x、y是位置信息,以深度后帧(当前深度帧)DEPTHx2(z,x,y)作为比较帧,通过计算获取深度帧变化值DEPTHc(z,x,y),其中:
DEPTHc(z,x,y)=DEPTHx2(z,x,y)-DEPTHx1(z,x,y),深度帧变化值DEPTHc(z,x,y)有正负值区分,正值表示产生启动动作的目标向后运动,负值则表示产生启动动作的目标向前运动,当深度帧变化值满足深度值变化阈值范围时,表达式为:DEPTHc(z,x,y)∈SARTUP(D),表示发现目标的启动动作,反之则不是启动动作,继续对下一帧进行监测;
S4、发现启动动作后,在场景区域的深度变化区域提取变化轮廓区域面积作为启动轮廓面积,具体包括:在发现启动动作后,根据启动条件对深度帧变化值DEPTHc(z,x,y)进行判断,提取变化轮廓区域f(z,x,y),例如在向前运动作为启动条件情况下,需要满足条件z<0,表达式为:
f ( z , x , y ) = DEPTH c ( z , x , y ) z < 0
其中z值为相邻深度帧中每个深度像素点的变化值;
S5、判断启动轮廓面积是否符合设定的面积范围,当启动轮廓面积满足面积范围值区间时,则认为满足启动条件,反之则返回步骤S1继续获取深度帧以监测启动动作,具体包括:提取变化轮廓区域d(z,x,y)后,通过对变化轮廓区域f(z,x,y)的面积判断是否满足areamin<f(z,x,y)<areamax,当满足该条件代表该运动轮廓面积大小满足启动条件,其中areamin和areamax为设定的面积范围最小值和最大值;
S6、判定启动轮廓面积符合后,对启动轮廓区域内的所有深度值求算术平均值,将该算术平均值作为轮廓跟踪参考信息进行记录,具体包括:对该启动轮廓进行锁定操作,在当前深度帧DEPTHx2(z,x,y)中提取f(z,x,y)区域内,满足z<0条件的z深度值集合S(z,x,y),通过计算获得S(z,x,y)中z深度算术平均值zaver,并且记录f(z,x,y)区域的深度算术平均值zaver作为参考信息;
S7、在获得的深度帧中,以获得的深度算术平均值zaver作为参考信息,提取二维的归一化灰度图,具体包括:在记录参考信息之后,进入轮廓的跟踪运算步骤,如果之前没有发现启动动作,则根据当前深度帧的深度算术平均值zaver生成归一化灰度图,提取归一化灰度图时深度算术平均值zaver满足条件zmin<zaver<zmax的对应像素点置为1,反之则为0,生成的归一化灰度图如图3所示,其中zmin、zmax为设定提取轮廓区间阈值;若之前已经发现启动动作,即已经有在先获得的zaver,则将后面跟踪的深度帧定义为DEPTH0(z,x,y),DEPTH1(z,x,y),.........DEPTHn(z,x,y),在深度图中的采集区域内,按照阈值条件获取归一化灰度图K,例如获取轮廓K0表达式为:
K 0 = DEPTH 0 ( z , x , y ) z min < z aver < z max
S8、在获取获取归一化灰度图后,检查归一化灰度图中的轮廓面积大小是否满足areamin与areamax的面积范围,若发现不满足条件,则认为跟踪丢失,返回步骤S1继续获取深度帧以监测启动动作,其中轮廓面积大小即为归一化灰度图中像素点为1的像素点集合数量;
S9、归一化灰度图满足轮廓面积条件后,结合归一化灰度图与深度图的对应关系,找出轮廓的顶点即目标的顶点位置,在本实施例中是以人手为目标,由于人手与手臂、身体是具有深度连续性的,通过跟踪人手时,就必须识别出轮廓的手指边缘、手臂边缘,这里使用顶点法确定人手的边缘,顶点法的具体步骤是:依次在归一化灰度图K中,通过上、下、左、右方向寻找到灰度图轮廓的第一个点,记录为:zU(x,y)、zD(x,y)、zL(x,y)、zR(x,y),如图4a至图4d所示;然后在对应深度图DEPTH(z,x,y)中,以找到坐标位置点开始,向上、下、左、右方向寻找深度相似点数量分别记录为:LU、LD、LL、LR;其中深度相似点的判断条件为:当相邻两点深度值绝对差小于阈值时为相似,反之则不相似;当深度相似点数量满足只有其中一个方向数量大于0时,则判断为手轮廓顶点,对于人手可以认为手腕连接手臂方向不能判断为顶点,其他位置都可判断为顶点;
如图5所示,通过上、下、左、右方向寻找到归一化灰度图轮廓的第一个点分别为A点、B点、C点、D点,然后按照A点、B点、C点、D点的坐标位置,在对应的深度图中,以A点、B点、C点、D点为起始位置向上、下、左、右方向寻找深度相似点,由于此时A点、B点、D点只有其中一个方向深度相似点数量大于0,则A点、B点、D点可判断为顶点,而C点处于手腕与手臂连接位置,一般在两个方向上深度相似点数量大于0,所以判断为不是顶点;
S10、确定人手轮廓顶点后,输出人手轮廓的顶点的X、Y坐标位置信息以及Z值深度信息,这些信息可以应用于人机交互控制的驱动消息,输出上述信息后,重新计算出人手轮廓中深度算术平均值zaver,作为下一帧的参考信息,以此类推进行人手轮廓跟踪,如图6所示,选择人手需要跟踪的一个顶点,在人手运动过程中,连续的在深度图中获取该顶点的X、Y坐标位置信息以及Z值深度信息从而获得该点的运动轨迹信息,即可将上述运动轨迹信息输出到电视机、游戏机等设备上作为控制信号使用。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于深度信息的轮廓跟踪方法,包括以下步骤:
A.连续获取场景区域的深度帧;
B.判断在当前深度帧之前是否已出现启动动作,如有则进入步骤F,无则进入步骤C;
C.判断当前深度帧中是否出现启动动作,是则进入步骤D,否则返回步骤A;
D.发现启动动作后在当前深度帧中场景区域的深度变化区域中提取启动轮廓面积,并判断启动轮廓面积是否符合预设的面积范围,符合则进入步骤E,不符合则返回步骤A;
E.在启动轮廓内对所有的深度值求算术平均值作为轮廓跟踪参考信息;
F.在深度帧中根据轮廓跟踪参考信息提取归一化灰度图,并判断归一化灰度图中的轮廓面积是否符合预设的面积范围,符合则进入步骤G,不符合则返回步骤A;
G.在归一化灰度图中找到轮廓的顶点;
H.输出顶点的运动轨迹信息并重新获取轮廓跟踪参考信息。
2.根据权利要求1所述的基于深度信息的轮廓跟踪方法,其特征在于:所述步骤C具体包括步骤:
C1.设定启动条件集合;
C2.将当前深度帧与前一深度帧进行深度值变化比较获得深度变化值;
C3.判断深度变化值是否属于启动条件集合,属于则判定出现启动动作,否则判定未出现启动动作。
3.根据权利要求2所述的基于深度信息的轮廓跟踪方法,其特征在于:在所述步骤D中提取启动轮廓面积具体为:根据启动条件提取启动轮廓。
4.根据权利要求1所述的基于深度信息的轮廓跟踪方法,其特征在于:在所述步骤F中,在根据轮廓跟踪参考信息提取归一化灰度图时,若在当前深度帧之前未出现启动动作,则根据由当前深度帧获取的轮廓跟踪参考信息提取当前深度帧的归一化灰度图;若在当前帧之前已出现启动动作,则根据已有的轮廓跟踪参考信息提取当前深度帧的归一化灰度图。
5.根据权利要求1所述的基于深度信息的轮廓跟踪方法,其特征在于:所述步骤G具体包括步骤:
G1.在归一化灰度图中,依此在上下左右四个方向寻找灰度轮廓的第一个点;
G2.在对应的深度图中以上述四个点的坐标为中心,分别向上下左右四个方向寻找深度相似点;
G3.上述四个点中满足只有一个方向上存在深度相似点的即为轮廓的顶点,有多个点满足只有一个方向上存在深度相似点的条件时,在其中任选一个作为轮廓的顶点。
6.根据权利要求1所述的基于深度信息的轮廓跟踪方法,其特征在于:所述步骤H中的顶点的轨迹信息包括顶点的位置信息和深度信息。
CN 201010601597 2010-12-22 2010-12-22 一种基于深度信息的轮廓跟踪方法 Expired - Fee Related CN102074018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010601597 CN102074018B (zh) 2010-12-22 2010-12-22 一种基于深度信息的轮廓跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010601597 CN102074018B (zh) 2010-12-22 2010-12-22 一种基于深度信息的轮廓跟踪方法

Publications (2)

Publication Number Publication Date
CN102074018A CN102074018A (zh) 2011-05-25
CN102074018B true CN102074018B (zh) 2013-03-20

Family

ID=44032547

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010601597 Expired - Fee Related CN102074018B (zh) 2010-12-22 2010-12-22 一种基于深度信息的轮廓跟踪方法

Country Status (1)

Country Link
CN (1) CN102074018B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509074B (zh) * 2011-10-18 2014-01-29 Tcl集团股份有限公司 一种目标识别方法和设备
CN104333710A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 相机曝光方法、装置及设备
CN104333748A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 获取图像主体对象的方法、装置及终端
CN105898265A (zh) * 2014-12-18 2016-08-24 陆婷 一种基于立体视频的人体追踪新方法
CN105894533A (zh) * 2015-12-31 2016-08-24 乐视移动智能信息技术(北京)有限公司 基于智能设备实现体感控制的方法、系统以及智能设备
JP6377674B2 (ja) * 2016-06-08 2018-08-22 パラマウントベッド株式会社 リハビリテーション支援制御装置及びコンピュータプログラム
CN107730534B (zh) * 2016-08-09 2020-10-23 深圳光启合众科技有限公司 目标对象的跟踪方法和装置
CN107169972B (zh) * 2017-06-07 2020-07-03 上海航天控制技术研究所 一种非合作目标快速轮廓跟踪方法
CN107507220A (zh) * 2017-07-26 2017-12-22 成都九维云联科技有限公司 一种对顾客进行实时追踪的系统
CN107864390A (zh) * 2017-10-24 2018-03-30 深圳前海茂佳软件科技有限公司 电视机的控制方法、电视机和计算机存储介质
CN108268134B (zh) * 2017-12-30 2021-06-15 广州正峰电子科技有限公司 拿放商品的手势识别装置及方法
CN109688338A (zh) * 2019-01-19 2019-04-26 创新奇智(北京)科技有限公司 一种基于场景深度的曝光方法、系统及其电子装置
CN110415287B (zh) * 2019-07-11 2021-08-13 Oppo广东移动通信有限公司 深度图的滤波方法、装置、电子设备和可读存储介质
CN112712477B (zh) * 2020-12-21 2024-09-24 东莞埃科思科技有限公司 结构光模组的深度图像评价方法及其装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
CN101710426A (zh) * 2009-10-30 2010-05-19 无锡景象数字技术有限公司 一种深度图像跟踪方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257641A (zh) * 2008-03-14 2008-09-03 清华大学 基于人机交互的平面视频转立体视频的方法
CN101710426A (zh) * 2009-10-30 2010-05-19 无锡景象数字技术有限公司 一种深度图像跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘法旺等.基于ICONDENSATION算法的人手跟踪与手势识别算法.《北京理工大学学报》.2007,第27卷(第12期),第1069-1071页.
基于ICONDENSATION算法的人手跟踪与手势识别算法;刘法旺等;《北京理工大学学报》;20071231;第27卷(第12期);第1069-1071页 *

Also Published As

Publication number Publication date
CN102074018A (zh) 2011-05-25

Similar Documents

Publication Publication Date Title
CN102074018B (zh) 一种基于深度信息的轮廓跟踪方法
Sabater et al. Robust and efficient post-processing for video object detection
CN102867311B (zh) 目标跟踪方法和目标跟踪设备
Luber et al. People tracking in rgb-d data with on-line boosted target models
Haritaoglu et al. w 4 s: a real-time system for detecting and tracking people in 2 1/2 d
Taylor et al. A real-time approach to stereopsis and lane-finding
Soares et al. Crowd-SLAM: visual SLAM towards crowded environments using object detection
Rasouli et al. Multi-modal hybrid architecture for pedestrian action prediction
CN112464847B (zh) 视频中人体动作切分方法及装置
JP5023186B2 (ja) 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム
CN107357427A (zh) 一种用于虚拟现实设备的手势识别控制方法
KR20130066438A (ko) 영상 처리 장치 및 영상 처리 방법
CN102609934A (zh) 一种基于深度图像的多目标分割和跟踪方法
KR20140114741A (ko) 인체 포즈 추정 장치 및 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d&#39;un nombre d&#39;objets
CN102063725B (zh) 一种基于深度信息的多目标跟踪方法
CN112025729A (zh) 基于ros的多功能智能医疗服务机器人系统
Smith ASSET-2: Real-time motion segmentation and object tracking
CN108710879B (zh) 一种基于网格聚类算法的行人候选区域生成方法
CN106228570A (zh) 一种真值数据确定方法和装置
Nguyen et al. Confidence-aware pedestrian tracking using a stereo camera
Ramirez et al. Integrating motion and appearance for overtaking vehicle detection
Parameshwara et al. MOMS with Events: Multi-object motion segmentation with monocular event cameras
Sahili et al. A Survey of Visual SLAM Methods
JP3629935B2 (ja) 移動体の速度計測方法およびその方法を用いた速度計測装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130320