CN106384079B - 一种基于rgb-d信息的实时行人跟踪方法 - Google Patents

一种基于rgb-d信息的实时行人跟踪方法 Download PDF

Info

Publication number
CN106384079B
CN106384079B CN201610783805.7A CN201610783805A CN106384079B CN 106384079 B CN106384079 B CN 106384079B CN 201610783805 A CN201610783805 A CN 201610783805A CN 106384079 B CN106384079 B CN 106384079B
Authority
CN
China
Prior art keywords
point
color
cluster
information
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610783805.7A
Other languages
English (en)
Other versions
CN106384079A (zh
Inventor
周波
钟昌勇
马旭东
戴先中
单硕
黄文超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201610783805.7A priority Critical patent/CN106384079B/zh
Publication of CN106384079A publication Critical patent/CN106384079A/zh
Application granted granted Critical
Publication of CN106384079B publication Critical patent/CN106384079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于RGB‑D信息的实时行人跟踪方法,包括:步骤10)环境数据的获取与模型初始化:对行人进行感知,以获取RGB‑D信息,将RGB‑D信息转化为三维点云,并对跟踪模型进行初始化;步骤20)构建聚类的几何评价模型:通过欧氏距离对三维点云进行聚类,构建聚类的几何评价模型;步骤30)构建聚类的颜色评价模型:采用RGB获取的颜色信息,进行色彩空间转换与归一化后,构建聚类的颜色评价模型;步骤40)对几何评价模型和颜色评价模型进行综合评定,确定最优的跟踪目标,并通过跟踪模型确定最优目标参数,生成相应跟踪指令。该基于RGB‑D信息的实时行人跟踪方法实现了室内行人的高效检测与跟踪。

Description

一种基于RGB-D信息的实时行人跟踪方法
技术领域
本发明属于室内服务机器人应用领域,具体来说,涉及一种基于RGB-D信息的实时行人跟踪方法。
背景技术
随着机器人技术的发展,机器人不仅在工业中有广泛的应用,在室内服务方面,机器人也发挥了巨大的作用。在室内,不仅需要检测像固定的墙壁、桌椅等静态目标,同时需要检测移动的行人等动态目标。因此仅仅使用静态目标检测的方法不能满足室内服务机器人的自主运动和导航的要求。针对动态目标,必须提出更为有效的方法来进行检测与跟踪。
通常进行目标检测和跟踪的方法有很多,主要是基于视觉的图像处理算法和基于深度传感器的点云处理算法。基于视觉的图像处理算法主要是针对图像中的前景与后景进行前后景分离,通常提取出的前景即是跟踪目标;其他的比较复杂的算法是通过对跟踪目标进行训练获取跟踪目标的特征,然后对当前图像进行检测处理,寻找相似目标。深度传感器是对能获取环境深度的传感器的总称,主要有激光、超声、红外等,针对不同的环境和所需精度选取不同的传感器。基于深度的传感器一般能获取环境的三维点云,通过对三维点云进行特征提取与匹配处理,检测跟踪目标。
总的来说,上述常用的动态目标检测与跟踪方法存在以下问题:1)算法时间复杂度较高,无法满足实时的检测与跟踪;2)仅仅只从颜色和深度单方面进行检测与跟踪,很难满足复杂情况下的检测与跟踪问题;3)这些现有的方法缺少对环境影响因素的分析,对不确定因素影响反应能力较差,容易丢失跟踪。
发明内容
本发明的目的是为了克服已有的技术缺陷,解决基于深度与颜色信息的复杂环境下实时行人检测与跟踪的问题,提出了一种基于RGB-D信息的实时行人跟踪方法,实现了室内行人的高效检测与跟踪。
本发明采用的技术方案为一种基于RGB-D信息的实时行人跟踪方法,该方法包括以下步骤:
步骤10)环境数据的获取与模型初始化:通过安装在移动机器人平台上的体感传感器对行人进行感知,以获取RGB-D信息,将RGB-D信息转化为三维点云,并对跟踪模型进行初始化;
步骤20)构建聚类的几何评价模型:通过欧氏距离对三维点云进行聚类,并拟合提取聚类的点数、圆度、直径、分段宽度、边界长度几何特征,构建聚类的几何评价模型;
步骤30)构建聚类的颜色评价模型:采用RGB获取的颜色信息,进行色彩空间转换与归一化后,根据颜色相似性,构建聚类的颜色评价模型;
步骤40)对几何评价模型和颜色评价模型进行综合评定,确定最优的跟踪目标,并通过跟踪模型确定最优目标参数,生成相应跟踪指令。
作为优选例,所述的步骤10)具体包括:首先采用安装在移动平台上的体感传感器获取周围环境的颜色和深度数据;其次根据所获取的颜色和深度信息重建周围环境的三维点云信息;最后根据行人在三维点云中的位姿,确定跟踪目标的颜色和几何特征,并初始化跟踪模型。
作为优选例,所述的步骤20)具体包括:首先对三维点云进行条件滤波和下采样减少点云数目,减少后续点云的处理时间;其次采用欧式聚类对点云进行聚类处理,去除孤立点,并将疑似目标从无序点云中提取出来;最后提取各个点云聚类的点数、圆度、直径、分段宽度、边界长度几何特征,并与初始化数据进行对比,获取几何评价模型得分。
作为优选例,所述的步骤20)包括以下步骤:
步骤201)条件滤波与下采样:根据传感器的安装位置和传感器所需要采集到的行人的背部信息,选取立方体参数对点云进行条件滤波,根据选定的立方体包围盒,删除包围盒外的点云数据,仅保留包围盒内的数据;同时,使用体素化网格方法实现下采样,减少点云数据中点的数量,并保持点云的形状特征;
步骤202)欧式聚类:通过点云的三维坐标,计算点云之间的距离,以确定点云的类别;将疑似的目标从整体点云中分离,得到独立点云;
步骤203)几何特征的提取与评定:通过欧式聚类获取的独立点云,对独立点云进行拟合,提取几何特征参数,然后与初始化目标进行对比,最后对提取的每个几何特征进行加权求和,获取每一独立的子点云得分,如式(7)所示:
d1=a1x1+a2x2+a3x3+…anxn 式(7)
其中,d1表示几何评价模型得分,a1表示第一个几何特征的比例系数,a2表示第二个几何特征的比例系数,a3表示第三个几何特征的比例系数,an表示第n个几何特征的比例系数,x1表示第一个几何特征与初始值的差值,x2表示第二个几何特征与初始值的差值,x3第三个几何特征与初始值的差值,xn表示第n个几何特征与初始值的差值。
作为优选例,所述的步骤202)包括以下步骤:
步骤2021)创建Kd_Tree结构来表征输入点云集P;
步骤2022)创建空链表集C和队列Q;
步骤2023)对于点云集P中的任意点pi进行如下操作:将点pi加入到队列Q中,然后进行如下处理:首先寻找点pi周围的3D空间距离小于给定距离的点,并形成集合其次检验集合中的每个点是否经过寻找周围3D空间距离小于给定距离点的处理;若没有,将点加入Q,检验Q中所有点是否经过寻找周围的3D空间距离小于给定距离的点的处理;
如果Q中有点没有经过寻找周围的3D空间距离小于给定距离的点的处理,则对该点进行寻找周围3D空间距离小于给定距离点处理;如果Q中所有点已经经过寻找周围的3D空间距离小于给定距离的点的处理,则将Q加入到链表集C,并将Q重置为空;
步骤2024)点云集P中所有的点均经过寻找周围3D空间距离小于给定距离点处理,则链表集C为聚类集合。
作为优选例,所述的步骤30)具体包括:首先通过遍历各个聚类获取单个聚类的颜色分量,并通过求和取平均得到能代表每个聚类的颜色分量信息,其次将得到的RGB颜色空间的颜色分量通过色彩空间的转换得到CIE L*a*b颜色空间的颜色分量,最后通过归一化处理,并与初始的颜色特征进行相似性评价,获取颜色评价得分。
作为优选例,所述的步骤40)具体包括:首先根据几何评价模型得分与颜色评价模型得分,获取单个聚类的最终得分,并根据得分获取最终的跟踪目标;然后根据跟踪目标的几何模型获取当前跟踪距离与速度;最后通过跟踪距离与速度,利用PID控制生成最终的跟踪指令,控制移动平台的运动。
有益效果:本发明采用低成本的体感传感器有效解决了复杂环境中行人的实时检测与跟踪问题。采用动态数据初始化跟踪模型,相比于静态初始化提高了算法对不同跟踪目标的适应性;融合多种几何特征的弱分类器生成统一的强分类器,提高了深度模型评价的准确性;加入颜色空间的转换与颜色分量的归一化处理,减少了光照变化对识别效果的干扰,有效降低了误识别率;同时对颜色与深度进行有效的处理,结合其各自的优点,使得行人检测与跟踪的准确率比单独使用颜色或深度更高。通过对深度与颜色信息的综合处理,使得行人检测与跟踪的准确率更高,通过对识别算法的优化与大量数据的滤波处理,在保证跟踪准确率的前提下,大大提高了跟踪系统的实时性。本发明可满足室内服务机器人的自主跟踪与交互作业等功能。
附图说明
图1为本发明实施例的流程图;
图2为本发明实施例步骤10)的流程图;
图3为本发明实施例步骤20)的流程图;
图4为本发明实施例中分段宽度示意图;
图5为本发明实施例中相邻两点欧式距离示意图;
图6为本发明实施例步骤30)的流程图。
具体实施方式
下面结合附图和具体实施例,对本发明做进一步说明。
图1为本发明实施例所提出的基于RGB-D信息的实时行人跟踪方法的总体流程图。该实施例步骤如下:
步骤10)环境数据的获取与模型初始化:通过安装在移动机器人平台上的体感传感器对行人进行感知,以获取RGB-D信息,将RGB-D信息转化为三维点云,并对跟踪模型进行初始化;
环境数据的获取和模型的初始化是行人检测与跟踪的前提。首先采用安装在移动平台上的体感传感器获取周围环境的颜色和深度数据;其次根据所获取的颜色和深度信息重建周围环境的三维点云信息;最后根据行人在三维点云中的位姿,确定跟踪目标的颜色和几何特征,并初始化跟踪模型。步骤10)的流程图如图2所示,具体步骤包括:
步骤101)获取RGB-D信息。本发明实施例中,优选采用安装在移动机器人平台上距离地面约为1米的XTION PRO LIVE传感器来获取周围环境的RGB-D信息,获取数据的频率设定为30帧每秒,传感器有效数据范围为0.4-4.0米。
步骤102)获取三维点云。为了进行后续的点云处理,需要将获取的RGB-D数据转化为三维点云数据。点云中点数据主要包含颜色信息(r,g,b)和坐标信息(x,y,z)。坐标信息可以通过深度信息计算得到,如式(1)所示。其中,x,y,z表示点云坐标,X,Y表示深度图中的行与列,depth表示深度值;Scale表示相机尺度,为相机内参。颜色信息可以通过体感传感器获取的RGB信息得到。由于获取深度和颜色信息的设备都会以各自为原点来使用其坐标系,深度图和彩色图在位置上会存在一定的偏差,需通过一定的坐标变换使两图在位置上保持一致。
步骤103)模型初始化。为了进行后续行人的检测与跟踪,必须获取一些模型的初始化参数。为了方便和准确的获取行人目标的参数,初始化时,规定行人相对于机器人的位置,通过扫描跟踪目标确定参数。为了准确的获取各个参数,采用多次采样取平均值。参数主要包括目标颜色以及根据行人而提出的多样化几何特征,具体参数可以参考下文。
步骤20)构建聚类的几何评价模型:通过欧氏距离对三维点云进行聚类,并拟合提取聚类的点数、圆度、直径、分段宽度、边界长度几何特征,构建聚类的几何评价模型。
首先对三维点云进行条件滤波和下采样减少点云数目,减少后续点云的处理时间;其次采用欧式聚类对点云进行聚类处理,去除孤立点,并将疑似目标从无序点云中提取出来;最后提取各个点云聚类的点数、圆度、直径、分段宽度、边界长度几何特征,并与初始化数据进行对比获取几何评价模型得分。步骤20)流程图如图3所示。步骤20)具体包括:
步骤201)条件滤波与下采样。根据传感器的安装位置和传感器所需要采集到的行人的背部信息,选取立方体参数对点云进行条件滤波,根据选定的立方体包围盒,删除包围盒外的点云数据,仅保留包围盒内的数据。同时,由于传感器的分辨率较高为640*480,单幅点云中点的数量超过30万个。使用体素化网格方法实现下采样,减少点云数据中点的数量,并同时保持点云的形状特征。通过上述步骤,能够显著减少后续点云的处理量,同时也可以去除点云中一些孤立点。
步骤202)欧式聚类。点云的欧式聚类指的是通过点云的三维坐标,计算点云之间的距离,来确定是否属于某一类。通过欧式聚类,能将疑似的目标从整体点云中分离,得到独立点云,便于对每一个独立对象进行分析。欧式聚类的具体步骤如下:
步骤2021)创建一个Kd_Tree结构来表征输入点云集P;
步骤2022)创建一个空链表集C和一个队列Q;
步骤2023)对于点云集P中的任意点pi进行如下操作:将点pi加入到队列Q中,然后进行如下处理:首先寻找点pi周围的3D空间距离小于给定距离的点,并形成集合其次检验集合中的每个点是否经过寻找周围3D空间距离小于给定距离点的处理;若没有,将点加入Q,检验Q中所有点是否经过寻找周围的3D空间距离小于给定距离的点的处理;
如果Q中有点没有经过寻找周围的3D空间距离小于给定距离的点的处理,则对该点进行寻找周围3D空间距离小于给定距离点处理;如果Q中所有点已经经过寻找周围的3D空间距离小于给定距离的点的处理,则将Q加入到链表集C,并将Q重置为空;
步骤2024)点云集P中所有的点均经过寻找周围3D空间距离小于给定距离点处理,则链表集C为聚类集合。
本步骤202)主要是一个迭代处理的过程,从一个点开始,不断向这个点所在的集合中加入距离集合中任意一点距离小于阈值的点,然后重新检验加入的点是否也经过上述处理,直到集合中所有点都经过寻找阈值距离内点处理,且没有新点加入集合。这个集合就是一个聚类。
步骤203)几何特征的提取与评定。通过欧式聚类获取的独立点云,对独立点云进行多种拟合操作,提取几何特征。在本实施例中,主要对行人的背部进行检测与跟踪。针对背部的几何特征情况,选取相对应的几何特征做比较分析。选取的几何特征主要有以下几项:
(1)点数目n:
(2)圆度:该特征用于衡量一个分段的圆形度,通过最小化残差平方和拟合圆。给定一组笛卡尔坐标系表示的点,一个典型和快速的寻找最小二下乘最优圆的办法是通过未知向量将问题参数化,其中xc、yc表示圆心坐标,rc表示半径。由此,可以建立超定方程组A·x=b,其中,
并用伪逆求解可得
x=(ATA)-1AT×b 式(3)
从而,残差平方和为
当几何特性在拟合时发挥作用时,要注意最小化的误差是什么。否则,最小意义下的拟合可能代数上正确但几何上无意义。
(3)直径d:指拟合圆柱后得到的圆柱直径;
(4)分段宽度d1,n
d1,n=||x1-xn|| 式(5)
该特征用于衡量一个分段的第一个点和最后一个点的欧氏距离,x1、xn表示聚类最左端点和最右端点的X轴坐标,如图4。
(5)边界长度l:
其中,dj,j-1=||xj-xj-1||表示分段中相邻两点间的欧氏距离,xj、xj-1表示相邻两点的X轴坐标,如图5所示。该特征衡量了对应于分段的多折线的长度。
通过对每个独立点云进行上述计算得到每个独立点云的几何特征参数,然后与初始化目标进行对比分析,最后对每个提取的特征进行加权求和获取每一独立的子点云得分。
d1=a1x1+a2x2+a3x3+…amxm 式(7)
其中,d1表示几何评价模型得分,a1表示第一个几何特征的比例系数,a2表示第二个几何特征的比例系数,a3表示第三个几何特征的比例系数,am表示第m个几何特征的比例系数,x1表示第一个几何特征与初始值的差值,x2表示第二个几何特征与初始值的差值,x3第三个几何特征与初始值的差值,xm表示第m个几何特征与初始值的差值。
步骤30)构建聚类的颜色评价模型:采用RGB获取的颜色信息,进行色彩空间转换与归一化后,根据颜色相似性,构建聚类的颜色评价模型。
首先通过遍历各个聚类获取单个聚类的颜色分量,并通过求和取平均得到能代表每个聚类的颜色分量信息,其次将得到的RGB颜色空间的颜色分量通过色彩空间的转换得到CIE L*a*b颜色空间的颜色分量,最后通过归一化处理,并与初始的颜色特征进行相似性评价,获取颜色评价得分。L表示明亮度,a表示红/绿值,b表示黄/蓝值。步骤30)的流程图如图6所示,具体步骤包括:
步骤301)计算聚类颜色。通过遍历每个独立点云,读取每个点的颜色分量,并求和取平均值,从而获取代表当前点云聚类的颜色分量信息。
步骤302)颜色空间变换与归一化。在实际应用的过程中,环境多变,光照对视觉处理有很大的影响。在本实施例中,采用的颜色判别方法对光照的影响同样非常敏感。归一化处理能在一定的程度下改善光照对RGB值的影响。
假设R,G,B代表原图像某点的像素值,r,g,b表示归一化之后的像素值,则
b可以表示为:b=1-r-g;
通过对颜色空间的分析,使用RGB颜色空间来计算颜色之间的距离并不是衡量颜色相似度最好的方法。事实上,RGB不是一个在感知上均匀分布的色彩空间,在相同的距离下,两个颜色可能非常相似也可能截然不同。通过将颜色空间转换到CIE L*a*b颜色空间,图像像素和目标色之间的欧拉距离在描述颜色的相似性上才有意义。然而RGB却无法直接转换到Lab颜色空间,需要通过CIE XYZ颜色空间进行过渡,具体的转换公式如下:
i.RGB转换为XYZ见公式(9):
其中,X,Y,Z表示XYZ颜色空间中的颜色分量;r,g,b表示RGB颜色空间三通道颜色分量,gamma函数是对颜色进行非线性色调编辑,提高图像的对比度,见公式(10)。
ii.XYZ转换到Lab见公式(11):
其中,L,a,b分别代表Lab颜色空间的颜色分量,f函数见公式(12),通常情况下,Xn=95.04,Yn=100.0,Zn=108.883。
步骤303)颜色模型评价。经过上述的处理,可以直接使用欧拉距离来衡量颜色的相似性,见公式(13)。
其中,d2表示颜色得分,x,y,z表示初始化提取的目标颜色分量值(已经过颜色空间转换),x1,y1,z1表示通过聚类计算出的颜色分量值。
步骤40)对几何评价模型和颜色评价模型进行综合评定,确定最优的跟踪目标,并通过跟踪模型确定最优目标参数,生成相应跟踪指令。
首先根据几何评价模型得分与颜色评价模型得分,获取单个聚类的最终得分,并根据得分获取最终的跟踪目标;然后根据跟踪目标的几何模型获取当前跟踪距离与速度;最后通过跟踪距离与速度,利用PID(对应中文:比例积分微分)控制生成最终的跟踪指令,控制移动平台的运动。步骤40)具体包括:
步骤401)综合评价。通过几何特征得分和颜色得分,采用加权求和的方法求取最终的得分,见公式(14)。
D=a1d1+a2d2 式(14)
其中,D为总得分,a1为几何特征得分比例系数,a2为颜色得分比例系数,d1为几何特征得分,d2为颜色得分。
若得分最高与次高相差较大或仅存在一个聚类,则接受最高得分为最终跟踪目标;若最高得分与次高得分相差较小,则调整颜色得分比例系数a2,重新判别,直到满足最优跟踪目标条件。若最高得分都小于给定的最小阈值Threshold,则表明当前丢失跟踪。
步骤402)生成跟踪指令。当前若找到最优目标,通过遍历最优目标点云,计算点云中心点坐标。与初始选定的中心坐标进行对比,确定行人的当前位置和目标位置,采用PID控制移动平台速度的大小与方向(见公式15),并生成相应的控制指令。出现丢失跟踪,移动平台原地旋转,寻找目标。
其中,v为直线行走速度大小,为转向速度,通过合成获取最终的速度矢量。对于采用的实验平台可以直接分别进行赋值,以控制平台运动;z1,x1分别表示求取的聚类中心点坐标,由于y1代表的是上下方向的运动,在本平台上不进行考虑;z,x表示的是设定的初始坐标值;scale_z,scale_x分别为两个方向上的速度尺度。对于输入的速度指令,平台会采取一定的措施限制加速度的大小,以保持平台的稳定运行。
应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (5)

1.一种基于RGB-D信息的实时行人跟踪方法,其特征在于:该方法包括以下步骤:
步骤10)环境数据的获取与模型初始化:通过安装在移动机器人平台上的体感传感器对行人进行感知,以获取RGB-D信息,将RGB-D信息转化为三维点云,并对跟踪模型进行初始化;
步骤20)构建聚类的几何评价模型:通过欧氏距离对三维点云进行聚类,并拟合提取聚类的点数、圆度、直径、分段宽度、边界长度几何特征,构建聚类的几何评价模型;所述的步骤20)包括:首先对三维点云进行条件滤波和下采样减少点云数目,减少后续点云的处理时间;其次采用欧式聚类对点云进行聚类处理,去除孤立点,并将疑似目标从无序点云中提取出来;最后提取各个点云聚类的点数、圆度、直径、分段宽度、边界长度几何特征,并与初始化数据进行对比,获取几何评价模型得分;所述的步骤20)具体包括以下步骤:
步骤201)条件滤波与下采样:根据传感器的安装位置和传感器所需要采集到的行人的背部信息,选取立方体参数对点云进行条件滤波,根据选定的立方体包围盒,删除包围盒外的点云数据,仅保留包围盒内的数据;同时,使用体素化网格方法实现下采样,减少点云数据中点的数量,并保持点云的形状特征;
步骤202)欧式聚类:通过点云的三维坐标,计算点云之间的距离,以确定点云的类别;将疑似的目标从整体点云中分离,得到独立点云;
步骤203)几何特征的提取与评定:通过欧式聚类获取的独立点云,对独立点云进行拟合,提取几何特征参数,然后与初始化目标进行对比,最后对提取的每个几何特征进行加权求和,获取每一独立的子点云得分,如式(7)所示:
d1=a1x1+a2x2+a3x3+…anxn 式(7)
其中,d1表示几何评价模型得分,a1表示第一个几何特征的比例系数,a2表示第二个几何特征的比例系数,a3表示第三个几何特征的比例系数,an表示第n个几何特征的比例系数,x1表示第一个几何特征与初始值的差值,x2表示第二个几何特征与初始值的差值,x3第三个几何特征与初始值的差值,xn表示第n个几何特征与初始值的差值;
步骤30)构建聚类的颜色评价模型:采用RGB获取的颜色信息,进行色彩空间转换与归一化后,根据颜色相似性,构建聚类的颜色评价模型;
步骤40)对几何评价模型和颜色评价模型进行综合评定,确定最优的跟踪目标,并通过跟踪模型确定最优目标参数,生成相应跟踪指令。
2.根据权利要求1所述的基于RGB-D信息的实时行人跟踪方法,其特征在于:所述的步骤10)具体包括:首先采用安装在移动平台上的体感传感器获取周围环境的颜色和深度数据;其次根据所获取的颜色和深度信息重建周围环境的三维点云信息;最后根据行人在三维点云中的位姿,确定跟踪目标的颜色和几何特征,并初始化跟踪模型。
3.根据权利要求1所述的基于RGB-D信息的实时行人跟踪方法,其特征在于:所述的步骤202)包括以下步骤:
步骤2021)创建Kd_Tree结构来表征输入点云集P;
步骤2022)创建空链表集C和队列Q;
步骤2023)对于点云集P中的任意点pi进行如下操作:将点pi加入到队列Q中,然后进行如下处理:首先寻找点pi周围的3D空间距离小于给定距离的点,并形成集合其次检验集合中的每个点是否经过寻找周围3D空间距离小于给定距离点的处理;若没有,将点加入Q,检验Q中所有点是否经过寻找周围的3D空间距离小于给定距离的点的处理;
如果Q中存在点没有经过寻找周围的3D空间距离小于给定距离的点的处理,则对该点进行寻找周围3D空间距离小于给定距离点处理;如果Q中所有点已经经过寻找周围的3D空间距离小于给定距离的点的处理,则将Q加入到链表集C,并将Q重置为空;
步骤2024)点云集P中所有的点均经过寻找周围3D空间距离小于给定距离点处理,则链表集C为聚类集合。
4.根据权利要求1所述的基于RGB-D信息的实时行人跟踪方法,其特征在于:所述的步骤30)具体包括:首先通过遍历各个聚类获取单个聚类的颜色分量,并通过求和取平均得到能代表每个聚类的颜色分量信息,其次将得到的RGB颜色空间的颜色分量通过色彩空间的转换得到CIE L*a*b颜色空间的颜色分量,最后通过归一化处理,并与初始的颜色特征进行相似性评价,获取颜色评价得分。
5.根据权利要求1所述的基于RGB-D信息的实时行人跟踪方法,其特征在于:所述的步骤40)具体包括:首先根据几何评价模型得分与颜色评价模型得分,获取单个聚类的最终得分,并根据得分获取最终的跟踪目标;然后根据跟踪目标的几何模型获取当前跟踪距离与速度;最后通过跟踪距离与速度,利用PID控制生成最终的跟踪指令,控制移动平台的运动。
CN201610783805.7A 2016-08-31 2016-08-31 一种基于rgb-d信息的实时行人跟踪方法 Active CN106384079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610783805.7A CN106384079B (zh) 2016-08-31 2016-08-31 一种基于rgb-d信息的实时行人跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610783805.7A CN106384079B (zh) 2016-08-31 2016-08-31 一种基于rgb-d信息的实时行人跟踪方法

Publications (2)

Publication Number Publication Date
CN106384079A CN106384079A (zh) 2017-02-08
CN106384079B true CN106384079B (zh) 2019-04-30

Family

ID=57939423

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610783805.7A Active CN106384079B (zh) 2016-08-31 2016-08-31 一种基于rgb-d信息的实时行人跟踪方法

Country Status (1)

Country Link
CN (1) CN106384079B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952294B (zh) * 2017-02-15 2019-10-08 北京工业大学 一种基于rgb-d数据的视频跟踪方法
CN107273895B (zh) * 2017-06-15 2020-07-14 幻视互动(北京)科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN107845095B (zh) * 2017-11-20 2020-10-02 维坤智能科技(上海)有限公司 基于三维激光点云的移动物体实时检测方法
CN108021131B (zh) * 2017-11-28 2021-02-09 王智华 一种机器人视觉识别方法、装置及计算机可读存储介质
CN108596947B (zh) * 2018-03-27 2021-09-17 南京邮电大学 一种适用于rgb-d相机的快速目标跟踪方法
CN108985254A (zh) * 2018-08-01 2018-12-11 上海主线科技有限公司 一种基于激光的带挂卡车跟踪方法
CN109035305B (zh) * 2018-08-10 2021-06-25 中北大学 一种基于rgb-d低视角情况下的室内人体检测与跟踪方法
CN111310526B (zh) * 2018-12-12 2023-10-20 杭州海康威视数字技术股份有限公司 目标跟踪模型的参数确定方法、装置及存储介质
CN110008881B (zh) * 2019-03-28 2021-03-12 北京农业信息技术研究中心 多运动目标的奶牛行为的识别方法及装置
WO2021042374A1 (zh) * 2019-09-06 2021-03-11 罗伯特·博世有限公司 用于工业机器人的三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
CN111006676B (zh) * 2019-11-14 2021-08-31 广东博智林机器人有限公司 地图构建方法、装置及系统
CN111079713A (zh) * 2019-12-31 2020-04-28 帷幄匠心科技(杭州)有限公司 一种提取行人颜色特征的方法及终端设备
CN111899279A (zh) * 2020-07-10 2020-11-06 浙江大华技术股份有限公司 一种目标对象的运动速度检测方法及装置
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
CN114419152B (zh) * 2022-01-14 2024-04-26 中国农业大学 一种基于多维度点云特征的目标检测与跟踪方法及系统
CN115719364B (zh) * 2022-11-14 2023-09-08 重庆数字城市科技有限公司 一种基于移动测量点云数据进行行人跟踪的方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598890A (zh) * 2015-01-30 2015-05-06 南京邮电大学 一种基于rgb-d视频的人体行为识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Fast and robust multi-people tracking from RGB-D data for a mobile robot;Filippo Basso 等;《Intelligent Autonomous Systems》;20130131;第265-276页
Fast RGB-D People Tracking for Service Robots;Matteo Munaro 等;《Autonomous Robots》;20141031;第37卷(第3期);第227-242页
People Tracking in RGB-D Data With On-line Boosted Target Models;Matthias Luber 等;《2011 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20010930;第3844-3849页
Tracking people within groups with RGB-D data;Matteo Munaro 等;《2012 IEEE/RSJ International Conference on Intelligent Robots and Systems》;20121224;第2101-2107页
Using Boosted Features for the Detection of People in 2D Range Data;Kai O.Arras 等;《Proceedings 2007 IEEE International Conference on Robotics and Automation》;20070521;第3402-3407页

Also Published As

Publication number Publication date
CN106384079A (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106384079B (zh) 一种基于rgb-d信息的实时行人跟踪方法
Liu et al. Improved kiwifruit detection using pre-trained VGG16 with RGB and NIR information fusion
CN108171748B (zh) 一种面向机器人智能抓取应用的视觉识别与定位方法
CN106707296B (zh) 一种基于双孔径光电成像系统的无人机检测与识别方法
CN109146889B (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN104115192B (zh) 三维近距离交互的改进或与其有关的改进
CN105930819B (zh) 基于单目视觉和gps组合导航系统的实时城区交通灯识别系统
CN109949361A (zh) 一种基于单目视觉定位的旋翼无人机姿态估计方法
CN104134071B (zh) 一种基于颜色描述的可变形部件模型物体检测方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
Wang et al. Object detection in terrestrial laser scanning point clouds based on Hough forest
CN108108764A (zh) 一种基于随机森林的视觉slam回环检测方法
CN112818925B (zh) 一种城市建筑和树冠识别方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
Finman et al. Toward object-based place recognition in dense rgb-d maps
CN109636854A (zh) 一种基于line-mod模板匹配的增强现实三维跟踪注册方法
CN104063711B (zh) 一种基于K‑means方法的走廊消失点快速检测算法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
Quadros et al. An occlusion-aware feature for range images
CN108710909B (zh) 一种可变形旋转不变装箱物体清点方法
CN112766184B (zh) 基于多层级特征选择卷积神经网络的遥感目标检测方法
CN106503170B (zh) 一种基于遮挡维度的图像库构建方法
CN108681711A (zh) 一种面向移动机器人的自然路标提取方法
CN105957107A (zh) 行人检测与跟踪方法及装置
CN108711172A (zh) 基于细粒度分类的无人机识别与定位方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant