CN108717553B - 一种机器人跟随人体的方法及系统 - Google Patents

一种机器人跟随人体的方法及系统 Download PDF

Info

Publication number
CN108717553B
CN108717553B CN201810481471.7A CN201810481471A CN108717553B CN 108717553 B CN108717553 B CN 108717553B CN 201810481471 A CN201810481471 A CN 201810481471A CN 108717553 B CN108717553 B CN 108717553B
Authority
CN
China
Prior art keywords
human body
robot
body region
tracked
apparent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810481471.7A
Other languages
English (en)
Other versions
CN108717553A (zh
Inventor
王亚利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Amy Ronotics Co ltd
Original Assignee
Hangzhou Amy Ronotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Amy Ronotics Co ltd filed Critical Hangzhou Amy Ronotics Co ltd
Priority to CN201810481471.7A priority Critical patent/CN108717553B/zh
Publication of CN108717553A publication Critical patent/CN108717553A/zh
Application granted granted Critical
Publication of CN108717553B publication Critical patent/CN108717553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机器人跟随人体的方法及系统,其中方法包括:利用HOG方法,在机器人获取的深度图上检测人体区域;在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;所述表观特征包括颜色特征和纹理特征;在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插;在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。本发明大大减少了人体区域的误检,能够更加准确地表征被跟踪人体的表观特征,防止跟丢,在穿插发生后可靠的实现持续跟随。

Description

一种机器人跟随人体的方法及系统
技术领域
本发明涉及机器视觉技术领域,尤其涉及一种机器人跟随人体的方法及系统。
背景技术
当前,基于RGBD传感器(深度视觉传感器)的机器人跟随功能的实现过程中,人体检测是在彩色图上实现的,易受光照变化、对比度等的影响而产生误检和漏检;而且,人体区域的颜色特征及其相似度度量,计算方法简单,不能抵抗自动曝光和自动白平衡导致的颜色变化。因此,当有第三人从机器人和被跟踪人体之间穿插而过时,机器人会跟丢。以上这些问题,使得现有的机器人跟随功能实用性较低,跟随不可靠。
发明内容
基于此,本发明提供了一种基于RGBD(深度视觉)传感器的可穿插的机器人跟随人体的方法及系统,以解决现有技术中存在的机器人跟随功能实用性较低,跟随不可靠的问题。
本发明提供的机器人跟随人体的方法,包括以下步骤:
利用HOG(Histogram of Oriented Gradient,方向梯度直方图)方法,在机器人获取的深度图上检测人体区域;
在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;所述表观特征包括颜色特征和纹理特征;
在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插;
在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。
作为一种可实施方式,利用HOG方法,在机器人获取的深度图上检测人体区域,包括以下步骤:
基于机器人获取的深度图,计算深度信息的梯度及其直方图,并按照HOG方法生成特征向量,训练用于人体区域检测的分类器;
利用所述分类器在深度图上检测人体区域。
作为一种可实施方式,在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插,包括以下步骤:
在检测到当前帧图像中存在某一人体区域与前一帧图像中的被跟踪人体区域的重合面积大于设定面积阈值,并且,前一帧图像与当前帧图像到机器人的距离之差大于设定距离阈值时,则判断为发生穿插。
作为一种可实施方式,在判断穿插发生后,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,包括以下步骤:
对比当前帧图像中的人体区域的表观特征和已保存的前一帧图像中的被跟踪人体区域的表观特征,并用EMD(Earth Mover's Distance,推土机距离)来度量前后两帧图像的表观特征相似度;
当前后两帧图像的表观特征相似度达到设定相似度阈值时,判断当前帧图像中的人体区域为被跟踪的人体区域。
作为一种可实施方式,本发明的机器人跟随人体的方法,还包括以下步骤:
在跟随初始化后,向机器人发送运动指令,使得被跟踪的人体区域保持在图像水平方向的中心,并且与机器人保持预设距离。
作为一种可实施方式,所述颜色特征为人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图;
所述纹理特征为人体区域所对应的彩色图像的纹理元归一化直方图。
作为一种可实施方式,所述纹理特征的计算过程为:
在纹理库上生成纹理元的码本;
对人体区域所对应的彩色图像进行滤波器组滤波,将滤波后得到的特征向量组投影在纹理元的码本上,得到纹理元归一化直方图。
相应地,本发明还提供一种机器人跟随人体的系统,包括人体区域检测模块、表观特征计算模块、穿插检测模块、以及搜索跟随模块;
所述人体区域检测模块,用于利用HOG方法,在机器人获取的深度图上检测人体区域;
所述表观特征计算模块,用于在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;所述表观特征包括颜色特征和纹理特征;
所述穿插检测模块,用于在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插;
所述搜索跟随模块,用于在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。
作为一种可实施方式,所述人体区域检测模块包括分类器训练单元和检测单元;
所述分类器训练单元,用于基于机器人获取的深度图,计算深度信息的梯度及其直方图,并按照HOG方法生成特征向量,训练用于人体区域检测的分类器;
所述检测单元,用于利用所述分类器在深度图上检测人体区域。
作为一种可实施方式,所述穿插检测模块包括第一判断单元;
所述第一判断单元,用于在检测到当前帧图像中存在某一人体区域与前一帧图像中的被跟踪人体区域的重合面积大于设定面积阈值,并且,前一帧图像与当前帧图像到机器人的距离之差大于设定距离阈值时,则判断为发生穿插。
作为一种可实施方式,所述搜索跟随模块包括度量单元和第二判断单元;
所述度量单元,用于对比当前帧图像中的人体区域的表观特征和已保存的前一帧图像中的被跟踪人体区域的表观特征,并用EMD来度量前后两帧图像的表观特征相似度;
所述第二判断单元,用于当前后两帧图像的表观特征相似度达到设定相似度阈值时,判断当前帧图像中的人体区域为被跟踪的人体区域。
作为一种可实施方式,本发明的机器人跟随人体的系统,还包括运动控制模块;
所述运动控制模块,用于在跟随初始化后,向机器人发送运动指令,使得被跟踪的人体区域保持在图像水平方向的中心,并且与机器人保持预设距离。
作为一种可实施方式,所述颜色特征为人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图;
所述纹理特征为人体区域所对应的彩色图像的纹理元归一化直方图。
作为一种可实施方式,所述表观特征计算模块包括纹理特征计算单元;
所述纹理特征计算单元,用于在纹理库上生成纹理元的码本,并对人体区域所对应的彩色图像进行滤波器组滤波,将滤波后得到的特征向量组投影在纹理元的码本上,以得到纹理元归一化直方图。
与现有技术相比,本技术方案具有以下优点:
本发明提供的机器人跟随人体的方法及系统,首先利用HOG方法,基于不易受光线变化影响的深度图来检测人体区域,从而避免了环境光照变化对人体检测的影响,大大减少了人体区域的误检;进而在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,通过利用颜色特征和纹理特征来描述和区分人体的表观,更加准确地表征被跟踪人体的表观特征,防止跟丢;在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插,使得跟随更加可靠;最后,在判断穿插发生后,利用保存的被跟踪人体区域的表观特征相似度去搜索对应的人体区域,搜索到该人体区域后,控制机器人跟随该人体区域运动,使得跟随不受穿插的影响,可靠的实现持续跟随。
附图说明
图1为本发明实施例一提供的机器人跟随人体的方法的流程示意图;
图2为本发明实施例二提供的机器人跟随人体的方法中的训练用于人体检测的分类器的流程示意图;
图3为本发明实施例三提供的机器人跟随人体的系统的结构示意图。
具体实施方式
以下结合附图,对本发明上述的和另外的技术特征和优点进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的部分实施例,而不是全部实施例。
参见图1,本发明实施例一提供的机器人跟随人体的方法,包括以下步骤:
S100、利用HOG方法,在机器人获取的深度图上检测人体区域。
该步骤的实现,除用深度图代替HOG中常用的灰度图外,其他的同一般的HOG方法。即在深度图上求深度信息的梯度及其直方图,按照现有的HOG方法生成特征向量,并训练用于人体区域检测的分类器,即可在机器人获取的深度图上检测人体区域。本发明通过在深度图上提取HOG特征并训练分类器,可以避免环境光照变化对人体检测的影响。
S200、在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;表观特征包括颜色特征和纹理特征。
跟随初始化时,可以假设距离机器人最近的人体区域为被跟踪的区域,计算并保存该区域内的表观特征。跟随初始化后,向机器人发送运动指令,使得被跟踪的人体区域保持在图像水平方向的中心,并且与机器人相距预先设定的距离。
上述颜色特征为人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图,纹理特征为人体区域所对应的彩色图像的纹理元归一化直方图。具体地,纹理特征可以为用Gabor Filters Bank对人体区域所对应的彩色图滤波,得到的特征向量组投影在纹理元的码本上,得到的纹理元的归一化直方图。
在计算纹理特征之前,需要在纹理库上生成纹理元的码本(即codebook)。具体实现过程如下:对纹理库中的M幅图像进行滤波器组滤波,共m个滤波器,得到M个m维的特征向量,对该组特征向量进行K均值(K-Mean)聚类,即可得到含有K个纹理元的码本。
现有的跟随方法,只考虑到人体区域的颜色特征,计算方法简单,不能抵抗自动曝光和自动白平衡导致的颜色变化,当有第三人从机器人和被跟踪人体之间穿插而过时,机器人会跟丢。而本发明在人体区域的颜色特征的基础上还考虑到了纹理特征,利用颜色特征和纹理特征来描述和区分人体的表观,能够较好地抵抗自动曝光和自动白平衡导致的颜色变化,在发生穿插后,能够更加准确地表征被跟踪人体的表观特征,防止跟丢。
S300、在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插。
在跟随的过程中,本发明会对新到来的每一帧图像,检测穿插是否发生。判断穿插的条件可以根据具体的需求来设定,例如,在检测到当前帧图像中存在某一人体区域与前一帧图像中的被跟踪人体区域的重合面积大于设定面积阈值,并且,前一帧图像与当前帧图像到机器人的距离之差大于设定距离阈值时,则判断为发生穿插。
S400、在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。
对比当前帧图像中的人体区域的表观特征和已保存的前一帧图像中的被跟踪人体区域的表观特征,并用EMD来度量前后两帧图像的表观特征相似度;当前后两帧图像的表观特征相似度达到设定相似度阈值时,即可判断当前帧图像中的人体区域为被跟踪的人体区域。
如上所述,表观特征包括颜色特征和纹理特征。颜色特征为人体区域所对应彩色图像的RGB三个颜色通道的归一化直方图。颜色特征的相似度用EMD来度量。纹理特征为用Gabor Filters Bank对人体区域所对应的彩色图滤波得到的特征向量组投影在纹理元的码本上得到的纹理元的归一化直方图,纹理特征的相似度也可以用EMD来度量。此处用的滤波器组与在纹理库上生成纹理元的码本的滤波器组相同。
本发明首先利用HOG方法,基于不易受光线变化影响的深度图来检测人体区域,从而避免了环境光照变化对人体检测的影响,大大减少了人体区域的误检;进而利用颜色特征和纹理特征来描述和区分人体的表观,更加准确地表征被跟踪人体的表观特征,防止跟丢;最后利用人体区域在连续帧图像中的位置突变,来检测穿插,使得跟随不受穿插的影响,可以可靠的实现持续跟随。
基于同一发明构思,本发明实施例二还提供了一种机器人跟随人体的方法,包括以下步骤:
步骤一、训练用于人体检测的分类器;
如图2所示,具体可通过以下步骤实现:
S11、标记机器人获取的深度图上的人体区域;
S12、对每一个标记的人体区域进行归一化处理,计算深度信息的梯度及其直方图,生成正样本;
S13、基于没有人的深度图生成负样本;
S14、利用所述正样本和所述负样本训练得到用于人体检测的分类器。
步骤二、在纹理库上计算含K个纹理元的codebook;
对纹理库中的M幅图像进行滤波器组滤波,共m个滤波器,即可得到M个m维的特征向量,对该组特征向量进行K均值(K-Mean)聚类,得到含有K个纹理元的codebook。
步骤三、跟随初始化:在深度图上检测人体区域,取距离机器人最近的为被跟踪的人体区域MaskCurr;
步骤四、计算MaskCurr所对应彩色图的表观特征,并保存;
颜色特征:计算MaskCurr下的红、绿、蓝三个颜色通道的归一化直方图;
纹理特征:对MaskCurr下的彩色图像进行滤波器组滤波,得到的特征向量组投影在纹理元的codebook上,得到含K个分量的纹理元归一化直方图;
步骤五、对每一新帧图像,检测穿插是否发生:
前一帧的人体区域为MaskLast,距离机器人的距离为DepthLast,当前帧内人体区域位MaskCurr,距离机器人的距离为DepthCurr。
当下述两点同时满足时,判断发生穿插:
(1)前后两帧人体区域重合面积大于一定阈值ThArea(比如,ThArea=0.2):
面积(MaskLast∩MaskCurr)/面积(MaskLast)>ThArea
(2)前后两帧中人体区域到机器人的距离之差大于一定阈值ThDepth(比如,ThDepth=0.5米):
DepthLast–DepthCurr>ThDepth
步骤六、当判断穿插发生后,控制机器人停止运动;在视野范围内搜索与已经保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到后,开始运动;
计算MaskCurr下的表观特征,并与MaskLast的表观特征比较,比较方法如下:
前一帧的颜色特征为红绿蓝三个颜色通道的归一化直方图HistRedLast,HistGreenLast,HistBlueLast,当前帧的颜色特征为红绿蓝三个颜色通道的归一化直方图HistRedCurr,HistGreenCurr,HistBlueCurr。
前后两帧的红色特征相似度EMD(HistRedLast,HistRedCurr)表示为EMD(Red);
前后两帧的绿色特征相似度EMD(HistGreenLast,HistGreenCurr)表示为EMD(Green);
前后两帧的蓝色特征相似度EMD(HistBlueLast,HistBlueCurr)表示为EMD(Blue);
那么,前后两帧的颜色特征相似度SimilarityColor取为EMD(Red)+EMD(Green)+EMD(Blue)。
前一帧经过滤波器组滤波后得到特征向量组为GaborLast,在纹理元的codebook中投影并统计归一化直方图为HistTexLast,当前帧经过Gabor Filters Bank滤波后得到的特征向量组GaborCurr,在纹理元codebook中投影并统计归一化直方图为HistTexCurr。
那么,前后两帧的纹理特征的相似度SimilarityTexture取为EMD(HistTexLast,HistTexCurr)
最后,表观特征相似度可以取为SimilarityColor+SimilarityTexture。
基于同一发明构思,本发明实施例三还提供了一种机器人跟随人体的系统,如图3所示,包括人体区域检测模块100、表观特征计算模块200、穿插检测模块300、以及搜索跟随模块400。
其中,人体区域检测模块100用于利用HOG方法,在机器人获取的深度图上检测人体区域;表观特征计算模块200用于在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;表观特征包括颜色特征和纹理特征;穿插检测模块300用于在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插;搜索跟随模块400用于在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。
进一步地,人体区域检测模块100包括分类器训练单元110和检测单元120。分类器训练单元110用于基于机器人获取的深度图,计算深度信息的梯度及其直方图,并按照HOG方法生成特征向量,训练用于人体区域检测的分类器;检测单元120用于利用分类器在深度图上检测人体区域。
穿插检测模块300包括第一判断单元310,第一判断单元310用于在检测到当前帧图像中存在某一人体区域与前一帧图像中的被跟踪人体区域的重合面积大于设定面积阈值,并且,前一帧图像与当前帧图像到机器人的距离之差大于设定距离阈值时,则判断为发生穿插。
搜索跟随模块400包括度量单元410和第二判断单元420。度量单元410用于对比当前帧图像中的人体区域的表观特征和已保存的前一帧图像中的被跟踪人体区域的表观特征,并用EMD来度量前后两帧图像的表观特征相似度;第二判断单元420用于当前后两帧图像的表观特征相似度达到设定相似度阈值时,判断当前帧图像中的人体区域为被跟踪的人体区域。
作为一种可实施方式,本实施例提供的机器人跟随人体的系统,还包括运动控制模块;运动控制模块用于在跟随初始化后,向机器人发送运动指令,使得被跟踪的人体区域保持在图像水平方向的中心,并且与机器人保持预设距离。
上述颜色特征为人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图。纹理特征为人体区域所对应的彩色图像的纹理元归一化直方图。
表观特征计算模块200包括颜色特征计算单元210和纹理特征计算单元220。颜色特征计算单元210用于计算人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图。纹理特征计算单元220用于在纹理库上生成纹理元的码本,并对人体区域所对应的彩色图像进行滤波器组滤波,将滤波后得到的特征向量组投影在纹理元的码本上,以得到纹理元归一化直方图。
本发明提供的机器人跟随人体的方法及系统,首先利用HOG方法,基于不易受光线变化影响的深度图来检测人体区域,从而避免了环境光照变化对人体检测的影响,大大减少了人体区域的误检;进而在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,通过利用颜色特征和纹理特征来描述和区分人体的表观,更加准确地表征被跟踪人体的表观特征,防止跟丢;在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插,使得跟随更加可靠;最后,在判断穿插发生后,利用保存的被跟踪人体区域的表观特征相似度去搜索对应的人体区域,搜索到该人体区域后,控制机器人跟随该人体区域运动,使得跟随不受穿插的影响,可靠的实现持续跟随。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。

Claims (12)

1.一种机器人跟随人体的方法,其特征在于,包括以下步骤:
利用HOG方法,在机器人获取的深度图上检测人体区域;
在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;所述表观特征包括颜色特征和纹理特征;
在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插,包括以下步骤:
在检测到当前帧图像中存在某一人体区域与前一帧图像中的被跟踪人体区域的重合面积大于设定面积阈值,并且,前一帧图像的所述被跟踪人体区域与当前帧图像的所述人体区域到机器人的距离之差大于设定距离阈值时,则判断为发生穿插;
在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。
2.根据权利要求1所述的机器人跟随人体的方法,其特征在于,利用HOG方法,在机器人获取的深度图上检测人体区域,包括以下步骤:
基于机器人获取的深度图,计算深度信息的梯度及其直方图,并按照HOG方法生成特征向量,训练用于人体区域检测的分类器;
利用所述分类器在深度图上检测人体区域。
3.根据权利要求1所述的机器人跟随人体的方法,其特征在于,在判断穿插发生后,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,包括以下步骤:
对比当前帧图像中的人体区域的表观特征和已保存的前一帧图像中的被跟踪人体区域的表观特征,并用EMD来度量前后两帧图像的表观特征相似度;
当前后两帧图像的表观特征相似度达到设定相似度阈值时,判断当前帧图像中的人体区域为被跟踪的人体区域。
4.根据权利要求1所述的机器人跟随人体的方法,其特征在于,还包括以下步骤:
在跟随初始化后,向机器人发送运动指令,使得被跟踪的人体区域保持在图像水平方向的中心,并且与机器人保持预设距离。
5.根据权利要求1至4任一项所述的机器人跟随人体的方法,其特征在于,所述颜色特征为人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图;
所述纹理特征为人体区域所对应的彩色图像的纹理元归一化直方图。
6.根据权利要求1至4任一项所述的机器人跟随人体的方法,其特征在于,所述纹理特征的计算过程为:
在纹理库上生成纹理元的码本;
对人体区域所对应的彩色图像进行滤波器组滤波,将滤波后得到的特征向量组投影在纹理元的码本上,得到纹理元归一化直方图。
7.一种机器人跟随人体的系统,其特征在于,包括人体区域检测模块、表观特征计算模块、穿插检测模块、以及搜索跟随模块;
所述人体区域检测模块,用于利用HOG方法,在机器人获取的深度图上检测人体区域;
所述表观特征计算模块,用于在跟随初始化时,计算被跟踪人体区域所对应的彩色图的表观特征,并进行保存;所述表观特征包括颜色特征和纹理特征;
所述穿插检测模块,用于在跟随过程中,根据被跟踪人体区域在连续帧图像中的位置变化判断是否发生穿插;所述穿插检测模块包括第一判断单元;
所述第一判断单元,用于在检测到当前帧图像中存在某一人体区域与前一帧图像中的被跟踪人体区域的重合面积大于设定面积阈值,并且,前一帧图像的所述被跟踪人体区域与当前帧图像的所述人体区域到机器人的距离之差大于设定距离阈值时,则判断为发生穿插;
所述搜索跟随模块,用于在判断穿插发生后,控制机器人停止运动;同时,在机器人获取的后续帧的图像中搜索与已保存的被跟踪人体区域的表观特征相似的人体区域,直到搜索到该人体区域后,控制机器人跟随该人体区域运动。
8.根据权利要求7所述的机器人跟随人体的系统,其特征在于,所述人体区域检测模块包括分类器训练单元和检测单元;
所述分类器训练单元,用于基于机器人获取的深度图,计算深度信息的梯度及其直方图,并按照HOG方法生成特征向量,训练用于人体区域检测的分类器;
所述检测单元,用于利用所述分类器在深度图上检测人体区域。
9.根据权利要求7所述的机器人跟随人体的系统,其特征在于,所述搜索跟随模块包括度量单元和第二判断单元;
所述度量单元,用于对比当前帧图像中的人体区域的表观特征和已保存的前一帧图像中的被跟踪人体区域的表观特征,并用EMD来度量前后两帧图像的表观特征相似度;
所述第二判断单元,用于当前后两帧图像的表观特征相似度达到设定相似度阈值时,判断当前帧图像中的人体区域为被跟踪的人体区域。
10.根据权利要求7所述的机器人跟随人体的系统,其特征在于,还包括运动控制模块;
所述运动控制模块,用于在跟随初始化后,向机器人发送运动指令,使得被跟踪的人体区域保持在图像水平方向的中心,并且与机器人保持预设距离。
11.根据权利要求7至10任一项所述的机器人跟随人体的系统,其特征在于,所述颜色特征为人体区域所对应的彩色图像的红、绿、蓝三个颜色通道的归一化直方图;
所述纹理特征为人体区域所对应的彩色图像的纹理元归一化直方图。
12.根据权利要求7至10任一项所述的机器人跟随人体的系统,其特征在于,所述表观特征计算模块包括纹理特征计算单元;
所述纹理特征计算单元,用于在纹理库上生成纹理元的码本,并对人体区域所对应的彩色图像进行滤波器组滤波,将滤波后得到的特征向量组投影在纹理元的码本上,以得到纹理元归一化直方图。
CN201810481471.7A 2018-05-18 2018-05-18 一种机器人跟随人体的方法及系统 Active CN108717553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810481471.7A CN108717553B (zh) 2018-05-18 2018-05-18 一种机器人跟随人体的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810481471.7A CN108717553B (zh) 2018-05-18 2018-05-18 一种机器人跟随人体的方法及系统

Publications (2)

Publication Number Publication Date
CN108717553A CN108717553A (zh) 2018-10-30
CN108717553B true CN108717553B (zh) 2020-08-18

Family

ID=63899988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810481471.7A Active CN108717553B (zh) 2018-05-18 2018-05-18 一种机器人跟随人体的方法及系统

Country Status (1)

Country Link
CN (1) CN108717553B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112487869A (zh) * 2020-11-06 2021-03-12 深圳优地科技有限公司 机器人路口通行方法、装置和智能设备
CN112894810A (zh) * 2021-01-19 2021-06-04 四川阿泰因机器人智能装备有限公司 一种基于kcf算法的移动机器人目标防丢失跟随方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232571A (zh) * 2008-01-25 2008-07-30 北京中星微电子有限公司 一种人体图像匹配方法及视频分析检索系统
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106881716A (zh) * 2017-02-21 2017-06-23 深圳市锐曼智能装备有限公司 基于3d摄像头机器人的人体跟随方法及系统
CN107097256A (zh) * 2017-04-21 2017-08-29 河海大学常州校区 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN107247466A (zh) * 2017-06-12 2017-10-13 中山长峰智能自动化装备研究院有限公司 一种机器人头部手势控制方法及系统
CN107909603A (zh) * 2017-12-01 2018-04-13 浙江工业大学 一种面向跟随机器人的视觉跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101232571A (zh) * 2008-01-25 2008-07-30 北京中星微电子有限公司 一种人体图像匹配方法及视频分析检索系统
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106881716A (zh) * 2017-02-21 2017-06-23 深圳市锐曼智能装备有限公司 基于3d摄像头机器人的人体跟随方法及系统
CN107097256A (zh) * 2017-04-21 2017-08-29 河海大学常州校区 基于视觉非完整机器人在极坐标下的无模型目标跟踪方法
CN107247466A (zh) * 2017-06-12 2017-10-13 中山长峰智能自动化装备研究院有限公司 一种机器人头部手势控制方法及系统
CN107909603A (zh) * 2017-12-01 2018-04-13 浙江工业大学 一种面向跟随机器人的视觉跟踪方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Pedestrian detection using a LRF and a small omni-view camera for outdoor personal mobility robot;Manabu Saito;《2010 IEEE International Conference on Robotics and Biomimetics》;20110303;全文 *
基于RGB-D传感器的移动服务机器人功能软件开发及应用;居青;《中国优秀硕士学位论文全文数据库》;20170315;第3-4章 *
基于深度图的行人检测、跟踪技术研究;周波;《中国优秀硕士学位论文全文数据库》;20140915;第3章 *
监控视频中的行人与车辆的在线跟踪;廖锦毅;《中国优秀硕士论文全文数据库》;20150731;第2.4节 *

Also Published As

Publication number Publication date
CN108717553A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
CN110363047B (zh) 人脸识别的方法、装置、电子设备和存储介质
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
Yin et al. Likelihood map fusion for visual object tracking
US20170248971A1 (en) Method for detecting target object, detection apparatus and robot
CN107463890B (zh) 一种基于单目前视相机的前车检测与跟踪方法
CN105404884B (zh) 图像分析方法
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
CN105096307B (zh) 在成对的立体图像中检测物体的方法
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
KR20120138627A (ko) 안면 추적 장치 및 방법
CN111104867A (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
CN108764338B (zh) 一种应用于视频分析的行人跟踪方法
Vitas et al. Traffic light detection in autonomous driving systems
CN108089695B (zh) 一种控制可移动设备的方法和装置
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN108717553B (zh) 一种机器人跟随人体的方法及系统
CN105740751A (zh) 一种目标检测与识别的方法和系统
CN111325265A (zh) 一种针对篡改图像的检测方法及装置
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
CN107145820B (zh) 基于hog特征和fast算法的双眼定位方法
KR20060121503A (ko) 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법
Omar et al. Detection and localization of traffic lights using yolov3 and stereo vision
Zhang et al. Moving pedestrian detection based on motion segmentation
CN115082509B (zh) 一种对无特征目标的追踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant