CN109741369A - 一种用于机器人跟踪目标行人的方法及系统 - Google Patents

一种用于机器人跟踪目标行人的方法及系统 Download PDF

Info

Publication number
CN109741369A
CN109741369A CN201910003511.1A CN201910003511A CN109741369A CN 109741369 A CN109741369 A CN 109741369A CN 201910003511 A CN201910003511 A CN 201910003511A CN 109741369 A CN109741369 A CN 109741369A
Authority
CN
China
Prior art keywords
target
frame
pedestrian
image
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910003511.1A
Other languages
English (en)
Other versions
CN109741369B (zh
Inventor
肖波
陈柯宏
王文竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910003511.1A priority Critical patent/CN109741369B/zh
Publication of CN109741369A publication Critical patent/CN109741369A/zh
Application granted granted Critical
Publication of CN109741369B publication Critical patent/CN109741369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种用于机器人跟踪目标行人的方法及系统,基于计算机视觉的目标跟踪技术,采用一种将行人检测,目标框过滤和跟踪算法相结合的技术手段,实现了在仅安装有单目摄像头的机器人实时行人跟踪的方法,本发明可用于智能机器人的行人跟踪,监控分析,摄像追踪,克服了当前机器人目标跟踪技术方案中存在的缺陷,诸如:目标跟踪效果差、对设备硬件要求高等不足;在大大提高了目标行人的跟踪效果的同时,降低了对设备硬件的要求。

Description

一种用于机器人跟踪目标行人的方法及系统
技术领域
本发明涉及一种计算机视觉技术领域,尤其是一种用于机器人跟踪目标行人的方法及系统。
背景技术
基于视觉的目标跟踪,是指针对视频帧或图片序列进行处理,所指目标是在摄像头中可检测出待跟踪的运动目标,进而在每一帧画面中追踪目标位置;
随着计算机性能的提升和带有摄像头的智能设备的普及,目标跟踪正成为计算机视觉领域备受关注的技术之一;尽管目前已有大量算法来实现运动目标的跟踪,但由于目标形变,快速运动,尺度变化,光照变化,背景杂乱,目标遮挡等原因,既能准确跟踪目标又满足实时性要求的方法仍然是研究的重点和难点;
现有技术中,人们逐渐开始使用机器学习方法来解决计算机视觉的目标检测和目标跟踪问题,这些方法主要分为两大类:
一类是:关注对目标区域建模,下一帧寻找与模型最相似的区域的生成类方法;
例如Kalman等人提出的卡尔曼滤波,Isard和Blake等人提出的光流滤波,Bradski等人提出的自适应的mean-shift方法等;生成类的算法由于只关注对目标进行建模,不考虑目标所在背景,因此在背景杂乱,或有相似目标的干扰情况下,跟踪很容易发生偏移,在机器人跟踪行人上应用无法满足可靠性和准确性方面的要求;
另一类是:关注背景与目标区域差异性的判别类方法,这一类方法通过对目标区域和背景区域进行采样,然后提取样本特征使用机器学习方法训练分类器,下一帧使用训练好的分类器寻找目标所在位置;
目前,判别类方法是目标跟踪算法的主流,这一类方法包括Tian等提出使用在线SVM的方法训练分类器,训练样本来自从视频中获取的关键帧;Bolme等人提出了MOSSE算法,首次将传统信号与系统中的相关滤波思想应用到目标跟踪任务中,使用目标的仿射变换训练初始滤波器,在后续帧完成检测即跟踪任务,并在线更新滤波器模型;判别类的方法在训练分类器时需要选取正负样本,并且还要考虑在每一帧进行在线更新分类器模型的问题,负样本的基数往往很大,如何选择适量的样本往往是这一类算法的瓶颈,样本选取太少,训练的分类器不够准确,样本选取太多又需要耗费大量计算资源,训练分类器花费的时间太多,无法满足实时性要求。
另外,现有的跟踪方法,往往对与硬件的要求较高,系统装置设计复杂,不利于部署,比如:专利公开号为CN103020983A的中国专利,公开了一种用于目标跟踪的人机交互装置及方法,该装置通过对使用者的人眼视线追踪,确定使用者的跟踪目标并进行跟踪;该设备需要含有多个摄像头的头盔装置,获取周围场景帧,并交给信息处理单元进行处理,处理结构发送给显示装置进行显示;该装置不仅需要多个摄像头,还需要红外光源以及两块微处理器用于信息处理单元,对硬件的要求非常高,普通的机器人无法作为基体满足跟踪要求。
发明内容
针对现有技术中存在的问题,本发明的目的在于提供一种用于机器人跟踪目标行人的方法及系统,基于计算机视觉的目标跟踪技术,采用一种将行人检测,目标框过滤和跟踪算法相结合的技术手段,实现了在仅安装有单目摄像头的机器人实时行人跟踪的方法,本发明可用于智能机器人的行人跟踪,监控分析,摄像追踪,克服了当前机器人目标跟踪技术方案中存在的缺陷,诸如:目标跟踪效果差、对设备硬件要求高等不足;在大大提高了目标行人的跟踪效果的同时,降低了对设备硬件的要求。
为实现上述目的,本发明提供一种用于机器人跟踪目标行人的方法及系统,其中:
一种用于机器人跟踪目标行人的方法,包括如下具体步骤:
步骤一、输入预处理:
将输入的高分辨率的图像调整为低分辨的图像,裁剪出图像的中心区域,作为目标行人检测算法的输入;
步骤二、目标行人检测,包括:
①对于输入的第一帧图像,如果未检测到行人,则忽略当前帧,将下一帧作为第一帧,依次类推,直至检测到行人,此时使用目标行人检测方法,获得多个行人候选框,筛选出图像最中心区域的框作为跟踪目标,同时保存跟踪目标的信息,并对跟踪目标进行建模;
作为一种举例说明,所述建模采用了颜色直方图相似度比较的方法;采用彩色和灰度直方图对目标行人进行建模,将获得的候选框的HSV直方图和Gray直方图与目标行人的直方图特征进行相关性比较,若大于阈值,则认为是目标模型,若小于阈值,则认为非目标模型;
作为一种举例说明,所述保存跟踪目标的信息包括:颜色直方图信息;
②对于非第一帧图像,如果能检测到行人,当行人数量不是单一时,会有多个候选框,此时将候选框信息进行目标模型的判别;
其中,当相似度大于阈值时,则认为是目标模型;当有多个候选框大于阈值,则选择相似度最高的候选框作为目标框,保存和输出当前目标框的信息,发送检测成功的指令;若均为非目标模型或不能检测到行人,发送检测失败的指令;
步骤三、目标行人跟踪,包括:
①当接收到检测成功的指令时,将检测成功的目标框作为目标跟踪算法的初始化输入框进行跟踪算法的初始化;
②若接收到检测失败的指令,则根据上一帧跟踪算法初始化的模型,进行目标跟踪,跟踪成功则输出目标框的信息,跟踪失败则进入等待模式,等待后续帧的检测再次检测到目标;
步骤四、机器人指令控制:
机器人指令根据输出的目标框进行控制,因为输出的目标框具有较好的尺度变换,机器人的指令根据目标框的大小和方位进行控制。
一种用于机器人跟踪目标行人的系统,包括:机器人、手机主板、单目摄像头以及液晶显示屏;所述单目摄像头用于图像的输入,并安装在所述机器人外部,所述手机主板用于处理单目摄像头采集的图像输入,所述机器人具有驱动万向轮,使得主板可以控制机器人各个方向的运动轨迹;所述液晶显示屏用于查看实际的跟踪效果;
作为一种举例说明,所述机器人采用安卓机器人;
作为一种举例说明,所述手机主板采用安卓的手机主板,普通配置;
作为一种举例说明,所述液晶显示屏还可以采用CRT显示屏替换;
进一步的,所述手机主板设置有:输入预处理单元、目标行人检测单元、目标行人跟踪单元以及机器人控制单元;
进一步的,所述输入预处理单元:用于将单目摄像头的高分辨视频图像等比例转化为低分辨图像;
进一步的,所述目标行人检测单元:内嵌有使用行人图像训练完成的SVM,能够提取HOG特征,使用SVM算法进行目标检测;所述HOG特征为方向梯度直方图的简称;
其中,所述HOG特征的提取方法设定如下:
1.彩色图像灰度化,即将图像看成一个x,y,z的三维灰度图像;
2.采用Gamma校正法对输入图像进行颜色空间的标准化,即归一化;目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
3.计算图像每个像素的梯度,包括大小和方向;捕获轮廓信息,同时进一步弱化光照的干扰;
4.将图像划分成多个子块;
作为一种举例说明,所述子块为6*6像素;
5.统计每个子块的梯度直方图,即不同梯度的个数,形成每个子块的描述子;
6.将每个子块组成一个区块,一个区块内有所有子块的特征描述子,将特征描述子串联起来便得到该区块的HOG特征描述子;
作为一种优选举例说明,所述区块大小优选3*3子块;
7.将图像内的所有区块的HOG特征描述子串联起来就可以得到该图像HOG特征了。这个就是最终的可供分类使用的特征向量了。
所述SVM的训练过程设定如下:
1.准备正负样本集,正样本应为裁剪后的行人图像,负样本为无人背景图像,将正负样本图像大小缩放到相同尺寸;
作为一种优选举例说明,所述缩放到相同尺寸优选64*128;
2.提取正负样本的HOG特征;
3.将正负样本的HOG特征赋予标签,正样本为1,负样本为0;
4.将正负样本的HOG特征和正负样本的标签输入到SVM中进行训练;
5.将SVM的输出结果保存;
使用SVM在目标检测单元进行目标检测过程如下:
1.根据输入图像进行HOG特征的提取;
2.加载SVM,根据HOG特征进行候选目标框检测;
3.输出判断的候选框的位置与大小信息。
进一步的,所述目标行人跟踪单元采用了HOG+CN特征的多尺度KCF跟踪算法;
其中,多尺度KCF跟踪算法流程设计如下:
1.提取图片特征:KCF的训练和检测输入常常是特征图而非图片本身,在相关滤波框架下使用fHOG特征,CN特征;
2.初始化环节:输入初始化图片特征图和初始化目标框,生成高斯回归标签,将特征图和标签进行傅里叶变换,在频域训练跟踪器,并保存滤波模板;
3.跟踪环节:使用n个缩放因子,对前一帧的目标尺寸进行缩放,获得n个不同尺度的感兴趣区域,提取n个对应的特征图;使用前一帧训练好的滤波器与特征模板对这n个特征图分别检测,得到n个响应图,计算各个响应图的峰值点;最大峰值点对应的特征图的尺度就是最佳尺度,其坐标就代表目标相对前一帧的移动的偏移量;使用当前检测出的目标位置和尺寸提取出相应区域的特征图,在当前训练新的分类器,并更新滤波模板;
进一步的,所述机器人控制单元用于控制机器人的移动方向,根据算法跟踪输出的目标框与上一帧保存的目标框进行比较,如果比值大于前进阈值,则控制机器人前进,如果比值小于后退阈值则控制机器人后退;如果目标框中心点的水平坐标偏离图像中心,则控制机器人运动轮向偏离方向转向。
本发明的有益效果:跟踪效果提升:
(1)当前目标行人跟踪算法容易出现跟踪失败的情况,且失败后目标很难再找回。本方法通过结合行人检测算法,基于特征的目标筛选和目标跟踪算法,在检测算法或跟踪算法失败后,都可以利用另一种算法再次找回目标,极大地降低了目标丢失的概率,具有良好的鲁棒性;
(2)当前的目标行人跟踪算法在处理遮挡、形变、光照变化等不理想情况时容易出现目标框变大或漂移的情况,一方面不利于机器人的指令控制,另一方面,导致后续跟踪算法一直无法获得正确的行人与背景信息,从而造成跟踪失败。而通过结合具有良好的尺度变换性目标检测算法,以及对目标形变、遮挡下稳定性较好的跟踪算法,并对两种算法的跟踪结果设定合理的置信阈值,使得整体的算法框架能够及时在跟踪出错时,进行纠正和找回,返回合适的目标框,为后续算法的正常运行提供正确的行人信息与背景信息。
附图说明
图1是本发明一种用于机器人跟踪目标行人的方法之算法总体流程图
图2是本发明一种用于机器人跟踪目标行人的方法之输入图像处理举例示意图
具体实施方式
下面,参考附图1至2所示,一种用于机器人跟踪目标行人的方法及系统,其中:
一种用于机器人跟踪目标行人的方法,包括如下具体步骤:
步骤一、输入预处理:
将输入的高分辨率的图像调整为低分辨的图像,裁剪出图像的中心区域,作为目标行人检测算法的输入;
步骤二、目标行人检测,包括:
①对于输入的第一帧图像,如果未检测到行人,则忽略当前帧,将下一帧作为第一帧,依次类推,直至检测到行人,此时使用目标行人检测方法,获得多个行人候选框,筛选出图像最中心区域的框作为跟踪目标,同时保存跟踪目标的信息,并对跟踪目标进行建模;
作为一种举例说明,所述建模采用了颜色直方图相似度比较的方法;采用彩色和灰度直方图对目标行人进行建模,将获得的候选框的HSV直方图和Gray直方图与目标行人的直方图特征进行相关性比较,若大于阈值,则认为是目标模型,若小于阈值,则认为非目标模型;
作为一种举例说明,所述保存跟踪目标的信息包括:颜色直方图信息;
②对于非第一帧图像,如果能检测到行人,当行人数量不是单一时,会有多个候选框,此时将候选框信息进行目标模型的判别;
其中,当相似度大于阈值时,则认为是目标模型;当有多个候选框大于阈值,则选择相似度最高的候选框作为目标框,保存和输出当前目标框的信息,发送检测成功的指令;若均为非目标模型或不能检测到行人,发送检测失败的指令;
步骤三、目标行人跟踪,包括:
①当接收到检测成功的指令时,将检测成功的目标框作为目标跟踪算法的初始化输入框进行跟踪算法的初始化;
②若接收到检测失败的指令,则根据上一帧跟踪算法初始化的模型,进行目标跟踪,跟踪成功则输出目标框的信息,跟踪失败则进入等待模式,等待后续帧的检测再次检测到目标;
步骤四、机器人指令控制:
机器人指令根据输出的目标框进行控制,因为输出的目标框具有较好的尺度变换,机器人的指令根据目标框的大小和方位进行控制。
一种用于机器人跟踪目标行人的系统,包括:机器人、手机主板、单目摄像头以及液晶显示屏;所述单目摄像头用于图像的输入,并安装在所述机器人外部,所述手机主板用于处理单目摄像头采集的图像输入,所述机器人具有驱动万向轮,使得主板可以控制机器人各个方向的运动轨迹;所述液晶显示屏用于查看实际的跟踪效果;
作为一种举例说明,所述机器人采用安卓机器人;
作为一种举例说明,所述手机主板采用安卓的手机主板,普通配置;
作为一种举例说明,所述液晶显示屏还可以采用CRT显示屏替换;
进一步的,所述手机主板设置有:输入预处理单元、目标行人检测单元、目标行人跟踪单元以及机器人控制单元;
进一步的,所述输入预处理单元:用于将单目摄像头的高分辨视频图像等比例转化为低分辨图像;
进一步的,所述目标行人检测单元:内嵌有使用行人图像训练完成的SVM,能够提取HOG特征,使用SVM算法进行目标检测;所述HOG特征为方向梯度直方图的简称;
其中,所述HOG特征的提取方法设定如下:
1.彩色图像灰度化,即将图像看成一个x,y,z的三维灰度图像;
2.采用Gamma校正法对输入图像进行颜色空间的标准化,即归一化;目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
3.计算图像每个像素的梯度,包括大小和方向;捕获轮廓信息,同时进一步弱化光照的干扰;
4.将图像划分成多个子块;
作为一种举例说明,所述子块为6*6像素;
5.统计每个子块的梯度直方图,即不同梯度的个数,形成每个子块的描述子;
6.将每个子块组成一个区块,一个区块内有所有子块的特征描述子,将特征描述子串联起来便得到该区块的HOG特征描述子;
作为一种优选举例说明,所述区块大小优选3*3子块;
7.将图像内的所有区块的HOG特征描述子串联起来就可以得到该图像HOG特征了。这个就是最终的可供分类使用的特征向量了。
所述SVM的训练过程设定如下:
1.准备正负样本集,正样本应为裁剪后的行人图像,负样本为无人背景图像,将正负样本图像大小缩放到相同尺寸;
作为一种优选举例说明,所述缩放到相同尺寸优选64*128;
2.提取正负样本的HOG特征;
3.将正负样本的HOG特征赋予标签,正样本为1,负样本为0;
4.将正负样本的HOG特征和正负样本的标签输入到SVM中进行训练;
5.将SVM的输出结果保存;
使用SVM在目标检测单元进行目标检测过程如下:
1.根据输入图像进行HOG特征的提取;
2.加载SVM,根据HOG特征进行候选目标框检测;
3.输出判断的候选框的位置与大小信息。
进一步的,所述目标行人跟踪单元采用了HOG+CN特征的多尺度KCF跟踪算法;
其中,多尺度KCF跟踪算法流程设计如下:
1.提取图片特征:KCF的训练和检测输入常常是特征图而非图片本身,在相关滤波框架下使用fHOG特征,CN特征;
2.初始化环节:输入初始化图片特征图和初始化目标框,生成高斯回归标签,将特征图和标签进行傅里叶变换,在频域训练跟踪器,并保存滤波模板;
3.跟踪环节:使用n个缩放因子,对前一帧的目标尺寸进行缩放,获得n个不同尺度的感兴趣区域,提取n个对应的特征图;使用前一帧训练好的滤波器与特征模板对这n个特征图分别检测,得到n个响应图,计算各个响应图的峰值点;最大峰值点对应的特征图的尺度就是最佳尺度,其坐标就代表目标相对前一帧的移动的偏移量;使用当前检测出的目标位置和尺寸提取出相应区域的特征图,在当前训练新的分类器,并更新滤波模板;
进一步的,所述机器人控制单元用于控制机器人的移动方向,根据算法跟踪输出的目标框与上一帧保存的目标框进行比较,如果比值大于前进阈值,则控制机器人前进,如果比值小于后退阈值则控制机器人后退;如果目标框中心点的水平坐标偏离图像中心,则控制机器人运动轮向偏离方向转向。
本发明跟踪效果提升:当前目标行人跟踪算法容易出现跟踪失败的情况,且失败后目标很难再找回。本方法通过结合行人检测算法,基于特征的目标筛选和目标跟踪算法,在检测算法或跟踪算法失败后,都可以利用另一种算法再次找回目标,极大地降低了目标丢失的概率,具有良好的鲁棒性;当前的目标行人跟踪算法在处理遮挡、形变、光照变化等不理想情况时容易出现目标框变大或漂移的情况,一方面不利于机器人的指令控制,另一方面,导致后续跟踪算法一直无法获得正确的行人与背景信息,从而造成跟踪失败。而通过结合具有良好的尺度变换性目标检测算法,以及对目标形变、遮挡下稳定性较好的跟踪算法,并对两种算法的跟踪结果设定合理的置信阈值,使得整体的算法框架能够及时在跟踪出错时,进行纠正和找回,返回合适的目标框,为后续算法的正常运行提供正确的行人信息与背景信息。
以上公开的仅为本申请的一个具体实施例,但本申请并非局限于此,任何本领域的技术人员能思之的变化,都应落在本申请的保护范围内。

Claims (10)

1.一种用于机器人跟踪目标行人的方法,其特征在于,包括如下步骤:
步骤一、输入预处理:
将输入的高分辨率的图像调整为低分辨的图像,裁剪出图像的中心区域,作为目标行人检测算法的输入;
步骤二、目标行人检测,包括:
对于输入的第一帧图像,如果未检测到行人,则忽略当前帧,将下一帧作为第一帧,依次类推,直至检测到行人,此时使用目标行人检测方法,获得多个行人候选框,筛选出图像最中心区域的框作为跟踪目标,同时保存跟踪目标的信息,并对跟踪目标进行建模;
对于非第一帧图像,如果能检测到行人,当行人数量不是单一时,会有多个候选框,此时将候选框信息进行目标模型的判别;
其中,当相似度大于阈值时,则认为是目标模型;当有多个候选框大于阈值,则选择相似度最高的候选框作为目标框,保存和输出当前目标框的信息,发送检测成功的指令;若均为非目标模型或不能检测到行人,发送检测失败的指令;
步骤三、目标行人跟踪,包括:
当接收到检测成功的指令时,将检测成功的目标框作为目标跟踪算法的初始化输入框进行跟踪算法的初始化;
若接收到检测失败的指令,则根据上一帧跟踪算法初始化的模型,进行目标跟踪,跟踪成功则输出目标框的信息,跟踪失败则进入等待模式,等待后续帧的检测再次检测到目标;
步骤四、机器人指令控制:
机器人指令根据输出的目标框进行控制,因为输出的目标框具有较好的尺度变换,机器人的指令根据目标框的大小和方位进行控制。
2.根据权利要求1所述的一种用于机器人跟踪目标行人的方法,其特征在于,所述建模采用颜色直方图相似度比较的方法;采用彩色和灰度直方图对目标行人进行建模,将获得的候选框的HSV直方图和Gray直方图与目标行人的直方图特征进行相关性比较,若大于阈值,则认为是目标模型,若小于阈值,则认为非目标模型。
3.根据权利要求1所述的一种用于机器人跟踪目标行人的方法,其特征在于,所述保存跟踪目标的信息包括:颜色直方图信息。
4.一种用于机器人跟踪目标行人的系统,其特征在于,包括:机器人、手机主板、单目摄像头以及液晶显示屏;所述单目摄像头用于图像的输入,并安装在所述机器人外部,所述手机主板用于处理单目摄像头采集的图像输入,所述机器人具有驱动万向轮,使得主板可以控制机器人各个方向的运动轨迹;所述液晶显示屏用于查看实际的跟踪效果;
所述手机主板设置有:输入预处理单元、目标行人检测单元、目标行人跟踪单元以及机器人控制单元;所述输入预处理单元:用于将单目摄像头的高分辨视频图像等比例转化为低分辨图像;内嵌有使用行人图像训练完成的SVM,能够提取HOG特征,使用SVM算法进行目标检测;所述HOG特征为方向梯度直方图的简称;所述目标行人跟踪单元采用了HOG+CN特征的多尺度KCF跟踪算法;所述机器人控制单元用于控制机器人的移动方向,根据算法跟踪输出的目标框与上一帧保存的目标框进行比较,如果比值大于前进阈值,则控制机器人前进,如果比值小于后退阈值则控制机器人后退;如果目标框中心点的水平坐标偏离图像中心,则控制机器人运动轮向偏离方向转向。
5.根据权利要求4所述的一种用于机器人跟踪目标行人的系统,其特征在于,所述机器人采用安卓机器人;所述手机主板采用安卓的手机主板。
6.根据权利要求4所述的一种用于机器人跟踪目标行人的系统,其特征在于,所述HOG特征的提取方法设定如下:
彩色图像灰度化,即将图像看成一个x,y,z的三维灰度图像;
采用Gamma校正法对输入图像进行颜色空间的标准化,即归一化;目的是调节图像的对比度,降低图像局部的阴影和光照变化所造成的影响,同时可以抑制噪音的干扰;
计算图像每个像素的梯度,包括大小和方向;捕获轮廓信息,同时进一步弱化光照的干扰;
将图像划分成多个子块;
统计每个子块的梯度直方图,即不同梯度的个数,形成每个子块的描述子;
将每个子块组成一个区块,一个区块内有所有子块的特征描述子,将特征描述子串联起来便得到该区块的HOG特征描述子;
将图像内的所有区块的HOG特征描述子串联起来就可以得到该图像HOG特征,该特征就是最终的可供分类使用的特征向量。
7.根据权利要求6所述的一种用于机器人跟踪目标行人的系统,其特征在于,所述子块为6*6像素,所述区块大小为3*3子块。
8.根据权利要求4所述的一种用于机器人跟踪目标行人的系统,其特征在于,所述SVM的训练过程设定如下:
准备正负样本集,正样本应为裁剪后的行人图像,负样本为无人背景图像,将正负样本图像大小缩放到相同尺寸;所述缩放到相同尺寸为64*128;提取正负样本的HOG特征;将正负样本的HOG特征赋予标签,正样本为1,负样本为0;将正负样本的HOG特征和正负样本的标签输入到SVM中进行训练;将SVM的输出结果保存。
9.根据权利要求8所述的一种用于机器人跟踪目标行人的系统,其特征在于,所述缩放到相同尺寸位64*128。
10.根据权利要求4所述的一种用于机器人跟踪目标行人的系统,其特征在于,多尺度KCF跟踪算法流程设计如下:
提取图片特征:KCF的训练和检测输入常常是特征图而非图片本身,在相关滤波框架下使用fHOG特征,CN特征;
初始化环节:输入初始化图片特征图和初始化目标框,生成高斯回归标签,将特征图和标签进行傅里叶变换,在频域训练跟踪器,并保存滤波模板;
跟踪环节:使用n个缩放因子,对前一帧的目标尺寸进行缩放,获得n个不同尺度的感兴趣区域,提取n个对应的特征图;使用前一帧训练好的滤波器与特征模板对这n个特征图分别检测,得到n个响应图,计算各个响应图的峰值点;最大峰值点对应的特征图的尺度就是最佳尺度,其坐标就代表目标相对前一帧的移动的偏移量;使用当前检测出的目标位置和尺寸提取出相应区域的特征图,在当前训练新的分类器,并更新滤波模板。
CN201910003511.1A 2019-01-03 2019-01-03 一种用于机器人跟踪目标行人的方法及系统 Active CN109741369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910003511.1A CN109741369B (zh) 2019-01-03 2019-01-03 一种用于机器人跟踪目标行人的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910003511.1A CN109741369B (zh) 2019-01-03 2019-01-03 一种用于机器人跟踪目标行人的方法及系统

Publications (2)

Publication Number Publication Date
CN109741369A true CN109741369A (zh) 2019-05-10
CN109741369B CN109741369B (zh) 2021-07-23

Family

ID=66363131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910003511.1A Active CN109741369B (zh) 2019-01-03 2019-01-03 一种用于机器人跟踪目标行人的方法及系统

Country Status (1)

Country Link
CN (1) CN109741369B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN111308993A (zh) * 2020-02-13 2020-06-19 青岛联合创智科技有限公司 一种基于单目视觉的人体目标跟随方法
CN111368755A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于视觉的四足机器人行人自主跟随方法
CN111784744A (zh) * 2020-07-06 2020-10-16 天津理工大学 一种基于视频监控的目标自动检测与跟踪方法
CN111814734A (zh) * 2020-07-24 2020-10-23 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111862154A (zh) * 2020-07-13 2020-10-30 中移(杭州)信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
WO2020232909A1 (zh) * 2019-05-20 2020-11-26 平安科技(深圳)有限公司 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
CN112529937A (zh) * 2020-12-09 2021-03-19 山东大学 一种agv视觉目标识别与跟踪系统及方法
CN112558641A (zh) * 2020-12-08 2021-03-26 之江实验室 一种基于计算人物意图控制机器人找回丢失人物的方法
CN112686921A (zh) * 2021-01-08 2021-04-20 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN112906568A (zh) * 2020-07-16 2021-06-04 云从科技集团股份有限公司 动态阈值管理方法、系统、电子设备及介质
CN112926404A (zh) * 2021-01-29 2021-06-08 吉林大学 一种主动交互式人车通行系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570523A (zh) * 2016-10-25 2017-04-19 浙江工业大学 一种多特征联合的机器人足球识别方法
CN106934380A (zh) * 2017-03-19 2017-07-07 北京工业大学 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法
CN107248175A (zh) * 2017-05-15 2017-10-13 西安电子科技大学 一种基于圆投影匹配算法的tld目标跟踪方法
US20180181137A1 (en) * 2016-12-23 2018-06-28 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human
US20180268559A1 (en) * 2017-03-16 2018-09-20 Electronics And Telecommunications Research Institute Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570523A (zh) * 2016-10-25 2017-04-19 浙江工业大学 一种多特征联合的机器人足球识别方法
US20180181137A1 (en) * 2016-12-23 2018-06-28 Korea Institute Of Science And Technology Moving and searching method of mobile robot for following human
US20180268559A1 (en) * 2017-03-16 2018-09-20 Electronics And Telecommunications Research Institute Method for tracking object in video in real time in consideration of both color and shape and apparatus therefor
CN106934380A (zh) * 2017-03-19 2017-07-07 北京工业大学 一种基于HOG和MeanShift算法的室内行人检测和跟踪方法
CN107248175A (zh) * 2017-05-15 2017-10-13 西安电子科技大学 一种基于圆投影匹配算法的tld目标跟踪方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HAN ZHANG等: "A Real-time RGB-D tracker based on KCF", 《THE 30TH CHINESE CONTROL AND DECISION CONFERENCE》 *
严小乐: "基于相关滤波的视频运动目标跟踪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张三喜等: "《弹道特征参数摄像测量》", 31 March 2014, 国防工业出版社 *
徐光柱等: "《实用性目标检测与跟踪算法原理与应用》", 30 June 2015, 国防工业出版社 *
王艳川等: "基于在线检测和尺度自适应的相关滤波跟踪", 《光学学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020232909A1 (zh) * 2019-05-20 2020-11-26 平安科技(深圳)有限公司 行人视觉跟踪方法、模型训练方法、装置、设备及存储介质
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110378260B (zh) * 2019-07-05 2024-02-06 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN111308993A (zh) * 2020-02-13 2020-06-19 青岛联合创智科技有限公司 一种基于单目视觉的人体目标跟随方法
CN111308993B (zh) * 2020-02-13 2022-04-01 青岛联合创智科技有限公司 一种基于单目视觉的人体目标跟随方法
CN111368755A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于视觉的四足机器人行人自主跟随方法
CN111784744A (zh) * 2020-07-06 2020-10-16 天津理工大学 一种基于视频监控的目标自动检测与跟踪方法
CN111862154A (zh) * 2020-07-13 2020-10-30 中移(杭州)信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
CN111862154B (zh) * 2020-07-13 2024-03-01 中移(杭州)信息技术有限公司 机器人视觉跟踪方法、装置、机器人及存储介质
CN112906568A (zh) * 2020-07-16 2021-06-04 云从科技集团股份有限公司 动态阈值管理方法、系统、电子设备及介质
CN111814734A (zh) * 2020-07-24 2020-10-23 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN111814734B (zh) * 2020-07-24 2024-01-26 南方电网数字电网研究院有限公司 识别刀闸状态的方法
CN112558641A (zh) * 2020-12-08 2021-03-26 之江实验室 一种基于计算人物意图控制机器人找回丢失人物的方法
CN112529937A (zh) * 2020-12-09 2021-03-19 山东大学 一种agv视觉目标识别与跟踪系统及方法
CN112686921A (zh) * 2021-01-08 2021-04-20 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN112686921B (zh) * 2021-01-08 2023-12-01 西安羚控电子科技有限公司 一种基于轨迹特征的多干扰无人机检测跟踪方法
CN112926404A (zh) * 2021-01-29 2021-06-08 吉林大学 一种主动交互式人车通行系统及方法
CN112926404B (zh) * 2021-01-29 2022-06-24 吉林大学 一种主动交互式人车通行系统及方法

Also Published As

Publication number Publication date
CN109741369B (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN109741369A (zh) 一种用于机器人跟踪目标行人的方法及系统
CN103905733B (zh) 一种单目摄像头对人脸实时跟踪的方法及系统
Yang et al. Robust superpixel tracking
CN104217428B (zh) 一种融合特征匹配和数据关联的视频监控多目标跟踪方法
CN108961312A (zh) 用于嵌入式视觉系统的高性能视觉对象跟踪方法及系统
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
CN108447091A (zh) 目标定位方法、装置、电子设备及存储介质
Bagdanov et al. Real-time hand status recognition from RGB-D imagery
CN107798691B (zh) 一种基于视觉的无人机自主着陆地标实时检测跟踪方法
CN111931836A (zh) 获取神经网络训练图像的方法和装置
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN109711332B (zh) 一种基于回归算法的人脸跟踪方法及应用
CN101572770B (zh) 一种可用于实时监控的运动检测方法与装置
DU et al. Face detection in video based on AdaBoost algorithm and skin model
CN110287907A (zh) 一种对象检测方法和装置
Su et al. Real-time dynamic SLAM algorithm based on deep learning
Yamane et al. Person tracking by integrating optical flow and uniform brightness regions
Hailong et al. An improved tracking-learning-detection method
Wang et al. Hand posture recognition from disparity cost map
CN109523573A (zh) 目标对象的跟踪方法和装置
CN101694385A (zh) 基于傅立叶光学的微小目标检测仪及检测方法
Zhang et al. A novel efficient method for abnormal face detection in ATM
Aziz et al. Efficient and robust learning for sustainable and reacquisition-enabled hand tracking
Yang et al. Method for building recognition from FLIR images
Feng et al. Research and system design of intelligent license plate recognition algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant