CN105761245A - 一种基于视觉特征点的自动跟踪方法及装置 - Google Patents

一种基于视觉特征点的自动跟踪方法及装置 Download PDF

Info

Publication number
CN105761245A
CN105761245A CN201610065669.8A CN201610065669A CN105761245A CN 105761245 A CN105761245 A CN 105761245A CN 201610065669 A CN201610065669 A CN 201610065669A CN 105761245 A CN105761245 A CN 105761245A
Authority
CN
China
Prior art keywords
point
characteristic point
field picture
information
foreground features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610065669.8A
Other languages
English (en)
Other versions
CN105761245B (zh
Inventor
蒋申璐
朱骋
张茗
张一茗
王皓悦
李经纬
陈震
贾小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qfeeltech Beijing Co Ltd
Original Assignee
Qfeeltech Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qfeeltech Beijing Co Ltd filed Critical Qfeeltech Beijing Co Ltd
Priority to CN201610065669.8A priority Critical patent/CN105761245B/zh
Publication of CN105761245A publication Critical patent/CN105761245A/zh
Application granted granted Critical
Publication of CN105761245B publication Critical patent/CN105761245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image

Abstract

本发明提供一种基于视觉特征点的自动跟踪方法,分别采集图像信息和深度信息,图像信息和深度信息的采集时刻是一一对应的。采用锐化处理和加权平均化处理,确定前景特征点;根据第一帧图像的特征点,估算前景特征点在第二帧时刻可能出现的估计位置。匹配融合第二帧图像的特征点与估计位置的前景特征点,以得到确定位置的前景特征点;根据确定位置的前景特征点,估算第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点。检测深度距离分布,得到有效特征点的具体位置信息。本发明提供基于视觉特征点的自动跟踪方法,能够实现在大形变时跟踪目标不丢失,及时回馈跟踪目标的位置。

Description

一种基于视觉特征点的自动跟踪方法及装置
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于视觉特征点的自动跟踪方法及装置。
背景技术
目前,随着科学技术的发展,跟踪技术越来越受人们的重视,也是当下热门研究的技术之一。各个领域都竞相提出应用需求,例如,军事上协助导弹跟踪目标,无人机实时跟踪指定目标,公共安全场所可以通过摄像头,对目标人物进行跟踪,交通干线跟踪车辆、行人以及掌握交通流量和动向。
基于视觉特征点的跟踪技术是一种通过图像处理与分析的方法,从图像信号中实时自动识别目标,再获取目标的位置信息,然后精确跟踪运动目标的技术。通常采用传感器传回图像,再采用图像特征点或者图像表面的方法,获得目标在图像中的位置,从而实现用户对指定跟随目标的跟踪工作。
但是,现有技术需要对图像进行大规模处理,数据较大,难以保证实时性以及准确度。尤其,在进行目标追踪时,若跟踪目标的形变较大,容易产生目标跟踪丢失,跟踪方式不便捷,用户无法准确获得目标的具体位置。
发明内容
本发明旨在提供一种基于视觉特征点的自动跟踪方法及装置,能够实现在大形变时跟踪目标不丢失,及时回馈跟踪目标的位置。
第一方面,本发明提供一种基于视觉特征点的自动跟踪方法,具体步骤如下:
步骤S1:分别采集图像信息和深度信息,图像信息和深度信息的采集时刻是一一对应的;
步骤S2:锐化处理图像信息,得到图像的特征点;
步骤S3:加权平均化处理深度信息,得到物体的深度距离分布;
步骤S4:扫描第一帧图像的特征点,从第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点;根据第一帧图像的特征点,估算前景特征点在第二帧时刻可能出现的估计位置;
步骤S5:扫描第二帧图像的特征点,匹配融合第二帧图像的特征点与估计位置的前景特征点,以得到确定位置的前景特征点;根据确定位置的前景特征点,估算第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点;
步骤S6:将有效特征点更新至前景特征点,以进行下一轮图像匹配融合;检测深度距离分布,得到有效特征点的具体位置信息。
进一步地,在步骤S1之后,步骤S2之前,该方法还包括:加权处理图像信息,得到对比度增强的图像信息。步骤S2具体包括:锐化处理对比度增强的图像信息,得到图像的特征点。
进一步地,在步骤S4中,提取跟踪目标的特征点之前,该方法还包括:接收用户输入的指定的跟踪目标信息,从第一帧图像的特征点中提取跟踪目标的特征点的具体步骤包括:根据跟踪目标信息,从第一帧图像的特征点中提取跟踪目标的特征点。
进一步地,在步骤S5中,根据确定位置的前景特征点,估算第二帧图像的特征点放大和/或旋转系数,具体方法包括:对比确定位置的前景特征点和第二帧图像的特征点,得到第二帧图像的特征点的变化量,再对变化量进行加权处理,得到第二帧图像的特征点放大和/或旋转系数。
进一步地,在步骤S6中,检测深度距离分布的具体方法包括:根据深度距离分布,设置最大范围,在最大范围内,根据有效特征点在图像信息中的位置,检测深度距离分布。
本发明提供的基于视觉特征点的自动跟踪方法,通过锐化处理图像信息,以增加图像的特征点稳定性和数量。对深度部分进行加权平均化,得到物体分布的合理距离。采用估算位置的前景特征点和第二帧图像的特征点进行匹配融合,再通过估算的放大和/或旋转系数,进行阈值判断,获得第二帧图像的有效特征点,实时更新前景特征点,缩减了跟踪计算量,提高了运行速度及准确度,最终从深度距离分布中检测出有效特征点的具体位置信息。
第二方面,本发明提供一种基于视觉特征点的自动跟踪装置,该装置具体说明如下:
该装置包括数据采集装置和数据分析平台,数据采集装置包括RGB-D传感器、图像处理模块和深度处理模块。RGB-D传感器用于采集相同时刻的图像信息和深度信息,并将图像信息发送给图像处理模块,将深度信息发送给深度处理模块。图像处理模块用于接收并锐化处理图像信息,得到图像的特征点,再发送至数据分析平台。深度处理模块用于接收并加权平均化处理深度信息,得到物体的深度距离分布,再发送至数据分析平台。数据分析平台包括位置估算模块、目标判决模块和位置输出模块,位置估算模块用于接收并扫描第一帧图像的特征点,从第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点。根据第一帧图像的特征点,估算前景特征点在第二帧时刻可能出现的估计位置,并将估计位置的前景特征点发送至目标判决模块。目标判决模块用于扫描第二帧图像的特征点,匹配融合第二帧图像的特征点与接收的估计位置的前景特征点,以得到确定位置的前景特征点。根据确定位置的前景特征点,估算第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点,并发送至位置输出模块。位置输出模块用于将接收的有效特征点更新至前景特征点,以进行下一轮图像匹配融合。接收并检测深度距离分布,得到有效特征点的具体位置信息。
进一步地,图像处理模块还用于加权处理图像信息,得到对比度增强的图像信息,再锐化处理对比度增强的图像信息,得到图像的特征点。
进一步地,在提取跟踪目标的特征点时,位置估算模块具体用于接收用户输入的指定的跟踪目标信息,根据跟踪目标信息,从第一帧图像的特征点中提取跟踪目标的特征点。
进一步地,在估算第二帧图像的特征点放大和/或旋转系数时,目标判决模块具体用于对比确定位置的前景特征点和第二帧图像的特征点,得到第二帧图像的特征点的变化量,再对变化量进行加权处理,得到第二帧图像的特征点放大和/或旋转系数。
进一步地,在检测深度距离分布时,位置输出模块具体用于根据深度距离分布,设置最大范围,在最大范围内,根据有效特征点在图像信息中的位置,检测深度距离分布。
本发明提供的基于视觉特征点的自动跟踪装置,通过数据采集装置采集图像信息和深度信息,并进行锐化处理得到稳定性更强的图像特征点,加权平均化得到物体的深度距离分布。数据分析平台通过对图像的特征点处理,得到有效特征点,再通过对深度距离分布处理,得到有效特征点的具体位置信息。
因此,本发明提供的基于视觉特征点的自动跟踪方法及装置,能够保证跟踪目标不丢失,即使目标存在较大形变,也能够及时回馈跟踪目标的位置。
附图说明
图1是本发明提供的第一个基于视觉特征点的自动跟踪方法流程图;
图2是本发明提供的第二个基于视觉特征点的自动跟踪方法流程图;
图3是本发明提供的第三个基于视觉特征点的自动跟踪方法流程图;
图4是本发明提供的第四个基于视觉特征点的自动跟踪方法流程图;
图5是本发明提供的一个基于视觉特征点的自动跟踪装置结构图。
具体实施方式
下面通过具体的实施例进一步说明本发明,但是,应当理解为,这些实施例仅仅是用于更详细具体地说明之用,而不应理解为用于以任何形式限制本发明。
第一方面,本发明提供了一种基于视觉特征点的自动跟踪方法,具体说明如下:
本实施例提供一种基于视觉特征点的自动跟踪方法,结合图1,该方法具体步骤如下:
步骤S11:分别采集图像信息和深度信息,图像信息和深度信息的采集时刻是一一对应的;
步骤S12:锐化处理图像信息,得到图像的特征点;
步骤S13:加权平均化处理深度信息,得到物体的深度距离分布;
步骤S14:确定前景特征点,通过扫描第一帧图像的特征点,从第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点;根据第一帧图像的特征点,估算前景特征点在第二帧时刻可能出现的估计位置;
步骤S15:进行匹配融合,扫描第二帧图像的特征点,第二帧图像是在采集第一帧图像的相邻下一时刻采集的,匹配融合第二帧图像的特征点与估计位置的前景特征点,以得到确定位置的前景特征点;根据确定位置的前景特征点,估算第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点;
步骤S16:将有效特征点更新至前景特征点,以进行下一轮图像匹配融合;检测深度距离分布,得到有效特征点的具体位置信息。
本实施例提供的基于视觉特征点的自动跟踪方法,通过锐化处理图像信息,以增加图像的特征点稳定性和数量。对深度部分进行加权平均化,得到物体分布的合理距离。采用估算位置的前景特征点和第二帧图像的特征点进行匹配融合,再通过估算的放大和/或旋转系数,进行阈值判断,获得第二帧图像的有效特征点,最终从深度距离分布中检测出有效特征点的具体位置信息。实时更新前景特征点,缩减了跟踪计算量,提高了运行速度及准确度。因此,本发明提供的基于视觉特征点的自动跟踪方法,能够保证跟踪目标不丢失,即使目标存在较大形变,也能够及时回馈跟踪目标的位置。
进一步地,本实施例提供的一种基于视觉特征点的自动跟踪方法,还包括加权处理图像信息过程,减少后续步骤的处理时间,结合图2,具体说明如下:
步骤S21:分别采集图像信息和深度信息,图像信息和深度信息的采集时刻是一一对应的;
步骤S22:加权处理图像信息,得到对比度增强的图像信息;
步骤S23:锐化处理对比度增强的图像信息,得到图像的特征点;
步骤S24:加权平均化处理深度信息,得到物体的深度距离分布;
步骤S25:接收用户输入的指定的跟踪目标信息;通过扫描第一帧图像的特征点,根据跟踪目标信息,从第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点;根据第一帧图像的特征点,估算前景特征点在第二帧时刻可能出现的估计位置;
步骤S26:进行匹配融合,扫描第二帧图像的特征点,第二帧图像是在采集第一帧图像的相邻下一时刻采集的,匹配融合第二帧图像的特征点与估计位置的前景特征点,以得到确定位置的前景特征点;对比确定位置的前景特征点和第二帧图像的特征点,得到第二帧图像的特征点的变化量,再对变化量进行加权处理,得到第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点;
步骤S27:将有效特征点更新至前景特征点,以进行下一轮图像匹配融合;根据深度距离分布,设置最大范围;根据有效特征点在图像信息中的位置,在最大范围内,进行检测深度距离分布,得到有效特征点的具体位置信息。
本实施例提供的基于视觉特征点的自动跟踪方法,在锐化处理图像信息之前,添加加权处理步骤,减少了后续步骤的处理时间,提高数据处理的效率。对深度部分进行加权平均化,能够除去采集的图像信息中距离偏远的部分,得到合理的深度距离分布,设置检测距离,为后续检测步骤,节省检测时间,数据处理速度更快,提高实时反馈跟踪目标具体位置的效率。
本实施例提供另一种基于视觉特征点的自动跟踪方法,结合图3,该方法具体步骤如下:
步骤S31:分别采集图像信息和深度信息,图像信息和深度信息的采集时刻是一一对应的。
步骤S32:预处理图像信息,即对颜色数据进行加权处理,得到对比度增强的图像信息。
步骤S33:锐化处理对比度增强的图像信息,即将图像灰度化,再采用拉普拉斯算子对图像信息进行扫描加权,得到锐化后的图像,以增加特征点的稳定性和数量。
步骤S34:加权平均化处理深度信息,滤掉过远部分的物体深度信息,得到物体的合理分布距离,即物体的深度距离分布。
步骤S35:扫描第一帧图像的特征点,本方法使用的特征点扫描方法为GFTT算子;
步骤S36:接收用户输入的指定的跟踪目标信息,确定前景特征点和背景特征点。接收用户输入的指定的跟踪目标信息,根据跟踪目标信息,对需要跟随的目标进行框取,从第一帧图像的特征点中框取跟踪目标的特征点,将框内的特征点作为前景特征点,将框外的特征点作为背景特征点。
步骤S37:采用光流法进行估算估计位置的前景特征点。根据第一帧图像的特征点,采用光流法进行估算前景特征点在第二帧时刻可能出现的估计位置。
步骤S38:将第二帧的图像特征点与估计位置的前景特征点进行全局匹配,再融合已匹配上的特征点。扫描第二帧图像的特征点,本方法使用的特征点扫描方法为GFTT算子,第二帧图像是在采集第一帧图像的相邻下一时刻采集的,将第二帧的图像特征点与上一帧跟随到的前景特征点估计的位置进行全局匹配,采用最小邻域方法,选取距离小于阈值的相邻特征点,再融合已匹配上的特征点,以得到确定位置的前景特征点。
步骤S39:对比确定位置的前景特征点和第二帧图像的特征点,得到第二帧图像的特征点的变化量,再对变化量进行加权处理,得到第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,选取最一致的分布,得到有效特征点和无效特征点。
步骤S40:进行已有成功特征点的学习,保存被成功跟随的新特征点为正样本,背景点为负样本。将有效特征点更新至正样本,在下一步作为前景特征点,有效特征点保存为负样本,作为背景特征点进行剔错。
步骤S41:根据深度距离分布,设置最大范围;根据跟踪目标在图像中的位置,在最大范围内,进行检测深度距离分布,得到有效特征点的具体位置信息,即跟踪目标相对于图像信息采集点或传感器的距离和坐标,并向用户终端返回具体位置信息。
本实施例提供第三种基于视觉特征点的自动跟踪方法,结合图4,该方法具体步骤如下:
步骤S401:读取新一帧图像的数据,该数据包括图像信息和深度信息,且图像信息和深度信息的采集时刻是一一对应的。
步骤S402:保存图像及深度信息,再预处理图像信息,即对颜色数据进行加权处理,得到对比度增强的图像信息。锐化处理对比度增强的图像信息,即将图像灰度化,再采用拉普拉斯算子对图像信息进行扫描加权,得到锐化后的图像,以增加特征点的稳定性和数量。加权平均化处理深度信息,滤掉过远部分的物体深度信息,得到物体的合理分布距离,即物体的深度距离分布。
步骤S403:读取图像的特征点,扫描第一帧图像的特征点,本方法使用的特征点扫描方法为GFTT算子。
步骤S404:运用光流法判断跟踪目标可能位置。接收用户输入的指定的跟踪目标信息,确定前景特征点和背景特征点。接收用户输入的指定的跟踪目标信息,根据跟踪目标信息,对需要跟随的目标进行框取,从第一帧图像的特征点中框取跟踪目标的特征点,将框内的特征点作为前景特征点,将框外的特征点作为背景特征点。采用光流法进行估算估计位置的前景特征点。根据第一帧图像的特征点,采用光流法进行估算前景特征点在第二帧时刻可能出现的估计位置。
步骤S405:将第二帧的图像特征点与估计位置的前景特征点匹配。将第二帧的图像特征点与估计位置的前景特征点进行全局匹配,再融合已匹配上的特征点。扫描第二帧图像的特征点,本方法使用的特征点扫描方法为GFTT算子,第二帧图像是在采集第一帧图像的相邻下一时刻采集的,将第二帧的图像特征点与上一帧跟随到的前景特征点估计的位置进行全局匹配,采用最小邻域方法,选取距离小于阈值的相邻特征点,再融合已匹配上的特征点,以得到确定位置的前景特征点。
步骤S406:通过匹配结果,获取旋转和缩放系数。对比确定位置的前景特征点和第二帧图像的特征点,得到第二帧图像的特征点的变化量,再对变化量进行加权处理,得到第二帧图像的特征点放大和/或旋转系数。
步骤S407:判断变化的一致性。将得到第二帧图像的特征点放大和/或旋转系数进行阈值判断,若大于阈值,则跟踪失败,若小于阈值,则代表跟踪成功,即可选取最一致的分布,得到有效特征点和无效特征点。
步骤S408:进行已有成功特征点的学习,将有效特征点更新至正样本,在下一步作为前景特征点,有效特征点保存为负样本,作为背景特征点进行剔错,保存被成功跟随的新特征点为正样本,背景点为负样本。
步骤S409:向用户终端返回具体位置信息。根据深度距离分布,设置最大范围;根据跟踪目标在图像中的位置,在最大范围内,进行检测深度距离分布,得到有效特征点的具体位置信息,即跟踪目标相对于图像信息采集点或传感器的距离和坐标,并向用户终端返回具体位置信息。
第二方面,本发明提供了一种基于视觉特征点的自动跟踪装置,具体说明如下:
本实施例提供一种基于视觉特征点的自动跟踪装置,结合图5,该装置包括数据采集装置和数据分析平台,数据采集装置包括RGB-D传感器51、图像处理模块52和深度处理模块53。RGB-D传感器51采集相同时刻的图像信息和深度信息,并将图像信息发送给图像处理模块,将深度信息发送给深度处理模块。图像处理模块52接收并锐化处理图像信息,得到图像的特征点,再发送至数据分析平台。深度处理模块53进行接收并加权平均化处理深度信息,得到物体的深度距离分布,再发送至数据分析平台。数据分析平台包括位置估算模块54、目标判决模块55和位置输出模块56,位置估算模块54进行接收并扫描第一帧图像的特征点,从第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点。根据第一帧图像的特征点,估算前景特征点在第二帧时刻可能出现的估计位置,再将估计位置的前景特征点发送至目标判决模块。目标判决模块55扫描第二帧图像的特征点,第二帧图像是在采集第一帧图像的相邻下一时刻采集的,匹配融合第二帧图像的特征点与接收的估计位置的前景特征点,以得到确定位置的前景特征点。根据确定位置的前景特征点,估算第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点,再将有效特征点发送至位置输出模块。位置输出模块56将接收的有效特征点更新至前景特征点,以进行下一轮图像匹配融合。接收并检测深度距离分布,得到有效特征点的具体位置信息。
本实施例提供的基于视觉特征点的自动跟踪装置,通过数据采集装置采集图像信息和深度信息,并进行锐化处理得到稳定性更强的图像特征点,加权平均化得到物体的深度距离分布。数据分析平台通过对图像的特征点处理,得到有效特征点,实时更新前景特征点,缩减了跟踪计算量,提高了运行速度及准确度。再通过对深度距离分布处理,得到有效特征点的具体位置信息。因此,本发明提供的基于视觉特征点的自动跟踪装置,能够保证跟踪目标不丢失,即使目标存在较大形变,也能够及时回馈跟踪目标的位置。
本实施例提供另一种基于视觉特征点的自动跟踪装置,结合图5,该装置包括数据采集装置和数据分析平台,数据采集装置包括RGB-D传感器51、图像处理模块52和深度处理模块53,数据采集装置主要用于采集真实世界的信息,包括图像信息和深度信息。数据分析平台包括位置估算模块54、目标判决模块55和位置输出模块56。数据分析平台主要用于对指定跟踪目标的处理,快速获取图像的有效特征点,检测有效特征点的具体位置信息。
数据采集装置的RGB-D传感器51分别采集图像信息和深度信息,图像信息和深度信息的采集时刻是一一对应的,并将图像信息发送给图像处理模块52,将深度信息发送给深度处理模块53。图像处理模块52对图像信息的颜色数据进行加权处理,得到对比度增强的图像信息。再锐化处理对比度增强的图像信息,即将图像灰度化,再采用拉普拉斯算子对图像信息进行扫描加权,得到锐化后的图像,以增加特征点的稳定性和数量,再将图像的特征点发送至数据分析平台。深度处理模块53加权平均化处理深度信息,滤掉过远部分的物体深度信息,得到物体的合理分布距离,即物体的深度距离分布,并将物体的深度距离分布发送至数据分析平台。
数据分析平台的位置估算模块54进行接收并扫描第一帧图像的特征点,采用GFTT算子对特征点进行扫描。位置估算模块54还接收用户输入的指定的跟踪目标信息,根据跟踪目标信息,对需要跟随的目标进行框取,从第一帧图像的特征点中框取跟踪目标的特征点,将框内的特征点作为前景特征点,将框外的特征点作为背景特征点。位置估算模块54再根据第一帧图像的特征点,采用光流法估算前景特征点在第二帧时刻可能出现的估计位置,并将估计位置的前景特征点发送给目标判决模块55。目标判决模块55扫描第二帧图像的特征点,第二帧图像是在采集第一帧图像的相邻下一时刻采集的,采用GFTT算子对特征点进行扫描。目标判决模块55还将第二帧的图像特征点与接收的上一帧跟随到的前景特征点估算的位置进行全局匹配,采用最小邻域方法,选取距离小于阈值的相邻特征点,再融合已匹配上的特征点,以得到确定位置的前景特征点。目标判决模块55最后将确定位置的前景特征点和第二帧图像的特征点进行对比,得到第二帧图像的特征点的变化量,再对变化量进行加权处理,得到第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,选取最一致的分布,得到有效特征点和无效特征点,并发送给位置输出模块56。位置输出模块56将接收的有效特征点更新至前景特征点,以进行下一轮图像匹配融合;将接收的无效特征点更新至背景特征点,已进行踢错。位置输出模块56还根据深度距离分布,设置最大范围;根据跟踪目标在图像中的位置,在最大范围内,进行检测深度距离分布,得到有效特征点的具体位置信息,即跟踪目标相对于RGB-D传感器的距离和坐标,并向用户终端返回具体位置信息。
尽管本发明已进行了一定程度的描述,明显地,在不脱离本发明的精神和范围的条件下,可进行各个条件的适当变化。可以理解,本发明不限于所述实施方案,而归于权利要求的范围,其包括所述每个因素的等同替换。

Claims (10)

1.一种基于视觉特征点的自动跟踪方法,其特征在于,
步骤S1:分别采集图像信息和深度信息,所述图像信息和深度信息的采集时刻是一一对应的;
步骤S2:锐化处理所述图像信息,得到图像的特征点;
步骤S3:加权平均化处理所述深度信息,得到物体的深度距离分布;
步骤S4:扫描第一帧图像的特征点,从所述第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点;根据所述第一帧图像的特征点,估算所述前景特征点在第二帧时刻可能出现的估计位置;
步骤S5:扫描第二帧图像的特征点,匹配融合所述第二帧图像的特征点与所述估计位置的前景特征点,以得到确定位置的前景特征点;根据所述确定位置的前景特征点,估算所述第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点;
步骤S6:将所述有效特征点更新至所述前景特征点,以进行下一轮图像匹配融合;检测所述深度距离分布,得到所述有效特征点的具体位置信息。
2.根据权利要求1所述的方法,其特征在于,
在步骤S1之后,步骤S2之前,该方法还包括:
加权处理所述图像信息,得到对比度增强的图像信息;
所述步骤S2具体包括:锐化处理所述对比度增强的图像信息,得到图像的特征点。
3.根据权利要求1所述的方法,其特征在于,
在步骤S4中,提取跟踪目标的特征点之前,该方法还包括:
接收用户输入的指定的跟踪目标信息;
所述从第一帧图像的特征点中提取跟踪目标的特征点的具体步骤包括:根据所述跟踪目标信息,从第一帧图像的特征点中提取跟踪目标的特征点。
4.根据权利要求1所述的方法,其特征在于,
在步骤S5中,根据所述确定位置的前景特征点,估算所述第二帧图像的特征点放大和/或旋转系数,具体方法包括:
对比所述确定位置的前景特征点和所述第二帧图像的特征点,得到所述第二帧图像的特征点的变化量,再对所述变化量进行加权处理,得到所述第二帧图像的特征点放大和/或旋转系数。
5.根据权利要求1所述的方法,其特征在于,
在步骤S6中,检测所述深度距离分布的具体方法包括:
根据所述深度距离分布,设置最大范围,在所述最大范围内,根据有效特征点在所述图像信息中的位置,检测所述深度距离分布。
6.一种基于视觉特征点的自动跟踪装置,其特征在于,该装置包括:
数据采集装置和数据分析平台,
所述数据采集装置包括RGB-D传感器、图像处理模块和深度处理模块;
所述RGB-D传感器,用于采集相同时刻的图像信息和深度信息,并将所述图像信息发送给所述图像处理模块,将所述深度信息发送给所述深度处理模块;
所述图像处理模块,用于接收并锐化处理所述图像信息,得到图像的特征点,再发送至所述数据分析平台;
所述深度处理模块,用于接收并加权平均化处理所述深度信息,得到物体的深度距离分布,再发送至所述数据分析平台;
所述数据分析平台包括位置估算模块、目标判决模块和位置输出模块,
所述位置估算模块,用于接收并扫描第一帧图像的特征点,从所述第一帧图像的特征点中提取跟踪目标的特征点,确定为前景特征点;根据所述第一帧图像的特征点,估算所述前景特征点在第二帧时刻可能出现的估计位置,并将估计位置的前景特征点发送至所述目标判决模块;
所述目标判决模块,用于扫描第二帧图像的特征点,匹配融合所述第二帧图像的特征点与接收的所述估计位置的前景特征点,以得到确定位置的前景特征点;根据所述确定位置的前景特征点,估算所述第二帧图像的特征点放大和/或旋转系数,并进行阈值判断,得到有效特征点,并将有效特征点发送至位置输出模块;
所述位置输出模块,用于将接收的所述有效特征点更新至所述前景特征点,以进行下一轮图像匹配融合;接收并检测所述深度距离分布,得到所述有效特征点的具体位置信息。
7.根据权利要求6所述的装置,其特征在于,
图像处理模块,还用于加权处理所述图像信息,得到对比度增强的图像信息,再锐化处理所述对比度增强的图像信息,得到图像的特征点。
8.根据权利要求6所述的装置,其特征在于,
所述位置估算模块在提取跟踪目标的特征点时,具体用于:
接收用户输入的指定的跟踪目标信息,根据所述跟踪目标信息,从第一帧图像的特征点中提取跟踪目标的特征点。
9.根据权利要求6所述的装置,其特征在于,
所述目标判决模块在估算所述第二帧图像的特征点放大和/或旋转系数时,具体用于:
对比所述确定位置的前景特征点和所述第二帧图像的特征点,得到所述第二帧图像的特征点的变化量,再对所述变化量进行加权处理,得到所述第二帧图像的特征点放大和/或旋转系数。
10.根据权利要求6所述的装置,其特征在于,
所述位置输出模块在检测所述深度距离分布时,具体用于:
根据所述深度距离分布,设置最大范围,在所述最大范围内,根据有效特征点在所述图像信息中的位置,检测所述深度距离分布。
CN201610065669.8A 2016-01-29 2016-01-29 一种基于视觉特征点的自动跟踪方法及装置 Active CN105761245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610065669.8A CN105761245B (zh) 2016-01-29 2016-01-29 一种基于视觉特征点的自动跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610065669.8A CN105761245B (zh) 2016-01-29 2016-01-29 一种基于视觉特征点的自动跟踪方法及装置

Publications (2)

Publication Number Publication Date
CN105761245A true CN105761245A (zh) 2016-07-13
CN105761245B CN105761245B (zh) 2018-03-06

Family

ID=56342786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610065669.8A Active CN105761245B (zh) 2016-01-29 2016-01-29 一种基于视觉特征点的自动跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN105761245B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN108345821A (zh) * 2017-01-24 2018-07-31 成都理想境界科技有限公司 面部追踪方法及设备
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN110148167A (zh) * 2019-04-17 2019-08-20 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110864870A (zh) * 2019-10-28 2020-03-06 南京航空航天大学 一种利用网格丝线及回馈跟踪算法实现密闭腔体内流场状态观测的方法
CN110895676A (zh) * 2018-09-13 2020-03-20 精工爱普生株式会社 动态对象跟踪
TWI692750B (zh) * 2018-09-27 2020-05-01 知洋科技股份有限公司 海洋哺乳類追蹤系統、方法以及載具
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN111815755A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN114153197A (zh) * 2020-08-17 2022-03-08 速感科技(北京)有限公司 自主移动设备的脱困方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348180A (ja) * 1999-06-01 2000-12-15 Fujitsu Ltd 移動領域追跡方法及び装置及び記録媒体
CN101399969A (zh) * 2007-09-28 2009-04-01 三星电子株式会社 基于运动相机的运动目标检测与跟踪的系统、设备和方法
CN101739686A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标跟踪方法及其系统
US20110205338A1 (en) * 2010-02-24 2011-08-25 Samsung Electronics Co., Ltd. Apparatus for estimating position of mobile robot and method thereof
JP2012159958A (ja) * 2011-01-31 2012-08-23 Secom Co Ltd 移動物体追跡装置
CN102867311A (zh) * 2011-07-07 2013-01-09 株式会社理光 目标跟踪方法和目标跟踪设备
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348180A (ja) * 1999-06-01 2000-12-15 Fujitsu Ltd 移動領域追跡方法及び装置及び記録媒体
CN101399969A (zh) * 2007-09-28 2009-04-01 三星电子株式会社 基于运动相机的运动目标检测与跟踪的系统、设备和方法
CN101739686A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 运动目标跟踪方法及其系统
US20110205338A1 (en) * 2010-02-24 2011-08-25 Samsung Electronics Co., Ltd. Apparatus for estimating position of mobile robot and method thereof
JP2012159958A (ja) * 2011-01-31 2012-08-23 Secom Co Ltd 移動物体追跡装置
CN102867311A (zh) * 2011-07-07 2013-01-09 株式会社理光 目标跟踪方法和目标跟踪设备
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANDREW BLAKE ET AL: "Learning to track the visual motion of contours", 《ARTIFICIAL INTELLIGENCE》 *
CHRISTIAN HOFFMANN ET AL: "Vehicle detection fusing 2D visual features", 《2004 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
曾鹏鑫 等: "基于目标运动模型的跟踪方法", 《系统仿真学报》 *
杜歆 等: "基于单目视觉的障碍物检测", 《浙江大学学报(工学版)》 *
蔡荣太 等: "视频目标跟踪算法综述", 《VIDEO APPLICATION & PROJECT》 *
陈靖 等: "基于特征识别的增强现实跟踪定位算法", 《中国科学》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108345821A (zh) * 2017-01-24 2018-07-31 成都理想境界科技有限公司 面部追踪方法及设备
CN108345821B (zh) * 2017-01-24 2022-03-08 成都理想境界科技有限公司 面部追踪方法及设备
CN107608345A (zh) * 2017-08-26 2018-01-19 深圳力子机器人有限公司 一种机器人及其跟随方法和系统
CN110895676B (zh) * 2018-09-13 2023-08-25 精工爱普生株式会社 动态对象跟踪
CN110895676A (zh) * 2018-09-13 2020-03-20 精工爱普生株式会社 动态对象跟踪
TWI692750B (zh) * 2018-09-27 2020-05-01 知洋科技股份有限公司 海洋哺乳類追蹤系統、方法以及載具
CN109948526A (zh) * 2019-03-18 2019-06-28 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN109948526B (zh) * 2019-03-18 2021-10-29 北京市商汤科技开发有限公司 图像处理方法及装置、检测设备及存储介质
CN111815755A (zh) * 2019-04-12 2020-10-23 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN111815755B (zh) * 2019-04-12 2023-06-30 Oppo广东移动通信有限公司 虚拟物体被遮挡的区域确定方法、装置及终端设备
US11842438B2 (en) 2019-04-12 2023-12-12 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and terminal device for determining occluded area of virtual object
US20220036648A1 (en) * 2019-04-12 2022-02-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and terminal device for determining occluded area of virtual object
CN110148167A (zh) * 2019-04-17 2019-08-20 维沃移动通信有限公司 一种距离测量方法及终端设备
CN110864870A (zh) * 2019-10-28 2020-03-06 南京航空航天大学 一种利用网格丝线及回馈跟踪算法实现密闭腔体内流场状态观测的方法
CN110864870B (zh) * 2019-10-28 2020-10-20 南京航空航天大学 一种利用网格丝线及回馈跟踪算法实现密闭腔体内流场状态观测的方法
CN111609868A (zh) * 2020-05-29 2020-09-01 电子科技大学 一种基于改进光流法的视觉惯性里程计方法
CN114153197A (zh) * 2020-08-17 2022-03-08 速感科技(北京)有限公司 自主移动设备的脱困方法及装置
CN114153197B (zh) * 2020-08-17 2023-08-18 速感科技(北京)有限公司 自主移动设备的脱困方法及装置

Also Published As

Publication number Publication date
CN105761245B (zh) 2018-03-06

Similar Documents

Publication Publication Date Title
CN105761245A (zh) 一种基于视觉特征点的自动跟踪方法及装置
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN110928301B (zh) 一种检测微小障碍的方法、装置及介质
CN109949375A (zh) 一种基于深度图感兴趣区域的移动机器人目标跟踪方法
CN107909600A (zh) 一种基于视觉的无人机实时运动目标分类与检测方法
CN109765930A (zh) 一种无人机视觉导航系统
CN108447091A (zh) 目标定位方法、装置、电子设备及存储介质
CN110073362A (zh) 用于车道标记检测的系统及方法
CN103941746A (zh) 无人机巡检图像处理系统及方法
CN106910188B (zh) 基于深度学习的遥感影像中机场跑道的检测方法
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
CN104034733A (zh) 基于双目视觉监测与表面裂纹图像识别的寿命预测方法
CN109145708A (zh) 一种基于rgb和d信息融合的人流量统计方法
CN106127145A (zh) 瞳孔定位及跟踪方法
CN109711256B (zh) 一种低空复杂背景无人机目标检测方法
CN110110797B (zh) 一种基于多传感器融合的水面目标训练集自动采集方法
CN114034296B (zh) 一种导航信号干扰源检测与识别方法及系统
CN110245566B (zh) 一种基于背景特征的红外目标远距离追踪方法
CN107146200A (zh) 一种基于图像拼接质量评价的无人机遥感图像拼接方法
CN108038415A (zh) 一种基于机器视觉的无人机自动检测与跟踪方法
CN110633671A (zh) 基于深度图像的公交车客流实时统计方法
CN107832655A (zh) 一种基于无人机近地面成像的航拍系统及棉花产量估测方法
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN103679748A (zh) 一种红外遥感图像弱点目标提取装置及方法
CN112529962A (zh) 一种基于视觉算法的室内空间关键定位技术方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant