CN103632374B - 无标记增强现实系统及无标记增强现实系统目标跟踪方法 - Google Patents

无标记增强现实系统及无标记增强现实系统目标跟踪方法 Download PDF

Info

Publication number
CN103632374B
CN103632374B CN201310666494.2A CN201310666494A CN103632374B CN 103632374 B CN103632374 B CN 103632374B CN 201310666494 A CN201310666494 A CN 201310666494A CN 103632374 B CN103632374 B CN 103632374B
Authority
CN
China
Prior art keywords
frame
point
addition
trace
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310666494.2A
Other languages
English (en)
Other versions
CN103632374A (zh
Inventor
樊春玲
邓亮
冯良炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201310666494.2A priority Critical patent/CN103632374B/zh
Publication of CN103632374A publication Critical patent/CN103632374A/zh
Application granted granted Critical
Publication of CN103632374B publication Critical patent/CN103632374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开一种无标记增强现实系统,其包括:特征点提取单元,用于从拍摄设备生成的图像的第一帧中提取多个特征点;跟踪点提取单元,利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点;映射点生成单元,用于将所述多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点;跟踪点筛选单元,用于将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,且所述跟踪点筛选单元基于所述比较结果来判断是否将所述跟踪点排除。本发明还公开一种无标记增强现实系统目标跟踪方法。

Description

无标记增强现实系统及无标记增强现实系统目标跟踪方法
技术领域
本发明涉及一种对拍摄设备生成的图像进行特征提取并跟踪的无标记增强现实系统及无标记增强现实系统目标跟踪方法。
背景技术
增强现实技术(Augmented Reality,AR)是在虚拟现实技术的基础上发展起来的新技术,其通过计算机系统将虚拟客体叠加到实际图像中以增强用户感官体验,从而实现对现实的增强。
目前,很多增强现实系统是基于预先准备的标记(如二维码)等来获取包含实际图像的真实物体的特征信息,从而得到照相机与真实物体的位置关系。然而这种基于标记的增强现实系统在实际应用中必须事先准备标记,并将标记存储于数据库中,因此,这一前提条件使得其应用场景和时间存在限制。
然而,无标记增强现实系统可以通过对实际图像的特征点检测并通过跟踪特征点来掌握照相机和真实物体的位置关系,可在任何场所即时使用。要掌握好照相机和真实物体位置关系的首要条件是要对实际图像的特征点检测并准确跟踪。
发明内容
为了解决上述现有技术存在的问题,本发明的目的在于提供一种无标记增强现实系统,其包括:特征点提取单元,用于从拍摄设备生成的图像的第一帧中提取多个特征点;跟踪点提取单元,利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点;映射点生成单元,用于将所述多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点;跟踪点筛选单元,用于将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,且所述跟踪点筛选单元基于所述比较结果来判断是否将所述跟踪点排除。
进一步地,当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时,所述跟踪点筛选单元将该某一跟踪点排除。
进一步地,所述跟踪点提取单元包括:空间模型建立单元,用于将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型;空间模型搜索单元,利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点;子跟踪点融合单元,用于将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
进一步地,所述空间模型搜索单元在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量,且所述空间模型搜索单元基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
进一步地,所述无标记增强现实系统还包括:单应性矩阵生成单元,利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵;其中,所述映射点生成单元利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点。
进一步地,所述无标记增强现实系统还包括:异常点剔除单元,用于将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
本发明的另一目的还在于提供一种无标记增强现实系统目标跟踪方法,其包括步骤:A)从拍摄设备生成的图像的第一帧中提取多个特征点;B)利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点;C)将所述多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点;D)将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,且基于所述比较结果来判断是否将所述跟踪点排除。
进一步地,当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时,所述跟踪点筛选单元将该某一跟踪点排除。
进一步地,所述步骤B)的具体实现方式包括步骤:B1)将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型;B2)利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点;B3)将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
进一步地,所述步骤B2)的具体实现方式是:在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量,且基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
进一步地,所述步骤C)的具体实现方式包括步骤:C1)利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵;C2)利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点。
进一步地,在执行步骤C)之前,将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
本发明的无标记增强现实系统及无标记增强现实系统目标跟踪方法,通过对拍摄设备生成的图像进行特征检测和跟踪,无需事先准备标记,比以往的基于标记的增强现实系统有更广泛的适应场景。此外,本发明的无标记增强现实系统及无标记增强现实系统目标跟踪方法,在图像的每一帧的具有不同分辨率和不同尺寸大小的空间模型中进行特征点搜索,使之可适用于本身具备多尺度变化的视频跟踪中,并且在变化过程中能够保持较好的跟踪效果。
附图说明
通过下面结合附图进行的描述,本发明的上述和其他目的和特点将会变得更加清楚,附图中:
图1是示出根据本发明的实施例的无标记增强现实系统的结构的框图。
图2是示出根据本发明的实施例的无标记增强现实系统目标跟踪方法的流程图。
具体实施方式
以下,通过参照附图对实施例进行描述来解释本发明,但本发明并不限制或者局限于实施例。
图1是示出根据本发明的实施例的无标记增强现实系统的结构的框图。
参照图1,根据本发明的实施例的无标记增强现实系统可包括特征点提取单元110、跟踪点提取单元120、映射点生成单元130和跟踪点筛选单元140。
无标记增强现实系统对图像进行特征点检测和跟踪,无需事先准备标记并将标记存储在数据库等工作,可构建无标记的增强现实系统。
首先,需要对图像进行特征点检测并将检测到的特征点进行提取。
为此,特征点提取单元110可从拍摄设备(例如照相机、视频照相机、视频摄像机等)生成的图像的第一帧中提取易于跟踪的多个特征点。该多个特征点作为后续跟踪的基准信息。具体而言,在本实施例中,特征点提取单元110可采用角点检测方法对拍摄设备生成的图像的第一帧中的某一点进行移动;其中,如果该某一点被移动后的亮度发生较大变化,则该某一点为易于跟踪的特征点。该某一点被移动后的亮度发生的变化量E(u,v)满足下面的式子。
E(u,v)=∑x,yw(x,y)[I(x+u,y+v)-I(x,y)]2
其中,(x,y)表示该某一点的位置,(u,v)表示该某一点被移动后的偏移向量,I(x,y)表示该某一点在(x,y)处的亮度值,I(x+u,y+v)表示该某一点被移动后在(x+u,y+v)处的亮度值,w(x,y)表示该某一点的权值。
其次,需要从拍摄设备生成的图像的除第一帧外的每一帧中提取该每一帧的跟踪点。
为此,跟踪点提取单元120利用上述提取的所述第一帧的多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取该每一帧的多个跟踪点。进一步地,所述跟踪点提取单元120包括:空间模型建立单元121,用于将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型,换句话说,该多个空间模型彼此之间分辨率和尺寸大小均不相同;空间模型搜索单元122,利用提取的所述第一帧的易于跟踪的多个特征点来从每个所述具有不同分辨率和不同尺寸大小的空间模型中提取多个子跟踪点;子跟踪点融合单元123,用于将从所述除第一帧外的每一帧的多个所述具有不同分辨率和不同尺寸大小的空间模型中提取的多个子跟踪点融合为所述除第一帧外的每一帧的多个跟踪点。
具体而言,在本实施例中,空间模型建立单元121可采用,但不限于,带有低通滤波的下采样方法对所述拍摄设备生成的图像的除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型,其中,每个所述空间模型的尺寸大小是由原所述除第一帧外的每一帧按照不同的尺寸系数缩放形成的。
空间模型搜索单元122可采用经典的KLT(Kanade-Lucas-Tomasi)跟踪方法在上述建立的每个具有不同分辨率和不同尺寸大小的空间模型中搜索子跟踪点,并将在每个具有不同分辨率和不同尺寸大小的空间模型中搜索到的子跟踪点全部提取出来,由于KLT跟踪方法为现有技术,在此避免赘述而不对其说明。具体而言,空间模型搜索单元122可利用所述第一帧的特征点序列(即由所述第一帧中提取的多个特征点的集合)在所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型中进行子跟踪点的搜索,而后将所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型中搜索到的多个子跟踪点提取出来形成子跟踪点序列,也就是说,可从所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型中提取出一个子跟踪点序列,这样,可从所述除第一帧外的每一帧中提取出与该除第一帧外的每一帧包含的具有不同分辨率和不同尺寸大小的空间模型的相同数量的子跟踪点序列。
每个具有不同分辨率和不同尺寸大小的空间模型的子跟踪点序列仅代表该具有不同分辨率和不同尺寸大小的每个空间模型的跟踪效果,如果要得到所述除第一帧外的每一帧的跟踪点序列,则需要将所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型的多个子跟踪点进行融合。
子跟踪点融合单元123可逐点对比所述除第一帧外的每一帧的多个具有不同分辨率和不同尺寸大小的空间模型中的子跟踪点的跟踪效果,并对比每个具有不同分辨率和不同尺寸大小的空间模型中每个子跟踪点的跟踪误差值,最终将每个具有不同分辨率和不同尺寸大小的空间模型中跟踪误差值最小的子跟踪点融合为所述除第一帧外的每一帧的多个跟踪点,该多个跟踪点可集合形成跟踪点序列。
此外,同所有测量数据一样,跟踪也会因计算及其他原因造成误差。为此,无标记增强现实系统进一步包括异常点剔除单元160,其对所述除第一帧外的每一帧的多个跟踪点中误差较大的跟踪点进行剔除。具体而言,可设置合适的“置信域”,位于“置信域”范围外的跟踪点认为是误差较大的跟踪点,将其剔除。误差较大的跟踪点的判断准则最常用的处理粗大误差的方法为3σ准则(三西格码准则,又名拉依达准则),由于其是现有技术,在此避免赘述而不对其说明。
再次,需要从所述生成的图像的除第一帧外的每一帧中生成多个映射点。
为此,映射点生成单元130可将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点。具体而言,所述映射点生成单元利用所述除第一帧外的每一帧与所述第一帧之间生成的单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点,这些映射点将作为筛选跟踪点的参考。下面将对所述除第一帧外的每一帧与所述第一帧之间单应性矩阵的生成进行详细说明。
为此,无标记增强现实系统可进一步包括:单应性矩阵生成单元150,其利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的每一帧与所述第一帧之间的单应性矩阵。具体而言,在计算机视觉中,平面的单应性是从一个平面到另一个平面的投影映射。在本实施例中,例如可从所述第一帧的特征点序列中选择至少四个特征点,并从所述除第一帧外的每一帧的跟踪点序列中选择至少四个跟踪点,其中,从所述第一帧的特征点序列中选择的至少四个特征点与从所述除第一帧外的每一帧的跟踪点序列中选择的至少四个跟踪点相对应。分别求取所述第一帧所在平面和所述除第一帧外的每一帧所在平面的单应性矩阵H,具体由下面的式子表示。
其中,u为所述第一帧的特征点序列,xu表示所述第一帧的特征点序列中每一特征点在x方向上的坐标,yu表示所述第一帧的特征点序列中每一特征点在y方向上的坐标;v为所述除第一帧外的每一帧的跟踪点序列,xv表示所述所述除第一帧外的每一帧的跟踪点序列中每一跟踪点在x方向上的坐标,yu表示所述所述除第一帧外的每一帧的跟踪点序列中每一跟踪点在y方向上的坐标;所述特征点序列和所述跟踪点序列均采用齐次坐标形式。
最后,要对所述除第一帧外的每一帧的多个跟踪点进行筛选。
为此,跟踪点筛选单元140将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,且所述跟踪点筛选单元140基于所述比较结果来判断是否将该每个跟踪点排除。
如果所述除第一帧外的每一帧的某个跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时,将该某个跟踪点排除。如果所述除第一帧外的每一帧的某个跟踪点与其对应的映射点之间的距离不大于所述预设距离阈值时,将该某个跟踪点保留。
本发明中所使用的术语“单元”代表硬件组件。本领域技术人员根据本发明对不同单元的定义,可以例如使用现场可编程门阵列(FPGA)或者专用集成电路(ASIC)来实现上述单元。
图2是示出根据本发明的实施例的无标记增强现实系统目标跟踪方法的流程图。
参照图2,在步骤210中,从拍摄设备(例如,照相机、视频照相机、视频摄像机等)生成的图像的第一帧中提取易于跟踪的多个特征点。该提取的多个特征点作为后续跟踪的基准信息。
例如,可采用角点检测方法对拍摄设备生成的图像的第一帧中的某一点进行移动;其中,如果该某一点被移动后的亮度发生较大变化,则该某一点为易于跟踪的特征点。该某一点被移动后的亮度发生的变化量E(u,v)满足下面的式子。
E(u,v)=∑x,yw(x,y)[I(x+u,y+v)-I(x,y)]2
其中,(x,y)表示该某一点的位置,(u,v)表示该某一点被移动后的偏移向量,I(x,y)表示该某一点在(x,y)处的亮度值,I(x+u,y+v)表示该某一点被移动后在(x+u,y+v)处的亮度值,w(x,y)表示该某一点的权值。
如果在步骤210从拍摄设备生成的图像的第一帧中提取出易于跟踪的多个特征点,则执行步骤220,利用提取的所述第一帧的易于跟踪的多个特征点从拍摄设备生成的图像的除第一帧外的每一帧中提取该每一帧的多个跟踪点。
为了完成步骤220,首先,可将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型,换句话说,该多个空间模型彼此之间分辨率和尺寸大小均不相同;其次,利用提取的所述第一帧的易于跟踪的多个特征点来从每个所述具有不同分辨率和不同尺寸大小的空间模型中提取多个子跟踪点;最后,将从所述除第一帧外的每一帧的多个所述具有不同分辨率和不同尺寸大小的空间模型中提取的多个子跟踪点融合为所述除第一帧外的每一帧的多个跟踪点。
具体而言,首先,可采用,但不限于,带有低通滤波的下采样方法对所述拍摄设备生成的图像的除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型,其中,每个所述空间模型的尺寸大小是由原所述除第一帧外的每一帧按照不同的尺寸系数缩放形成的。
其次,可采用经典的KLT(Kanade-Lucas-Tomasi)跟踪方法在上述建立的每个具有不同分辨率和不同尺寸大小的空间模型中搜索子跟踪点,并将在每个具有不同分辨率和不同尺寸大小的空间模型中搜索到的子跟踪点全部提取出来,由于KLT跟踪方法为现有技术,在此避免赘述而不对其说明。可利用所述第一帧的特征点序列(即由所述第一帧中提取的多个特征点的集合)在所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型中进行子跟踪点的搜索,而后将所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型中搜索到的多个子跟踪点提取出来形成子跟踪点序列,也就是说,可从所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型中提取出一个子跟踪点序列,这样,可从所述除第一帧外的每一帧中提取出与该除第一帧外的每一帧包含的具有不同分辨率和不同尺寸大小的空间模型的相同数量的子跟踪点序列。
每个具有不同分辨率和不同尺寸大小的空间模型的子跟踪点序列仅代表该具有不同分辨率和不同尺寸大小的每个空间模型的跟踪效果,如果要得到所述除第一帧外的每一帧的跟踪点序列,则需要将所述除第一帧外的每一帧的每个具有不同分辨率和不同尺寸大小的空间模型的多个子跟踪点进行融合。
最后,可逐点对比所述除第一帧外的每一帧的多个具有不同分辨率和不同尺寸大小的空间模型中的子跟踪点的跟踪效果,并对比每个具有不同分辨率和不同尺寸大小的空间模型中每个子跟踪点的跟踪误差值,最终将每个具有不同分辨率和不同尺寸大小的空间模型中跟踪误差值最小的子跟踪点融合为所述除第一帧外的每一帧的多个跟踪点,该多个跟踪点可集合形成跟踪点序列。
此外,在步骤220中,同所有测量数据一样,跟踪也会因计算及其他原因造成误差。为此,需要对所述除第一帧外的每一帧的多个跟踪点中误差较大的跟踪点进行剔除。具体而言,可设置合适的“置信域”,位于“置信域”范围外的跟踪点认为是误差较大的跟踪点,将其剔除。误差较大的跟踪点的判断准则最常用的处理粗大误差的方法为3σ准则(三西格码准则,又名拉依达准则),由于其是现有技术,在此避免赘述而不对其说明。
如果在步骤220完成利用提取的所述第一帧的易于跟踪的多个特征点从拍摄设备生成的图像的除第一帧外的每一帧中提取该每一帧的多个跟踪点,则执行步骤230,将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点。
例如,可利用所述除第一帧外的每一帧与所述第一帧之间生成的单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点,这些映射点将作为筛选跟踪点的参考。
下面将对所述除第一帧外的每一帧与所述第一帧之间单应性矩阵的生成进行详细说明。
为此,可利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的每一帧与所述第一帧之间的单应性矩阵。具体而言,在计算机视觉中,平面的单应性是从一个平面到另一个平面的投影映射。在本实施例中,例如可从所述第一帧的特征点序列中选择至少四个特征点,并从所述除第一帧外的每一帧的跟踪点序列中选择至少四个跟踪点,其中,从所述第一帧的特征点序列中选择的至少四个特征点与从所述除第一帧外的每一帧的跟踪点序列中选择的至少四个跟踪点相对应。分别求取所述第一帧所在平面和所述除第一帧外的每一帧所在平面的单应性矩阵H,具体由下面的式子表示。
其中,u为所述第一帧的特征点序列,xu表示所述第一帧的特征点序列中每一特征点在x方向上的坐标,yu表示所述第一帧的特征点序列中每一特征点在y方向上的坐标;v为所述除第一帧外的每一帧的跟踪点序列,xv表示所述所述除第一帧外的每一帧的跟踪点序列中每一跟踪点在x方向上的坐标,yu表示所述所述除第一帧外的每一帧的跟踪点序列中每一跟踪点在y方向上的坐标;所述特征点序列和所述跟踪点序列均采用齐次坐标形式。
如果步骤230完成将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,进而生成所述除第一帧外的每一帧的多个映射点,则执行步骤240,将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,基于所述比较结果来判断是否将该每个跟踪点排除。
如果所述除第一帧外的每一帧的某个跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时,将该某个跟踪点排除。如果所述除第一帧外的每一帧的某个跟踪点与其对应的映射点之间的距离不大于所述预设距离阈值时,将该某个跟踪点保留。
上述根据本发明的方法可在硬件、固件中实现,或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解,计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如,RAM、ROM、闪存等),当所述软件或计算机代码被计算机、处理器或硬件访问且执行时,实现在此描述的处理方法。此外,当通用计算机访问用于实现在此示出的处理的代码时,代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
综上所述,根据本发明的实施例的无标记增强现实系统及无标记增强现实系统目标跟踪方法,通过对拍摄设备生成的图像进行特征检测和跟踪,无需事先准备标记,比以往的基于标记的增强现实系统有更广泛的适应场景。此外,根据本发明的实施例的无标记增强现实系统及无标记增强现实系统目标跟踪方法,在图像的每一帧的具有不同分辨率和不同尺寸大小的空间模型中进行特征点搜索,使之可适用于本身具备多尺度变化的视频跟踪中,并且在变化过程中能够保持较好的跟踪效果。
尽管已参照优选实施例表示和描述了本发明,但本领域技术人员应该理解,在不脱离由权利要求限定的本发明的精神和范围的情况下,可以对这些实施例进行各种修改和变换。

Claims (10)

1.一种无标记增强现实系统,其特征在于,包括:
特征点提取单元,用于从拍摄设备生成的图像的第一帧中提取多个特征点;
跟踪点提取单元,利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点;
映射点生成单元,用于将所述多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点;
跟踪点筛选单元,用于将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,且所述跟踪点筛选单元基于所述比较结果来判断是否将所述跟踪点排除;
所述跟踪点提取单元包括:
空间模型建立单元,用于将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型;
空间模型搜索单元,利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点;
子跟踪点融合单元,用于将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
2.根据权利要求1所述的无标记增强现实系统,其特征在于,当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时,所述跟踪点筛选单元将该某一跟踪点排除。
3.根据权利要求1所述的无标记增强现实系统,其特征在于,所述空间模型搜索单元在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量,且所述空间模型搜索单元基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
4.根据权利要求1或2所述的无标记增强现实系统,其特征在于,所述无标记增强现实系统还包括:
单应性矩阵生成单元,利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵;
其中,所述映射点生成单元利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点。
5.根据权利要求1或2所述的无标记增强现实系统,其特征在于,所述无标记增强现实系统还包括:异常点剔除单元,用于将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
6.一种无标记增强现实系统目标跟踪方法,其特征在于,包括以下步骤:
A)从拍摄设备生成的图像的第一帧中提取多个特征点;
B)利用提取的所述多个特征点来从所述拍摄设备生成的图像的除第一帧外的每一帧中提取多个跟踪点;
C)将所述多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点;
D)将所述除第一帧外的每一帧的每个跟踪点与其对应的映射点之间的距离和一预设距离阈值进行比较,且基于所述比较结果来判断是否将所述跟踪点排除;
所述步骤B)的具体实现方式包括以下步骤:
B1)将所述除第一帧外的每一帧建立为多个具有不同分辨率和不同尺寸大小的空间模型;
B2)利用提取的所述第一帧的多个特征点来从每个所述空间模型中提取多个子跟踪点;
B3)将从所述除第一帧外的每一帧的多个所述空间模型中的多个所述子跟踪点融合为所述除第一帧外的每一帧的多个所述跟踪点。
7.根据权利要求6所述的无标记增强现实系统目标跟踪方法,其特征在于,当所述除第一帧外的每一帧的某一跟踪点与其对应的映射点之间的距离大于所述预设距离阈值时,所述跟踪点筛选单元将该某一跟踪点排除。
8.根据权利要求6所述的无标记增强现实系统目标跟踪方法,其特征在于,所述步骤B2)的具体实现方式是:在建立的每个所述空间模型中搜索所述第一帧的每个特征点的偏移向量,且基于在建立的每个所述空间模型中搜索的所述第一帧的每个特征点的偏移向量来从每个所述空间模型中提取多个子跟踪点。
9.根据权利要求6或7所述的无标记增强现实系统目标跟踪方法,其特征在于,所述步骤C)的具体实现方式包括以下步骤:
C1)利用提取的所述除第一帧之外的每一帧的多个跟踪点和所述第一帧的多个特征点来生成所述除第一帧之外的所述每一帧与所述第一帧之间的单应性矩阵;
C2)利用所述单应性矩阵将所述第一帧的多个特征点映射到所述除第一帧外的每一帧中,以生成所述除第一帧外的每一帧的多个映射点。
10.根据权利要求6或7所述的无标记增强现实系统目标跟踪方法,其特征在于,在执行步骤C)之前,将所述除第一帧外的每一帧的多个跟踪点中的位于置信域范围外的跟踪点剔除。
CN201310666494.2A 2013-12-10 2013-12-10 无标记增强现实系统及无标记增强现实系统目标跟踪方法 Active CN103632374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310666494.2A CN103632374B (zh) 2013-12-10 2013-12-10 无标记增强现实系统及无标记增强现实系统目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310666494.2A CN103632374B (zh) 2013-12-10 2013-12-10 无标记增强现实系统及无标记增强现实系统目标跟踪方法

Publications (2)

Publication Number Publication Date
CN103632374A CN103632374A (zh) 2014-03-12
CN103632374B true CN103632374B (zh) 2017-04-26

Family

ID=50213391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310666494.2A Active CN103632374B (zh) 2013-12-10 2013-12-10 无标记增强现实系统及无标记增强现实系统目标跟踪方法

Country Status (1)

Country Link
CN (1) CN103632374B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633526B (zh) 2017-09-04 2022-10-14 腾讯科技(深圳)有限公司 一种图像跟踪点获取方法及设备、存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2542946C2 (ru) * 2009-11-19 2015-02-27 Нокиа Корпорейшн Способ и устройство для отслеживания и распознавания объектов с использованием дескрипторов, инвариантных относительно вращения
CN101976464B (zh) * 2010-11-03 2013-07-31 北京航空航天大学 基于单应性矩阵的多平面动态的增强现实注册的方法
KR101224176B1 (ko) * 2011-04-12 2013-01-21 박준 아웃도어 증강현실의 정확도 향상 시스템 및 그 방법

Also Published As

Publication number Publication date
CN103632374A (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
US10803554B2 (en) Image processing method and device
KR101548928B1 (ko) 불변적인 시각적 장면 및 객체 인식
TWI667621B (zh) 人臉辨識方法
CN110930411B (zh) 一种基于深度相机的人体分割方法及系统
CN112164115B (zh) 物体位姿识别的方法、装置及计算机存储介质
CN110796687A (zh) 天空背景红外成像多目标跟踪方法
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN111652054A (zh) 关节点检测方法、姿态识别方法及装置
CN109685142A (zh) 一种图像匹配方法及装置
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
US8164633B2 (en) Calibration apparatus and method for imaging devices and computer program
CN111967345A (zh) 一种实时判定摄像头遮挡状态的方法
CN106033613B (zh) 目标跟踪方法及装置
CN111797832B (zh) 一种图像感兴趣区域自动生成方法及系统及图像处理方法
CN111353325A (zh) 关键点检测模型训练方法及装置
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
CN103632374B (zh) 无标记增强现实系统及无标记增强现实系统目标跟踪方法
CN110458177B (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
CN117036737A (zh) 基于信息熵、gms与lc显著检测的特征提取与匹配方法
CN116091781B (zh) 一种用于图像识别的数据处理方法及装置
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
CN116597246A (zh) 模型训练方法、目标检测方法、电子设备及存储介质
CN116402867A (zh) 融合sift和ransac的三维重建图像对齐的方法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant