CN112233252B - 一种基于特征匹配与光流融合的ar目标跟踪方法及系统 - Google Patents

一种基于特征匹配与光流融合的ar目标跟踪方法及系统 Download PDF

Info

Publication number
CN112233252B
CN112233252B CN202011149675.4A CN202011149675A CN112233252B CN 112233252 B CN112233252 B CN 112233252B CN 202011149675 A CN202011149675 A CN 202011149675A CN 112233252 B CN112233252 B CN 112233252B
Authority
CN
China
Prior art keywords
tracking
image
matching
optical flow
feature matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011149675.4A
Other languages
English (en)
Other versions
CN112233252A (zh
Inventor
王俊翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yingpu Technology Co ltd
Original Assignee
Shanghai Yingpu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yingpu Technology Co ltd filed Critical Shanghai Yingpu Technology Co ltd
Priority to CN202011149675.4A priority Critical patent/CN112233252B/zh
Publication of CN112233252A publication Critical patent/CN112233252A/zh
Application granted granted Critical
Publication of CN112233252B publication Critical patent/CN112233252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明实施例公开了一种基于特征匹配与光流融合的AR目标跟踪方法及系统，融合特征匹配与光流跟踪，即使在特征缺失情况下，依然能够通过光流法获取稳定的相机位姿，从而实现稳定跟踪，使得AR跟踪鲁棒性显著提高，并且对于运动快以及弱纹理场景依然具有良好的鲁棒性，有效的提升用户体验感。

Description

一种基于特征匹配与光流融合的AR目标跟踪方法及系统
技术领域
本发明实施例涉及增强现实技术领域，具体涉及一种基于特征匹配与光流融合的AR目标跟踪方法及系统。
背景技术
增强现实(Augmented Reality，AR)是一种实时计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界嵌套在现实世界中并进行互动。随着随身电子产品运算能力的提升，其用途将会越来越广。增强现实被广泛应用于教育、医疗、娱乐、金融、电商、汽车等领域。但是目前市面上的AR应用程序依然存在鲁棒性不高，对于弱纹理以及运动过快场景容易跟踪丢失等问题，影响用户体验。
发明内容
为此，本发明实施例提供一种基于特征匹配与光流融合的AR目标跟踪方法方法及系统，以解决现有AR应用程序存在的鲁棒性不高，对于弱纹理以及运动过快场景容易跟踪丢失，影响用户体验的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提出了一种基于特征匹配与光流融合的AR目标跟踪方法，所述方法包括：
选取AR渲染目标图像作为渲染模板图像；
对获取的视频帧序列图像进行特征检测；
将每一个视频帧图像与所述模板图像进行特征匹配；
若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿；
若出现检测到模板区域太小或弱纹理，或者运动过快导致特征匹配失败，则从当前视频帧图像提取Harris角点同时进行光流跟踪；
若跟踪丢失，则输入下一帧图像数据进行特征检测和匹配，若跟踪成功，则继续保持跟踪模式，然后进行相机位姿估计；
根据估算出的相机位姿在Mask上进行实时渲染。
进一步地，对获取的视频帧序列图像进行特征检测，具体包括：
采用ORB算法对获取的视频帧序列图像进行特征检测。
进一步地，将每一个视频帧图像与所述模板图像进行特征匹配，具体包括：
检测出当前视频帧图像的ORB特征点以及模板图像ORB特征点之后，利用Hamming距离对两者之间的BRIEF描述子进行匹配，然后遍历最大Hamming距离与最小Hamming距离结合RANSAC对误差较大的点进行滤除。
进一步地，若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿，具体包括：
对于每一个图像匹配对，计算对极几何，估计H矩阵并通过SVD分解计算相机位姿。
根据本发明实施例的第二方面，提出了一种基于特征匹配与光流融合的AR目标跟踪系统，所述系统包括：
模板匹配模块，用于选取AR渲染目标图像作为渲染模板图像；
对获取的视频帧序列图像进行特征检测；
将每一个视频帧图像与所述模板图像进行特征匹配；
目标跟踪模块，用于若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿；
若出现检测到模板区域太小或弱纹理，或者运动过快导致特征匹配失败，则从当前视频帧图像提取Harris角点同时进行光流跟踪；
若跟踪丢失，则输入下一帧图像数据进行特征检测和匹配，若跟踪成功则继续保持跟踪模式，然后进行相机位姿估计；
渲染模块，用于根据估算出的相机位姿在Mask上进行实时渲染。
根据本发明实施例的第三方面，提出了一种计算机存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于特征匹配与光流融合的AR目标跟踪系统执行如上所述的一种基于特征匹配与光流融合的AR目标跟踪方法。
本发明实施例具有如下优点：
本发明实施例提出的一种基于特征匹配与光流融合的AR目标跟踪方法，融合特征匹配与光流跟踪，即使在特征缺失情况下，依然能够通过光流法获取稳定的相机位姿，从而实现稳定跟踪，使得AR跟踪鲁棒性显著提高，并且对于运动快以及弱纹理场景依然具有良好的鲁棒性，有效的提升用户体验感。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例1提供的一种基于特征匹配与光流融合的AR目标跟踪方法的流程示意图；
图2为本发明实施例1提供的一种基于特征匹配与光流融合的AR目标跟踪方法的算法流程图；
图3为本发明实施例1提供的一种基于特征匹配与光流融合的AR目标跟踪系统的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例1提出了一种基于特征匹配与光流融合的AR目标跟踪方法，如图1所示，该方法包括以下步骤：
S110、选取AR渲染目标图像作为渲染Mask(图片掩膜)模板图像。
S120、对获取的视频帧序列图像进行特征检测。
进一步地，对获取的视频帧序列图像进行特征检测，具体包括：采用ORB算法对获取的视频帧序列图像进行特征检测。ORB算法在效率与准确度综合评估是最好的，算法首先检测Oriented FAST角点位置，根据坐标计算BRIEF描述子。BRIEF描述子是一种二进制描述子，其描述向量由许多个0和1组成，这里的0和1编码了关键点附近两个随机像素的大小关系。同时ORB在提取关键点阶段计算了关键点的方向，所以可以利用方向信息。计算之后的ORB的描述子就具有良好的旋转不变性。
S130、将每一个视频帧图像与模板图像进行特征匹配。
一旦每个图片的特征点被提出来以后，就需要进行模板图片与视频序列之间进行特征匹配，特征匹配实际是建立两者之间的数据关联。将每一个视频帧图像与模板图像进行特征匹配，具体包括：
检测出当前视频帧图像的ORB特征点以及模板图像ORB特征点之后，利用Hamming距离对两者之间的BRIEF描述子进行匹配，然后遍历最大Hamming距离与最小Hamming距离结合RANSAC对误差较大的点进行滤除。
通过视频提取ORB特征，并且将视频帧信息与AR渲染目标进行模板匹配，直到特征匹配成功。
S140、若特征匹配成功，则在对跟踪模块完成跟踪初始化后进行目标跟踪并估计相机位姿。
对于每一个图像匹配对，计算对极几何，估计H矩阵并通过SVD分解计算相机位姿。
S150、特征匹配的同时进行Mask检测，若出现检测到模板区域太小或弱纹理，或者运动过快导致特征匹配失败，则从当前视频帧图像提取Harris角点同时进行光流跟踪。
光流(optical flow)是目标、场景或摄像机在连续两帧图像间运动造成的目标的运动。它是图像在运动过程中的二维矢量场，是通过二维图像来表示物体点三维运动的速度场，反应微小时间间隔内由于运动形成的图像变化，以确定点上的运动方向和运动速率，光流提供了恢复运动的线索，而AR目标跟踪的实质即是准确对相机运动进行估计与恢复。
S160、若跟踪丢失，则输入下一帧图像数据进行特征检测和匹配，若跟踪成功，则继续保持跟踪模式，然后进行相机位姿估计。
S170、根据估算出的相机位姿在Mask上进行实时渲染。
具体的算法流程过程参考如图2所示。
本发明实施例1提出的一种基于特征匹配与光流融合的AR目标跟踪方法，融合特征匹配与光流跟踪，即使在特征缺失情况下，依然能够通过光流法获取稳定的相机位姿，从而实现稳定跟踪，使得AR跟踪鲁棒性显著提高，并且对于运动快以及弱纹理场景依然具有良好的鲁棒性，有效的提升用户体验感。
与上述实施例1相对应的，本发明实施例2提出了一种基于特征匹配与光流融合的AR目标跟踪系统，如图3所示，该系统包括：
模板匹配模块210，用于选取AR渲染目标图像作为渲染模板图像；
对获取的视频帧序列图像进行特征检测；
将每一个视频帧图像与模板图像进行特征匹配；
目标跟踪模块220，用于若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿；
若出现检测到模板区域太小或弱纹理，或者运动过快导致特征匹配失败，则从当前视频帧图像提取Harris角点同时进行光流跟踪；
若跟踪丢失，则输入下一帧图像数据进行特征检测和匹配，若跟踪成功则继续保持跟踪模式，然后进行相机位姿估计；
渲染模块230，用于根据估算出的相机位姿在Mask上进行实时渲染。
本发明实施例提供的一种基于特征匹配与光流融合的AR目标跟踪系统中各模块所执行的功能均已在上述实施例1中做了详细介绍，因此这里不做过多赘述。
本发明实施例2提出的一种基于特征匹配与光流融合的AR目标跟踪系统，融合特征匹配与光流跟踪，即使在特征缺失情况下，依然能够通过光流法获取稳定的相机位姿，从而实现稳定跟踪，使得AR跟踪鲁棒性显著提高，并且对于运动快以及弱纹理场景依然具有良好的鲁棒性，有效的提升用户体验感。
本发明实施例3提出了一种计算机存储介质，计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于被一种基于特征匹配与光流融合的AR目标跟踪系统执行如上的一种基于特征匹配与光流融合的AR目标跟踪方法。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (6)

1.一种基于特征匹配与光流融合的AR目标跟踪方法，其特征在于，所述方法包括：
选取AR渲染目标图像作为渲染模板图像；
对获取的视频帧序列图像进行特征检测；
将每一个视频帧图像与所述模板图像进行特征匹配；
若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿；
若出现检测到模板区域太小或弱纹理，或者运动过快导致特征匹配失败，则从当前视频帧图像提取Harris角点同时进行光流跟踪；
若跟踪丢失，则输入下一帧图像数据进行特征检测和匹配，若跟踪成功，则继续保持跟踪模式，然后进行相机位姿估计；
根据估算出的相机位姿在Mask上进行实时渲染。
2.根据权利要求1所述的一种基于特征匹配与光流融合的AR目标跟踪方法，其特征在于，对获取的视频帧序列图像进行特征检测，具体包括：
采用ORB算法对获取的视频帧序列图像进行特征检测。
3.根据权利要求2所述的一种基于特征匹配与光流融合的AR目标跟踪方法，其特征在于，将每一个视频帧图像与所述模板图像进行特征匹配，具体包括：
检测出当前视频帧图像的ORB特征点以及模板图像ORB特征点之后，利用Hamming距离对两者之间的BRIEF描述子进行匹配，然后遍历最大Hamming距离与最小Hamming距离结合RANSAC对误差较大的点进行滤除。
4.根据权利要求2所述的一种基于特征匹配与光流融合的AR目标跟踪方法，其特征在于，若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿，具体包括：
对于每一个图像匹配对，计算对极几何，估计H矩阵并通过SVD分解计算相机位姿。
5.一种基于特征匹配与光流融合的AR目标跟踪系统，其特征在于，所述系统包括：
模板匹配模块，用于选取AR渲染目标图像作为渲染模板图像；
对获取的视频帧序列图像进行特征检测；
将每一个视频帧图像与所述模板图像进行特征匹配；
目标跟踪模块，用于若特征匹配成功，则在完成跟踪初始化后进行目标跟踪并估计相机位姿；
若出现检测到模板区域太小或弱纹理，或者运动过快导致特征匹配失败，则从当前视频帧图像提取Harris角点同时进行光流跟踪；
若跟踪丢失，则输入下一帧图像数据进行特征检测和匹配，若跟踪成功则继续保持跟踪模式，然后进行相机位姿估计；
渲染模块，用于根据估算出的相机位姿在Mask上进行实时渲染。
6.一种计算机存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于被一种基于特征匹配与光流融合的AR目标跟踪系统执行如权利要求1-4任一项所述的方法。
CN202011149675.4A 2020-10-23 2020-10-23 一种基于特征匹配与光流融合的ar目标跟踪方法及系统 Active CN112233252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011149675.4A CN112233252B (zh) 2020-10-23 2020-10-23 一种基于特征匹配与光流融合的ar目标跟踪方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011149675.4A CN112233252B (zh) 2020-10-23 2020-10-23 一种基于特征匹配与光流融合的ar目标跟踪方法及系统

Publications (2)

Publication Number Publication Date
CN112233252A CN112233252A (zh) 2021-01-15
CN112233252B true CN112233252B (zh) 2024-02-13

Family

ID=74110326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011149675.4A Active CN112233252B (zh) 2020-10-23 2020-10-23 一种基于特征匹配与光流融合的ar目标跟踪方法及系统

Country Status (1)

Country Link
CN (1) CN112233252B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887793B (zh) * 2021-01-25 2023-06-13 脸萌有限公司 视频处理方法、显示设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
WO2017000466A1 (zh) * 2015-07-01 2017-01-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
WO2019057197A1 (zh) * 2017-09-25 2019-03-28 北京金山云网络技术有限公司 运动目标的视觉跟踪方法、装置、电子设备及存储介质
CN109636852A (zh) * 2018-11-23 2019-04-16 浙江工业大学 一种单目slam初始化方法
WO2019205865A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN111696133A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种实时目标跟踪方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535160B2 (en) * 2017-07-24 2020-01-14 Visom Technology, Inc. Markerless augmented reality (AR) system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821323A (zh) * 2012-08-01 2012-12-12 成都理想境界科技有限公司 基于增强现实技术的视频播放方法、系统及移动终端
CN104050475A (zh) * 2014-06-19 2014-09-17 樊晓东 基于图像特征匹配的增强现实的系统和方法
WO2017000466A1 (zh) * 2015-07-01 2017-01-05 中国矿业大学 一种基于光流法的运动目标跟踪方法及系统
CN106204660A (zh) * 2016-07-26 2016-12-07 华中科技大学 一种基于特征匹配的地面目标跟踪装置
WO2019057197A1 (zh) * 2017-09-25 2019-03-28 北京金山云网络技术有限公司 运动目标的视觉跟踪方法、装置、电子设备及存储介质
WO2019205865A1 (zh) * 2018-04-27 2019-10-31 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109636852A (zh) * 2018-11-23 2019-04-16 浙江工业大学 一种单目slam初始化方法
CN111696133A (zh) * 2020-05-28 2020-09-22 武汉中海庭数据技术有限公司 一种实时目标跟踪方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于自然纹理特征的增强现实跟踪算法;康波;任鹏;;系统工程与电子技术(第10期);202-206 *
一种鲁棒的目标跟踪方法;贾伟;孙伟;李大健;;光子学报(第10期);1230-1235 *
基于特征匹配的快速鲁棒数字稳像;谢征;崔少辉;李金伦;;应用光学(第06期);893-899 *

Also Published As

Publication number Publication date
CN112233252A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
US11838606B2 (en) Methods and systems for large-scale determination of RGBD camera poses
JP6464934B2 (ja) カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム
EP3182373B1 (en) Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm
Del Bue et al. Non-rigid metric shape and motion recovery from uncalibrated images using priors
EP2614487B1 (en) Online reference generation and tracking for multi-user augmented reality
US10033985B2 (en) Camera pose estimation apparatus and method for augmented reality imaging
EP1960970B1 (en) Stereo video for gaming
CN108629843B (zh) 一种实现增强现实的方法及设备
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
KR101410273B1 (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
CN113706699B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN111951325B (zh) 位姿跟踪方法、位姿跟踪装置及电子设备
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN112819892B (zh) 图像处理方法和装置
CN112233252B (zh) 一种基于特征匹配与光流融合的ar目标跟踪方法及系统
Fortin et al. Handling occlusions in real-time augmented reality: dealing with movable real and virtual objects
Sweeney et al. Structure from motion for panorama-style videos
CN111275734A (zh) 物体辨识与追踪系统及其方法
CN110009683B (zh) 基于MaskRCNN的实时平面上物体检测方法
Xu et al. Multi-scale voxel hashing and efficient 3D representation for mobile augmented reality
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
Simon et al. Computer vision methods for registration: Mixing 3d knowledge and 2d correspondences for accurate image composition
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Álvarez et al. A new marker design for a robust marker tracking system against occlusions
Tang et al. Efficient circle-based camera pose tracking free of pnp

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant