CN113674326B - 一种基于增强现实的频域处理的跟踪方法 - Google Patents

一种基于增强现实的频域处理的跟踪方法 Download PDF

Info

Publication number
CN113674326B
CN113674326B CN202010408700.XA CN202010408700A CN113674326B CN 113674326 B CN113674326 B CN 113674326B CN 202010408700 A CN202010408700 A CN 202010408700A CN 113674326 B CN113674326 B CN 113674326B
Authority
CN
China
Prior art keywords
matrix
transformation
augmented reality
frequency domain
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408700.XA
Other languages
English (en)
Other versions
CN113674326A (zh
Inventor
陈广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiya Shanghai Digital Technology Co ltd
Original Assignee
Weiya Shanghai Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weiya Shanghai Digital Technology Co ltd filed Critical Weiya Shanghai Digital Technology Co ltd
Priority to CN202010408700.XA priority Critical patent/CN113674326B/zh
Publication of CN113674326A publication Critical patent/CN113674326A/zh
Application granted granted Critical
Publication of CN113674326B publication Critical patent/CN113674326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；计算每一帧视频数据流，不断的获取到S个变换矩阵M；将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应。本发明相比于传统的通过提取识别图片的特征点作为虚拟物件注册的基准对图片进行识别，可以对包含的结构、内容信息较少的弱纹理图片进行处理跟踪，显著的减少虚拟物件跟踪的抖动和不稳定，能够更好的提升增强现实的体验感度。

Description

一种基于增强现实的频域处理的跟踪方法
技术领域
本发明涉及频域处理跟踪技术领域，尤其涉及一种基于增强现实的频域处理的跟踪方法。
背景技术
目前，对于图片识别与跟踪的无标记增强现实方法，通常是通过提取识别图片的特征点来作为虚拟物件注册的基准，这就需要对识别图片要求较高的纹理特点，当识别图片的纹理比较弱时，虚拟物件会出现跟踪不稳定和抖动的现象，所以为了解决这个问题，提出一种基于增强现实的频域处理的跟踪方法，使用这个方法，在若纹理下，可以显著的减少虚拟物件跟踪的抖动和不稳定，能够更好的提升增强现实的体验感。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于增强现实的频域处理的跟踪方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应；
S4：从A1n至AXn中选取最新连续得到的X＝100个元素，建立函数f(x)，由于矩阵M′中有多个元素所以获得函数f1(x)至fS(x)；
S5：对f1(x)至fS(x)做快速傅里叶变换，得到F1(x)至FS(x)，设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga，将H(x)应用于F1(x)至FS(x)得到经过低通滤波器作用的函数G1(x)至GS(x)；
S6：在函数G1(x)至GS(x)中选取一个最新游标的x＝t，即G1(t)至GS(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素，通过先前拆分M′的顺序，使用矩阵元素G1(t)至GS(t)合并得到新的矩阵M′t；
S7：将M′t其中的旋转向量Rvec转化为旋转矩阵R，得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
作为上述技术方案的进一步描述：
所述S3步骤中将多个M做旋转矩阵转化旋转向量处理方法为将变换矩阵M中的旋转矩阵通过罗德里格斯公式转换为旋转向量Rvec，新得到的矩阵为M′。
作为上述技术方案的进一步描述：
所述S3步骤中对矩阵M′进行拆分元素存储到数组处理的方法为将矩阵M′中的各个元素各自存放于数组A中，获得数组A1至AS。
作为上述技术方案的进一步描述：
所述数组A1至AS分别储存的是M′中对应的各个元素。
作为上述技术方案的进一步描述：
所述S1步骤中获取从标志物坐标系到相机坐标系的变换矩阵M包括以下几个步骤：
S1.1：提取待识别图片的特征描述；
S1.2：对抓取的视频帧图像进行处理；
S1.3：找到视频图像中的识别图片；
S1.4：计算从坐标物坐标系到相机坐标系的变换矩阵。
作为上述技术方案的进一步描述：
所述S4步骤中函数f(x)的自变量X为A1n至AXn中选取最新连续得到的X＝100个元素中的游标，且函数f(x)的因变量为对应值。
有益效果
本发明提供了一种基于增强现实的频域处理的跟踪方法。具备以下有益效果：
该基于增强现实的频域处理的跟踪方法相比于传统的通过提取识别图片的特征点作为虚拟物件注册的基准对图片进行识别，可以对包含的结构、内容信息较少的弱纹理图片进行处理跟踪，显著的减少虚拟物件跟踪的抖动和不稳定，能够更好的提升增强现实的体验感。
附图说明
图1为本发明提出的一种基于增强现实的频域处理的跟踪方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一，参照图1，一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应；
S4：从A1n至AXn中选取最新连续得到的X＝100个元素，建立函数f(x)，由于矩阵M′中有多个元素所以获得函数f1(x)至fS(x)；
S5：对f1(x)至fS(x)做快速傅里叶变换，得到F1(x)至FS(x)，设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga，将H(x)应用于F1(x)至FS(x)得到经过低通滤波器作用的函数G1(x)至GS(x)；
S6：在函数G1(x)至GS(x)中选取一个最新游标的x＝t，即G1(t)至GS(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素，通过先前拆分M′的顺序，使用矩阵元素G1(t)至GS(t)合并得到新的矩阵M′t；
S7：将M′t其中的旋转向量Rvec转化为旋转矩阵R，得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
S3步骤中将多个M做旋转矩阵转化旋转向量处理方法为将变换矩阵M中的旋转矩阵通过罗德里格斯公式转换为旋转向量Rvec，新得到的矩阵为M′。
S3步骤中对矩阵M′进行拆分元素存储到数组处理的方法为将矩阵M′中的各个元素各自存放于数组A中，获得数组A1至AS。
数组A1至AS分别储存的是M′中对应的各个元素。
S1步骤中获取从标志物坐标系到相机坐标系的变换矩阵M包括以下几个步骤：
S1.1：提取待识别图片的特征描述；
S1.2：对抓取的视频帧图像进行处理；
S1.3：找到视频图像中的识别图片；
S1.4：计算从坐标物坐标系到相机坐标系的变换矩阵。
S4步骤中函数f(x)的自变量X为A1n至AXn中选取最新连续得到的X＝100个元素中的游标，且函数f(x)的因变量为对应值。
实施例二，变换矩阵M是一个3*4的矩阵时：
一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，
Figure BDA0002492302000000061
其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：现对获取到的M做处理，对矩阵中的旋转矩阵
Figure BDA0002492302000000062
通过罗德里格斯公式转化为旋转向量Rvec，新得到的矩阵M′，是由旋转向量Rvec和平移矩阵/>
Figure BDA0002492302000000063
构成，M′由6个元素表示，将其中的每个元素各自存放于数组。数组A1至A6分别存储的是M′对应的6个元素；
S4：将获取到的n个M都做以上两步处理(旋转矩阵转化旋转向量，拆分元素存储到数组)并存于数组A1至A6，新得到的数组为，A1n至A6n，其中数组游标与每个矩阵元素对应；
S5：假设已经获取n＝101个M，从A1n至A6n，中选取最新连续得到的x＝100个元素，建立函数f(x)，这里的自变量x为100个元素中的游标，因变量f(x)为对应的值，因为由6个数组，所以有6个函数f1(x)至f6(x)，对f1(x)至f6(x)做快速傅里叶变换，得到F1(x)至F6(x)；
S6：设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga,这里sigma可以取1；将H(x)应用于F1(x)至F6(x)得到经过低通滤波器作用的函数G1(x)至G6(x)；
S7：在函数G1(x)至G6(x)中选取一个最新游标的x＝t，即G1(t)至G6(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素；
S8：通过先前拆分M′的顺序，使用矩阵元素G1(t)至G6(t)合并得到新的矩阵M′t，将M′t其中的旋转向量Rvec转化为旋转矩阵
Figure BDA0002492302000000071
得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料过着特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于增强现实的频域处理的跟踪方法，其特征在于，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应；
S4：从A1n至AXn中选取最新连续得到的X＝100个元素，建立函数f(x)，由于矩阵M′中有多个元素所以获得函数f1(x)至fS(x)；
S5：对f1(x)至fS(x)做快速傅里叶变换，得到F1(x)至FS(x)，设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga，将H(x)应用于F1(x)至FS(x)得到经过低通滤波器作用的函数G1(x)至GS(x)；
S6：在函数G1(x)至GS(x)中选取一个最新游标的x＝t，即G1(t)至GS(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素，通过先前拆分M′的顺序，使用矩阵元素G1(t)至GS(t)合并得到新的矩阵M′t；
S7：将M′t其中的旋转向量Rvec转化为旋转矩阵R，得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
2.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S3步骤中将多个M做旋转矩阵转化旋转向量处理方法为将变换矩阵M中的旋转矩阵通过罗德里格斯公式转换为旋转向量Rvec，新得到的矩阵为M′。
3.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S3步骤中对矩阵M′进行拆分元素存储到数组处理的方法为将矩阵M′中的各个元素各自存放于数组A中，获得数组A1至AS。
4.根据权利要求3所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述数组A1至AS分别储存的是M′中对应的各个元素。
5.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S1步骤中获取从标志物坐标系到相机坐标系的变换矩阵M包括以下几个步骤：
S1.1：提取待识别图片的特征描述；
S1.2：对抓取的视频帧图像进行处理；
S1.3：找到视频图像中的识别图片；
S1.4：计算从坐标物坐标系到相机坐标系的变换矩阵。
6.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S4步骤中函数f(x)的自变量X为A1n至AXn中选取最新连续得到的X＝100个元素中的游标，且函数f(x)的因变量为对应值。
CN202010408700.XA 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法 Active CN113674326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408700.XA CN113674326B (zh) 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408700.XA CN113674326B (zh) 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法

Publications (2)

Publication Number Publication Date
CN113674326A CN113674326A (zh) 2021-11-19
CN113674326B true CN113674326B (zh) 2023-06-20

Family

ID=78537312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408700.XA Active CN113674326B (zh) 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法

Country Status (1)

Country Link
CN (1) CN113674326B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
CN106952312A (zh) * 2017-03-10 2017-07-14 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于线特征描述的无标识增强现实注册方法
CN108230367A (zh) * 2017-12-21 2018-06-29 西安电子科技大学 一种对灰度视频中既定目标的快速跟踪定位方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US10301041B2 (en) * 2016-06-09 2019-05-28 California Institute Of Technology Systems and methods for tracking moving objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
CN106952312A (zh) * 2017-03-10 2017-07-14 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于线特征描述的无标识增强现实注册方法
CN108230367A (zh) * 2017-12-21 2018-06-29 西安电子科技大学 一种对灰度视频中既定目标的快速跟踪定位方法

Also Published As

Publication number Publication date
CN113674326A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN111179193B (zh) 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN112766083B (zh) 基于多尺度特征融合的遥感场景分类方法及系统
CN110363179B (zh) 地图获取方法、装置、电子设备以及存储介质
CN108986185B (zh) 基于深度学习的图像数据扩增方法
Chang et al. Pedestrian detection in aerial images using vanishing point transformation and deep learning
CN110060201B (zh) 一种全景视频的热点交互方法
CN112019827B (zh) 视频图像色彩增强的方法、装置、设备及存储介质
CN115329111B (zh) 一种基于点云与影像匹配的影像特征库构建方法及系统
Wei et al. Surface saliency detection based on curvature co-occurrence histograms
CN111836058B (zh) 用于实时视频播放方法、装置、设备以及存储介质
CN113674326B (zh) 一种基于增强现实的频域处理的跟踪方法
CN107665488B (zh) 一种立体图像视觉显著提取方法
CN117274059A (zh) 基于图像编码-解码的低分辨率图像重构方法及其系统
CN108564661B (zh) 一种基于增强现实场景的记录方法
CN116452715A (zh) 动态人手渲染方法、装置及存储介质
CN116109535A (zh) 一种图像融合方法、设备及计算机可读存储介质
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
CN112418399B (zh) 训练姿态估计模型的方法、装置、姿态估计的方法及装置
JP2002543691A (ja) カラー映像分割方法
CN111461141B (zh) 一种设备位姿计算方法装置及设备
CN113066030A (zh) 一种基于空谱融合网络的多光谱图像全色锐化方法及系统
JPH08167028A (ja) 画像処理方法
CN110750757A (zh) 一种基于灰度线性建模及金字塔分解的图像抖动量计算方法
Tang et al. PHD: A Deep Learning Based Human Detection Framework for Panoramic Videos

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant