CN113674326A - 一种基于增强现实的频域处理的跟踪方法 - Google Patents

一种基于增强现实的频域处理的跟踪方法 Download PDF

Info

Publication number
CN113674326A
CN113674326A CN202010408700.XA CN202010408700A CN113674326A CN 113674326 A CN113674326 A CN 113674326A CN 202010408700 A CN202010408700 A CN 202010408700A CN 113674326 A CN113674326 A CN 113674326A
Authority
CN
China
Prior art keywords
matrix
transformation
rotation
coordinate system
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010408700.XA
Other languages
English (en)
Other versions
CN113674326B (zh
Inventor
陈广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiya Shanghai Digital Technology Co ltd
Original Assignee
Weiya Shanghai Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weiya Shanghai Digital Technology Co ltd filed Critical Weiya Shanghai Digital Technology Co ltd
Priority to CN202010408700.XA priority Critical patent/CN113674326B/zh
Publication of CN113674326A publication Critical patent/CN113674326A/zh
Application granted granted Critical
Publication of CN113674326B publication Critical patent/CN113674326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；计算每一帧视频数据流，不断的获取到S个变换矩阵M；将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应。本发明相比于传统的通过提取识别图片的特征点作为虚拟物件注册的基准对图片进行识别，可以对包含的结构、内容信息较少的弱纹理图片进行处理跟踪，显著的减少虚拟物件跟踪的抖动和不稳定，能够更好的提升增强现实的体验感度。

Description

一种基于增强现实的频域处理的跟踪方法
技术领域
本发明涉及频域处理跟踪技术领域，尤其涉及一种基于增强现实的频域处理的跟踪方法。
背景技术
目前，对于图片识别与跟踪的无标记增强现实方法，通常是通过提取识别图片的特征点来作为虚拟物件注册的基准，这就需要对识别图片要求较高的纹理特点，当识别图片的纹理比较弱时，虚拟物件会出现跟踪不稳定和抖动的现象，所以为了解决这个问题，提出一种基于增强现实的频域处理的跟踪方法，使用这个方法，在若纹理下，可以显著的减少虚拟物件跟踪的抖动和不稳定，能够更好的提升增强现实的体验感。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于增强现实的频域处理的跟踪方法。
为了实现上述目的，本发明采用了如下技术方案：
一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应；
S4：从A1n至AXn中选取最新连续得到的X＝100个元素，建立函数f(x)，由于矩阵M′中有多个元素所以获得函数f1(x)至fS(x)；
S5：对f1(x)至fS(x)做快速傅里叶变换，得到F1(x)至FS(x)，设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga，将H(x)应用于F1(x)至FS(x)得到经过低通滤波器作用的函数G1(x)至GS(x)；
S6：在函数G1(x)至GS(x)中选取一个最新游标的x＝t，即G1(t)至GS(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素，通过先前拆分M′的顺序，使用矩阵元素G1(t)至GS(t)合并得到新的矩阵M′t；
S7：将M′t其中的旋转向量Rvec转化为旋转矩阵R，得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
作为上述技术方案的进一步描述：
所述S3步骤中将多个M做旋转矩阵转化旋转向量处理方法为将变换矩阵M中的旋转矩阵通过罗德里格斯公式转换为旋转向量Rvec，新得到的矩阵为M′。
作为上述技术方案的进一步描述：
所述S3步骤中对矩阵M′进行拆分元素存储到数组处理的方法为将矩阵M′中的各个元素各自存放于数组A中，获得数组A1至AS。
作为上述技术方案的进一步描述：
所述数组A1至AS分别储存的是M′中对应的各个元素。
作为上述技术方案的进一步描述：
所述S1步骤中获取从标志物坐标系到相机坐标系的变换矩阵M包括以下几个步骤：
S1.1：提取待识别图片的特征描述；
S1.2：对抓取的视频帧图像进行处理；
S1.3：找到视频图像中的识别图片；
S1.4：计算从坐标物坐标系到相机坐标系的变换矩阵。
作为上述技术方案的进一步描述：
所述S4步骤中函数f(x)的自变量X为A1n至AXn中选取最新连续得到的X＝100个元素中的游标，且函数f(x)的因变量为对应值。
有益效果
本发明提供了一种基于增强现实的频域处理的跟踪方法。具备以下有益效果：
该基于增强现实的频域处理的跟踪方法相比于传统的通过提取识别图片的特征点作为虚拟物件注册的基准对图片进行识别，可以对包含的结构、内容信息较少的弱纹理图片进行处理跟踪，显著的减少虚拟物件跟踪的抖动和不稳定，能够更好的提升增强现实的体验感。
附图说明
图1为本发明提出的一种基于增强现实的频域处理的跟踪方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例一，参照图1，一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应；
S4：从A1n至AXn中选取最新连续得到的X＝100个元素，建立函数f(x)，由于矩阵M′中有多个元素所以获得函数f1(x)至fS(x)；
S5：对f1(x)至fS(x)做快速傅里叶变换，得到F1(x)至FS(x)，设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga，将H(x)应用于F1(x)至FS(x)得到经过低通滤波器作用的函数G1(x)至GS(x)；
S6：在函数G1(x)至GS(x)中选取一个最新游标的x＝t，即G1(t)至GS(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素，通过先前拆分M′的顺序，使用矩阵元素G1(t)至GS(t)合并得到新的矩阵M′t；
S7：将M′t其中的旋转向量Rvec转化为旋转矩阵R，得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
S3步骤中将多个M做旋转矩阵转化旋转向量处理方法为将变换矩阵M中的旋转矩阵通过罗德里格斯公式转换为旋转向量Rvec，新得到的矩阵为M′。
S3步骤中对矩阵M′进行拆分元素存储到数组处理的方法为将矩阵M′中的各个元素各自存放于数组A中，获得数组A1至AS。
数组A1至AS分别储存的是M′中对应的各个元素。
S1步骤中获取从标志物坐标系到相机坐标系的变换矩阵M包括以下几个步骤：
S1.1：提取待识别图片的特征描述；
S1.2：对抓取的视频帧图像进行处理；
S1.3：找到视频图像中的识别图片；
S1.4：计算从坐标物坐标系到相机坐标系的变换矩阵。
S4步骤中函数f(x)的自变量X为A1n至AXn中选取最新连续得到的X＝100个元素中的游标，且函数f(x)的因变量为对应值。
实施例二，变换矩阵M是一个3*4的矩阵时：
一种基于增强现实的频域处理的跟踪方法，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，
Figure BDA0002492302000000061
其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：现对获取到的M做处理，对矩阵中的旋转矩阵
Figure BDA0002492302000000062
通过罗德里格斯公式转化为旋转向量Rvec，新得到的矩阵M′，是由旋转向量Rvec和平移矩阵
Figure BDA0002492302000000063
构成，M′由6个元素表示，将其中的每个元素各自存放于数组。数组A1至A6分别存储的是M′对应的6个元素；
S4：将获取到的n个M都做以上两步处理(旋转矩阵转化旋转向量，拆分元素存储到数组)并存于数组A1至A6，新得到的数组为，A1n至A6n，其中数组游标与每个矩阵元素对应；
S5：假设已经获取n＝101个M，从A1n至A6n，中选取最新连续得到的x＝100个元素，建立函数f(x)，这里的自变量x为100个元素中的游标，因变量f(x)为对应的值，因为由6个数组，所以有6个函数f1(x)至f6(x)，对f1(x)至f6(x)做快速傅里叶变换，得到F1(x)至F6(x)；
S6：设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga,这里sigma可以取1；将H(x)应用于F1(x)至F6(x)得到经过低通滤波器作用的函数G1(x)至G6(x)；
S7：在函数G1(x)至G6(x)中选取一个最新游标的x＝t，即G1(t)至G6(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素；
S8：通过先前拆分M′的顺序，使用矩阵元素G1(t)至G6(t)合并得到新的矩阵M′t，将M′t其中的旋转向量Rvec转化为旋转矩阵
Figure BDA0002492302000000071
得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料过着特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于增强现实的频域处理的跟踪方法，其特征在于，包括：以下步骤：
S1：获取从标志物坐标系到相机坐标系的变换矩阵M，其中，变换矩阵M中包含的信息有旋转变换R和平移变换T；
S2：计算每一帧视频数据流，不断的获取到S个变换矩阵M；
S3：将步骤S2获取的多个M做旋转矩阵转化旋转向量处理得到矩阵M′，在对矩阵M′进行拆分元素存储到数组处理，新得到的数组为A1n至ASn，其中数组游标与每个矩阵元素对应；
S4：从A1n至AXn中选取最新连续得到的X＝100个元素，建立函数f(x)，由于矩阵M′中有多个元素所以获得函数f1(x)至fS(x)；
S5：对f1(x)至fS(x)做快速傅里叶变换，得到F1(x)至FS(x)，设置一个高斯低通滤波器H(x)，根据一维高斯分布的定义，设置simga，将H(x)应用于F1(x)至FS(x)得到经过低通滤波器作用的函数G1(x)至GS(x)；
S6：在函数G1(x)至GS(x)中选取一个最新游标的x＝t，即G1(t)至GS(t)，表示从最新一帧视频流中获取的变换矩阵M并经过上述处理后的矩阵元素，通过先前拆分M′的顺序，使用矩阵元素G1(t)至GS(t)合并得到新的矩阵M′t；
S7：将M′t其中的旋转向量Rvec转化为旋转矩阵R，得到的新的变换矩阵Mt，这个变换矩阵Mt将作为虚拟物件映射的最新映射矩阵，最后可以在，低纹理识别图片下，起到提高虚拟物件跟踪稳定性的效果。
2.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S3步骤中将多个M做旋转矩阵转化旋转向量处理方法为将变换矩阵M中的旋转矩阵通过罗德里格斯公式转换为旋转向量Rvec，新得到的矩阵为M′。
3.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S3步骤中对矩阵M′进行拆分元素存储到数组处理的方法为将矩阵M′中的各个元素各自存放于数组A中，获得数组A1至AS。
4.根据权利要求3所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述数组A1至AS分别储存的是M′中对应的各个元素。
5.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S1步骤中获取从标志物坐标系到相机坐标系的变换矩阵M包括以下几个步骤：
S1.1：提取待识别图片的特征描述；
S1.2：对抓取的视频帧图像进行处理；
S1.3：找到视频图像中的识别图片；
S1.4：计算从坐标物坐标系到相机坐标系的变换矩阵。
6.根据权利要求1所述的一种基于增强现实的频域处理的跟踪方法，其特征在于，所述S4步骤中函数f(x)的自变量X为A1n至AXn中选取最新连续得到的X＝100个元素中的游标，且函数f(x)的因变量为对应值。
CN202010408700.XA 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法 Active CN113674326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408700.XA CN113674326B (zh) 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408700.XA CN113674326B (zh) 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法

Publications (2)

Publication Number Publication Date
CN113674326A true CN113674326A (zh) 2021-11-19
CN113674326B CN113674326B (zh) 2023-06-20

Family

ID=78537312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408700.XA Active CN113674326B (zh) 2020-05-14 2020-05-14 一种基于增强现实的频域处理的跟踪方法

Country Status (1)

Country Link
CN (1) CN113674326B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
US20140118339A1 (en) * 2012-10-31 2014-05-01 The Boeing Company Automated frame of reference calibration for augmented reality
CN106952312A (zh) * 2017-03-10 2017-07-14 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于线特征描述的无标识增强现实注册方法
US20170358103A1 (en) * 2016-06-09 2017-12-14 California Institute Of Technology Systems and Methods for Tracking Moving Objects
CN108230367A (zh) * 2017-12-21 2018-06-29 西安电子科技大学 一种对灰度视频中既定目标的快速跟踪定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102222333A (zh) * 2011-05-20 2011-10-19 同济大学 一种基于混合注册的地下工程移动增强现实方法及其装置
US20140118339A1 (en) * 2012-10-31 2014-05-01 The Boeing Company Automated frame of reference calibration for augmented reality
US20170358103A1 (en) * 2016-06-09 2017-12-14 California Institute Of Technology Systems and Methods for Tracking Moving Objects
CN106952312A (zh) * 2017-03-10 2017-07-14 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于线特征描述的无标识增强现实注册方法
CN108230367A (zh) * 2017-12-21 2018-06-29 西安电子科技大学 一种对灰度视频中既定目标的快速跟踪定位方法

Also Published As

Publication number Publication date
CN113674326B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
CN110348330A (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN109086777B (zh) 一种基于全局像素特征的显著图精细化方法
Chang et al. Pedestrian detection in aerial images using vanishing point transformation and deep learning
CN106530313B (zh) 一种基于区域分割的海天线实时检测方法
CN111179193B (zh) 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN112288628B (zh) 基于光流跟踪和抽帧映射的航拍图像拼接加速方法及系统
JP2013536960A (ja) 写真から肖像スケッチを合成するシステム及び方法
CN115618051B (zh) 一种基于互联网的智慧校园监控视频存储方法
CN109376641A (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN116109535A (zh) 一种图像融合方法、设备及计算机可读存储介质
CN112926552A (zh) 基于深度神经网络的遥感影像车辆目标识别模型及方法
CN115329111A (zh) 一种基于点云与影像匹配的影像特征库构建方法及系统
WO2020179200A1 (ja) 情報処理方法及び情報処理システム
CN111783834A (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
CN109003247B (zh) 彩色图像混合噪声的去除方法
CN114005046A (zh) 基于Gabor滤波器和协方差池化的遥感场景分类方法
CN110751271A (zh) 一种基于深度神经网络的图像溯源特征表征方法
CN113674326A (zh) 一种基于增强现实的频域处理的跟踪方法
CN117095217A (zh) 多阶段对比知识蒸馏方法
JP2002032760A (ja) 動物体抽出方法および装置
CN106570911B (zh) 一种基于daisy描述子的脸部卡通画合成方法
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
CN117237386A (zh) 对目标对象进行结构化处理的方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant