CN108805987A - 基于深度学习的混合跟踪方法及装置 - Google Patents
基于深度学习的混合跟踪方法及装置 Download PDFInfo
- Publication number
- CN108805987A CN108805987A CN201810491310.6A CN201810491310A CN108805987A CN 108805987 A CN108805987 A CN 108805987A CN 201810491310 A CN201810491310 A CN 201810491310A CN 108805987 A CN108805987 A CN 108805987A
- Authority
- CN
- China
- Prior art keywords
- deep learning
- camera
- tracking method
- combined tracking
- inertia
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013135 deep learning Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 230000003190 augmentative effect Effects 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims abstract description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 abstract description 7
- 230000004807 localization Effects 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000005267 amalgamation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及增强现实技术领域，具体涉及一种基于深度学习的混合跟踪方法及装置。旨在解决在快速运动或在纹理较弱的环境下相机跟踪定位精度低、鲁棒性差的问题，本方法应用于增强现实系统，包括：采用视觉‑惯性对齐方法对惯性传感器进行在线初始标定，确定系统的初始状态；初始化完成后，获取输入图像，使用深度学习网络获取输入特征图；基于模板特征图和输入特征图，使用Lucas‑Kanade光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；根据相机位姿以及实时的惯性测量数据，使用视觉‑惯性自适应融合的方法确定相机最终位姿。本发明提高了在快速运动或在纹理较弱的环境下相机跟踪定位的精度、鲁棒性以及实时性。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种基于深度学习 的混合跟踪方法及装置。
背景技术
增强现实(Augmented Reality,AR)是一种能够增强人们视 觉感知的技术，其通过跟踪相机的位置和姿态，将文字、图片、视频、 三维模型等虚拟物体实时注册到真实场景恰当位置处，通过虚实融合使 得虚拟物体与真实场景之间具有正确的明暗、阴影等光照匹配关系，让 用户从感官上确信虚拟物体是其周围场景的组成部分。增强现实技术在 科普教育、文化旅游、医疗卫生、工业维修等行业具有广泛的应用前景。
完整的增强现实系统由跟踪定位、虚实融合、人机交互和系 统显示等子系统构成，其中跟踪定位是增强现实系统的关键技术，决定 了其质量和性能，直接影响用户的体验。当前跟踪定位技术的不足主要 体现在：特征提取方法在快速运动、弱纹理环境下会失效，导致跟踪丢 失；光流法需要处理的数据量较大、实时性差，大多要求设备缓慢运动， 确保获得的深度图像清晰；基于IMU的方法受噪声影响较大，累积误差大。 由于跟踪定位精度低、鲁棒性弱、实时性差，导致叠加虚拟物体时会出 现错误的遮挡关系，严重限制了增强现实技术的应用领域和范围。
发明内容
为了解决现有技术中的上述问题，即为了解决在快速运动或 纹理较弱的环境下相机跟踪定位精度低、鲁棒性弱、实时性差的问题， 本发明的一方面提出了一种基于深度学习的混合跟踪方法，应用于增强 现实系统，包括：
步骤1：系统初始化时，采用视觉-惯性对齐方法对惯性传感 器进行在线标定，并确定系统的初始状态；
步骤2：系统初始化完成后，获取输入图像，使用深度学习 方法对该输入图像进行处理得到输入特征图；
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade 光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；
步骤4：根据步骤3计算得出的相机位置和姿态以及实时的惯 性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿；
其中，步骤2中所述模板特征图为系统初始化后第一张图像 通过所述深度学习方法提取的图像特征图。
步骤2所述深度学习方法为全卷积神经网络，且每个卷积层 后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
进一步地，步骤1所述在线标定时，据根据图像采样间隔进 行线性插值的方法获取惯性传感器数。
进一步地，步骤1所述系统的初始状态，包括在世界坐标系 下的重力向量、在各个局部相机坐标系下的系统速度及相机测量的尺度 参数，从而确定系统的初始状态。
进一步地，步骤3中所述Lucas-Kanade光流法为逆向组合法， 在该步骤中只需计算一次输入图像的单应性矩阵。
本发明的另一方面，提出了一种存储装置，其中存储有多条 程序，所述程序适于由处理器加载并执行以实现上述的基于深度学习的 混合跟踪方法。
本发明的第三方面，提出了一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现上述的基于深度 学习的混合跟踪方法。
本发明以相机图像和惯性传感器数据作为输入，通过深度学 习算法提取特征图，并使用Lucas-Kanade光流法计算当前相机位姿，最后 使用视觉-惯性自适应融合方法确定相机最终位姿，提高了在快速运动或 在纹理较弱的环境下相机跟踪定位的精度、鲁棒性以及实时性。
附图说明
图1是本发明一个实施例的基于深度学习的混合跟踪方法的 流程示意图；
图2是本发明一个实施例的视觉-惯性自适应融合系统因子 图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人 员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非 旨在限制本发明的保护范围。
本发明提出的基于深度学习的混合跟踪方法，应用于增强现 实系统，如图1所示，包括：
步骤1：系统初始化时，采用视觉-惯性对齐方法对惯性传感 器进行在线标定，并确定系统的初始状态；
步骤2：系统初始化完成后，获取输入图像，使用深度学习 网络对该输入图像进行处理得到输入特征图；
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade 光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；
步骤4：根据步骤3计算得出的相机位置和姿态以及实时的惯 性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿。
所述深度学习网络为全卷积神经网络，且每个卷积层后包含 一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
所述模板特征图为系统初始化后第一张图像通过所述深度 学习网络提取的图像特征图。
为了更详细的对本发明技术方案进行描述，下面通过4个步 骤进行详细说明。
步骤1：系统初始化时，采用视觉-惯性对齐方法对惯性传感 器进行在线标定，并确定系统的初始状态。
惯性传感器的在线标定用于确定系统的初始状态，主要依赖 于视觉方法计算得出的两个图像帧的相对位移和旋转。初始化时通过视 觉方法初始化成功得到相对位姿后，执行视觉-惯性对齐操作，可以得到 在世界坐标系下的重力向量，在各个局部相机坐标系下的系统速度及相 机测量的尺度参数，从而确定系统的初始状态。在本发明的一个实施例中，惯性传感器数据将根据图像采样间隔进行线性插值获取。
步骤2：系统初始化完成后，获取输入图像，使用深度学习 网络对该输入图像进行处理得到输入特征图。
所述深度学习网络为用于生成图像特征图的卷积神经网络， 该卷积神经网络为全连接卷积神经网络，其输入层包括256*256个单元， 每个卷积层后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
本实施例中的卷积神经网络的损失函数可以采用互熵损失 函数，具体如公式(1)所示：
其中，xk为模板图像的像素坐标，zk为模板图像映射到输入 图像后的坐标，d为模板图像中的像素数量。
关于学习速率和迭代次数可根据具体情况而定，此处不做特 定设置。
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade 光流法计算输入图像的单应性矩阵，并使用SVD(Singular Value Decomposition)方法计算相机位姿。该步骤中Lucas-Kanade光流法为逆向 组合法，只需计算一次输入图像的单应性矩阵
定义x1...xk...xN为模板图像中的像素坐标，且xk＝[xk，yk]， 输入图像的单应性矩阵采用八参数的单应性矩阵，即p＝(p1，…p8)T，在 本实施例中，其3x3矩阵可以表示为式(2)
图像校正函数W(xk；p)是模板图像坐标为xk的像素经过单 应性矩阵p变换后，在输入图像中的像素坐标，其定义如式(3)所示：
计算残差向量r，如式(4)所示：
其中，FT(xk)为模板图像中xk像素处的图像亮度， FI(W(x1；p))为输入图像中W(xk；p)像素处的图像亮度。
计算单应性矩阵变化量Δp，如式(5)所示：
Δp＝(JTJ)-1JTr (5)
其中为图像的雅可比矩阵，这里 为模板图像在xk处的梯度，为图像校正函数在p为0时的 雅可比矩阵。
定义Δp相应的单应性矩阵为HΔ，则
即可得到更新后输入图像的单应性矩阵，应用SVD分解方法 即可得到相应的相机位姿。
步骤4：根据步骤3计算得出的相机位姿以及实时的惯性测量 数据，使用视觉-惯性自适应融合的方法确定相机最终位姿。具体地，采 用了基于优化的方式进行求解，其中参数可根据系统运行状况自适应调 整。
系统的变量有三种：相机的位姿变量xn、场景的三维点位置 ln和相机的内部参数K。影响三中变量的因子有四种：先验因子q、量程 因子un(图2中的u1、u2)、闭环因子cn(图2种的c1、c2)、相机观测 因子vn(图2中的v1--v4)。假定系统T时刻的状态Ft如公式(6)所示:
Ft＝{f1…ft，l1…ln，K} (6)
其中，f1…ft表示相机各个时刻的位姿参数，l1…ln表示识别 出的场景特征点的三维坐标，K表示相机内部参数。因子图中量程因子u连 接相邻的两个相机位姿，由惯性数据计算得到(惯性信息计算相机的相 对运动)，测量模型表示为公式(7)：
其中，hu(·)为运动模型，表示第i时刻相机位姿与第i+1时刻 相机位姿之间的关系，由于测量误差的存在，假定误差服从高斯分布， 记为∈u，矩阵形式为Ωu，符号表示将误差应用于测量模型中的各个分量。
闭环因子c连接的是具有闭环关系的两个相机位姿变量，与 量程因子类似，闭环测量模型表示为公式(8)：
其中，hc(·)为闭环模型，表示第i时刻的相机位姿与第j时刻 的相机位姿相近，假定闭环模型测量误差矩阵形式为∈c，矩阵形式为Ωc。
相机观测因子v连接了相机内参，相机位姿和三维特征点的 位置参数。尽管相机内参可以提前标定，但这里我们作为一个变量进行 优化，因为内参标定存在误差，实际使用中也会受到温度等因素的影响 而变化。相机观测模型表示为公式(9)：
其中hv(·)为相机观测模型，与i时刻相机位姿，场景三维点 坐标及相机内参有关，假定测量误差为∈v，矩阵形式为Ωc。
先验因子q是对系统相机初始位姿状态的先验，不仅仅是在 系统初始化进行，在系统运行中，由于计算能力的限制，随着时间的累 计，不可能实时对所有时刻的数据进行处理，需要按需选择适当的数据 量进行处理，因而，定义先验因子可以某一时刻的测量值作为新的测量 的开始，提升系统的鲁棒性。先验测量模型zq表示为公式(10)：
其中测量误差为∈q，矩阵形式为Ωq。
综合上述信息，系统T时刻的优化方程如公式(11)所示:
其中，Q分别表示测量因子、闭环因子、相机测量因子 的变量集合域。ωu，ωv分别为IMU和相机观测的自适应调整参数，根据系 统运行状况调整IMU与相机的影响权重。权重采用VINS-Mono系统紧耦合 的方式，由惯性测量与相机测量的互协方差确定。
结合本文中所公开的实施例描述的方法或算法的步骤可以 用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可 以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、 电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领 域内所公知的任意其它形式的存储介质中。
本发明实施例的一种存储装置，其中存储有多条程序，所述 程序适于由处理器加载并执行以实现上述的基于深度学习的混合跟踪方 法。
本发明实施例的一种处理装置，包括处理器、存储设备；处 理器，适于执行各条程序；存储设备，适于存储多条程序；所述程序适 于由处理器加载并执行以实现上述的基于深度学习的混合跟踪方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便 和简洁，上述描述的存储装置、处理装置的关说明，可以参考前述方法 实施例中的对应内容，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施 例描述的各示例的模块、单元及方法步骤，能够以电子硬件、计算机软 件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性， 在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些 功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方 法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包 含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还 包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要 素。
至此，已经结合附图所示的优选实施方式描述了本发明的技 术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然 不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域 技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换 之后的技术方案都将落入本发明的保护范围之内。
Claims (7)
1.一种基于深度学习的混合跟踪方法，应用于增强现实系统，其特征在于，包括：
步骤1：系统初始化时，采用视觉-惯性对齐方法对惯性传感器进行在线标定，并确定系统的初始状态；
步骤2：系统初始化完成后，获取输入图像，使用深度学习网络对该输入图像进行处理得到输入特征图；
步骤3：基于模板特征图和输入特征图，使用Lucas-Kanade光流法计算输入图像的单应性矩阵，并使用SVD方法计算相机位姿；
步骤4：根据步骤3计算得出的相机位置和姿态以及实时的惯性测量数据，使用视觉-惯性自适应融合的方法确定相机最终位姿；
其中，
所述模板特征图为系统初始化后第一张图像通过所述深度学习网络提取的图像特征图。
2.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，所述深度学习网络为全卷积神经网络，且每个卷积层后包含一个ReLU单元和批标准化单元，其中滤波器大小为5*5。
3.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，所述步骤1在线标定时，据根据图像采样间隔进行线性插值的方法获取惯性传感器数。
4.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，所述步骤1中系统的初始状态，包括在世界坐标系下的重力向量、在各个局部相机坐标系下的系统速度及相机测量的尺度参数。
5.根据权利要求1所述的基于深度学习的混合跟踪方法，其特征在于，步骤3中所述Lucas-Kanade光流法为逆向组合法，在该步骤中只需计算一次输入图像的单应性矩阵。
6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-5任一项所述的基于深度学习的混合跟踪方法。
7.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-5任一项所述的基于深度学习的混合跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810491310.6A CN108805987B (zh) | 2018-05-21 | 2018-05-21 | 基于深度学习的混合跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810491310.6A CN108805987B (zh) | 2018-05-21 | 2018-05-21 | 基于深度学习的混合跟踪方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805987A true CN108805987A (zh) | 2018-11-13 |
| CN108805987B CN108805987B (zh) | 2021-03-12 |
Family
ID=64091285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810491310.6A Active CN108805987B (zh) | 2018-05-21 | 2018-05-21 | 基于深度学习的混合跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805987B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109798891A (zh) * | 2019-01-25 | 2019-05-24 | 上海交通大学 | 基于高精度动作捕捉系统的惯性测量单元标定系统 |
| CN110473258A (zh) * | 2019-07-24 | 2019-11-19 | 西北工业大学 | 基于点线统一框架的单目slam系统初始化算法 |
| CN110503684A (zh) * | 2019-08-09 | 2019-11-26 | 北京影谱科技股份有限公司 | 相机位姿估计方法和装置 |
| CN111383282A (zh) * | 2018-12-29 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 位姿信息确定方法及装置 |
| CN111696133A (zh) * | 2020-05-28 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及系统 |
| CN112613526A (zh) * | 2020-12-17 | 2021-04-06 | 厦门大学 | 一种基于光流跟踪的特征匹配算法及系统 |
| CN113632135A (zh) * | 2019-04-30 | 2021-11-09 | 三星电子株式会社 | 用于低延迟、高性能位姿融合的系统和方法 |
| WO2024063589A1 (en) * | 2022-09-23 | 2024-03-28 | Samsung Electronics Co., Ltd. | System and method for intelligent user localization in metaverse |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
| CN106780631A (zh) * | 2017-01-11 | 2017-05-31 | 山东大学 | 一种基于深度学习的机器人闭环检测方法 |
-
2018
- 2018-05-21 CN CN201810491310.6A patent/CN108805987B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406338A (zh) * | 2016-04-14 | 2017-02-15 | 中山大学 | 一种基于激光测距仪的全向移动机器人的自主导航装置及其方法 |
| CN105931275A (zh) * | 2016-05-23 | 2016-09-07 | 北京暴风魔镜科技有限公司 | 基于移动端单目和imu融合的稳定运动跟踪方法和装置 |
| CN106780631A (zh) * | 2017-01-11 | 2017-05-31 | 山东大学 | 一种基于深度学习的机器人闭环检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| GABRIELE COSTANTE ; MICHELE MANCINI ; PAOLO VALIGI ; THOMAS A. C: "Exploring Representation Learning With CNNs for Frame-to-Frame Ego-Motion Estimation", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 * |
| ZHENFEI YANG等: "Monocular Visual–Inertial State Estimation With Online", 《IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING》 * |
| 一索哥传奇: "VINS-Mono中的VIO紧耦合方案", 《WWW.ZHEHANGT.WIN》 * |
| 徐伟杰: "基于视觉的微小型无人直升机位姿估计与目标跟踪研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383282A (zh) * | 2018-12-29 | 2020-07-07 | 杭州海康威视数字技术股份有限公司 | 位姿信息确定方法及装置 |
| CN111383282B (zh) * | 2018-12-29 | 2023-12-01 | 杭州海康威视数字技术股份有限公司 | 位姿信息确定方法及装置 |
| CN109798891A (zh) * | 2019-01-25 | 2019-05-24 | 上海交通大学 | 基于高精度动作捕捉系统的惯性测量单元标定系统 |
| CN113632135A (zh) * | 2019-04-30 | 2021-11-09 | 三星电子株式会社 | 用于低延迟、高性能位姿融合的系统和方法 |
| CN110473258A (zh) * | 2019-07-24 | 2019-11-19 | 西北工业大学 | 基于点线统一框架的单目slam系统初始化算法 |
| CN110473258B (zh) * | 2019-07-24 | 2022-05-13 | 西北工业大学 | 基于点线统一框架的单目slam系统初始化算法 |
| CN110503684A (zh) * | 2019-08-09 | 2019-11-26 | 北京影谱科技股份有限公司 | 相机位姿估计方法和装置 |
| CN111696133A (zh) * | 2020-05-28 | 2020-09-22 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及系统 |
| CN111696133B (zh) * | 2020-05-28 | 2022-09-30 | 武汉中海庭数据技术有限公司 | 一种实时目标跟踪方法及系统 |
| CN112613526A (zh) * | 2020-12-17 | 2021-04-06 | 厦门大学 | 一种基于光流跟踪的特征匹配算法及系统 |
| CN112613526B (zh) * | 2020-12-17 | 2023-09-15 | 厦门大学 | 一种基于光流跟踪的特征匹配方法及系统 |
| WO2024063589A1 (en) * | 2022-09-23 | 2024-03-28 | Samsung Electronics Co., Ltd. | System and method for intelligent user localization in metaverse |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805987B (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805987A (zh) | 基于深度学习的混合跟踪方法及装置 | |
| CN106679648B (zh) | 一种基于遗传算法的视觉惯性组合的slam方法 | |
| CN108062776B (zh) | 相机姿态跟踪方法和装置 | |
| CN108492316A (zh) | 一种终端的定位方法和装置 | |
| CN108460338A (zh) | 人体姿态估计方法和装置、电子设备、存储介质、程序 | |
| CN109671120A (zh) | 一种基于轮式编码器的单目slam初始化方法及系统 | |
| CN108982901B (zh) | 一种匀速旋转体的转速测量方法 | |
| CN113705521A (zh) | 一种结合YOLO-MobilenetV3人脸检测的头部姿态估计方法 | |
| CN111968165B (zh) | 动态人体三维模型补全方法、装置、设备和介质 | |
| CN110675453B (zh) | 一种已知场景中运动目标的自定位方法 | |
| CN109636854A (zh) | 一种基于line-mod模板匹配的增强现实三维跟踪注册方法 | |
| CN111626159A (zh) | 一种基于注意力残差模块和支路融合的人体关键点检测方法 | |
| CN108876799A (zh) | 一种基于双目相机的实时台阶检测方法 | |
| CN110456904B (zh) | 一种无需标定的增强现实眼镜眼动交互方法及系统 | |
| CN113011401B (zh) | 人脸图像姿态估计和校正方法、系统、介质及电子设备 | |
| CN108182695A (zh) | 目标跟踪模型训练方法及装置、电子设备和存储介质 | |
| CN105224935A (zh) | 一种基于Android平台的实时人脸关键点定位方法 | |
| CN114529605A (zh) | 一种基于多视图融合的人体三维姿态估计方法 | |
| CN108053445A (zh) | 特征融合的rgb-d相机运动估计方法 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN108537214A (zh) | 一种室内语义地图的自动化构建方法 | |
| CN107527366A (zh) | 一种面向深度相机的相机跟踪方法 | |
| CN106462738A (zh) | 用于构建个人的面部的模型的方法、用于使用这样的模型分析姿态的方法和设备 | |
| CN109978919A (zh) | 一种基于单目相机的车辆定位方法及系统 | |
| CN113160313A (zh) | 一种透明物体抓取控制方法、装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |