CN118135159B - 面向虚实协同训练的增强现实三维注册方法、装置及设备 - Google Patents
面向虚实协同训练的增强现实三维注册方法、装置及设备 Download PDFInfo
- Publication number
- CN118135159B CN118135159B CN202410549646.9A CN202410549646A CN118135159B CN 118135159 B CN118135159 B CN 118135159B CN 202410549646 A CN202410549646 A CN 202410549646A CN 118135159 B CN118135159 B CN 118135159B
- Authority
- CN
- China
- Prior art keywords
- camera pose
- pose
- frame
- camera
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 102
- 238000005457 optimization Methods 0.000 claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000006243 chemical reaction Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 40
- 230000005764 inhibitory process Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 11
- 230000003068 static effect Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 239000003550 marker Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000004576 sand Substances 0.000 description 5
- 230000001629 suppression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种面向虚实协同训练的增强现实三维注册方法、装置及设备。所述方法包括：利用相机获取间隔帧图像；构建训练场地工事目标先验知识；根据先验知识获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，得到第一相机位姿；根据改进ORB算法对间隔帧图像进行特征匹配，对自然特征点进行对极几何计算，得到第二相机位姿；根据第二相机位姿对第一相机位姿进行误差优化，利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿；根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标。采用本方法能够提高三维注册准确度和稳定性。
Description
技术领域
本申请涉及数据处理技术领域，特别是涉及一种面向虚实协同训练的增强现实三维注册方法、装置及设备。
背景技术
近几十年来，增强现实技术一直处于飞速发展阶段，越来越多的领域通过结合增强现实将虚拟世界和真实世界链接起来，达到了超越现实的感官体验。如何有效的提高增强现实系统中虚实融合的效果一直是相关人员研究的重点方向。而这其中，三维注册则是最为重要且基础的问题之一，对于一个增强现实相关的系统来说，其研究核心就在于如何实时、准确又稳定的获取当前相机以及虚拟物体在真实环境中的位姿信息。三维注册方法主要可分为基于硬件的三维注册方法以及基于视觉的三维注册方法，其中基于视觉的三维注册方法又分为基于标记的三维注册方法和基于自然特征的三维注册方法，而结合虚实协同训练领域，以上方法并不能完全解决例如重复纹理、位姿变化快等问题，注册准确度较低，稳定性上也存在一定缺陷。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高三维注册准确度和稳定性的面向虚实协同训练的增强现实三维注册方法、装置及设备。
一种面向虚实协同训练的增强现实三维注册方法，所述方法包括：
利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；训练场地工事目标先验知识包括人工标识唯一ID和字典；
根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，得到第一相机位姿；
根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点；对自然特征点进行对极几何计算，得到第二相机位姿；根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果；
利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿；
根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册。
在其中一个实施例中，根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识，包括：
根据虚实协同训练科目以及训练场地真实环境确定人工标志唯一ID与虚拟模型及真实物体之间的对应关系，形成字典；
利用虚实协同训练科目流程布置人工标志物，依托静态物体和动态物体在训练流程中的数据信息和字典组成训练场地工事目标先验知识。
在其中一个实施例中，根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点，包括：
根据FAST算法对间隔帧图像进行特征提取，得到初始特征点；
对初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点；
根据rBRIEF算法计算候选特征点的特征描述子和待匹配图像的特征点的特征描述子，通过BF特征匹配方法将候选特征点和待匹配的图像的特征点进行匹配，使用候选特征点的特征描述子与待匹配图像的特征点的特征描述子进行匹配，匹配的时候计算两个描述子之间的相似度，然后返回相似度最高的一对匹配特征点，再通过RANSAC算法进行错误匹配进行消除，得到自然特征点。
在其中一个实施例中，对初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点，包括：
对初始特征点进行非极大值抑制处理，构建非极大值抑制处理的特征点对应的黑塞矩阵，若非极大值抑制处理的特征点对应的黑塞矩阵在以自身为中心的3×3像素区域中取得局部最大值，将非极大值抑制处理的特征点对应的黑塞矩阵保留，再将保留的非极大值抑制处理的特征点对应的黑塞矩阵分别与局部最大值作差，然后对差值累计求和，求和结果若大于预先定义的阙值，就将黑塞矩阵保留，否则将黑塞矩阵舍弃，保留的黑塞矩阵对应的特征点为候选特征点。
在其中一个实施例中，根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果，包括：
对第一相机位姿对应的图像帧进行判断，若为相机拍摄的第一帧，则将第一相机位姿作为误差优化结果输出；
对第一相机位姿对应的图像帧进行判断，若为奇数帧，通过改进ORB算法匹配第帧和第帧图像之间的特征点，得到本质矩阵，然后将本质矩阵分解得到旋转矩阵R以及平移向量T，通过第帧的相机姿态计算第帧的相机姿态，并将第帧的相机姿态与solvePnP函数所解算出来的第一相机位姿做对比，预先设定误差阙值，当误差在阙值之内，则第帧的结果为正确结果，反之，用帧的结果经过转换作为第帧的正确结果，正确结果作为下一帧的误差优化结果输出；若为奇数帧，则将第一相机位姿作为误差优化结果输出。
在其中一个实施例中，利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿，包括：
将误差优化结果作为相机位姿初值，然后以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题，对最小二乘问题进行迭代求解，在每一次迭代中求出当前的相机位姿误差与雅可比矩阵，根据相机位姿误差和雅可比矩阵构建位姿增量方程为
；
其中，表示雅可比矩阵，表示相机位姿，表示相机位姿误差，表示转置运算；
利用预先设置的误差阈值与当前的相机位姿误差进行比较，若当前的相机位姿误差小于预先设置的误差阈值，则停止迭代运算，将最小二乘问题的当前解作为最终相机位姿，若当前的相机位姿误差不小于预先设置的误差阈值，则将最小二乘问题的当前解加上位姿增量后更新相机位姿继续进行求解。
在其中一个实施例中，以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题，包括：
以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题为
；
其中，K代表的是摄像机的内参矩阵，表示相机位姿的李代数，表示相机位姿初值的空间坐标，表示相机位姿初值投影在像素平面的坐标，表示坐标转换式。
在其中一个实施例中，根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册，包括：
根据坐标系转换将最终相机位姿转换为世界坐标系下的转换矩阵，从世界坐标系下的转换矩阵中获取待注册虚拟物体的最终三维坐标，再结合训练场地工事目标先验知识中的位姿偏移量得到待注册虚拟物体真实位姿完成三维注册；
根据坐标系转换将最终相机位姿转换为世界坐标系下的转换矩阵为
；
其中，表示最终相机位姿的转换矩阵，为Unity中自带的属性给出的从摄像机的局部坐标系到世界坐标系的变换矩阵，为取反后的y轴数据矩阵，为取反后的轴数据矩阵。
一种面向虚实协同训练的增强现实三维注册装置，所述装置包括：
先验知识构建模块，用于利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；训练场地工事目标先验知识包括人工标识唯一ID和字典；
位姿解算模块，用于根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，得到第一相机位姿；
位姿优化模块，用于根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点；对自然特征点进行对极几何计算，得到第二相机位姿；根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果；
三维注册模块，用于利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿；根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；训练场地工事目标先验知识包括人工标识唯一ID和字典；
根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，得到第一相机位姿；
根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点；对自然特征点进行对极几何计算，得到第二相机位姿；根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果；
利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿；
根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册。
上述面向虚实协同训练的增强现实三维注册方法、装置及设备，本申请通过构建训练场地工事目标先验知识，将人工标识唯一ID和虚拟物体一一对应组成字典库，布置训练场地空间场景先验知识，根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，相较于自然特征注册效率更高，更易获取待注册物体；利用改进ORB算法对间隔帧图像进行特征匹配并通过对极几何解算位姿方法，通过间隔帧两幅图像之间使用改进ORB算法进行特征匹配，获取最优的匹配点对，然后通过对极几何问题解算出当前帧的相机位姿；利用自然特征点解算出来的相机位姿结果优化人工标志物解算出来的位姿误差结果，可以在人工标志物效率高的基础上通过自然特征解算出来的相机位姿进行误差优化，从而降低人工标志物因环境噪声带来的误差；对误差优化结果使用高斯牛顿法进行再优化方法，通过高斯牛顿对上述优化后的相机位姿数据进行再优化，从而进一步降低误差，得到最优的相机位姿数据；结合先验知识解算出待注册物体最终位姿数据，通过坐标系转换结合相机位姿、摄像机内参等获取待注册物体的三维坐标，并通过预先设置的先验知识获取最终三维坐标，并赋值给待注册虚拟物体，完成注册，能够大大提高注册准确率和稳定性。
附图说明
图1为一个实施例中一种面向虚实协同训练的增强现实三维注册方法的流程图；
图2为一个实施例中改进ORB算法流程图；
图3为一个实施例中根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果的示意图；
图4为一个实施例中高斯牛顿优化过程的示意图；
图5为一个实施例中一种面向虚实协同训练的增强现实三维注册装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种面向虚实协同训练的增强现实三维注册方法，包括以下步骤：
步骤102，利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；训练场地工事目标先验知识包括人工标识唯一ID和字典。
本申请可以应用于消防训练领域，空间先验知识包含训练流程中所涉及的静态物体和动态物体，在本申请中，地面的沙袋以及固定工事等为所需的静态物体，训练所处环境例如地面、建筑等都为不会发生移动的静态物体，在训练流程中所涉及到的各种可移动工事如铁丝网、木箱、拒马、油桶等属于动态物体。在训练过程中，所注册到训练环境中的各类工事模型与真实物体尺寸一致。
在训练过程中，所用到的工事以及使用方法由科目以及流程确定，工事最终会经过布置后变成静态物体，其位姿最终会固定下来，结合三维注册，整个空间的所有物体最终生成一个明确的空间先验知识，从而用于三维注册。
流程先验知识主要为通过训练流程中的步骤信息从而实现对相应的场景状态的认知，受训人员在训练过程中挪动工事以及自身位姿改变（相机位姿）都对当前帧虚实融合效果存在关联，即当前帧是否需要处理相关遮挡或者当前帧相关物体位姿改变等问题。例如在室内训练中需要依托走廊布置沙袋工事实现区域封锁，需要受训员工通过填充沙石的沙袋垒放制造火力掩体，在堆叠过程中不需要处理遮挡逻辑，而根据训练流程推进在完成堆叠后识别沙袋上的人工标记并实现三维注册。
步骤104，根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，得到第一相机位姿。
本申请使用solvePnP函数，其包含三种解法：P3P，EPnP以及迭代法，因为人工标志物可以提供四个角点，所以本申请使用P3P方法对相机位姿进行解算，给定4个点对几何关系，其中3对作为输入，1对用来验证结果。
步骤106，根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点；对自然特征点进行对极几何计算，得到第二相机位姿；根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果。
针对虚实协调训练场景存在重复纹理以及弱纹理等特殊性，本申请除了人工标志物置信度置为最高这一解决方法外，还需要对ORB算法进行改进使得可以将其在虚实协调训练场景以及其他类似较为复杂场景中拥有更好的匹配准确率，从而可以用于优化相机位姿。在ORB算法中，特征点提取这一步是通过FAST算法提取得到的，虽然很多方法已经解决了尺度不变性以及旋转不变性的问题，但是提取出来的FAST特征点并不都是一些跟踪性较好的特征点，会有很多边缘以及局部的非极大值点，这些特征点极易造成误匹配，所以可以在FAST特征提取之后对其进行非极大值抑制处理，然后构建黑塞矩阵对已经提取出来的特征点进行再提取，从而选取出具有更好自适应性、追踪性以及稳定性的特征点。
具体方法为，对极大值抑制之后的自然特征点P，可以构建其对应的，若该在以其为中心的3×3像素区域中取得局部最大值，可以将其保留，反之将该特征点舍弃，具体的判断表达式为：
；
若特征点P满足上式，则继续对其进行判断，将其分别与作差，然后对差值累计求和，求和结果若大于预先定义的阙值，就将其保留，否则将其舍弃，具体的表达式为：
；
其中，为预先设定的阙值。
筛选完特征点之后，通过rBRIEF算法去计算特征描述符，然后就需要对帧图像和待筛选图像的特征点进行匹配。ORB算法使用汉明距离作为特征点匹配标准，通过BF（Brute-Force）暴力特征匹配方法，其原理是通过枚举的方式进行特征匹配，既使用第一张图像中的每个特征的描述子与第二组中的所有特征描述子进行匹配，匹配的时候计算两个描述子之间的相似度，然后返回相似度最高的一对匹配特征点，这种方法精度较高，但是还是会有一定的错误匹配，所以可以通过RANSAC算法进行错误匹配消除，其利用匹配点去计算这两个图像之间的单应矩阵，然后利用重投影误差去判断其中的某个匹配是否为正确的匹配。整体流程如图2所示。对极几何是在两个相机位置产生的两幅图像之间存在的一种特殊几何关系，是求解两帧间相机姿态的基本模型。
步骤108，利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿；根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册。
对误差优化结果使用高斯牛顿法进行再优化方法，通过高斯牛顿对上述优化后的相机位姿数据进行再优化，从而进一步降低误差，得到最优的相机位姿数据；结合先验知识解算出待注册物体最终位姿数据，通过坐标系转换结合相机位姿、摄像机内参等获取待注册物体的三维坐标，并通过预先设置的先验知识获取最终三维坐标，并赋值给待注册虚拟物体，完成注册。
上述面向虚实协同训练的增强现实三维注册方法中，本申请通过构建训练场地工事目标先验知识，将人工标识唯一ID和虚拟物体一一对应组成字典库，布置训练场地空间场景先验知识，根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，相较于自然特征注册效率更高，更易获取待注册物体；利用改进ORB算法对间隔帧图像进行特征匹配并通过对极几何解算位姿方法，通过间隔帧两幅图像之间使用改进ORB算法进行特征匹配，获取最优的匹配点对，然后通过对极几何问题解算出当前帧的相机位姿；利用自然特征点解算出来的相机位姿结果优化人工标志物解算出来的位姿误差结果，可以在人工标志物效率高的基础上通过自然特征解算出来的相机位姿进行误差优化，从而降低人工标志物因环境噪声带来的误差；对误差优化结果使用高斯牛顿法进行再优化方法，通过高斯牛顿对上述优化后的相机位姿数据进行再优化，从而进一步降低误差，得到最优的相机位姿数据；结合先验知识解算出待注册物体最终位姿数据，通过坐标系转换结合相机位姿、摄像机内参等获取待注册物体的三维坐标，并通过预先设置的先验知识获取最终三维坐标，并赋值给待注册虚拟物体，完成注册，能够大大提高注册准确率和稳定性。
在其中一个实施例中，根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识，包括：
根据虚实协同训练科目以及训练场地真实环境确定人工标志唯一ID与虚拟模型及真实物体之间的对应关系，形成字典；
利用虚实协同训练科目流程布置人工标志物，依托静态物体和动态物体在训练流程中的数据信息和字典组成训练场地工事目标先验知识。
在其中一个实施例中，根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点，包括：
根据FAST算法对间隔帧图像进行特征提取，得到初始特征点；
对初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点；
根据rBRIEF算法计算候选特征点的特征描述子和待匹配图像的特征点的特征描述子，通过BF特征匹配方法将候选特征点和待匹配的图像的特征点进行匹配，使用候选特征点的特征描述子与待匹配图像的特征点的特征描述子进行匹配，匹配的时候计算两个描述子之间的相似度，然后返回相似度最高的一对匹配特征点，再通过RANSAC算法进行错误匹配进行消除，得到自然特征点。
在其中一个实施例中，对初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点，包括：
对初始特征点进行非极大值抑制处理，构建非极大值抑制处理的特征点对应的黑塞矩阵，若非极大值抑制处理的特征点对应的黑塞矩阵在以自身为中心的3×3像素区域中取得局部最大值，将非极大值抑制处理的特征点对应的黑塞矩阵保留，再将保留的非极大值抑制处理的特征点对应的黑塞矩阵分别与局部最大值作差，然后对差值累计求和，求和结果若大于预先定义的阙值，就将黑塞矩阵保留，否则将黑塞矩阵舍弃，保留的黑塞矩阵对应的特征点为候选特征点。
在其中一个实施例中，根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果，包括：
如图3所示，对第一相机位姿对应的图像帧进行判断，若为相机拍摄的第一帧，则将第一相机位姿作为误差优化结果输出；
对第一相机位姿对应的图像帧进行判断，若为奇数帧，通过改进ORB算法匹配第帧和第帧图像之间的特征点，得到本质矩阵，然后将本质矩阵分解得到旋转矩阵R以及平移向量T，通过第帧的相机姿态计算第帧的相机姿态，并将第帧的相机姿态与solvePnP函数所解算出来的第一相机位姿做对比，预先设定误差阙值，当误差在阙值之内，则第帧的结果为正确结果，反之，用帧的结果经过转换作为第帧的正确结果，正确结果作为下一帧的误差优化结果输出；若为奇数帧，则将第一相机位姿作为误差优化结果输出。
在其中一个实施例中，利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿，包括：
将误差优化结果作为相机位姿初值，然后以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题，对最小二乘问题进行迭代求解，在每一次迭代中求出当前的相机位姿误差与雅可比矩阵，根据相机位姿误差和雅可比矩阵建位姿增量方程为
；
其中，表示雅可比矩阵，表示相机位姿，表示相机位姿误差，表示转置运算；
利用预先设置的误差阈值与当前的相机位姿误差进行比较，若当前的相机位姿误差小于预先设置的误差阈值，则停止迭代运算，将最小二乘问题的当前解作为最终相机位姿，若当前的相机位姿误差不小于预先设置的误差阈值，则将最小二乘问题的当前解加上位姿增量后更新相机位姿继续进行求解。
在其中一个实施例中，以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题，包括：
以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题为
；
其中，K代表的是摄像机的内参矩阵，表示相机位姿的李代数，表示相机位姿初值的空间坐标，表示相机位姿初值投影在像素平面的坐标，表示坐标转换式。
在具体实施例中，本申请通过改进ORB算法从图像中提取出来的ORB特征点作为观测点，通过非线性优化求出最优值，使得误差最小化。根据误差优化结果的相机位姿数据结合图像特征点世界坐标求解像素坐标估计值。
假设某空间点坐标为，其投影在像素平面的坐标为,可得知两者之间的转换公式为：
；
其中，K代表的是摄像机的内参矩阵，为摄像机的位姿参数；
记相机位姿的李代数为，所以转换公式为：
；
由于存在观测点噪声等误差，所以该式可转换为：
；
所以，可以通过误差求和的方式，将相机位姿优化问题转换成一个构建最小二乘问题，使得误差最小化；
；
可以对其进行线性化操作，计算其关于优化变量的导数：
；
其中，e为二维平面上的像素坐标误差，是6自由度的相机位姿，所以J为2×6的矩阵。记为相机坐标系下的三维坐标点，可得，对其进行展开可得：
；
对Z进行消除可得：
；
对左乘，为扰动量，考虑e关于扰动量的导数，所以基于链式法则，可得：
；
其中，为李代数上的左乘扰动，设扰动项的李代数为，可得：
；
其中，第二项为变换后的点关于李代数的导数；
；
在的定义中只取用了前三维，所以可得：
；
将这两项相乘可得雅可比矩阵：
。
如图4所示，为高斯牛顿优化过程，将误差优化结果作为相机位姿初值，然后在每一次迭代中求出当前的相机位姿误差与J，然后结合图像特征点的二维图像坐标求解增量方程：，当增量小于预先设置的阈值则停止运算输出当前相机位姿作为最终相机位姿，反之，将当前的相机位姿加上增量，令，然后重复上述步骤，直至输出最终相机位姿。
在其中一个实施例中，根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册，包括：
根据坐标系转换将最终相机位姿转换为世界坐标系下的转换矩阵，从世界坐标系下的转换矩阵中获取待注册虚拟物体的最终三维坐标，再结合训练场地工事目标先验知识中的位姿偏移量得到待注册虚拟物体真实位姿完成三维注册；
根据坐标系转换将最终相机位姿转换为世界坐标系下的转换矩阵为
；
其中，表示最终相机位姿的转换矩阵，为Unity中自带的属性给出的从摄像机的局部坐标系到世界坐标系的变换矩阵，为取反后的y轴数据矩阵，为取反后的z轴数据矩阵。
在具体实施例中，在解算出相机位姿之后，调用Unity中自带的属性cameraToWorldMatrix，该属性功能是返回从摄像机的局部坐标系到世界坐标系（Unity空间坐标系）的变换矩阵。由于图像坐标系是右手坐标系，而Unity中空间坐标系为左手坐标系，所以为了适应Unity的坐标空间，需要将坐标从右手坐标系转到左手坐标系，所以需要让变换矩阵左乘取反后的y轴数据，右乘取反后的z轴数据，最后计算出待注册虚拟物体的原始空间位置坐标。
设在相机坐标系下的转换矩阵为，在世界坐标系下的转换矩阵为，为Unity中自带的属性cameraToWorldMatrix给出的从摄像机的局部坐标系到世界坐标系的变换矩阵，为取反后的y轴数据矩阵，为取反后的z轴数据矩阵，所以可得：
；
；
假设转换矩阵中的具体数值如下：
；
则待注册虚拟物体的原始三维位置坐标为，结合先验知识（位姿偏移量等）可得待注册虚拟物体真实位姿，在每一帧中通过Unity自带方法将矩阵各数值赋值给待注册虚拟物体便能将该虚拟物体注册到正确位置。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种面向虚实协同训练的增强现实三维注册装置，包括：先验知识构建模块502、位姿解算模块504、位姿优化模块506和三维注册模块508，其中：
先验知识构建模块502，用于利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；训练场地工事目标先验知识包括人工标识唯一ID和字典；
位姿解算模块504，用于根据人工标识唯一ID从字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对位姿信息进行解算，得到第一相机位姿；
位姿优化模块506，用于根据改进ORB算法对间隔帧图像进行特征匹配，得到自然特征点；对自然特征点进行对极几何计算，得到第二相机位姿；根据第二相机位姿对第一相机位姿进行误差优化，得到误差优化结果；
三维注册模块508，用于利用高斯牛顿法对误差优化结果进行改进，得到最终相机位姿；根据坐标系转换将最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将最终三维坐标赋值给待注册虚拟物体完成三维注册。
关于面向虚实协同训练的增强现实三维注册装置的具体限定可以参见上文中对于面向虚实协同训练的增强现实三维注册方法的限定，在此不再赘述。上述面向虚实协同训练的增强现实三维注册装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种面向虚实协同训练的增强现实三维注册方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种面向虚实协同训练的增强现实三维注册方法，其特征在于，所述方法包括：
利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；所述训练场地工事目标先验知识包括人工标识唯一ID和字典；
根据所述人工标识唯一ID从所述字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对所述位姿信息进行解算，得到第一相机位姿；
根据改进ORB算法对所述间隔帧图像进行特征匹配，得到自然特征点；对所述自然特征点进行对极几何计算，得到第二相机位姿；根据所述第二相机位姿对所述第一相机位姿进行误差优化，得到误差优化结果；
利用高斯牛顿法对所述误差优化结果进行改进，得到最终相机位姿；
根据坐标系转换将所述最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将所述最终三维坐标赋值给待注册虚拟物体完成三维注册；
根据改进ORB算法对所述间隔帧图像进行特征匹配，得到自然特征点，包括：
根据FAST算法对所述间隔帧图像进行特征提取，得到初始特征点；
对所述初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点；
根据rBRIEF算法计算候选特征点的特征描述子和待匹配图像的特征点的特征描述子，通过BF特征匹配方法将所述候选特征点和待匹配的图像的特征点进行匹配，使用候选特征点的特征描述子与待匹配图像的特征点的特征描述子进行匹配，匹配的时候计算两个描述子之间的相似度，然后返回相似度最高的一对匹配特征点，再通过RANSAC算法进行错误匹配进行消除，得到自然特征点；
对所述初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点，包括：
对所述初始特征点进行非极大值抑制处理，构建非极大值抑制处理的特征点对应的黑塞矩阵，若非极大值抑制处理的特征点对应的黑塞矩阵在以自身为中心的3×3像素区域中取得局部最大值，将所述非极大值抑制处理的特征点对应的黑塞矩阵保留，再将保留的所述非极大值抑制处理的特征点对应的黑塞矩阵分别与局部最大值作差，然后对差值累计求和，求和结果若大于预先定义的阙值，就将黑塞矩阵保留，否则将黑塞矩阵舍弃，保留的黑塞矩阵对应的特征点为候选特征点；
根据所述第二相机位姿对所述第一相机位姿进行误差优化，得到误差优化结果，包括：
对所述第一相机位姿对应的图像帧进行判断，若为相机拍摄的第一帧，则将所述第一相机位姿作为误差优化结果输出；
对所述第一相机位姿对应的图像帧进行判断，若为奇数帧，通过改进ORB算法匹配第帧和第帧图像之间的特征点，得到本质矩阵，然后将本质矩阵分解得到旋转矩阵R以及平移向量T，通过第帧的相机姿态计算第帧的相机姿态，并将第帧的相机姿态与solvePnP函数所解算出来的第一相机位姿做对比，预先设定误差阙值，当误差在阙值之内，则第帧的结果为正确结果，反之，用帧的结果经过转换作为第i帧的正确结果，正确结果作为下一帧的误差优化结果输出；若为偶数帧，则将所述第一相机位姿作为误差优化结果输出。
2.根据权利要求1所述的方法，其特征在于，根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识，包括：
根据虚实协同训练科目以及训练场地真实环境确定人工标志唯一ID与虚拟模型及真实物体之间的对应关系，形成字典；
利用虚实协同训练科目流程布置人工标志物，依托静态物体和动态物体在训练流程中的数据信息和字典组成训练场地工事目标先验知识。
3.根据权利要求1所述的方法，其特征在于，利用高斯牛顿法对所述误差优化结果进行改进，得到最终相机位姿，包括：
将所述误差优化结果作为相机位姿初值，然后以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题，对所述最小二乘问题进行迭代求解，在每一次迭代中求出当前的相机位姿误差与雅可比矩阵，根据所述相机位姿误差和雅可比矩阵构建位姿增量方程为
；
其中，表示雅可比矩阵，表示相机位姿，表示相机位姿误差，表示转置运算；
利用预先设置的误差阈值与当前的相机位姿误差进行比较，若当前的相机位姿误差小于预先设置的误差阈值，则停止迭代运算，将最小二乘问题的当前解作为最终相机位姿，若当前的相机位姿误差不小于预先设置的误差阈值，则将最小二乘问题的当前解加上位姿增量后更新相机位姿继续进行求解。
4.根据权利要求3所述的方法，其特征在于，以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题，包括：
以误差最小化为目标将误差优化结果改进问题转换成一个构建最小二乘问题为
；
其中，K代表的是摄像机的内参矩阵，表示相机位姿的李代数，表示相机位姿初值的空间坐标，表示相机位姿初值投影在像素平面的坐标，表示坐标转换式。
5.根据权利要求1所述的方法，其特征在于，根据坐标系转换将所述最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将所述最终三维坐标赋值给待注册虚拟物体完成三维注册，包括：
根据坐标系转换将所述最终相机位姿转换为世界坐标系下的转换矩阵，从所述世界坐标系下的转换矩阵中获取待注册虚拟物体的最终三维坐标，再结合训练场地工事目标先验知识中的位姿偏移量得到待注册虚拟物体真实位姿完成三维注册；
根据坐标系转换将所述最终相机位姿转换为世界坐标系下的转换矩阵为
；
其中，表示最终相机位姿的转换矩阵，为Unity中自带的属性给出的从摄像机的局部坐标系到世界坐标系的变换矩阵，为取反后的y轴数据矩阵，为取反后的z轴数据矩阵。
6.一种面向虚实协同训练的增强现实三维注册装置，其特征在于，所述装置包括：
先验知识构建模块，用于利用相机获取间隔帧图像；根据虚实协同训练科目以及训练场地真实场景构建训练场地工事目标先验知识；所述训练场地工事目标先验知识包括人工标识唯一ID和字典；
位姿解算模块，用于根据所述人工标识唯一ID从所述字典中查询对应物体并获取对应物体的四个角点的位姿信息；利用solvePnP函数对所述位姿信息进行解算，得到第一相机位姿；
位姿优化模块，用于根据改进ORB算法对所述间隔帧图像进行特征匹配，得到自然特征点；对所述自然特征点进行对极几何计算，得到第二相机位姿；根据所述第二相机位姿对所述第一相机位姿进行误差优化，得到误差优化结果；根据改进ORB算法对所述间隔帧图像进行特征匹配，得到自然特征点，包括：根据FAST算法对所述间隔帧图像进行特征提取，得到初始特征点；对所述初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点；根据rBRIEF算法计算候选特征点的特征描述子和待匹配图像的特征点的特征描述子，通过BF特征匹配方法将所述候选特征点和待匹配的图像的特征点进行匹配，使用候选特征点的特征描述子与待匹配图像的特征点的特征描述子进行匹配，匹配的时候计算两个描述子之间的相似度，然后返回相似度最高的一对匹配特征点，再通过RANSAC算法进行错误匹配进行消除，得到自然特征点；
对所述初始特征点进行非极大值抑制处理，然后构建黑塞矩阵对非极大值抑制处理的特征点进行再提取，得到候选特征点，包括：
对所述初始特征点进行非极大值抑制处理，构建非极大值抑制处理的特征点对应的黑塞矩阵，若非极大值抑制处理的特征点对应的黑塞矩阵在以自身为中心的3×3像素区域中取得局部最大值，将所述非极大值抑制处理的特征点对应的黑塞矩阵保留，再将保留的所述非极大值抑制处理的特征点对应的黑塞矩阵分别与局部最大值作差，然后对差值累计求和，求和结果若大于预先定义的阙值，就将黑塞矩阵保留，否则将黑塞矩阵舍弃，保留的黑塞矩阵对应的特征点为候选特征点；
根据所述第二相机位姿对所述第一相机位姿进行误差优化，得到误差优化结果，包括：对所述第一相机位姿对应的图像帧进行判断，若为相机拍摄的第一帧，则将所述第一相机位姿作为误差优化结果输出；对所述第一相机位姿对应的图像帧进行判断，若为奇数帧，通过改进ORB算法匹配第帧和第帧图像之间的特征点，得到本质矩阵，然后将本质矩阵分解得到旋转矩阵R以及平移向量T，通过第帧的相机姿态计算第i帧的相机姿态，并将第帧的相机姿态与solvePnP函数所解算出来的第一相机位姿做对比，预先设定误差阙值，当误差在阙值之内，则第i帧的结果为正确结果，反之，用i-2帧的结果经过转换作为第帧的正确结果，正确结果作为下一帧的误差优化结果输出；若为偶数帧，则将所述第一相机位姿作为误差优化结果输出；
三维注册模块，用于利用高斯牛顿法对所述误差优化结果进行改进，得到最终相机位姿；根据坐标系转换将所述最终相机位姿结合训练场地工事目标先验知识转换成待注册虚拟物体的最终三维坐标；将所述最终三维坐标赋值给待注册虚拟物体完成三维注册。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410549646.9A CN118135159B (zh) | 2024-05-06 | 2024-05-06 | 面向虚实协同训练的增强现实三维注册方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410549646.9A CN118135159B (zh) | 2024-05-06 | 2024-05-06 | 面向虚实协同训练的增强现实三维注册方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118135159A CN118135159A (zh) | 2024-06-04 |
| CN118135159B true CN118135159B (zh) | 2024-07-12 |
Family
ID=91238122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410549646.9A Active CN118135159B (zh) | 2024-05-06 | 2024-05-06 | 面向虚实协同训练的增强现实三维注册方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118135159B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109781092A (zh) * | 2019-01-19 | 2019-05-21 | 北京化工大学 | 一种危险化工事故中移动机器人定位与建图方法 |
| CN115016647A (zh) * | 2022-07-07 | 2022-09-06 | 国网江苏省电力有限公司电力科学研究院 | 一种面向变电站故障模拟的增强现实三维注册方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103177468A (zh) * | 2013-03-29 | 2013-06-26 | 渤海大学 | 一种基于无标记的三维运动物体增强现实注册方法 |
| CN110264509B (zh) * | 2018-04-27 | 2022-10-14 | 腾讯科技（深圳）有限公司 | 确定图像捕捉设备的位姿的方法、装置及其存储介质 |
| CN111275827B (zh) * | 2020-02-25 | 2023-06-16 | 北京百度网讯科技有限公司 | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 |
| CN112288814A (zh) * | 2020-11-04 | 2021-01-29 | 江南大学 | 一种面向增强现实的三维跟踪注册方法 |
| CN112991436B (zh) * | 2021-03-25 | 2022-09-06 | 中国科学技术大学 | 基于物体尺寸先验信息的单目视觉slam方法 |
-
2024
- 2024-05-06 CN CN202410549646.9A patent/CN118135159B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109781092A (zh) * | 2019-01-19 | 2019-05-21 | 北京化工大学 | 一种危险化工事故中移动机器人定位与建图方法 |
| CN115016647A (zh) * | 2022-07-07 | 2022-09-06 | 国网江苏省电力有限公司电力科学研究院 | 一种面向变电站故障模拟的增强现实三维注册方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118135159A (zh) | 2024-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| CN109544677A (zh) | 基于深度图像关键帧的室内场景主结构重建方法及系统 | |
| CN114119864A (zh) | 一种基于三维重建与点云匹配的定位方法和装置 | |
| Zhou et al. | Image-based onsite object recognition for automatic crane lifting tasks | |
| Lü et al. | Comprehensive improvement of camera calibration based on mutation particle swarm optimization | |
| CN112200157A (zh) | 一种降低图像背景干扰的人体3d姿态识别方法及其系统 | |
| CN111368637B (zh) | 一种基于多掩模卷积神经网络的搬运机器人识别目标方法 | |
| Li | A calibration method of computer vision system based on dual attention mechanism | |
| CN112102342B (zh) | 平面轮廓识别方法、装置、计算机设备和存储介质 | |
| CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
| Tao et al. | Indoor 3D semantic robot VSLAM based on mask regional convolutional neural network | |
| Han et al. | DiLO: Direct light detection and ranging odometry based on spherical range images for autonomous driving | |
| CN117029817A (zh) | 一种二维栅格地图融合方法及系统 | |
| CN118135159B (zh) | 面向虚实协同训练的增强现实三维注册方法、装置及设备 | |
| Gramegna et al. | Optimization of the POSIT algorithm for indoor autonomous navigation | |
| Boulekchour et al. | Robust L∞ convex optimisation for monocular visual odometry trajectory estimation | |
| Liu et al. | Computer Vision-Based Tracking of Workers in Construction Sites Based on MDNet | |
| CN115542362A (zh) | 电力作业现场的高精度空间定位方法、系统、设备及介质 | |
| Ming et al. | A real-time monocular visual SLAM based on the bundle adjustment with adaptive robust kernel | |
| Yong et al. | A Robust CoS-PVNet Pose Estimation Network in Complex Scenarios | |
| Woo et al. | An efficient method for camera calibration using multilayer perceptron type neural network | |
| Woo et al. | Implicit camera calibration using multilayer perceptron type neural network | |
| Jang et al. | Practical modeling technique for large-scale 3D building models from ground images | |
| Singh et al. | Modifications in normalized cross correlation expression for template matching applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |