CN110047106A - 用于增强现实的相机姿态估计方法、装置、设备及介质 - Google Patents
用于增强现实的相机姿态估计方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110047106A CN110047106A CN201910174699.6A CN201910174699A CN110047106A CN 110047106 A CN110047106 A CN 110047106A CN 201910174699 A CN201910174699 A CN 201910174699A CN 110047106 A CN110047106 A CN 110047106A
- Authority
- CN
- China
- Prior art keywords
- inlier
- augmented reality
- solver
- matching
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 239000000243 solution Substances 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 18
- 239000000203 mixture Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000009472 formulation Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 239000003637 basic solution Substances 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 2
- 241000406668 Loxodonta cyclotis Species 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明适用计算机视觉与增强现实相结合的技术领域，提供了一种用于增强现实的相机姿态估计方法、装置、设备及介质，该方法包括：采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型，从增强现实图像和现实图像中获取预设第一数量个2D‑2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D‑3D匹配对，根据2D‑2D匹配对和2D‑3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态，从而提高了估计出的相机姿态的精确度，进而提高了在增强现实系统中图像配准的精确度和实时性。
Description
技术领域
本发明属于计算机视觉与增强现实相结合的技术领域，尤其涉及一种用于增强现实的相机姿态估计方法、装置、设备及介质。
背景技术
计算机视觉主要研究如何利用计算机能更智能地和世界交流，准确地说，是利用相机代替人对场景和目标进行感应、观察、识别、检测和测量等，相机姿态估计是一切活动的前提条件和重要基础，因此，相对相机姿态估计是计算机视觉系统的重要任务之一。相机姿态估计技术，也称为相机视觉空间定位技术，其主要方法包括即时定位与地图构建技术和在线运动恢复三维形状技术，一般应用场景是基于视觉的移动机器人导航。随着工业制造、传感技术和图像处理算法水平的提高，相机姿态估计技术的重要性也在不断增加，甚至已经超过了三维重建这个计算机视觉中最传统的问题，究其原因，主要是因为虚拟现实、增强现实技术和视觉服务这些技术和应用的产生，视觉服务是通过视觉信息控制机器的行为动作，从而实现人机交互、视觉辅助导航和三维重建等，相机姿态估计是这些应用场景的最基本和最核心的问题。
传统的相机姿态估计主要分为两种：一种是在随机抽样一致(Random SampleConsensus，RANSAC)算法循环中应用基于结构的最小位姿求解器，这种方法需要从n对2D-3D匹配做大量工作来获得绝对相机姿态，这会导致出现计算机视觉的n点透视(Perspective-n-Point，PnP)问题，并且3D模型是通过运动恢复结构(Structure frommotion，SFM)算法来获得的，然而，获得的3D模型中并不是所有的3D点都能被准确三角化，因而导致估计出来的相机姿态不精确；另一种从2D-3D匹配获得的相机姿态是无结构位姿切除，查询图像的位姿估计是根据一组2D-2D的对应关系，在查询两个或两个以上的图像的基础上再进行重建，这种方法虽然避免了三角点不精确和模型不完整的问题，但无结构位姿求解器的计算效率却比较低。
增强现实(Augmented Reality，简称AR)是一种实时计算摄像机影像位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是为了将真实世界和虚拟世界紧密连接，把原本在真实世界中无法量化的实体信息数据(距离、角度、湿度、温度等等)显示在虚拟世界中，并实现在虚拟世界中操控真实世界的物体，从而模糊真实世界和虚拟世界之间的界限。而为了提高虚拟世界和现实世界融合效果的感官真实度，研究不同的相机位姿估计算法具有深远意义。
发明内容
本发明的目的在于提供一种用于增强现实的相机姿态估计方法、装置、设备及介质，旨在解决由于现有技术无法提供一种有效的用于增强现实的相机姿态估计方法，导致基于用相机姿态估计来进行增强现实系统中图像配准精确度不高、实时性不强的问题。
一方面，本发明提供了一种用于增强现实的相机姿态估计方法，所述方法包括下述步骤：
采集目标对象的增强现实图像和对应的现实图像，并根据采集到的所述现实图像重建所述目标对象的三维模型；
从所述增强现实图像和所述现实图像中获取预设第一数量个2D-2D匹配对，并从所述增强现实图像和所述三维模型中获取预设第二数量个2D-3D匹配对；
根据所述2D-2D匹配对和所述2D-3D匹配对，通过预先改进的随机抽样一致算法获得所述增强现实图像对应的相机姿态。
另一方面，本发明提供了一种用于增强现实的相机姿态估计装置，所述装置包括：
图像采集单元，用于采集目标对象的增强现实图像和对应的现实图像，并根据采集到的所述现实图像重建所述目标对象的三维模型；
匹配对获取单元，用于从所述增强现实图像和所述现实图像中获取预设第一数量个2D-2D匹配对，并从所述增强现实图像和所述三维模型中获取预设第二数量个2D-3D匹配对；以及
相机姿态获得单元，用于根据所述2D-2D匹配对和所述2D-3D匹配对，通过预先改进的随机抽样一致算法获得所述增强现实图像对应的相机姿态。
另一方面，本发明还提供了一种增强现实设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述用于增强现实的相机姿态估计方法所述的步骤。
另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述用于增强现实的相机姿态估计方法所述的步骤。
本发明采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型，从增强现实图像和现实图像中获取预设第一数量个2D-2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D-3D匹配对，根据2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态，从而提高了估计出的相机姿态的精确度，进而提高了在增强现实系统中图像配准的精确度和实时性。
附图说明
图1是本发明实施例一提供的用于增强现实的相机姿态估计方法的实现流程图；
图2是本发明实施例二提供的实施例一中步骤S103的实现流程图；
图3是本发明实施例三提供的用于增强现实的相机姿态估计装置的结构示意图；
图4是本发明实施例三提供的用于增强现实的相机姿态估计装置的优选结构示意图；以及
图5是本发明实施例四提供的增强现实设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1示出了本发明实施例一提供的用于增强现实的相机姿态估计方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S101中，采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型。
本发明实施例适用于基于视觉的移动机器人导航、三维重建、虚拟现实和增强现实等设备、系统、以及平台，例如，AR眼镜。采集目标对象在增强现实系统(例如，AR眼镜)中呈现出的增强现实图像，也即是虚拟图像，同时采集该目标对象在真实世界中各个角度对应的现实图像，也即SFM图像，例如，通过在AR眼镜的基础上加一个相机，这个相机拍出来的图片则称为SFM图像。并根据采集到的该现实图像对该目标对象的三维模型(3D模型)进行重建，也即从二维的现实图像中恢复出该目标对象对应的三维信息(三维信息包括相机的运动参数、目标对象所在场景的结构信息等)，根据三维信息还原出目标物体的三维模型。
根据采集到的现实图像重建目标对象的三维模型时，优选地，根据采集到的现实图像，采用SFM算法对目标对象的三维模型进行三维重建，SFM算法通过相机的移动来确定目标的空间和几何关系，从而降低了三维模型重建的成本，并提高了三维模型重建的效率。
在步骤S102中，从增强现实图像和现实图像中获取预设第一数量个2D-2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D-3D匹配对。
在本发明实施例中，从增强现实图像和现实图像中获取预设第一数量个二维-二维(2D-2D)匹配对，并从增强现实图像和三维模型中获取预设第二数量个二维-三维(2D-3D)匹配对，其中，2D-2D匹配对是基于目标对象中同一个特征点选取的，2D-3D匹配对也是基于目标对象中同一个特征点选取的，第一数量和第二数量可以相同，也不可以不同。
在步骤S103中，根据2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态。
在本发明实施例中，根据获取到的2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致(RANSAC)算法对相机姿态进行估计，进而获得增强现实图像对应的相机姿态，相机姿态也即该增强现实图像对应的相机位置和相机取向等信息。
在本发明实施例中，采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型，从增强现实图像和现实图像中获取预设第一数量个2D-2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D-3D匹配对，根据2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态，从而提高了估计出的相机姿态的精确度，进而提高了在增强现实系统中图像配准的精确度和实时性。
实施例二：
图2示出了本发明实施例二提供的实施例一中步骤S103的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
在步骤S201中，根据预先设置的2D-2D匹配对约束公式和2D-3D匹配对约束公式，利用基础解生成器生成与预先设置的各个相机自由度对应的求解器。
在本发明实施例中，相机自由度d其实说的是约束变量，如果有一个约束变量已知，自由度就少一个，例如，在7自由度的情况下，又加上相机直立这一条件，自由度就变成了5。不同的相机情况对应不同的相机自由度，进而对应不同的约束公式，根据不同的约束公式，利用基础解生成器生成与各个相机自由度对应的求解器。
在生成求解器之前，优选地，对于角度和平移未知的广义相机的非直立情况，将自由度设置为6(即d＝6)，对于未知尺度的广义相机的非直立情况，将自由度设置为7(即d＝7)，对于已知尺寸相机的直立情况，将自由度设置为4(即d＝4)，对于7自由度相机的直立情况，将自由度设置为5(即d＝5)，且d满足公式d＝2m+n，n为2D-2D匹配对对应的第一数量，m为2D-3D匹配对对应的第二数量，同时，对于非直立情况，即当d＝7或d＝6时，将R设置为四元数[u1 u2 u3 ω]T(即R＝[u1 u2 u3 ω]T)，其中，R为将世界坐标转换为相机坐标的旋转矩阵(Rotation)，u1、u2、u3、ω为四元数的参数，且将ω设置为1，以使得参数u1、u2、u3归一化，对于直立情况，即d＝5或d＝4时，且a2+b2＝1，其中，a、b是预设的单元长度向量，从而使得生成的求解器满足不同的相机情况，提高求解器的多样性。
在本发明实施例中，优选地，2D-2D匹配对约束公式为其中，c代表相机坐标，G代表世界坐标，T代表该矩阵转置，qj代表在世界坐标中第一数量个2D-2D匹配对对应的特征点连成的所有线条中的第j条线的单位方向，q′j＝qj×p，p是第j条线上的任意一个点，q′j为第j条线在相机坐标中的表示，t为将世界坐标转换为相机坐标的平移向量(Translation)，从而提高生成的求解器的稳定性。
又一优选地，2D-3D匹配对约束公式为αiυi+sci＝RPi+t，其中，αi是在相机坐标中第二数量个2D-3D匹配对对应的第i个特征点的深度，υi是第i个特征点对应的单位长度的射线，s是广义相机的尺度，ci是第i个特征点广义测量的投影中心，Pi是第i个特征点在世界坐标中对应的3D点，从而进一步提高生成的求解器的稳定性。
进一步优选地，当获取到的2D-3D匹配对对应的第二数量为1时，也即只获取到一个2D-3D匹配对，则令c1＝0、υ1＝[0 k1 k2]T、p1＝0，其中，k1为该2D-3D匹配对对应的特征点所对应的单元射线在Y轴方向的单元长度，k2为该2D-3D匹配对对应的特征点所对应的单元射线在Z轴方向的单元长度，当获取到的2D-3D匹配对对应的第二数量大于等于2时，也即获取到两个以上2D-3D匹配对，则对于已知相机尺度的情况，应满足At＝B(r)，对于相机尺度未知的情况，应满足A[tTs]T＝B(r)，其中，A是从输入的2D-2D匹配对和2D-3D匹配对获取的置信矩阵，B(r)是旋转参数r的方程，从而进一步提高生成的求解器的稳定性。
在步骤S202中，根据预先初始化的成功率和各个求解器的质量，从由各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器。
在本发明实施例中，根据预先初始化的成功率和各个求解器的质量，分别计算各个求解器对应的质量Pp与成功率Ps的乘积，根据PsPp值的大小对各求解器进行排序，根据排序结果，从由各个求解器组成的求解器集合中选择出最大PsPp值对应的求解器，将选择出的该求解器设置为当前求解器。
在步骤S203中，分别从2D-2D匹配对和2D-3D匹配对中采样出预设第三数量个2D-2D子匹配对和预设第四数量个2D-3D子匹配对，并根据2D-2D子匹配对和2D-3D子匹配对，使用选择出的当前求解器对增强现实图像对应的当前相机姿态进行计算。
在本发明实施例中，分别对第一数量个2D-2D匹配对和第二数量个2D-3D匹配对进行随机采样，从2D-2D匹配对和2D-3D匹配对中采样出预设第三数量个2D-2D子匹配对和预设第四数量个2D-3D子匹配对，第三数量和第四数量可以相同，也可以不同，再根据采样出的2D-2D子匹配对和2D-3D子匹配对，使用选择出的当前求解器对增强现实图像对应的当前相机姿态进行计算。
在步骤S204中，根据计算得到的当前相机姿态、2D-2D匹配对对应的第一内围层阈值、以及2D-3D匹配对对应的第二内围层阈值，分别计算与2D-2D匹配对和2D-3D匹配对对应的第一内围层点数量和第二内围层点数量。
在本发明实施例中，根据计算得到的当前相机姿态θ、预先设置的2D-2D匹配对对应的第一内围层阈值σp、以及预先设置的2D-3D匹配对对应的第二内围层阈值σr，分别计算与2D-2D匹配对和2D-3D匹配对对应的第一内围层点数量Ip和第二内围层点数量Ir。
在步骤S205中，根据计算得到的第一内围层点数量、第二内围层点数量、以及第一内围层点数量和第二内围层点数量之和，分别计算与2D-2D匹配对和2D-3D匹配对对应的第一内围层比例和第二内围层比例。
在本发明实施例中，根据第一内围层点数量和第二内围层点数量计算当前内围层点(inliers)总数，当前内围层点总数也即第一内围层点数量和第二内围层点数量之和，再基于第一内围层点数量、第二内围层点数量、以及该当前内围层点总数，分别计算与2D-2D匹配对和2D-3D匹配对对应的第一内围层比例εp和第二内围层比例εr。
在步骤S206中，根据计算得到的第一内围层比例和第二内围层比例，使用预设的求解器最小迭代次数计算公式计算当前求解器对应的最小迭代次数。
在本发明实施例中，求解器集合中的每个求解器有不同的最小迭代次数Ks，例如，求解器集合中有S1和S2两个求解器，则S1对应的最小迭代次数为S2对应的最小迭代次数为根据计算得到的第一内围层比例和第二内围层比例，使用预设的求解器最小迭代次数计算公式对当前求解器对应的最小迭代次数进行计算。
优选地，求解器最小迭代次数计算公式为Ks为当前求解器对应的最小迭代次数，εp为2D-2D匹配对对应的第一内围层比例，εr为2D-3D匹配对对应的第二内围层比例，p为预设的可以发现一个好的求解器的概率，一般设为0.99，从而提高迭代次数的合理性，进而提高相机姿态估算的效率。
在步骤S207中，当第一内围层点数量和第二内围层点数量之和大于预先存储的当前求解器对应的参考内围层点总数时，将该参考内围层点总数更新为第一内围层点数量和第二内围层点数量之和，并将预先存储的增强现实图像对应的临时相机姿态更新为当前相机姿态。
在本发明实施例中，临时相机姿态为在本次迭代之前的迭代计算中求得并存储的最优相机姿态。当第一内围层点数量和第二内围层点数量之和(也即当前内围层点总数)大于预先存储的参考内围层点总数时，则表示当前求解器在本次迭代中求解出的当前相机姿态θ比预先存储的增强现实图像对应的临时相机姿态更精确，则将临时相机姿态更新为当前相机姿态，确保存储的临时相机姿态始终为最优的相机姿态，同时将参考内围层点总数更新为当前内围层点总数。
在步骤S208中，判断当前求解器对应的当前迭代次数是否大于等于最小迭代次数。
在本发明实施例中，每个求解器对应不同的当前迭代次数，作为示例地，若当前迭代选择出的求解器为S1，而求解器S1在本次迭代之前已迭代了2次，则S1当前迭代次数为3，若当前迭代选择出的求解器为S2，而求解器S2在本次迭代之前已迭代了1次，则S2当前迭代次数为2。判断当前求解器对应的当前迭代次数是否大于等于当前求解器对应的最小迭代次数，例如，当前求解器S1的当前迭代次数为k1，则判断k1是否大于等于最小迭代次数当当前迭代次数大于等于最小迭代次数时，则执行步骤S209，否则，执行步骤S210。
在步骤S209中，将临时相机姿态设置为增强现实图像最终的相机姿态，并输出相机姿态。
在本发明实施例中，当当前迭代次数大于等于最小迭代次数时，迭代结束，而临时相机姿态为已找到的最好的相机姿态，则将该临时相机姿态设置为增强现实图像最终的相机姿态，并输出该相机姿态。
在步骤S210中，更新当前迭代次数，且根据预设的成功率计算公式更新成功率。
在本发明实施例中，当当前迭代次数小于最小迭代次数时，将当前求解器对应的当前迭代次数累计加1，以进行更新，且根据预设的成功率计算公式更新成功率，并跳转至步骤S202，继续选择较优的求解器，以根据该求解器估算得到更精确的相机姿态，直至迭代结束。
优选地，成功率计算公式为Ps为成功率，Ks为当前求解器对应的最小迭代次数，εp为2D-2D匹配对对应的第一内围层比例，εr为2D-3D匹配对对应的第二内围层比例，从而提高了选择出的求解器的稳定性和估算效率，进而提高估算得到的相机姿态的精确度。
在本发明实施例中，首先，根据约束公式和各个相机自由度，利用基础解生成器生成对应的求解器，然后，从由各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器，再使用该当前求解器计算当前相机姿态，并根据内围层总数判断当前相机姿态是否比预先存储的增强现实图像对应的临时相机姿态更精确，是则将临时相机姿态更新为当前相机姿态，否则不更新临时相机姿态，最后，判断当前求解器对应的当前迭代次数是否大于等于最小迭代次数，是则，将临时相机姿态作为最终计算得到的最优相机姿态进行输出，否则，更新当前迭代次数，且根据预设的成功率计算公式更新成功率，并继续从求解器集合中选择较优的求解器，以根据该求解器估算得到更精确的相机姿态，直至迭代结束，从而提高了求解器的稳定性和估算效率，进而提高了估计得到的相机姿态的精确度。
实施例三：
图3示出了本发明实施例三提供的用于增强现实的相机姿态估计装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：
图像采集单元31，用于采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型；
匹配对获取单元32，用于从增强现实图像和现实图像中获取预设第一数量个2D-2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D-3D匹配对；以及
相机姿态获得单元33，用于根据2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态。
如图4所示，优选地，图像采集单元31包括：
三维模型重建单元311，用于根据采集到的现实图像，采用SFM算法对目标对象的三维模型进行三维重建。
相机姿态获得单元33包括：
求解器生成单元331，用于根据预先设置的2D-2D匹配对约束公式和2D-3D匹配对约束公式，利用基础解生成器生成与预先设置的各个相机自由度对应的求解器；
求解器选择单元332，用于根据预先初始化的成功率和各个求解器的质量，从由各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器；
当前姿态计算单元333，用于分别从2D-2D匹配对和2D-3D匹配对中采样出预设第三数量个2D-2D子匹配对和预设第四数量个2D-3D子匹配对，并根据2D-2D子匹配对和2D-3D子匹配对，使用选择出的当前求解器对增强现实图像对应的当前相机姿态进行计算；
内围层点计算单元334，用于根据计算得到的当前相机姿态、2D-2D匹配对对应的第一内围层阈值、以及2D-3D匹配对对应的第二内围层阈值，分别计算与2D-2D匹配对和2D-3D匹配对对应的第一内围层点数量和第二内围层点数量；
比例计算单元335，用于根据计算得到的第一内围层点数量、第二内围层点数量、以及第一内围层点数量和第二内围层点数量之和，分别计算与2D-2D匹配对和2D-3D匹配对对应的第一内围层比例和第二内围层比例；
迭代次数计算单元336，用于根据计算得到的第一内围层比例和第二内围层比例，使用预设的求解器最小迭代次数计算公式计算当前求解器对应的最小迭代次数；
相机姿态更新单元337，用于当第一内围层点数量和第二内围层点数量之和大于预先存储的当前求解器对应的参考内围层点总数时，将该参考内围层点总数更新为第一内围层点数量和第二内围层点数量之和，并将预先存储的增强现实图像对应的临时相机姿态更新为当前相机姿态；以及
迭代次数判断单元338，用于判断当前求解器对应的当前迭代次数是否大于等于最小迭代次数，是则，将临时相机姿态设置为增强现实图像最终的相机姿态，并输出相机姿态，否则，更新当前迭代次数，且根据预设的成功率计算公式更新成功率，并触发求解器选择单元332执行从由各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器。
在本发明实施例中，用于增强现实的相机姿态估计装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。各单元的具体实施方式可参考上述方法实施例的描述，在此不再赘述。
实施例四：
图5示出了本发明实施例四提供的设备的结构，为了便于说明，仅示出了与本发明实施例相关的部分。
本发明实施例的设备5包括处理器50、存储器51以及存储在存储器51中并可在处理器50上运行的计算机程序52。该处理器50执行计算机程序52时实现上述用于增强现实的相机姿态估计方法实施例中的步骤，例如图1所示的步骤S101至S103、图2所示的步骤S201至S210。或者，处理器50执行计算机程序52时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能。
在本发明实施例中，采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型，从增强现实图像和现实图像中获取预设第一数量个2D-2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D-3D匹配对，根据2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态，从而提高了估计出的相机姿态的精确度，进而提高了在增强现实系统中图像配准的精确度和实时性。
本发明实施例的设备可以为AR眼镜。该增强现实设备5中处理器50执行计算机程序52时实现用于增强现实的相机姿态估计方法时实现的步骤可参考前述方法实施例的描述，在此不再赘述。
实施例五：
在本发明实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述用于增强现实的相机姿态估计方法实施例中的步骤，例如，图1所示的步骤S101至S103、图2所示的步骤S201至S210。或者，该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能，例如图3所示单元31至33的功能。
在本发明实施例中，采集目标对象的增强现实图像和对应的现实图像，并根据采集到的现实图像重建目标对象的三维模型，从增强现实图像和现实图像中获取预设第一数量个2D-2D匹配对，并从增强现实图像和三维模型中获取预设第二数量个2D-3D匹配对，根据2D-2D匹配对和2D-3D匹配对，通过预先改进的随机抽样一致算法获得增强现实图像对应的相机姿态，从而提高了估计出的相机姿态的精确度，进而提高了在增强现实系统中图像配准的精确度和实时性。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于增强现实的相机姿态估计方法，其特征在于，所述方法包括下述步骤：
采集目标对象的增强现实图像和对应的现实图像，并根据采集到的所述现实图像重建所述目标对象的三维模型；
从所述增强现实图像和所述现实图像中获取预设第一数量个2D-2D匹配对，并从所述增强现实图像和所述三维模型中获取预设第二数量个2D-3D匹配对；
根据所述2D-2D匹配对和所述2D-3D匹配对，通过预先改进的随机抽样一致算法获得所述增强现实图像对应的相机姿态。
2.如权利要求1所述的方法，其特征在于，通过预先改进的随机抽样一致算法获得所述目标虚拟图像对应的相机姿态的步骤，包括：
根据预先设置的2D-2D匹配对约束公式和2D-3D匹配对约束公式，利用基础解生成器生成与预先设置的各个相机自由度对应的求解器；
根据预先初始化的成功率和所述各个求解器的质量，从由所述各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器；
分别从所述2D-2D匹配对和所述2D-3D匹配对中采样出预设第三数量个2D-2D子匹配对和预设第四数量个2D-3D子匹配对，并根据所述2D-2D子匹配对和所述2D-3D子匹配对，使用选择出的所述当前求解器对所述增强现实图像对应的当前相机姿态进行计算；
根据计算得到的所述当前相机姿态、所述2D-2D匹配对对应的第一内围层阈值、以及所述2D-3D匹配对对应的第二内围层阈值，分别计算与所述2D-2D匹配对和所述2D-3D匹配对对应的第一内围层点数量和第二内围层点数量；
根据计算得到的所述第一内围层点数量、所述第二内围层点数量、以及所述第一内围层点数量和所述第二内围层点数量之和，分别计算与所述2D-2D匹配对和所述2D-3D匹配对对应的第一内围层比例和第二内围层比例；
根据计算得到的所述第一内围层比例和所述第二内围层比例，使用预设的求解器最小迭代次数计算公式计算所述当前求解器对应的最小迭代次数；
当所述第一内围层点数量和所述第二内围层点数量之和大于预先存储的参考内围层点总数时，将所述参考内围层点总数更新为所述第一内围层点数量和所述第二内围层点数量之和，并将预先存储的所述增强现实图像对应的临时相机姿态更新为所述当前相机姿态；
判断所述当前求解器对应的当前迭代次数是否大于等于所述最小迭代次数，是则，将所述临时相机姿态设置为所述增强现实图像最终的相机姿态，并输出所述相机姿态，否则，更新所述当前迭代次数，且根据预设的成功率计算公式更新所述成功率，并跳转至从由所述各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器的步骤。
3.如权利要求2所述的方法，其特征在于，所述求解器最小迭代次数计算公式为Ks为所述当前求解器对应的所述最小迭代次数，εp为所述2D-2D匹配对对应的所述第一内围层比例，εr为所述2D-3D匹配对对应的所述第二内围层比例，p为预设的概率，所述成功率计算公式为Ps为所述成功率。
4.如权利要求1所述的方法，其特征在于，根据采集到的所述现实图像重建所述目标对象的三维模型的步骤，包括：
根据采集到的所述现实图像，采用SFM算法对所述目标对象的所述三维模型进行三维重建。
5.一种用于增强现实的相机姿态估计装置，其特征在于，所述装置包括：
图像采集单元，用于采集目标对象的增强现实图像和对应的现实图像，并根据采集到的所述现实图像重建所述目标对象的三维模型；
匹配对获取单元，用于从所述增强现实图像和所述现实图像中获取预设第一数量个2D-2D匹配对，并从所述增强现实图像和所述三维模型中获取预设第二数量个2D-3D匹配对；以及
相机姿态获得单元，用于根据所述2D-2D匹配对和所述2D-3D匹配对，通过预先改进的随机抽样一致算法获得所述增强现实图像对应的相机姿态。
6.如权利要求5所述的装置，其特征在于，所述相机姿态获得单元包括：
求解器生成单元，用于根据预先设置的2D-2D匹配对约束公式和2D-3D匹配对约束公式，利用基础解生成器生成与预先设置的各个相机自由度对应的求解器；
求解器选择单元，用于根据预先初始化的成功率和所述各个求解器的质量，从由所述各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器；
当前姿态计算单元，用于分别从所述2D-2D匹配对和所述2D-3D匹配对中采样出预设第三数量个2D-2D子匹配对和预设第四数量个2D-3D子匹配对，并根据所述2D-2D子匹配对和所述2D-3D子匹配对，使用选择出的所述当前求解器对所述增强现实图像对应的当前相机姿态进行计算；
内围层点计算单元，用于根据计算得到的所述当前相机姿态、所述2D-2D匹配对对应的第一内围层阈值、以及所述2D-3D匹配对对应的第二内围层阈值，分别计算与所述2D-2D匹配对和所述2D-3D匹配对对应的第一内围层点数量和第二内围层点数量；
比例计算单元，用于根据计算得到的所述第一内围层点数量、所述第二内围层点数量、以及所述第一内围层点数量和所述第二内围层点数量之和，分别计算与所述2D-2D匹配对和所述2D-3D匹配对对应的第一内围层比例和第二内围层比例；
迭代次数计算单元，用于根据计算得到的所述第一内围层比例和所述第二内围层比例，使用预设的求解器最小迭代次数计算公式计算所述当前求解器对应的最小迭代次数；
相机姿态更新单元，用于当所述第一内围层点数量和所述第二内围层点数量之和大于预先存储的参考内围层点总数时，将所述参考内围层点总数更新为所述第一内围层点数量和所述第二内围层点数量之和，并将预先存储的所述增强现实图像对应的临时相机姿态更新为所述当前相机姿态；以及
迭代次数判断单元，用于判断所述当前求解器对应的当前迭代次数是否大于等于所述最小迭代次数，是则，将所述临时相机姿态设置为所述增强现实图像最终的相机姿态，并输出所述相机姿态，否则，更新所述当前迭代次数，且根据预设的成功率计算公式更新所述成功率，并触发所述求解器选择单元执行从由所述各个求解器组成的求解器集合中选择一个满足预设求解器选择条件的当前求解器。
7.如权利要求6所述的装置，其特征在于，所述求解器最小迭代次数计算公式为Ks为所述当前求解器对应的所述最小迭代次数，εp为所述2D-2D匹配对对应的所述第一内围层比例，εr为所述2D-3D匹配对对应的所述第二内围层比例，p为预设的概率，所述成功率计算公式为Ps为所述成功率。
8.如权利要求5所述的装置，其特征在于，所述图像采集单元包括：
三维模型重建单元，用于根据采集到的所述现实图像，采用SFM算法对所述目标对象的所述三维模型进行三维重建。
9.一种增强现实设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910174699.6A CN110047106A (zh) | 2019-03-08 | 2019-03-08 | 用于增强现实的相机姿态估计方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910174699.6A CN110047106A (zh) | 2019-03-08 | 2019-03-08 | 用于增强现实的相机姿态估计方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110047106A true CN110047106A (zh) | 2019-07-23 |
Family
ID=67274705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910174699.6A Pending CN110047106A (zh) | 2019-03-08 | 2019-03-08 | 用于增强现实的相机姿态估计方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110047106A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013086678A1 (zh) * | 2011-12-12 | 2013-06-20 | 北京航空航天大学 | 平面模型下点匹配与位姿同步确定方法及计算机程序产品 |
| CN107679537A (zh) * | 2017-05-09 | 2018-02-09 | 北京航空航天大学 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
-
2019
- 2019-03-08 CN CN201910174699.6A patent/CN110047106A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013086678A1 (zh) * | 2011-12-12 | 2013-06-20 | 北京航空航天大学 | 平面模型下点匹配与位姿同步确定方法及计算机程序产品 |
| CN107679537A (zh) * | 2017-05-09 | 2018-02-09 | 北京航空航天大学 | 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法 |
Non-Patent Citations (1)
| Title |
|---|
| FEDERICO CAMPOSECO ET AL.: "Hybrid Camera Pose Estimation", 《2018IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103858148B (zh) | 用于移动设备的平面映射和跟踪方法、装置及设备 | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| JP4679033B2 (ja) | 深度マップのメジアン値融合のためのシステムおよび方法 | |
| JP3651590B2 (ja) | 点、線から、及び／または画像強度から直接に、３次元シーン構造及びカメラの動きを復元する方法 | |
| CN112002014A (zh) | 面向精细结构的三维人脸重建方法、系统、装置 | |
| Zhuang et al. | Acdnet: Adaptively combined dilated convolution for monocular panorama depth estimation | |
| JP5555207B2 (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| CN106846467B (zh) | 基于每个相机位置优化的实体场景建模方法和系统 | |
| CN110163903A (zh) | 三维图像的获取及图像定位方法、装置、设备和存储介质 | |
| CN109191554B (zh) | 一种超分辨图像重建方法、装置、终端和存储介质 | |
| CN108230247A (zh) | 基于云端的三维地图的生成方法、装置、设备及应用程序 | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| Tomono | 3-D localization and mapping using a single camera based on structure-from-motion with automatic baseline selection | |
| da Silveira et al. | Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications | |
| CN111868786B (zh) | 跨设备监控计算机视觉系统 | |
| CN112733641B (zh) | 物体尺寸测量方法、装置、设备及存储介质 | |
| CN112233179A (zh) | 一种视觉里程计测量方法 | |
| US20170178347A1 (en) | Dynamic particle filter parameterization | |
| CN115362478A (zh) | 用于标记图像之间的空间关系的强化学习模型 | |
| CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
| Ruchay et al. | Accurate reconstruction of the 3D indoor environment map with a RGB-D camera based on multiple ICP | |
| CN113886510A (zh) | 一种终端交互方法、装置、设备及存储介质 | |
| CN113409444A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| Lee et al. | Robust uncertainty-aware multiview triangulation | |
| Liu et al. | Geometrically stable tracking for depth images based 3D reconstruction on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shi Daming Inventor after: Yang Shuling Inventor before: Yang Shuling Inventor before: Shi Daming |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190723 |