CN113793379A - 相机姿态求解方法及系统、设备和计算机可读存储介质 - Google Patents

相机姿态求解方法及系统、设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113793379A
CN113793379A CN202110923320.4A CN202110923320A CN113793379A CN 113793379 A CN113793379 A CN 113793379A CN 202110923320 A CN202110923320 A CN 202110923320A CN 113793379 A CN113793379 A CN 113793379A
Authority
CN
China
Prior art keywords
point
image
camera
dimensional
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110923320.4A
Other languages
English (en)
Inventor
王强
张小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Visionstar Information Technology Shanghai Co ltd
Original Assignee
Visionstar Information Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Visionstar Information Technology Shanghai Co ltd filed Critical Visionstar Information Technology Shanghai Co ltd
Priority to CN202110923320.4A priority Critical patent/CN113793379A/zh
Publication of CN113793379A publication Critical patent/CN113793379A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种相机姿态求解方法及系统、设备和计算机可读存储介质，其中，该相机姿态求解方法包括：在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息；利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。本发明提供的技术方案充分利用的建图过程中地图点的统计信息，将地图点信息作为先验应用到加权PnP求解算法，从而避免噪声的影响，得到更准确的位置和姿态。

Description

相机姿态求解方法及系统、设备和计算机可读存储介质
技术领域
本发明涉及计算机视觉领域，尤其涉及一种相机姿态求解方法及系统、设备和计算机可读存储介质。
背景技术
在视觉定位系统中，关键的一步为姿态求解，在姿态求解这一步中，假设共有n个2D-3D(即二维-三维)匹配对，其中，第i个匹配记为(pi，Pi)，pi为图像中的2D(二维)点，其坐标是(xi，yi)，Pi是三维的地图点，其坐标是(Xi，Yi，Zi)，传统的姿态求解算法假设所有的匹配权重都是一样的，然后通过PnP(pespective-n-point)算法即可得到图像的姿态信息。
目前，现有的视觉定位的姿态求解算法都是通用的PnP算法，都是假定所有的点的权重是一样的，这是因为对于通用的PnP问题，无法区分不同点的精度，但是实际视觉定位中用的地图存在大量的噪声，比如视觉地图远距离的点由于视差比较小，造成深度无法准确估计，因此由于受到地图点噪声的影响，导致定位的精度下降，所以如何提高定位精度一直就是业界亟待突破的问题。
发明内容
有鉴于此，本发明的目的在于提供一种相机姿态求解方法及系统、设备和计算机可读存储介质，充分利用的建图过程中地图点的统计信息，将地图点信息作为先验应用到加权PnP求解算法，从而避免噪声的影响，得到更准确的位置和姿态。
一方面，本发明提出一种相机姿态求解方法，其中，所述相机姿态求解方法包括：
在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息；
利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。
优选的，所述关键参数包括总观测次数Obi、平均投影误差rei和平均观测深度di，其中，
Figure BDA0003207871340000011
Obi为第i个三维地图点的总观测次数，j为第j个观测，pj为对应的第j个特征点的位置，p′j(Pi，R，T)为三维地图点按照图像的姿态在图像中的投影位置，R，T为图像姿态，Pi为第i个三维地图点在世界坐标系中的位置，Oob(j)为第j个观测所在图像对应的所述相机的位置。
优选的，所述根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息的步骤包括：
步骤A，通过预设算法直接计算的(R，T)的初值(R0，T0)；
步骤B，将得到的(R0，T0)作为初始值，迭代优化根据地图点精度加权的投影误差
Figure BDA0003207871340000021
其中，Wi为第i个匹配对的权重，p，P表示二维和三维的匹配点，pi表示第i个匹配对在图像中的二维坐标，Pi表示第i个匹配对在地图中的三维坐标，p′i(Pi，R，T)表示Pi按照图像姿态R，T在图像中的投影位置，pi-p′i(Pi，R，T)为第i个匹配对在当前位姿下的投影误差，Ere为所有匹配对在当前位姿下的投影误差的加权和，其中，Wi＝f(Obi，rei，di)；
步骤C，重复步骤B直到收敛，并获取最终的相机位置和姿态。
优选的，在所述步骤B中，Wi＝Obi，或者
Figure BDA0003207871340000022
或者
Figure BDA0003207871340000023
或者
Figure BDA0003207871340000024
Figure BDA0003207871340000025
其中，e为自然常数，c为高斯分布的标准差。
另一方面，本发明还提出一种相机姿态求解系统，所述相机姿态求解系统包括：
统计模块，用于在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息；
加权模块，用于利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。
优选的，所述关键参数包括总观测次数Obi、平均投影误差rei和平均观测深度di，其中，
Figure BDA0003207871340000026
Obi为第i个三维地图点的总观测次数，j为第j个观测，pj为对应的第j个特征点的位置，p′j(Pi，R，T)为三维地图点按照图像的姿态在图像中的投影位置，R，T为图像姿态，Pi为第i个三维地图点在世界坐标系中的位置，Oob(j)为第j个观测所在图像对应的所述相机的位置。
优选的，所述加权模块，具体用于：
步骤A，通过预设算法直接计算的(R，T)的初值(R0,T0)；
步骤B，将得到的(R0,T0)作为初始值，迭代优化根据地图点精度加权的投影误差
Figure BDA0003207871340000027
其中，Wi为第i个匹配对的权重，p，P表示二维和三维的匹配点，pi表示第i个匹配对在图像中的二维坐标，Pi表示第i个匹配对在地图中的三维坐标，p′i(Pi，R，T)表示Pi按照图像姿态R，T在图像中的投影位置，pi-p′i(Pi，R，T)为第i个匹配对在当前位姿下的投影误差，Ere为所有匹配对在当前位姿下的投影误差的加权和，其中，Wi＝f(Obi，rei，di)；
步骤C，重复步骤B直到收敛，并获取最终的相机位置和姿态。
优选的，在所述步骤B中，Wi＝Obi，或者
Figure BDA0003207871340000031
或者
Figure BDA0003207871340000032
或者
Figure BDA0003207871340000033
Figure BDA0003207871340000034
其中，e为自然常数，c为高斯分布的标准差。
另一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的相机姿态求解方法的步骤。
另一方面，本发明还提供一种设备，其中，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述任一项所述的相机姿态求解方法。
本发明提供的技术方案具有以下优点：充分利用的建图过程中地图点的统计信息，将地图点信息作为先验应用到加权PnP求解算法，从而避免噪声的影响，得到更准确的位置和姿态。
附图说明
图1为本发明一实施方式中相机姿态求解方法的流程示意图；
图2为本发明一实施方式中相机姿态求解系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下将对本发明所提供的一种相机姿态求解方法进行详细说明。
请参阅图1，为本发明一实施方式中相机姿态求解方法的流程示意图。
在步骤S11中，在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息。
在本实施方式中，在步骤S11之前，该相机姿态求解方法还包括：针对目标场景已经构建环境的三维点云地图，其包括环境的稀疏地图点，每一个点都计算得到在地图坐标系的三维空间坐标点以及其特征表示。
在本实施方式中，在步骤S11之前，该相机姿态求解方法还包括：利用定位算法拿到用户的图像，提取图像中的二维特征点的位置和特征表示，然后通过直接或者间接的特征匹配(feature matching)算法，得到若干图像中二维(2D)地图点到三维(3D)地图点之间的匹配关系。
在本实施方式中，所述关键参数包括总观测次数Obi、平均投影误差rei和平均观测深度di，其中，
Figure BDA0003207871340000041
Obi为第i个三维地图点的总观测次数，j为第j个观测，pj为对应的第j个特征点的位置，p′j(Pi，R，T)为三维地图点按照图像的姿态在图像中的投影位置，R，T为图像姿态，Pi为第i个三维地图点在世界坐标系中的位置，Oob(j)为第j个观测所在图像对应的所述相机的位置。
在本实施方式中，在三维视觉地图中的任意一个3D点的位置都是通过其在不同图像中的观测和三角化得到的，最简单的情况下，如果两张图像I1和I2中，提取若个稀疏的特征点，然后通过图像匹配得到2D-3D的匹配对，已知I1和I2的姿态情况下，可以直接三角化得到这个特征点的3D位置，这样得到的这个地图点的观测次数就是2。
在本实施方式中，在正常的三维重建中，有大量的图像进行匹配，如果I1的特征点跟I2的一个点、I3的一个点都匹配，并且算出来空间位置足够近，则说明是一个空间的三维点，那么就会合并成一个3D点，在这种情况下，这个地图点的观测次数是3。
以此类推，如果一个地图点经过匹配、三角化、地图点合并，跟若干个图像中2D点都有匹配关系，那么这个地图点的观测次数就是Obi，一般来说观测次数越多，这个点的精度越高。
在本实施方式中，在理想情况下，三维重建的地图点Pi对应若干个观测，即在二维图像中的投影为pi，之前应该满足，即三维地图点投影到图像中的位置应该跟二维点的位置完全重合。但是，在实际中显然不可能，由于图像特征检测、匹配、相机姿态估计不准等原因，造成一个地图点3D点坐标按照每一个图像的姿态投影到图像中的位置和对应的2D观测的位置之间存在一个误差，即pi-p′i(Pi，R，T)，误差越小说明重建的越准，误差越大说明这个地图点的精度越差。
其计算公式为
Figure BDA0003207871340000042
其中Obi为第i个地图点的总观测次数，j为其中第j个观测，pj对应的第j个特征点的位置，p′j(Pi，R，T)为这个地图点按照这个图像的姿态在这个图像中的投影位置，R，T为这个图像的姿态(即旋转和位置)。
在本实施方式中，由于三维重建的原理是根据图像的同一个点在不同的图像中的多次观测三角化得到的，根据透视原理，近处的物体不同位置下的视差比较大，远处的物体视差偏小；视差越大则通过三角化得到的地图点的位置精度越高，视差越小则说明地图点的精度越低。因此，根据视差和深度的反比关系，统计每一个地图点在各个图像中观测的深度值，如果深度值比较大，说明本身估计的精度会比较低，反之则精度越高。
在本实施方式中，平均观测的深度di可以通过这个3D点到相机中心的距离得到，即
Figure BDA0003207871340000051
其中Obi为第i个地图点的总观测次数，Pi为第i个地图点在世界坐标系中的位置，j为这个地图点的第j个观测，Oob(j)为这个观测所在土相对应的相机的位置。
在步骤S12中，利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。
在本实施方式中，所述根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息的步骤包括：
步骤A，通过预设算法直接计算的(R，T)的初值(R0，T0)；
步骤B，将得到的(R0，T0)作为初始值，迭代优化根据地图点精度加权的投影误差
Figure BDA0003207871340000052
其中，Wi为第i个匹配对的权重，p，P表示二维和三维的匹配点，pi表示第i个匹配对在图像中的二维坐标，Pi表示第i个匹配对在地图中的三维坐标，p′i(Pi，R，T)表示Pi按照图像姿态R，T在图像中的投影位置，pi-p′i(Pi，R，T)为第i个匹配对在当前位姿下的投影误差，Ere为所有匹配对在当前位姿下的投影误差的加权和，其中，Wi＝f(Obi，rei，di)；
步骤C，重复步骤B直到收敛，并获取最终的相机位置和姿态。
在本实施方式中，地图点的统计，其形式依赖该地图点的总观测次数Obi、平均投影误差rei和平均观测的深度di等。在本实施方式中，用于视觉定位系统的相机姿态求解方法，其系统输入包括但不限于：
离线重建的三维地图，其核心为描述环境的三维点云，每一个3D点包括其在空间中的位置、描述子、在图像中的所有观测(如总观测数量、投影误差)等；
用户定位的图像，图像中的2D特征点的位置以及相机的内参(如焦距、主点、畸变参数等)；
通过任意匹配算法得到的2D-3D匹配对，(pi，Pi)。
在本实施方式中，步骤A中的预设算法为P3P、EPNP等算法。
在本实施方式中，权重Wi来源于建图中该地图点的统计，其形式依赖该地图点的总观测次数Obi、平均投影误差rei和平均观测的深度di等，即Wi＝f(Obi，rei，di)，在所述步骤B中，Wi＝Obi，或者
Figure BDA0003207871340000061
或者
Figure BDA0003207871340000062
或者
Figure BDA0003207871340000063
其中，e为自然常数，c为高斯分布的标准差。
在本实施方式中，Wi＝Obi，其形式匹配的权重跟这个地图点的观测，即观测越多的地图点精度越高，因此赋给的权重越大。
在本实施方式中，
Figure BDA0003207871340000064
其形式的权重表示距离越近的地图点，视差越大，精度越高，因此权重越大，反之权重则越小。
在本实施方式中，
Figure BDA0003207871340000065
其形式的权重为地图点的投影误差的高斯分布，c为高斯分布的标准差，地图点的投影误差越小，权重越大，地图点的投影误差越大，权重越小。
在本实施方式中，权重函数也可以是上述各种变量的组合，例如
Figure BDA0003207871340000066
本发明的技术方案充分利用的建图过程中地图点的统计信息，将地图点信息作为先验应用到加权PnP求解算法，得到更准确鲁棒的姿态求解结果，因为传统的PnP算法都是将所有三维点平等看待利用的，并没有统一的办法根据三维点的精度将其加权处理。本发明的技术方案中提出的权重方式是一种软权重(soft weighting)，而且权重来源于建图过程中的统计，不需要额外的任何估计和计算。本发明的技术方案，在建图过程中，每一个三维点的位置都是通过若干张不同视角的图像三角化得到的，比如三维Pi共有n个观测，即在n张图像中可以看到，那么根据图像的位置、观测数量和对应观测信息，可以反映其本身的精度信息，比如观测越多精度越高；三维点投影到观测的图像中，投影误差并不是0，那么投影误差越小说明这个地图点的精度越高。这些地图点精度的信息，在已有的定位系统中并未得到利用，本发明旨在传统姿态求解的PnP算法中利用这些地图点精度的信息，做一个加权的求解算法，从而避免噪声的影响，得到更准确的位置和姿态。
请参阅图2，为本发明一实施方式中相机姿态求解系统的结构示意图。
在本实施方式中，相机姿态求解系统10包括：统计模块11和加权模块12。
统计模块11，用于在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息；
在本实施方式中，所述关键参数包括总观测次数Obi、平均投影误差rei和平均观测深度di，其中，
Figure BDA0003207871340000071
Obi为第i个三维地图点的总观测次数，j为第j个观测，pj为对应的第j个特征点的位置，p′j(Pi，R，T)为三维地图点按照图像的姿态在图像中的投影位置，R，T为图像姿态，Pi为第i个三维地图点在世界坐标系中的位置，Oob(j)为第j个观测所在图像对应的所述相机的位置。
在本实施方式中，在三维视觉地图中的任意一个3D点的位置都是通过其在不同图像中的观测和三角化得到的，最简单的情况下，如果两张图像I1和I2中，提取若个稀疏的特征点，然后通过图像匹配得到2D-3D的匹配对，已知I1和I2的姿态情况下，可以直接三角化得到这个特征点的3D位置，这样得到的这个地图点的观测次数就是2。
在本实施方式中，在正常的三维重建中，有大量的图像进行匹配，如果I1的特征点跟I2的一个点、I3的一个点都匹配，并且算出来空间位置足够近，则说明是一个空间的三维点，那么就会合并成一个3D点，在这种情况下，这个地图点的观测次数是3。
以此类推，如果一个地图点经过匹配、三角化、地图点合并，跟若干个图像中2D点都有匹配关系，那么这个地图点的观测次数就是Obi，一般来说观测次数越多，这个点的精度越高。
在本实施方式中，在理想情况下，三维重建的地图点Pi对应若干个观测，即在二维图像中的投影为pi，之前应该满足，即三维地图点投影到图像中的位置应该跟二维点的位置完全重合。但是，在实际中显然不可能，由于图像特征检测、匹配、相机姿态估计不准等原因，造成一个地图点3D点坐标按照每一个图像的姿态投影到图像中的位置和对应的2D观测的位置之间存在一个误差，即pi-p′i(Pi，R，T)，误差越小说明重建的越准，误差越大说明这个地图点的精度越差。
其计算公式为
Figure BDA0003207871340000072
其中Obi为第i个地图点的总观测次数，j为其中第j个观测，pj对应的第j个特征点的位置，p′j(Pi，R，T)为这个地图点按照这个图像的姿态在这个图像中的投影位置，R，T为这个图像的姿态(即旋转和位置)。
在本实施方式中，由于三维重建的原理是根据图像的同一个点在不同的图像中的多次观测三角化得到的，根据透视原理，近处的物体不同位置下的视差比较大，远处的物体视差偏小；视差越大则通过三角化得到的地图点的位置精度越高，视差越小则说明地图点的精度越低。因此，根据视差和深度的反比关系，统计每一个地图点在各个图像中观测的深度值，如果深度值比较大，说明本身估计的精度会比较低，反之则精度越高。
在本实施方式中，平均观测的深度di可以通过这个3D点到相机中心的距离得到，即
Figure BDA0003207871340000081
其中Obi为第i个地图点的总观测次数，Pi为第i个地图点在世界坐标系中的位置，j为这个地图点的第j个观测，Oob(j)为这个观测所在土相对应的相机的位置。
加权模块12，用于利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。
在本实施方式中，所述加权模块12，具体用于：
步骤A，通过预设算法直接计算的(R，T)的初值(R0，T0)；
步骤B，将得到的(R0，T0)作为初始值，迭代优化根据地图点精度加权的投影误差
Figure BDA0003207871340000082
其中，Wi为第i个匹配对的权重，p，P表示二维和三维的匹配点，pi表示第i个匹配对在图像中的二维坐标，Pi表示第i个匹配对在地图中的三维坐标，p′i(Pi，R，T)表示Pi按照图像姿态R，T在图像中的投影位置，pi-p′i(Pi，R，T)为第i个匹配对在当前位姿下的投影误差，Ere为所有匹配对在当前位姿下的投影误差的加权和，其中，Wi＝f(Obi，rei，di)；
步骤C，重复步骤B直到收敛，并获取最终的相机位置和姿态。
在本实施方式中，地图点的统计，其形式依赖该地图点的总观测次数Obi、平均投影误差rei和平均观测的深度di等。在本实施方式中，用于视觉定位系统的相机姿态求解方法，其系统输入包括但不限于：
离线重建的三维地图，其核心为描述环境的三维点云，每一个3D点包括其在空间中的位置、描述子、在图像中的所有观测(如总观测数量、投影误差)等；
用户定位的图像，图像中的2D特征点的位置以及相机的内参(如焦距、主点、畸变参数等)；
通过任意匹配算法得到的2D-3D匹配对，(pi，Pi)。
在本实施方式中，步骤A中的预设算法为P3P、EPNP等算法。
在本实施方式中，在所述步骤B中，Wi＝Obi，或者
Figure BDA0003207871340000083
或者
Figure BDA0003207871340000084
或者
Figure BDA0003207871340000085
其中，e为自然常数，c为高斯分布的标准差。
在本实施方式中，Wi＝Obi，其形式匹配的权重跟这个地图点的观测，即观测越多的地图点精度越高，因此赋给的权重越大。
在本实施方式中，
Figure BDA0003207871340000091
其形式的权重表示距离越近的地图点，视差越大，精度越高，因此权重越大，反之权重则越小。
在本实施方式中，
Figure BDA0003207871340000092
其形式的权重为地图点的投影误差的高斯分布，c为高斯分布的标准差，地图点的投影误差越小，权重越大，地图点的投影误差越大，权重越小。
在本实施方式中，权重函数也可以是上述各种变量的组合，例如
Figure BDA0003207871340000093
另一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述的相机姿态求解方法的步骤。
另一方面，本发明还提供一种设备，其中，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述的相机姿态求解方法。
本发明提供的技术方案具有以下优点：充分利用的建图过程中地图点的统计信息，将地图点信息作为先验应用到加权PnP求解算法，得到更准确鲁棒的姿态求解结果，因为传统的PnP算法都是将所有三维点平等看待利用的，并没有统一的办法根据三维点的精度将其加权处理。本发明的技术方案中提出的权重方式是一种软权重(soft weighting)，而且权重来源于建图过程中的统计，不需要额外的任何估计和计算。本发明的技术方案，在建图过程中，每一个三维点的位置都是通过若干张不同视角的图像三角化得到的，比如三维Pi共有n个观测，即在n张图像中可以看到，那么根据图像的位置、观测数量和对应观测信息，可以反映其本身的精度信息，比如观测越多精度越高；三维点投影到观测的图像中，投影误差并不是0，那么投影误差越小说明这个地图点的精度越高。这些地图点精度的信息，在已有的定位系统中并未得到利用，本发明旨在传统姿态求解的PnP算法中利用这些地图点精度的信息，做一个加权的求解算法，从而避免噪声的影响，得到更准确的位置和姿态。
值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，的存储介质，如ROM/RAM、磁盘或光盘等。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种相机姿态求解方法，其特征在于，所述相机姿态求解方法包括：
在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息；
利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。
2.如权利要求1所述的相机姿态求解方法，其特征在于，所述关键参数包括总观测次数Obi、平均投影误差rei和平均观测深度di，其中，
Figure FDA0003207871330000011
Figure FDA0003207871330000012
Obi为第i个三维地图点的总观测次数，j为第j个观测，pj为对应的第j个特征点的位置，p′j(Pi，R，T)为三维地图点按照图像的姿态在图像中的投影位置，R，T为图像姿态，Pi为第i个三维地图点在世界坐标系中的位置，Oob(j)为第j个观测所在图像对应的所述相机的位置。
3.如权利要求2所述的相机姿态求解方法，其特征在于，所述根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息的步骤包括：
步骤A，通过预设算法直接计算的(R，T)的初值(R0，T0)；
步骤B，将得到的(R0，T0)作为初始值，迭代优化根据地图点精度加权的投影误差
Figure FDA0003207871330000013
其中，Wi为第i个匹配对的权重，p，P表示二维和三维的匹配点，pi表示第i个匹配对在图像中的二维坐标，Pi表示第i个匹配对在地图中的三维坐标，p′i(Pi，R，T)表示Pi按照图像姿态R，T在图像中的投影位置，pi-p′i(Pi，R，T)为第i个匹配对在当前位姿下的投影误差，Ere为所有匹配对在当前位姿下的投影误差的加权和，其中，Wi＝f(Obi，rei，di)；
步骤C，重复步骤B直到收敛，并获取最终的相机位置和姿态。
4.如权利要求3所述的相机姿态求解方法，其特征在于，在所述步骤B中，Wi＝Obi，或者
Figure FDA0003207871330000014
或者
Figure FDA0003207871330000015
或者
Figure FDA0003207871330000016
其中，e为自然常数，c为高斯分布的标准差。
5.一种相机姿态求解系统，其特征在于，所述相机姿态求解系统包括：
统计模块，用于在建图过程中通过统计不同三维地图点的关键参数获得每一个三维地图点的精度信息；
加权模块，用于利用所述精度信息，根据三维地图点统计信息加权的PnP算法得到所述相机的位置和姿态信息。
6.如权利要求5所述的相机姿态求解系统，其特征在于，所述关键参数包括总观测次数Obi、平均投影误差rei和平均观测深度di，其中，
Figure FDA0003207871330000021
Figure FDA0003207871330000022
Obi为第i个三维地图点的总观测次数，j为第j个观测，pj为对应的第j个特征点的位置，p′j(Pi，R，T)为三维地图点按照图像的姿态在图像中的投影位置，R，T为图像姿态，Pi为第i个三维地图点在世界坐标系中的位置，Oob(j)为第j个观测所在图像对应的所述相机的位置。
7.如权利要求6所述的相机姿态求解系统，其特征在于，所述加权模块，具体用于：
步骤A，通过预设算法直接计算的(R，T)的初值(R0，T0)；
步骤B，将得到的(R0，T0)作为初始值，迭代优化根据地图点精度加权的投影误差
Figure FDA0003207871330000023
其中，Wi为第i个匹配对的权重，p，P表示二维和三维的匹配点，pi表示第i个匹配对在图像中的二维坐标，Pi表示第i个匹配对在地图中的三维坐标，p′i(Pi，R，T)表示Pi按照图像姿态R，T在图像中的投影位置，pi-p′i(Pi，R，T)为第i个匹配对在当前位姿下的投影误差，Ere为所有匹配对在当前位姿下的投影误差的加权和，其中，Wi＝f(Obi，rei，di)；
步骤C，重复步骤B直到收敛，并获取最终的相机位置和姿态。
8.如权利要求7所述的相机姿态求解系统，其特征在于，在所述步骤B中，Wi＝Obi，或者
Figure FDA0003207871330000024
或者
Figure FDA0003207871330000025
或者
Figure FDA0003207871330000026
其中，e为自然常数，c为高斯分布的标准差。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的相机姿态求解方法的步骤。
10.一种设备，其特征在于，所述设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述权利要求1-4中任一项所述的相机姿态求解方法。
CN202110923320.4A 2021-08-12 2021-08-12 相机姿态求解方法及系统、设备和计算机可读存储介质 Pending CN113793379A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110923320.4A CN113793379A (zh) 2021-08-12 2021-08-12 相机姿态求解方法及系统、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110923320.4A CN113793379A (zh) 2021-08-12 2021-08-12 相机姿态求解方法及系统、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113793379A true CN113793379A (zh) 2021-12-14

Family

ID=78875902

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110923320.4A Pending CN113793379A (zh) 2021-08-12 2021-08-12 相机姿态求解方法及系统、设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113793379A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115708A (zh) * 2022-08-22 2022-09-27 荣耀终端有限公司 一种图像位姿的计算方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224280A (ja) * 2016-05-09 2017-12-21 ツーアンツ インク．ＴｗｏＡｎｔｚ Ｉｎｃ． 視覚的測位によるナビゲーション装置およびその方法
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN111369628A (zh) * 2020-03-05 2020-07-03 南京华捷艾米软件科技有限公司 一种多相机集中式协同slam方法及系统
CN111586360A (zh) * 2020-05-14 2020-08-25 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN111652934A (zh) * 2020-05-12 2020-09-11 Oppo广东移动通信有限公司 定位方法及地图构建方法、装置、设备、存储介质
CN112068552A (zh) * 2020-08-18 2020-12-11 广州赛特智能科技有限公司 一种基于cad图纸的移动机器人自主建图方法
CN112907644A (zh) * 2021-02-03 2021-06-04 中国人民解放军战略支援部队信息工程大学 一种面向机器地图的视觉定位方法
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017224280A (ja) * 2016-05-09 2017-12-21 ツーアンツ インク．ＴｗｏＡｎｔｚ Ｉｎｃ． 視覚的測位によるナビゲーション装置およびその方法
WO2019157925A1 (zh) * 2018-02-13 2019-08-22 视辰信息科技(上海)有限公司 视觉惯性里程计的实现方法及系统
CN110533587A (zh) * 2019-07-03 2019-12-03 浙江工业大学 一种基于视觉先验信息和地图恢复的slam方法
CN111369628A (zh) * 2020-03-05 2020-07-03 南京华捷艾米软件科技有限公司 一种多相机集中式协同slam方法及系统
CN111652934A (zh) * 2020-05-12 2020-09-11 Oppo广东移动通信有限公司 定位方法及地图构建方法、装置、设备、存储介质
CN111586360A (zh) * 2020-05-14 2020-08-25 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN111640181A (zh) * 2020-05-14 2020-09-08 佳都新太科技股份有限公司 一种交互式视频投影方法、装置、设备及存储介质
CN112068552A (zh) * 2020-08-18 2020-12-11 广州赛特智能科技有限公司 一种基于cad图纸的移动机器人自主建图方法
CN112907644A (zh) * 2021-02-03 2021-06-04 中国人民解放军战略支援部队信息工程大学 一种面向机器地图的视觉定位方法
CN112985416A (zh) * 2021-04-19 2021-06-18 湖南大学 激光与视觉信息融合的鲁棒定位和建图方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
瑚琦;蔡文龙;卢定凡;姜敏;: "单目视觉惯性的同时定位与地图构建综述", 软件导刊, no. 07, 15 July 2020 (2020-07-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115708A (zh) * 2022-08-22 2022-09-27 荣耀终端有限公司 一种图像位姿的计算方法及系统

Similar Documents

Publication Publication Date Title
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
US8447099B2 (en) Forming 3D models using two images
WO2018068678A1 (zh) 一种立体摄像机外部参数的确定方法及装置
US8452081B2 (en) Forming 3D models using multiple images
CA2826534C (en) Backfilling points in a point cloud
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
WO2015135323A1 (zh) 一种摄像机跟踪方法及装置
Nurutdinova et al. Towards pointless structure from motion: 3d reconstruction and camera parameters from general 3d curves
CN111340873B (zh) 一种多视角图像的物体最小外包络尺寸测算方法
CN109658497B (zh) 一种三维模型重建方法及装置
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
CN111415420B (zh) 空间信息确定方法、装置及电子设备
Gadasin et al. Reconstruction of a Three-Dimensional Scene from its Projections in Computer Vision Systems
da Silveira et al. Dense 3d scene reconstruction from multiple spherical images for 3-dof+ vr applications
Tjahjadi et al. Precise wide baseline stereo image matching for compact digital cameras
CN110738703A (zh) 定位方法及装置、终端、存储介质
CN114627491A (zh) 一种基于极线汇聚的单人三维姿态估计方法
CN113052880A (zh) 一种sfm稀疏重建方法、系统及应用
JP2023056466A (ja) グローバル測位装置及び方法
CN117456114B (zh) 基于多视图的三维图像重建方法及系统
WO2021193672A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
CN113793379A (zh) 相机姿态求解方法及系统、设备和计算机可读存储介质
Zolotukhin et al. 3D reconstruction for a scanning electron microscope
Guillemaut et al. Using points at infinity for parameter decoupling in camera calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination