CN115423863B - 相机位姿估计方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及相机位姿估计技术领域，公开了一种相机位姿估计方法、装置及计算机可读存储介质，通过获取主相机外参和从相机外参，计算得到从相机外参相对于主相机外参的位姿变换关系，再获取主相机的第一地理位置，根据第一地理位置和位姿变换关系对主相机与从相机拍摄的多张目标图像生成的三维点进行优化计算，可以解决当拍摄到的图像的地面纹理较差时，特征点匹配效果较差导致优化效果差的问题，对特征点匹配的依赖性较低，可以提高地面纹理较差时的优化效果。

Description

相机位姿估计方法、装置及计算机可读存储介质

技术领域

本发明实施例涉及无人机航测技术领域，具体涉及一种相机位姿估计方法、装置、设备及计算机可读存储介质。

背景技术

目前，随着科技水平的不断进步，航空摄影测量技术能够测绘各种比例尺的地形图和图像地图，也可以建立地形数据库，为各种地理信息系统和土地信息系统提供基础数据，便于人们更精细地对土地做出规划与管理，通过航空摄影测量技术提供的精确的地理信息数据也能够建立高精度的地图，为人们的出行定位带来便利。航空摄影测量技术常常用到空中三角测量，即利用连续摄取的具有一定重叠的航摄相片，依据少量野外控制点，以摄影测量方法建立同实地相应的航线模型或区域网模型，从而获取加密点的平面坐标和高程。无人机航测技术是传统航空摄影测量手段的有力补充，具有机动灵活、高效快速、精细准确、作业成本低以及适用范围广等特点，利用无人机航测技术，无人机在搭载多相机进行航空摄影时，可以有效地拍摄到正射及倾斜图像，多相机的画幅较大，高空作业能一次性完成飞行任务。

现有的无人机航测技术，在无人机搭载多相机进行航空摄影时，如果遇到纹理特性较差的地面，例如大片树林或者水域较多时，特征点的匹配效果往往较差。

发明内容

鉴于上述问题，本发明实施例提供了一种相机位姿估计方法，用于解决现有技术中存在的问题。

根据本发明实施例的一个方面，提供了一种相机位姿估计方法，其特征在于，包括：

获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参，其中每个所述相机之间的相对位置关系固定不变，所述至少两个相机包括一个主相机和一个或多个从相机；

从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系；

通过传感器获取所述主相机的第一地理位置；

根据所述多相机拍摄装置拍摄的多张图像生成三维点，根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述相机优化后的第一位姿。

在一种可选的方式中，所述从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系，进一步包括：

根据所述主相机与所述从相机在同一轨迹位置拍摄的多张图像计算得到所述主相机外参和所述从相机外参；

根据所述主相机外参与所述从相机外参，计算所述主相机拍摄的图像到所述从相机拍摄的图像的转换关系，计算公式为：

T01=Tw0’*Tw1

其中，T01为所述转换关系，Tw0为所述主相机外参，Tw0’为Tw0的逆矩阵，Tw1为所述从相机外参；

将所述图像的转换关系确定为所述位姿变换关系。

在一种可选的方式中，所述根据所述多相机拍摄装置拍摄的多张图像生成三维点，进一步包括：

提取多张图像中每一张图像的特征点信息；

根据所述特征点信息生成词袋信息；

将所述词袋信息中具有相同特征描述子的至少两个图像进行匹配计算，得到匹配的两个图像间的匹配关系；

根据所述匹配关系计算全部图像中每两张图像间的相对转换关系；

根据所述相对转换关系生成所述三维点。

在一种可选的方式中，所述根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，进一步包括：

根据如下公式确定用于优化的投影矩阵：

其中，

为所述投影矩阵，/>

为所述位姿变换关系，/>

为所述第一地理位置，k为所述主相机和所述从相机中任一相机内参，i为第一地理位置序号，c为位姿变换关系序号；

根据所述投影矩阵计算所述三维点的最小化的重投影误差，其公式为：

其中，x为所述三维点，

为将所述三维点进行重投影后得到的二维特征点，o为三维点的序号。

在一种可选的方式中，在根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算之后，所述相机位姿估计方法还包括：

根据对所述三维点进行优化计算后得到的重投影误差，剔除所述三维点中像素误差大于4个像素点的点；

剔除所述三维点中观测点夹角小于2度的点；

对所述三维点进行全局优化。

在一种可选的方式中，所述相机位姿估计方法还包括：

根据所述主相机的第一地理位置与所述位姿变换关系计算得到所述从相机的第二地理位置；

根据所述第二地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述从相机优化后的第二位姿。

在一种可选的方式中，所述获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参之后，进一步包括：

获取所述多相机拍摄装置上一次作业过程中通过根据所述第一外参和所述第二外参计算得到的每个所述从相机相对于所述主相机的所述位姿变换关系。

根据本发明实施例的另一方面，提供了一种相机位姿估计装置，包括：

第一获取模块，用于获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参，其中每个所述相机之间的相对位置关系固定不变，所述至少两个相机包括一个主相机和一个或多个从相机；

第一计算模块，用于从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系；

第二获取模块，用于通过传感器获取所述主相机的第一地理位置；

第二计算模块，用于根据所述多相机拍摄装置拍摄的多张图像生成三维点，根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述相机优化后的第一位姿。

根据本发明实施例的另一方面，提供了一种相机位姿估计设备，包括：

处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一程序，所述程序使所述处理器执行如上述相机位姿估计方法的操作。

根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一程序，所述程序使相机位姿估计设备执行如上述方法对应的操作。

根据本发明实施例的相机位姿估计方法、装置、设备及计算机可读存储介质，通过获取主相机外参和从相机外参，计算得到从相机外参相对于主相机外参的位姿变换关系，再获取主相机的第一地理位置，根据第一地理位置和位姿变换关系对主相机与从相机拍摄的多张目标图像生成的三维点进行优化计算，由于主相机的第一地理位置是其实际位置，而主相机与从相机之间的实际位置关系均相对固定，因此通过获取从相机相对于主相机的位姿变换关系即相当于获取到了从相机的实际位置，基于相机的实际位置对三维点进行优化可以解决当拍摄到的图像的地面纹理较差时，特征点匹配效果较差导致优化效果差的问题，对特征点匹配的依赖性较低，可以提高地面纹理较差时的优化效果，提高优化精确性与适用性，进而提高三维重建的准确度。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的相机位姿估计方法的流程示意图；

图2示出了本发明实施例提供的相机位姿估计装置的结构示意图；

图3示出了本发明实施例提供的相机位姿估计设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。

针对现在普遍使用的通过无人机航测进行三维重建，发明人注意到，现有的无人机航测通过空中三角测量进行三维重建时，将无人机上每个相机拍摄到的图像进行特征点提取与匹配，仅利用匹配的信息对生成的三维点进行BA（Bundle Adjustment）优化，由于对匹配信息的强依赖性，当地面纹理特性较差时，会出现稳定性不足、特征点匹配效果下降和相机位置解算出现异常等问题。为了提高无人机航测三维重建的稳定性，扩大适用性，研究出一种更精确的、对匹配关系依赖较小，且对地形场景适用性更广的相机位姿估计方法是尤为重要的。

为了解决上述问题，本申请发明人经过研究，设计了一种相机位姿估计方法，通过获取主相机外参和从相机外参，计算主相机外参与从相机外参的位姿变换关系，获取主相机的第一地理位置，再根据第一地理位置和位姿变换关系对三维重建生成的三维点进行优化计算，可以降低优化过程对特征点匹配关系的依赖性，在复杂地形不易因匹配关系不准确而对优化后的三维点精确度造成影响，能够提高通过无人机航测进行三维重建的准确度。

图1示出了本发明实施例提供的相机位姿估计方法的流程图，如图1所示，该方法包括以下步骤：

步骤110：获取包括至少两个相机的多相机拍摄装置中每个相机的外参，其中每个相机之间的相对位置关系固定不变，至少两个相机包括一个主相机和一个或多个从相机。

本步骤中，主相机指的是多相机拍摄装置中作为正射镜头的相机，即正对目标方向拍摄的相机，在三维重建中，为了拍摄到同一位置不同角度的图像以便于提取特征点生成三维模型，相机的拍摄方向往往不一致，一般只存在一个主相机，其余相机均为从相机，在本申请实施例中，仅以具有一个主相机、一个或多个从相机的多相机拍摄装置为例说明。

本实施例中，多相机拍摄装置中的主相机上需安装地理位置获取装置，例如各种类型的位置传感器。其他相机则作为从相机，可基于主相机的地理位置以及其他相机与主相机之间固定不变的相对位置关系，在后续步骤中获得从相机相对于主相机的位姿变换关系，或者进一步获得从相机的地理位置。

在本步骤中，获取包括至少两个相机的多相机拍摄装置中每个相机的外参指的是，获取主相机的外参数和从相机的外参数，相机的外参数指的是相机在世界坐标系下的参数，包括旋转矩阵R和平移矩阵T。相机外参可以通过多种方式获取，例如，可以通过主相机和从相机在同一轨迹点拍摄的多张图像进行一次空中三角测量计算，得到主相机外参和从相机外参，也可以通过相机自标定的方式得到。相机自标定的方法也有多种，可以采用Tsai两步法、张氏标定法、主动系统控制相机做特定运动法、分层逐步标定法或基于Kruppa方程进行相机自标定，可以根据实际情况采用不同的方法来获取相机外参，本申请实施例对此不作特殊限定。

本步骤中，多相机拍摄装置中的每个相机之间为刚性连接。若多相机拍摄装置中的一个或多个相机转动了拍摄角度，相机的朝向即发生变化，位姿也会发生变化。由于每个相机之间的相对位置关系固定不变，多相机拍摄装置中所有相机的运动均一致，例如多相机拍摄装置所有相机同时整体转动一定角度，或者多相机拍摄装置整体移动一定距离等，此时即使每个相机的位姿会发生变化，但是每个相机之间的相对位姿是不变的。

通过获取包括至少两个相机的多相机拍摄装置中每个相机的外参，为后续相机位姿估计计算获取了数据基础，基于相机外参进行计算可以获得较为准确的数据计算结果。

步骤120：从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系。

在本步骤中，通过步骤110获取到的主相机外参和从相机外参，计算得出主相机外参与从相机外参间的位姿变换关系，位姿变换关系是一个变换公式，也可以为一个参数，或是一个或多个运算公式，目的是使主相机外参或从相机外参在结合位姿变换关系进行计算后可以互相转换，根据实际情况可以采用不同形式的位姿变换关系参与计算，只要能方便的实现主相机外参与从相机外参之间的转换即可，本申请实施例对此不作特殊限定。

通过得到主相机外参与从相机外参间的位姿变换关系，使后续相机位姿估计中可以通过位姿变换关系将主相机与从相机之间固定的相对位置数据加入优化过程，使相机位姿估计能够以主相机与从相机的相对位置作为优化基础，不仅是通过图像特征点的匹配关系进行优化，能够提高优化的适用性与稳定性，使相机位姿估计结果更加精准。

步骤130：通过传感器获取主相机的第一地理位置。

本步骤中，获取主相机的第一地理位置指的是，通过传感器直接得到主相机的第一地理位置，地理位置指的是主相机在世界坐标系下的位置数据。

在本步骤中，传感器可以是陀螺仪或GPS，也可以是其他传感器，可以根据实际情况通过不同的传感器获取第一地理位置，只需要能够方便地直接获取或通过一定计算获取到主相机在世界坐标系下的位置数据即可，本申请实施例对此不作特殊限定。

通过传感器获取主相机的第一地理位置，使数据的获取更加方便简单，且获取的地理位置为主相机的准确的实际所处位置，为后续优化计算提供准确的数据基础。

步骤140：根据所述多相机拍摄装置拍摄的多张图像生成三维点，根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述相机优化后的第一位姿。

在本步骤中，根据多相机拍摄装置拍摄的多张图像生成三维点指的是，主相机与从相机在拍摄多张图像后，根据多张图像进行三维重建，生成三维点，在本申请实施例中，根据主相机与从相机拍摄的多张图像进行空中三角测量生成三维点。

其中，三维点的生成指的是通过在多张图像中提取特征点的方式生成，根据图像的数量不同，生成的三维点的数量会因此稀疏或密集。

在本步骤中，根据第一地理位置和位姿变换关系对三维点进行优化计算，得到每个相机优化后的第一位姿指的是，将第一地理位置和位姿变换关系的数据代入优化过程中，作为优化参数，对三维点进行优化，得到优化后的第一位姿。

在本步骤中，根据第一地理位置和位姿变换关系对三维点进行优化计算的方法可以采用光束平差法（Baundle Adjustment），光束平差法是指从视觉重建中提炼出最优的3D模型和相机参数（内参和外参）。从每个特征点反射出来的几束光线（bundles of lightrays），在我们把相机姿态和特征点的位置做出最优的调整（adjustment）之后，收束到光心的这个过程，简称BA，可以将第一地理位置和位姿变换关系代入光束平差法中来实现三维点的优化计算。

通过根据主相机与从相机拍摄的多张目标图像生成三维点，再根据第一地理位置和位姿变换关系对三维点进行优化，可以使三维点的优化不仅依赖于多张图像特征点的匹配关系，当遇到较复杂地形，目标图像的特征点匹配关系不精准时，也能获得较为精确的优化结果，同时通过将主相机的第一地理位置和位姿变换关系参与优化，提高了三维重建在复杂地形下的适用性与优化精确度。

通过上述步骤110、步骤120、步骤130和步骤140的结合可知，根据本申请提供的相机位姿估计方法，可以通过获取主相机外参与从相机外参，计算出主相机外参与从相机外参间的位姿变换关系，然后获取主相机的第一地理位置，通过位姿变换关系与第一地理位置对三维点进行优化，通过这种方式，使数据的获取更加方便，只需要在主相机上配合安装用于获取第一地理位置的传感器即可，由于每个相机间的相对位置不会改变，因此可以通过位姿变换关系与主相机上的传感器获取的第一地理位置计算得到每个相机精准的位置，不需要在每一个相机上都安装额外的传感器，降低了设备成本，并且通过将主相机的第一地理位置和能够反映主相机与从相机的相对位置的位姿变换关系参与优化计算，可以使优化过程不彻底依赖于多张目标图像的特征点的匹配关系，当对复杂地形进行三维重建时，特征点的匹配关系不精确时，通过将第一地理位置和位姿变换关系参与优化计算，可以提高优化后的三维重建生成的三维点的精确度，提高了适用性。

在本发明的一个实施例中，步骤120进一步包括：

步骤a01：根据所述主相机与所述从相机在同一轨迹位置拍摄的多张图像计算得到所述主相机外参和所述从相机外参；

步骤a02：根据所述主相机外参与所述从相机外参，计算所述主相机拍摄的图像到所述从相机拍摄的图像的转换关系，计算公式为：

T01=Tw0’*Tw1

其中，T01为所述转换关系，Tw0为所述主相机外参，Tw0’为Tw0的逆矩阵，Tw1为所述从相机外参；

步骤a03：将所述图像的转换关系确定为所述位姿变换关系。

在步骤a01中，根据主相机与从相机在同一轨迹位置拍摄的多张图像计算得到主相机外参和从相机外参，具体为，根据主相机与从相机在同一轨迹位置拍摄的多张图像，进行空中三角测量，根据空中三角测量的结果得到主相机外参和从相机外参。

其中，同一轨迹位置指的是，在无人机航测时，无人机飞行路线可形成轨迹，一条轨迹上包含多个轨迹位置，也可以称轨迹点，每一轨迹位置在世界坐标系下都有固定不变的坐标，即根据主相机与从相机在同一轨迹位置拍摄的多张图像计算得到主相机外参和从相机外参可以理解为，根据主相机与从相机在同一位置拍摄的多张图像计算得到主相机外参与从相机外参。

在步骤a02中，Tw0指的是主相机在世界坐标系下的外参，而Tw0’指的是主相机坐标系到世界坐标系的转换，可以通过求主相机外参Tw0的逆矩阵的方式获得Tw0’，用于计算主相机外参与从相机外参间的转换关系，即TW0’*TW1。

通过获取主相机外参和从相机外参间的转换关系T01，使在同一个坐标系下的主相机与从相机的位置可以互相转换，由于多个相机间的相对位置基本保持不变的特性，亦可以根据任意一个相机的位置数据求得其他相机的位置数据，这样求得的数据不会受拍摄条件或图像质量影响，在后续优化中可以通过转换关系T01以任意一个相机的外参作为优化数据进行优化，降低了对特征点匹配关系的依赖性，在多种图像中均可以得到精确的优化结果，不会因拍摄得到的图像质量较差，导致特征点匹配不准确而造成优化结果受到影响，提高了适用性。

在本发明的一个实施例中，所述根据所述多相机拍摄装置拍摄的多张图像生成三维点，进一步包括：

步骤b01：提取多张图像中每一张图像的特征点信息；

步骤b02：根据所述特征点信息生成词袋信息；

步骤b03：将所述词袋信息中具有相同特征描述子的至少两个图像进行匹配计算，得到匹配的两个图像间的匹配关系；

步骤b04：根据所述匹配关系计算全部图像中每两张图像间的相对转换关系；

步骤b05：根据相对转换关系生成三维点。

在步骤b01中，提取每一目标图像的特征点信息可以通过FAST特征点提取，即遍历每一目标图像中的各个像素点，以当前像素点为中心、3为半径选择16个周围像素，并依次进行比较，若灰度差异值大于设定阈值的即标记为特征点，设定阈值可以根据实际情况进行设置，本申请实施例对此不作特殊限定。也可以选择ORB特征点提取或surf特征点提取等方法，只需要能够方便的提取出每一目标图像的特征点信息即可，本申请实施例对此不作特殊限定。

其中，特征点信息可以为以特征点为中心的、或涵盖特征点的一个区域内的全部像素点，也可以为单个像素或多个像素点的参数信息，目的是使后续的词袋信息可以根据特征点信息生成，根据实际情况特征点信息可以为多种形式，只要能便于后续词袋信息的生成即可，本申请实施例对此不作特殊限定。

在步骤b02中，根据特征点信息生成词袋信息具体为，根据特征点信息通过聚类产生单词，即为词袋信息，例如，特征点信息为多个区域内的全部像素点，每个区域内分别包含了湖泊与草地，则可以对应生成包含湖泊与草地的词袋信息。

在步骤b03中，将词袋信息中具有相同特征描述子的至少两个目标图像进行匹配计算，得到匹配的两个目标图像间的匹配关系具体为，通过回环检测根据特征描述子对词袋信息中对应的目标图像进行匹配，特征描述子指的是一种描述子（Descriptor），是刻画特征的一个数据结构，一个描述子的维数可以是多维的，用于对特征点进行描述，其获取方式为，以图像特征点为中心，取S*S的邻域窗口，在窗口内随机选取一对点，比较这两者像素的大小，进行二进制赋值，然后继续随机选取N对点，重复进行二进制赋值，形成一个二进制编码，这个编码就是对特征点的描述，即特征描述子。

在步骤b03中，得到匹配关系后，进一步的，为了提高匹配关系精确度，可以通过几何过滤的方式过滤掉其中的误匹配关系。

在步骤b04中，根据匹配关系计算目标图像的相对转换关系具体为，步骤b03中得到的匹配关系用于计算得到每对匹配的目标图像的外参数相对转换关系，然后进行旋转平均化和平移平均化，旋转平均化指的是在给定相对旋转测量值的情况下对相机的绝对位置进行估计，平移平均化指的是在给定相对平移测量值的情况下对相机的绝对位置进行估计，相对旋转测量值和相对平移测量值均可以根据相对转换关系得到。在进行旋转平均时，可以采用L2范数，因为在代码优化迭代的过程中，L2范数即为求平方和，代码会对这类型的公式进行优化求解，收敛较快。在进行平移平均时，可以采用L1范数，因为L1范数对噪声的反馈较为稳定。

在本发明的一个实施例中，所述根据第一地理位置和位姿变换关系对三维点进行优化计算，进一步包括：

步骤b06：根据如下公式确定用于优化的投影矩阵：

其中，

为投影矩阵，/>

为所述转换关系，/>

为所述第一地理位置，k为主相机和从相机中任一相机内参，i为第一地理位置序号，c为所述相机的序号；

步骤b07：根据所述投影矩阵计算所述三维点的最小化的重投影误差，其公式为：

其中，x为所述三维点，

为将所述三维点进行重投影后得到的二维特征点，o为三维点序号。

在步骤b06中，将转换关系

与第一地理位置/>

相乘，并加入相机内参k参与计算得到投影矩阵/>

，能够体现三维点到二维点的转换，为后续计算提供数据基础。

其中，相机内参k可以为主相机内参，也可以为从相机内参，根据实际情况可以针对不同相机进行优化，只需要能够最终得到准确的投影矩阵，例如，当需要针对主相机进行优化时，相机内参k为主相机内参，优化计算后得到的优化后的第一位姿为主相机的第一位姿。

其中，k为主相机和从相机中任一相机内参，若k为主相机内参，则

为单位矩阵。

在步骤b07中，通过最小二乘法计算重投影误差，即指的是，计算最小化三维点重投影到图像二维平面的最小距离，在计算重投影误差时，可以通过使用ceres tools来进行迭代求解最优解，根据实际情况也可以采用不同的工具辅助计算，本申请对此不作特殊限定。

在本发明的一个实施例中，在根据第一地理位置和位姿变换关系对三维点进行优化计算之后，还包括：

步骤d01：根据对所述三维点进行优化计算后得到的重投影误差，剔除所述三维点中像素误差大于4个像素点的点；

步骤d02：剔除所述三维点中观测点夹角小于2度的点；

步骤d03：对所述三维点进行全局优化。

在步骤d01中，像素误差可以通过重投影误差计算得到，计算重投影误差的公式为：

其中，x为所述三维点，

为将所述三维点进行重投影后得到的二维特征点，o为所述三维点的序号，根据重投影误差的计算公式，可以得到计算像素误差的公式为：

其中，

为所述投影矩阵，x为所述三维点，/>

为将所述三维点进行重投影后得到的二维特征点。像素误差即为当将三维点投影到二维平面时，与二维特征点位置的差异。

在步骤d02中，观测点指的是根据多相机拍摄装置拍摄的多张图像生成的三维点。若一个三维点可由两个相机同时观测到，则该三维点到两个相机的直线所形成的夹角即为观测点夹角，若同一个观测点的所有观测点夹角中最大的观测点夹角小于2度，则剔除这个观测点。

当观测点夹角小于2度时，可以认为两个相机的观测点夹角特别小，这种情况下生成的三维点往往误差较大，而重投影误差大于4像素点时，即三维点投影到二维平面与二维像素点位置的差异大于4像素点时，也可以认为这个三维点的误差较大，因此，通过剔除像素误差大于4的点，并剔除每个观测点夹角小于2度的点，能够使最终剩余的三维点的精确度更高，使对三维点进行全局优化后的效果更好。

在本发明的一个实施例中，所述相机位姿估计方法还包括：

步骤e01：根据所述主相机的第一地理位置与所述位姿变换关系计算得到所述从相机的第二地理位置；

步骤e02：根据所述第二地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述从相机优化后的第二位姿。

在步骤e01中，根据主相机的第一地理位置与位姿变换关系计算得到从相机的第二地理位置指的是，根据获取到的第一地理位置与计算得到的位姿变换关系，将第一地理位置与位姿变换关系结合计算，得到从相机的第二地理位置，第二地理位置指的是从相机在世界坐标系下的位置数据。

在步骤e02中，根据第二地理位置和位姿变换关系对三维点进行优化计算，得到每个从相机优化后的第二位姿指的是，将第二地理位置和位姿变换关系的数据代入优化过程中，作为优化参数，对三维点进行优化，得到优化后的第二位姿。

通过根据第二地理位置和位姿变换关系对三维点进行优化，得到从相机的第二位姿，可以使三维点的优化不仅依赖于多张图像特征点的匹配关系，在复杂地形下特征点匹配关系不精准时，也能获得较为精确的优化结果，提高了适用性，提高了三维重建优化的效果。

在本发明的一个实施例中，所述获取包括至少两个相机的多相机拍摄装置中每个相机的外参之后，进一步包括：

步骤f01：获取多相机拍摄装置上一次作业过程中根据第一外参和第二外参计算得到的每个从相机相对于主相机的历史位姿变换关系，将历史位姿变换关系作为位姿变换关系，并跳转至所述通过传感器获取主相机的第一地理位置的步骤。

在步骤f01中，由于多相机拍摄装置中每个相机之间为刚性连接，每个相机的相对位置关系不会发生变化，因此上一次作业得到的历史位姿变换关系可以被多次读取并重复使用，在每次航拍作业后在本次航拍获取到的数据也可以被保存，以便后续继续使用，数据可以保存为json格式文件，根据实际情况也可以保存为其他类型的数据，只需要保证数据能够被方便的重复读取使用即可，本申请实施例对此不作特殊限定。

其中，在获取了历史位姿变换关系作为位姿变换关系后，便不需要重复计算相机的位姿变换关系，可以直接跳转到下一步骤。

通过获取上一次作业过程中根据第一外参和第二外参计算得到的每个从相机相对于主相机的历史位姿变换关系，并将历史位姿变换关系作为位姿变换关系，使第一次作业后的每次作业都可以直接利用上一次作业已经计算出来的固定不变的数据，简化了作业流程，提高了计算效率。

图2示出了根据本发明一个实施例的相机位姿估计装置200的功能框图。如图2所示，该装置包括：第一获取模块210、第一计算模块220，第二获取模块230和第二计算模块240。

第一获取模块210，用于获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参，其中每个所述相机之间的相对位置关系固定不变，所述至少两个相机包括一个主相机和一个或多个从相机；

第一计算模块220，用于从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系；

第二获取模块230，用于通过传感器获取所述主相机的第一地理位置；

第二计算模块240，用于根据所述多相机拍摄装置拍摄的多张图像生成三维点，根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述相机优化后的第一位姿。

在一些实施例中，第一计算模块220进一步包括：

第一计算单元，用于根据所述主相机与所述从相机在同一轨迹位置拍摄的多张图像计算得到所述主相机外参和所述从相机外参；

第二计算单元，用于根据所述主相机外参与所述从相机外参，计算所述主相机拍摄的图像到所述从相机拍摄的图像的转换关系，计算公式为：T01=Tw0’*Tw1，其中，T01为所述转换关系，Tw0为所述主相机外参，Tw0’为Tw0的逆矩阵，Tw1为所述从相机外参；

第三计算单元，用于将所述图像的转换关系确定为所述位姿变换关系。

在一些实施例中，第二计算模块240进一步包括：

第四计算单元，用于提取多张图像中每一张图像的特征点信息；

第五计算单元，用于根据所述特征点信息生成词袋信息；

第六计算单元，用于将所述词袋信息中具有相同特征描述子的至少两个图像进行匹配计算，得到匹配的两个图像间的匹配关系；

第七计算单元，用于根据所述匹配关系计算全部图像中每两张图像间的相对转换关系；

第八计算单元，用于根据所述相对转换关系生成所述三维点。

在一些实施例中，第二计算模块240进一步包括：

第九计算单元，用于根据如下公式确定用于优化的投影矩阵：

，其中，/>

为所述投影矩阵，/>

为所述位姿变换关系，/>

为所述第一地理位置，k为所述主相机和所述从相机中任一相机内参，i为所述第一地理位置序号，c为所述位姿变换关系序号；

第十计算单元，用于根据所述投影矩阵计算所述三维点的最小化的重投影误差，其公式为：

，其中，x为所述三维点，/>

为将所述三维点进行重投影后得到的二维特征点，o为所述三维点的序号。

在一些实施例中，相机位姿估计装置200还包括：

第一剔除模块，用于根据对所述三维点进行优化计算后得到的重投影误差，剔除所述三维点中像素误差大于4个像素点的点；

第二剔除模块，用于剔除所述三维点中观测点夹角小于2度的点；

优化模块，用于对所述三维点进行全局优化。

在一些实施例中，相机位姿估计装置200还包括：

第三计算模块，用于根据所述主相机的第一地理位置与所述位姿变换关系计算得到所述从相机的第二地理位置；

第四计算模块，用于根据所述第二地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述从相机优化后的第二位姿。

在一些实施例中，相机位姿估计装置200还包括：

第五计算模块，用于根据主相机的第一地理位置与位姿变换关系计算得到从相机的第二地理位置；

第六计算模块，用于根据第二地理位置和位姿变换关系对三维点进行优化计算，得到每个从相机优化后的第二位姿。

在一些实施例中，相机位姿估计装置200还包括：

第三获取模块，用于获取多相机拍摄装置上一次作业过程中根据第一外参和第二外参计算得到的每个从相机相对于主相机的历史位姿变换关系，将历史位姿变换关系作为位姿变换关系，并跳转至所述通过传感器获取所述主相机的第一地理位置的步骤。

图3示出了根据本发明实施例的一种相机位姿估计设备的结构示意图，本发明具体实施例并不对相机位姿估计设备的具体实现做限定。

如图3所示，该相机位姿估计设备可以包括：处理器302、存储器306、通信接口304和通信总线308。

处理器302、存储器306和通信接口304通过通信总线308完成相互间的通信。

存储器306用于存放至少一程序310，程序310使处理器302执行如上述相机位姿估计方法实施例中的相关步骤。

本发明实施例还提供了一种计算机可读存储介质，存储介质中存储有至少一程序，程序在相机位姿估计设备上运行时，使得相机位姿估计设备可执行上述任意方法实施例中的相机位姿估计方法。

在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。

本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (9)

1.一种相机位姿估计方法，其特征在于，包括：

获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参，其中每个所述相机之间的相对位置关系固定不变，所述至少两个相机包括一个主相机和一个或多个从相机；

从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系；

通过传感器获取所述主相机的第一地理位置；

根据所述多相机拍摄装置拍摄的多张图像生成三维点，根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述相机优化后的第一位姿；

所述根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，进一步包括：根据如下公式确定用于对所述三维点进行优化的投影矩阵：

其中，

为所述投影矩阵，

为所述位姿变换关系，

为所述第一地理位置，k 为所述主相机和所述从相机中任一相机内参，i为所述第一地理位置序号，c为所述相机的 序号；

根据所述投影矩阵计算所述三维点的最小化的重投影误差，其公式为：

其中，x为所述三维点，

为将所述三维点进行重投影后得到的二维特征点，o为所述三 维点的序号。

2.根据权利要求1所述的相机位姿估计方法，其特征在于，所述从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系，进一步包括：

根据所述主相机与所述从相机在同一轨迹位置拍摄的多张图像计算得到所述主相机外参和所述从相机外参；

根据所述主相机外参与所述从相机外参，计算所述主相机拍摄的图像到所述从相机拍摄的图像的转换关系，计算公式为：

T01=Tw0’*Tw1

其中，T01为所述转换关系，Tw0为所述主相机外参，Tw0’为Tw0的逆矩阵，Tw1为所述从相机外参；

将所述图像的转换关系确定为所述位姿变换关系。

3.根据权利要求1所述的相机位姿估计方法，其特征在于，所述根据所述多相机拍摄装置拍摄的多张图像生成三维点，进一步包括：

提取多张图像中每一张图像的特征点信息；

根据所述特征点信息生成词袋信息；

将所述词袋信息中具有相同特征描述子的至少两个图像进行匹配计算，得到匹配的两个图像间的匹配关系；

根据所述匹配关系计算全部图像中每两张图像间的相对转换关系；

根据所述相对转换关系生成所述三维点。

4.根据权利要求1所述的相机位姿估计方法，其特征在于，在根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算之后，所述相机位姿估计方法还包括：

根据对所述三维点进行优化计算后得到的重投影误差，剔除所述三维点中像素误差大于4个像素点的点；

剔除所述三维点中观测点夹角小于2度的点；

对所述三维点进行全局优化。

5.根据权利要求1所述的相机位姿估计方法，其特征在于，所述相机位姿估计方法还包括：

根据所述主相机的第一地理位置与所述位姿变换关系计算得到所述从相机的第二地理位置；

根据所述第二地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述从相机优化后的第二位姿。

6.根据权利要求1所述的相机位姿估计方法，其特征在于，所述获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参之后，所述相机位姿估计方法进一步包括：

获取所述多相机拍摄装置上一次作业过程中根据所述第一外参和所述第二外参计算得到的每个所述从相机相对于所述主相机的所述位姿变换关系。

7.一种相机位姿估计装置，其特征在于，包括：

第一获取模块，用于获取包括至少两个相机的多相机拍摄装置中每个所述相机的外参，其中每个所述相机之间的相对位置关系固定不变，所述至少两个相机包括一个主相机和一个或多个从相机；

第一计算模块，用于从所述外参中确定所述主相机的第一外参和每个所述从相机的第二外参，根据所述第一外参和所述第二外参计算得到每个所述从相机相对于所述主相机的位姿变换关系；

第二获取模块，用于通过传感器获取所述主相机的第一地理位置；

第二计算模块，用于根据所述多相机拍摄装置拍摄的多张图像生成三维点，根据所述第一地理位置和所述位姿变换关系对所述三维点进行优化计算，得到每个所述相机优化后的第一位姿；

第二计算模块进一步包括：

第一优化单元，用于根据如下公式确定用于对所述三维点进行优化的投影矩阵：

其中，

为所述投影矩阵，

为所述位姿变换关系，

为所述第一地理位置，k 为所述主相机和所述从相机中任一相机内参，i为所述第一地理位置序号，c为所述相机的 序号；

第二优化单元，用于根据所述投影矩阵计算所述三维点的最小化的重投影误差，其公式为：

其中，x为所述三维点，

为将所述三维点进行重投影后得到的二维特征点，o为所述三 维点的序号。

8.一种相机位姿估计设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一程序，所述程序使所述处理器执行如权利要求1-6任意一项所述的相机位姿估计方法的操作。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一程序，所述程序在相机位姿估计设备上运行时，使得相机位姿估计设备执行如权利要求1-6任意一项所述的相机位姿估计方法的操作。

Images