CN109544629B - 摄像头位姿确定方法和装置以及电子设备 - Google Patents

Abstract

本申请涉及摄像头位姿确定方法和装置以及电子设备。摄像头位姿确定方法可包括：确定摄像头采集的当前帧图像中的具有预设语义的多个第一像素点；在当前帧图像之前的先前帧图像中确定具有预设语义的多个第二像素点，其中，多个第一像素点与至少部分多个第二像素点对应；确定多个第一像素点与多个第二像素点之间的误差，误差包括语义误差；基于误差确定当前帧图像相对于先前帧图像的摄像头位姿变化值；以及基于与先前帧图像对应的摄像头位姿以及当前帧图像相对于先前帧图像的摄像头位姿变化值，确定与当前帧图像对应的摄像头位姿。根据本申请实施例的摄像头位姿确定方法可以通过直接在语义分割结果上计算，避免了相机之间的个体差异的影响。

Description

摄像头位姿确定方法和装置以及电子设备

技术领域

本申请涉及图像处理技术领域，且更具体地，涉及一种摄像头位姿确定方法、确定装置以及电子设备。

背景技术

视觉里程计算方法已经被广泛应用于机器人及无人交通工具导航领域，如智能汽车、无人机等，这种方法能够根据视觉信息测算运动的距离和方向，避免了传统里程计算方法中因轮式里程计的车辆打滑造成的测量错误，也避免了因传感器精度降低等因素造成的测量误差，提高测量精度。

在视觉里程计算方法中，摄像头位姿的计算方法是其核心模块。在当前常用的摄像头位姿的计算方法中，往往采用使重投影误差最小的方式来计算摄像头位姿，在此过程中需要提取角点，并进行特征匹配；若角点太稀疏导致地图稀疏，特征匹配的错误非常容易造成系统失效，而且对特征匹配的筛选和错误匹配的剔除之阈值很难确定。

因此，需要一种能够准确地确定摄像头位姿的方法。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种摄像头位姿确定方法、摄像头位姿确定装置、电子设备、可移动设备以及计算机可读介质，其可以实现摄像头位姿的计算结果不受摄像头之间个体差异的影响，提高了计算获得的摄像头位姿的准确度。

根据本申请的一个方面，提供了一种摄像头位姿确定方法，包括：确定摄像头采集的当前帧图像中的具有预设语义的多个第一像素点；在所述当前帧图像之前的先前帧图像中确定具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与至少部分所述多个第二像素点对应；确定所述多个第一像素点与所述多个第二像素点之间的误差，所述误差包括语义误差；基于所述误差确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值；以及基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，确定与所述当前帧图像对应的摄像头位姿。

根据本申请的另一方面，提供一种摄像头位姿确定装置，包括：图像接收单元，用于接收来自摄像头的当前帧图像；像素点确定单元，用于确定所述当前帧图像中具有预设语义的多个第一像素点和先前帧图像中具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与所述多个第二像素点至少部分地对应；位姿变化值确定单元，用于确定所述多个第一像素点和所述多个第二像素点之间的误差，并基于所述误差，确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，所述误差包括语义误差；以及位姿确定单元，用于基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，确定与所述当前帧图像对应的摄像头位姿。

根据本申请的又一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的摄像头位姿确定方法。

根据本申请的又一方面，提供了一种可移动设备，包括上述电子设备。

根据本申请的又一方面，提供了一种计算机可读的存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的摄像头位姿确定方法。

与现有技术相比，采用根据本申请实施例的摄像头位姿确定方法、摄像头位姿确定装置、电子设备、可移动设备及计算机可读介质，可以确定摄像头采集的当前帧图像中的具有预设语义的多个第一像素点；在所述当前帧图像之前的先前帧图像中确定具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与至少部分所述多个第二像素点对应；确定所述多个第一像素点与所述多个第二像素点之间的误差，所述误差包括语义误差；基于所述误差确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值；以及基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，得到与所述当前帧图像对应的摄像头位姿。因此，可以通过直接在语义分割结果上进行计算，比传统的在灰度点上做更加鲁棒，避免了相机之间的个体差异的影响。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1图示了根据本申请实施例的摄像头位姿确定方法的应用场景的示意图。

图2图示了根据本申请一实施例的摄像头位姿确定方法的流程图。

图3图示了根据本申请一实施例的摄像头位姿确定方法的步骤S120的流程图。

图4示出了同一物理点在两帧图像上的投影示意图。

图5图示了根据本申请一实施例的摄像头位姿确定装置的框图。

图6图示了根据本申请一实施例的位姿变化值确定单元的框图。

图7图示了根据本申请一实施例的电子设备的框图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

如上所述，在当前的视觉里程计算方法中，往往采用对重投影误差进行优化，计算得到摄像头的相对运动参数，从而得到摄像头在当前时刻的位姿或位置。然而，在这种方法中，常常需要提取角点和进行特征匹配；如果角点过于稀疏则导致地图稀疏，并且特征匹配的错误非常容易造成系统失效。因此，需要改进的摄像头位姿确定方法，它不受到相机个体之间的差异的影响。

针对该技术问题，本申请的基本构思是提出一种摄像头位姿确定方法、摄像头位姿确定装置、电子设备、可移动设备以及计算机可读介质，其可以直接基于语义标签计算帧间位姿变化，避免了相机之间个体差异的影响，增强了视觉定位结果的可分析、可测试性，可以分析图像中每个类别元素对最终定位结果的影响。

需要说明的是，本申请的上述基本构思不但可以应用于机器人及无人交通工具导航领域，也可以应用于其它领域，例如盲人导航等。

在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。

示例性系统

图1图示了根据本申请实施例的摄像头位姿确定的应用场景的示意图。如图1所示，车辆10可包括车载摄像头12。在这里，车载摄像头12也可以是常用的单目相机、双目相机、或者更多目相机。虽然图1示出了车载摄像头12安装于车辆10的顶部，但是应理解，车载摄像头亦可安装于车辆10的其他位置处，例如车头部分处、前挡风玻璃处等等。

还可理解，图1中所示的坐标系是车载摄像头的局部坐标系(X_c，Y_c，Z_c)，其中Z_c轴的方向为车载摄像头的光轴方向，Y_c轴方向为垂直于Z_c轴向下的方向，X_c轴方向为垂直于Y_c轴和Z_c轴的方向。

在这里，车辆10可以包括位姿确定装置14。车载摄像头12可以连续拍摄多帧图像，并且位姿确定装置14可以计算与各帧图像对应的车载摄像头12的旋转矩阵R和平移矩阵T，其中，平移矩阵T是3*1矩阵，表示车载摄像头12此时相对于原点的位置，旋转矩阵R是3*3矩阵，表示车载摄像头12此时的姿态，旋转矩阵R也可以表示成欧拉角

的形式，其中ψ表示绕Y轴旋转的航向角(yaw)，θ表示沿X轴旋转的俯仰角(pitch)，

表示沿Z轴旋转的滚转角(roll)。

示例性方法

图2图示了根据本申请实施例的摄像头位姿确定方法的流程图。

如图2所示，根据本申请实施例的摄像头位姿确定方法100包括：

S110，确定摄像头采集的当前帧图像中的具有预设语义的多个第一像素点。

在这里，摄像头可以是任何类型的摄像头，还可以是相机，例如单目相机、双目相机、多目相机等。例如，该摄像头所采集到的图像数据可以是连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。另外，该摄像头可以用于捕捉灰度图，也可以捕捉带有颜色信息的彩色图。当然，本领域中已知的以及将来可能出现的任何其他类型的摄像头都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制，只要能够获得清晰的图像即可。

在一实施例中，可以基于训练好的神经网络模型识别出图像中属于预设语义的物体，每一个物体可对应属于预设语义的概率值，例如，可能需要对摄像头采集的当前帧图像进行语义分割，确定当前帧图像中各像素点的语义。

图像是由许多像素点组成的。图像语义是指图像内容的含义。本申请中的预设语义是指预设的图像语义，例如，图像中包含的行人、车辆、树木、交通标识等。

S120，在所述当前帧图像之前的先前帧图像中确定具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与至少部分所述多个第二像素点对应。

先前帧图像是当前帧图像之前的图像，先前帧图像和当前帧图像之间可能间隔一帧图像、两帧图像或者多帧图像，优选地，先前帧图像是当前帧图像的上一帧图像。在采集先前帧图像和当前帧图像期间，摄像头移动了一定距离，即产生了平移位移。

检索当前帧图像中的各像素点的语义和先前帧图像中各像素点的语义，匹配当前帧图像和先前帧图像中对应的像素点，其中，当前帧图像中的多个第一像素点与先前帧图像中的多个第二像素点至少部分地对应。即，当前帧图像中的各像素点与先前帧图像中的各像素点至少部分地交叠，也就是说，当前帧图像中的各像素点不一定全部与先前帧图像中各像素点的对应，当前帧图像中的像素点与先前帧图像中的部分像素点对应，当前帧图像中的像素点的语义与先前帧图像中的部分像素点不对应。例如当前帧图像中包含一个行人的所有像素点，而先前帧图像中只包含行人的部分像素点；再如，当前帧图像中包含一个行人的部分像素点，而先前帧图像中包含行人的全部像素点。

步骤S130，确定所述多个第一像素点与所述多个第二像素点之间的误差，并基于所述误差确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，所述误差包括语义误差。

所述语义误差是指所述当前帧图像中的第一像素点属于所述预设语义的概率值与所述先前帧图像中的对应第二像素点属于所述预设语义的概率值之间的差。也就是说，当前帧图像中的多个第一像素点与先前帧图像中的多个第二像素点之间的语义误差是指对应的当前帧图像中的第一像素点与先前帧图像中的第二像素点的置信度之间的差。

在这里，由于语义误差是由摄像头的位姿参数表示的，通过使语义误差最小来求得当前帧图像相对于先前帧图像的摄像头位姿变化值，或者说，当前帧图像相对于先前帧图像的摄像头相对位姿变化值，或者说，当前帧图像相对于先前帧图像的摄像头位姿变化增量。

步骤S140，基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，确定与所述当前帧图像对应的摄像头位姿。

在步骤S140，由于已经获得摄像头在采集先前帧图像时的摄像头位姿和当前帧图像相对于先前帧图像的摄像头位姿变化值，通过使先前帧图像对应的摄像头位姿加上当前帧图像相对于先前帧图像的摄像头位姿变化值，得到与当前帧图像对应的摄像头位姿。

采用根据本实施例的摄像头位姿确定方法，通过直接在语义分割结果上进行位姿参数的计算，避免了摄像头之间个体差异的影响，获得了更准确的位姿参数。

在一个实例中，所述误差还包括光度误差和/或重投影误差。这样，所述误差可以只包括语义误差，还可以包括光度误差或重投影误差与光度误差和重投影误差。即所述误差可以是语义误差、语义误差和光度误差、语义误差和重投影误差、语义误差和光度误差及重投影误差中的一种。

重投影误差的计算过程包括：建立图像a(例如，对应本申请中的当前帧图像)和图像b(例如，对应本申请中的先前帧图像)的特征匹配关系，计算匹配点对对应的三维坐标，并得到匹配点对的三维对应关系；根据匹配点对的三维坐标及其三维对应关系，计算重投影误差：d²(p_i，Mq_i)＝||p_i-Mq_i||²，式中，p_i，q_i分别表示空间点p_i和图像点q_i对应的齐次坐标，M为投影矩阵，由摄像头内部参数矩阵K、相对运动参数旋转矩阵R，三维平移矢量t构成：

关于不同图像之间的重投影误差的获取和计算的更多细节，对本领域技术人员而言是已知的，在此不做赘述。

关于不同图像之间的光度误差的获取和计算，对本领域技术人员而言是已知的，在此不做赘述。

采用本示例，通过在语义误差的基础上叠加光度误差和/或重投影误差，削弱了单独优化光度误差或重投影误差容易陷入局部最优的可能性，使当前帧图像相对于先前帧图像的相对位姿变化值更准确。

在一个示例中，如图3所示，步骤S130，所述确定当前帧图像相对于所述先前帧图像的摄像头位姿变化值，包括：

步骤S1301，基于摄像头的缺省位姿变化值确定与所述多个第一像素点对应的所述多个第二像素点。

步骤S1301的目的在于确定先前帧图像中的哪些像素点与当前帧图像中的第一像素点对应，即确定当前帧图像的像素点与先前帧图像的像素点之间的对应关系。

在一个示例中，若所述先前帧图像是第一帧图像，则摄像头的缺省位姿变化值是与先前帧图像相关联的摄像头位姿变化值。在这里，若先前帧图像是摄像头在起始点采集的初始帧图像，则此时，摄像头的位姿参数是已知的初始参数，摄像头的缺省位姿变化值可以设置为初始位姿或者零，或者根据经验设定的值，或者任意值。采用本示例，纯粹利用多帧图像之间的相对位姿变化来确定当前帧图像对应的摄像头位姿，能够降低摄像头位姿的获取成本。

在一个示例中，若所述先前帧图像是除第一帧图像外的图像，则摄像头的缺省位姿变化值是由与摄像头相关联的传感器确定的摄像头位姿变化值。例如，摄像头的缺省变化值是由视觉里程计、底盘编码器等确定的。采用本示例，能够利用外部传感器快速地获得迭代计算摄像头位姿变化值的初始值。

步骤S1302，计算所述多个第一像素点与对应的所述多个第二像素点之间的误差相对于摄像头的缺省位姿变化值的一阶偏导，以确定雅克比矩阵。

在步骤S1302，先计算多个第一像素点和多个第二像素点之间的误差，然后再使该误差相对于摄像头的缺省位姿变化值求一阶偏导，由此确定雅克比矩阵。

步骤S1303，基于所述雅克比矩阵计算海森矩阵。

在一个示例中，计算所述雅克比矩阵的转置与所述雅克比矩阵的乘积，以获得所述海森矩阵。采用本示例，通过计算雅克比矩阵的转置与雅克比矩阵的乘积来获得海森矩阵，能够逻辑清晰，简单快捷地计算海森矩阵。

在一个示例中，使所述雅克比矩阵相对于摄像头的缺省位姿变化值求一阶偏导，或者使误差相对于摄像头的缺省位姿变化值求二阶偏导，得到海森矩阵。采用本示例，能够使用同一处理器处理摄像头的缺省位姿变化值，减少了处理器的使用量，降低了计算成本。

步骤S1304，分解所述海森矩阵以确定位姿变化增量。

步骤S1305，基于所述位姿变化增量确定新的位姿变化值。

这里，位姿变化增量是指当前帧图像相对于先前帧图像的位姿变化值的增量；新的位姿变化值是指在获取位姿变化增量之前的位姿变化值和位姿变化增量的和，更确切地说是，二者的矢量和。

若新的位姿变化值不收敛或所述误差没有实现全局最小化，则利用所述新的位姿变化值迭代地执行上述步骤，直到所述新的位姿变化值收敛并且所述误差实现全局最小化。然后执行步骤S1306。

步骤S1306，新的位姿变化值的收敛值为当前帧图像相对于先前帧图像的摄像头位姿变化值。

具体地，下面参考图4简单说明当前帧图像对应的摄像头位姿变化的求取过程。如图4所示，p1和p2分别是先前帧图像I₁和当前帧图像I₂上的一个像素点，二者对应。像素点p₁移动一定位移后，由先前帧图像I₁上的O₁相机坐标系下经过ξ变换到当前帧图像I₂上的O₂相机坐标系下。假设这里对三个语义标签或者类别对象感兴趣。

像素点p₁和p₂之间的语义误差为：e_s(ξ)＝S(p₂)-S(p₁)＝e_s(e₁,e₂,e₃)，

式中，S(p1)和S(p2)分别表示像素点p₁和p₂的语义；

e_s(ξ)表示像素点p₁和像素点p₂的语义误差；

ξ是李群T在李代数下的表示，是一个6x1的向量(ξ₁、ξ₂、ξ₃、ξ₄、ξ₅、ξ₆)。

e(ξ)关于ξ求一阶导数，得到单像素点的雅克比矩阵

对J(ξ)转置并与J(ξ)乘积后得到海森矩阵，即

对海森矩阵进行分解，例如三角分解、满秩分解、QR分解、Jordan分解和SVD分解等，得到1×6的向量，即位姿变化增量Δ。位姿变化增量Δ与当前位姿变化值ξ或者摄像头的缺省位姿变化值加和，得到新的位姿变化值ξ_new。利用新的位姿变化值ξ_new迭代地执行上述步骤，直到新的位姿变化值ξ_new收敛并且误差e(ξ)实现全局最小化，新的位姿变化值ξ_new的收敛值为当前帧图像相对于先前帧图像的摄像头位姿变化值。当前帧图像相对于先前帧图像的摄像头位姿变化值与先前帧图像对应的摄像头位姿的和即为当前帧图像对应的摄像头位姿。

上面对单个像素点求取摄像头的位姿参数进行了简要说明。在多个像素点时，分别对各个像素点求取单个像素点语义误差并求取各自的雅克比矩阵和海森矩阵，然后对这些单个像素点语义误差、各自的雅克比矩阵和海森矩阵分别进行叠加，得到多个像素点的语义误差、雅克比矩阵和海森矩阵，并由此得到位姿变化增量。位姿变化增量Δ与当前位姿变化值ξ或者摄像头的缺省位姿变化值加和，得到新的位姿变化值ξ_new。利用新的位姿变化值ξ_new迭代地执行上述步骤，直到新的位姿变化值ξ_new收敛并且误差e(ξ)实现全局最小化，新的位姿变化值ξ_new的收敛值为当前帧图像相对于先前帧图像的摄像头位姿变化值。当前帧图像相对于先前帧图像的摄像头位姿变化值与先前帧图像对应的摄像头位姿的和即为当前帧图像对应的摄像头位姿。

因此，根据本申请的摄像头位姿确定方法，通过在对图像进行语义分割的基础上，直接基于语义标签计算帧间位姿变换，避免了相机之间的个体差异的影响，并且为后续在定位系统中加入物体之间关联性打下基础。

示例性装置

图5图示了根据本申请实施例的摄像头位姿确定装置的框图。

如图5所示，根据本申请实施例的摄像头位姿确定装置200包括：

图像接收单元210，用于接收来自摄像头的当前帧图像；

像素点确定单元220，用于确定所述当前帧图像中具有预设语义的多个第一像素点和先前帧图像中具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与所述多个第二像素点至少部分地对应；

位姿变化值确定单元230，用于确定所述多个第一像素点和所述多个第二像素点之间的误差，并基于所述误差，确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，所述误差包括语义误差；以及

位姿确定单元240，用于基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于先前帧图像的摄像头位姿变化值，确定与所述当前帧图像对应的摄像头位姿。

在一个示例中，在根据本申请实施例的摄像头位姿确定装置200中，所述语义误差是指所述当前帧图像中的第一像素点属于所述预设语义的概率值与所述先前帧图像中的对应第二像素点属于所述预设语义的概率值之间的差。

在一个示例中，在根据本申请实施例的摄像头位姿确定装置200中，所述误差还包括光度误差和重投影误差中的一个或两个，位姿变化值确定单元230还用于确定光度误差和重投影误差中的一个或两个。

在一个示例中，在根据本申请实施例的摄像头位姿确定装置200中，如图6所示，位姿变化值确定单元230还包括：

误差计算子单元2301，用于基于摄像头的缺省位姿变化值确定与所述多个第一像素点至少部分地对应的所述多个第二像素点，并计算所述多个第一像素点和所述多个第二像素点之间的误差；

位姿变化增量计算子单元2302，用于基于所述多个第一像素点和所述多个第二像素点之间的误差，计算雅克比矩阵和海森矩阵并进而计算位姿变化增量；

位姿变化值计算子单元2303，用于基于所述位姿变化增量确定新的位姿变化值；

迭代子单元2304，用于利用新的位姿变化值进行迭代，直到新的位姿变化值收敛并且误差实现全局最小化，所述新的位姿变化值的收敛值为当前帧图像相对于先前帧图像的摄像头位姿变化值。

在一个进一步的示例中，在根据本申请实施例的摄像头位姿确定装置200中，所述摄像头的缺省位姿变化值是与所述先前帧图像相关联的摄像头位姿变化值，或者是由与所述摄像头相关联的传感器确定的摄像头位姿变化值。

在一个进一步的示例中，在根据本申请实施例的摄像头位姿确定装置200中，位姿变化值确定单元230还用于计算雅克比矩阵的转置与雅克比矩阵的乘积以获得所述海森矩阵。

上述摄像头位姿确定装置200中的各个单元和子单元具体功能和操作已经在上面参考图1到图4描述的摄像头位姿确定方法中详细介绍，并因此，将省略其重复描述。

示例性电子设备

图6图示了根据本申请实施例的电子设备300的结构框图。下面，参考图6来描述根据本申请一实施例的电子设备300该电子设备300可以实现为图1所示的车辆10中的摄像头位姿确定装置14，其可以与车载相机12进行通信，以接收它们的输出信号。

如图6所示，电子设备300可包括处理器310和存储器320。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。

存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的摄像头位姿确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如相机的相关信息、传感器的相关信息以及驱动程序等各种内容。

在一个示例中，电子设备300还可以包括接口330、输入装置340和输出装置350，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

接口330可用于连接到需要摄像头，例如摄像机。例如，接口330可以是摄像头常用的USB接口，当然也可以是其他接口例如Type-C接口等。电子设备300可包括一个或多个接口330，以连接到相应的摄像机，并且从摄像机接收其所拍摄的图像以用于执行上面描述的摄像头位姿确定方法。

输入装置340可用于接收外界输入，例如接收用户输入的物理点坐标值等。在一些实施例中，输入装置340可以是例如键盘、鼠标、手写板、触摸屏等。

输出装置350可以输出所计算的摄像机外参。例如，输出装置350可以包括显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。在一些实施例中，输入装置340和输出装置350可以是集成一体的触摸显示屏。

为了简化，图6中仅示出了电子设备300中与本申请有关的一些组件，而省略了一些相关外围或辅助组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的摄像头位姿确定方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的摄像头位姿确定方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种摄像头位姿确定方法，包括：

确定摄像头采集的当前帧图像中的具有预设语义的多个第一像素点；

在所述当前帧图像之前的先前帧图像中确定具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与至少部分所述多个第二像素点对应；

确定所述多个第一像素点与所述多个第二像素点之间的误差，所述误差包括语义误差；

基于所述误差确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值；以及

基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，确定与所述当前帧图像对应的摄像头位姿。

2.如权利要求1所述的方法，其中，所述语义误差是指所述当前帧图像中的第一像素点属于所述预设语义的概率值与所述先前帧图像中的对应第二像素点属于所述预设语义的概率值之间的差。

3.如权利要求1所述的方法，其中，所述误差还包括光度误差和/或重投影误差。

4.如权利要求1所述的方法，其中，确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，包括：

基于所述摄像头的缺省位姿变化值确定与所述多个第一像素点至少部分地对应的所述多个第二像素点；

计算所述多个第一像素点与对应的所述多个第二像素点之间的误差相对于所述摄像头的缺省位姿变化值的一阶偏导，以确定雅克比矩阵；

基于所述雅克比矩阵计算海森矩阵；

分解所述海森矩阵以确定位姿变化增量；

基于所述位姿变化增量确定新的位姿变化值；

利用所述新的位姿变化值迭代地执行上述步骤，直到所述新的位姿变化值收敛并且所述误差实现全局最小化，所述新的位姿变化值的收敛值为所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值。

5.如权利要求4所述的方法，其中，若所述先前帧图像是第一帧图像，则所述摄像头的位姿变化值是由与所述摄像头相关联的传感器确定的摄像头位姿变化值；若所述先前帧图像是除第一帧图像外的图像，则所述摄像头的缺省位姿变化值是与所述先前帧图像相关联的摄像头位姿变化值。

6.如权利要求4所述的方法，其中，基于所述雅克比矩阵计算海森矩阵，包括：

基于所述雅克比矩阵的转置与所述雅克比矩阵的乘积，确定海森矩阵。

7.一种摄像头位姿确定装置，包括：

图像接收单元，用于接收来自摄像头的当前帧图像；

像素点确定单元，用于确定所述当前帧图像中具有预设语义的多个第一像素点和先前帧图像中具有所述预设语义的多个第二像素点，其中，所述多个第一像素点与所述多个第二像素点至少部分地对应；

位姿变化值确定单元，用于确定所述多个第一像素点和所述多个第二像素点之间的误差，并基于所述误差，确定所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，所述误差包括语义误差；以及

位姿确定单元，用于基于与所述先前帧图像对应的摄像头位姿以及所述当前帧图像相对于所述先前帧图像的摄像头位姿变化值，确定与所述当前帧图像对应的摄像头位姿。

8.一种电子设备，包括：

处理器；以及

存储器，其上存储有程序指令，所述程序指令在被所述处理器运行时使得所述处理器执行权利要求1-6中的任一项所述的方法。

9.一种可移动设备，包括权利要求8所述的电子设备。

10.一种计算机可读介质，其上存储有程序指令，所述程序指令在被处理器运行时使得所述处理器执行权利要求1-6中的任一项所述的方法。

Images