CN108921898A - 摄像机位姿确定方法、装置、电子设备和计算机可读介质 - Google Patents

Abstract

本发明提供了一种摄像机位姿确定方法、装置、电子设备和计算机可读介质，涉及计算机的技术领域，包括在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；计算第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，第二图像帧为第一图像帧的上一图像帧；基于光度误差确定第一图像帧的各个特征区块的优化位置；将优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用目标状态参数预测目标摄像机的位姿，目标更新参数为对第一图像帧进行卡尔曼预测后的协方差参数和系统状态量，本发明缓解了现有的相机位姿估计有效性差的技术问题，从而在相机快速运动时也能准确的跟踪相机位姿。

Description

摄像机位姿确定方法、装置、电子设备和计算机可读介质

技术领域

本发明涉及计算机的技术领域，尤其是涉及一种摄像机位姿确定方法、装置、电子设备和计算机可读介质。

背景技术

相机位姿估计(Pose estimation)在计算机视觉领域扮演着十分重要的角色。相机位姿估计是指给定若干图像，估计其中相机运动。相机位姿估计方法的准确性将直接影响到计算机视觉研究领域的视觉追踪、摄影测量、相机标定等任务的完成质量。现有技术中采用的位姿估计方法是基于特征点匹配的方法。

特征点匹配的方法是先从图像当中提取许多特征点，然后在图像间进行特征匹配，这样就得到许多匹配好的点，再根据这些点进行相机位姿的求解。也就是说，特征点匹配的方法是通过相邻两帧的图像特征点匹配，计算相邻两帧图像的相对姿态变化。当相机运动过快，或者处于纹理稀少的地方，特征点匹配的方法将难以提取出图像特征点，该方法将无效。

发明内容

有鉴于此，本发明的目的在于提供一种摄像机位姿确定方法、装置、电子设备和计算机可读介质，以缓解了现有的相机位姿估计有效性差的技术问题，从而在相机快速运动时也能准确的跟踪相机位姿。

第一方面，本发明实施例提供了一种摄像机位姿确定方法，包括：在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；计算所述第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，所述第二图像帧为所述第一图像帧的上一图像帧；基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置；将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用所述目标状态参数预测所述目标摄像机的位姿，所述目标更新参数为对所述第一图像帧进行卡尔曼预测后的协方差参数和系统状态量。

进一步地，在目标摄像机拍摄的第一图像帧中提取至少一个特征区块包括：确定所述第一图像帧中各个特征区块的形变矩阵，其中，所述形变矩阵中包含用于反映特征区块变形程度的变形参数；获取预先估计的所述第一图像帧中各个特征区块的中心点位置；基于所述中心点位置和所述形变矩阵提取所述第一图像帧的各个特征区块。

进一步地，确定所述第一图像帧中各个特征区块的形变矩阵包括：获取第一参数和第二参数，其中，所述第一参数为所述目标摄像机的加速度和角速度，所述第二参数为所述第二图像帧进行卡尔曼更新之后的协方差系数和系统状态量；利用所述第一参数和所述第二参数进行卡尔曼预测，预测得到所述第一图像帧中各个特征区块的形变矩阵的更新值；利用所述更新值和所述第二图像帧中各特征区块的形变矩阵确定所述第一图像帧中各个特征区块的形变矩阵。

进一步地，在利用所述第一参数和所述第二参数进行卡尔曼预测之后，得到所述目标更新参数。

进一步地，所述光度误差的数量为多个，基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置包括：对多个光度误差进行求和运算，并将求和运算结果作为所述第一图像帧的光度误差；对所述第一图像帧的光度误差进行矩阵分解，得到所述第一图像帧中各个特征区块的优化位置。

进一步地，将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数包括：利用所述优化位置和所述目标更新参数中的协方差参数确定系统状态更新量；结合所述系统状态更新量和所述目标更新参数中的系统状态量确定当前时刻的系统状态量和当前时刻的卡尔曼滤波器的协方差；判断所述优化位置是否满足收敛条件；如果判断出满足，则将所述当前时刻的系统状态量确定为所述目标状态参数。

进一步地，所述方法还包括：如果判断出不满足所述收敛条件，则将所述当前时刻的系统状态量和当前时刻的卡尔曼滤波器的协方差作为所述目标更新参数进行迭代计算，直至所述优化位置满足所述收敛条件。

进一步地，所述方法还包括：基于所述目标状态参数中的系统状态量计算所述第一图像帧中各个特征区块的匹配度，得到多个匹配度；将所述多个匹配度中小于预设匹配度的特征区块删除，并在所述第一图像帧中加入新的特征区块。

第二方面，本发明实施例还提供了一种摄像机位姿的确定装置，包括：提取单元，用于在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；计算单元，用于计算所述第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，所述第二图像帧为所述第一图像帧的上一图像帧；优化位置确定单元，用于基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置；位姿确定单元用于将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用所述目标状态参数预测所述目标摄像机的位姿，所述目标更新参数为对所述第一图像帧进行卡尔曼预测后的协方差参数和系统状态量。

第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。

第四方面，本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。

在本发明实施例中，首先，在目标摄像机拍摄的第一图像帧中提取特征区块，然后，计算第一特征区块与第二图像帧中相对应特征区块的光度误差；之后，基于光度误差确定第一图像帧中各个特征区块的优化位置；最后，将优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用目标状态参数预测目标摄像机的位姿。

相对于传统的特征点匹配方法，在本发明以卡尔曼滤波器为基础，通过特征区块光度误差匹配的方式将图像信息融入滤波器中，从而实现摄像机位姿的确定。本发明在利用图像信息时避免了特征描述子的提取，因此，本发明计算量上小于传统的特征点匹配的方法，能够在摄像机在快速运动的情况下依然能够有效且准确的估计出摄像机的位姿，进而缓解了现有的相机位姿估计有效性差的技术问题，从而实现了在相机快速运动时也能准确的跟踪相机位姿的技术效果。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子设备的示意图；

图2是根据本发明实施例的一种摄像机位姿确定方法的流程图；

图3是根据本发明实施例的另一种摄像机位姿确定方法的流程图；

图4是根据本发明实施例的一种摄像机位姿的确定装置的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

首先，参照图1来描述用于实现本发明实施例的电子设备100，该电子设备可以用于运行本发明各实施例的摄像机位姿确定方法。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储器104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像机110用于进行图像采集，其中，摄像机所采集的数据经过所述摄像机位姿确定方法进行处理之后得到摄像机的位姿，例如，摄像机可以拍摄用户期望的图像(例如照片、视频等)，然后，将该图像经过所述摄像机位姿确定方法进行处理之后得到摄像机的位姿，摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的摄像机位姿确定方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端。

实施例2：

根据本发明实施例，提供了一种摄像机位姿确定方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本发明实施例的一种摄像机位姿确定方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；

在本实施例中，第一图像帧为当前时刻待处理的图像帧，下述第二图像帧是第一图像帧的上一个图像帧。

第一图像帧中的特征区块与第二图像帧中的特征是相对应的特征区块。其中，相对应是指第一图像帧中的特征区块与第二图像帧中的特征区块用于反映目标摄像机所拍摄真实场景中的同一个位置。例如，可以确定第二图像帧(即，第一图像帧的前一个图像帧)的各个特征区块，然后，预估第二图像帧的各个特征区块在第一图像帧所处的位置。

需要说明的是，在本实施例中，特征区块用于反映对目标摄像机所拍摄真实世界的画面。

步骤S204，计算所述第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，所述第二图像帧为所述第一图像帧的上一图像帧；

在本实施例中，相对应特征区块是指相邻两个图像帧中用于反映真实场景中的同一个位置的区块，该真实场景为目标摄像机所拍摄的场景。

步骤S206，基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置；

在步骤S206中，按照光度误差对步骤S202中提取出的至少一个特征区块进行优化，得到更加准确的位置。在本实施例中，特征区块的位置是指特征区块中心点的像素坐标。

步骤S208，将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用所述目标状态参数预测所述目标摄像机的位姿，所述目标更新参数为对所述第一图像帧进行卡尔曼预测后的协方差参数和系统状态量。

在本发明实施例中，首先，在目标摄像机拍摄的第一图像帧中提取特征区块，然后，计算第一特征区块与第二图像帧中相对应特征区块的光度误差；之后，基于光度误差确定第一图像帧中各个特征区块的优化位置；最后，将优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用目标状态参数预测目标摄像机的位姿。

相对于传统的特征点匹配方法，在本发明以卡尔曼滤波器为基础，通过特征区块光度误差匹配的方式将图像信息融入滤波器中，从而实现摄像机位姿的确定。本发明在利用图像信息时避免了特征描述子的提取，因此，本发明计算量上小于传统的特征点匹配的方法，能够在摄像机在快速运动的情况下依然能够有效且准确的估计出摄像机的位姿，进而缓解了现有的相机位姿估计有效性差的技术问题，从而实现了在相机快速运动时也能准确的跟踪相机位姿的技术效果。

通过上述描述可知，在本实施例中，首先，在目标摄像机拍摄的第一图像帧中提取至少一个特征区块。在一个可选的实施方式中，步骤S202，在目标摄像机拍摄的第一图像帧中提取至少一个特征区块包括如下步骤：

步骤S2021，确定所述第一图像帧中各个特征区块的形变矩阵，其中，形变矩阵中包含用于反映特征区块变形程度的变形参数；

步骤S2022，获取预先估计的所述第一图像帧中各个特征区块的中心点位置；

步骤S2023，基于所述中心点位置和所述形变矩阵提取所述第一图像帧的各个特征区块。

具体地，在本实施例中，第一图像帧中各个特征区块的形变矩阵表示为：D＝(D₁,D₂,…,D_i)，其中，D_i表示为第一图像帧中第i个特征区块的形变矩阵。该形变矩阵D_i中包含用于反映特征区块变形的参数。

通过上述描述可知，特征区块用于反映对目标摄像机所拍摄真实世界的画面。当摄像机的位姿发生变化之后，摄像机的视角会发生变化，此时，呈现在图像上的特征区块的形状就会发生变化。例如，在图像帧A1中特征区块的形状为正方形，但是随着目标摄像机的运动，目标摄像机的视角会发生变化，当拍摄到图像帧A2时，图像帧A2中的特征区块可能会发生变化(例如，扭曲)，此时，就可以通过形变矩阵来反映图像帧A2中特征区块变形的参数。其中，图像帧A2为图像帧A1的下一个图像帧。

在得到第一图像帧中各个特征区块的形变矩阵之后，就可以利用p_i和形变矩阵D＝(D₁,D₂,…,D_i)提取第一图像帧的各个特征区块，其中，p_i为预先估计的第一图像帧中各个特征区块的中心点位置。

可选地，步骤S2021，确定所述第一图像帧中各个特征区块的形变矩阵包括如下步骤：

步骤S11，获取第一参数和第二参数，其中，所述第一参数为所述目标摄像机的加速度和角速度，所述第二参数为所述第二图像帧进行卡尔曼更新之后的协方差系数和系统状态量；

步骤S12，利用所述第一参数和所述第二参数进行卡尔曼预测，预测得到所述第一图像帧中各个特征区块的形变矩阵的更新值；

步骤S13，利用所述更新值和所述第二图像帧中各特征区块的形变矩阵确定所述第一图像帧中各个特征区块的形变矩阵。

具体地，上述步骤S11至步骤S13的过程可以描述如下：

首先，通过目标摄像机的惯性测量单元获得目标摄像机的第一参数，即目标摄像机的加速度w与角速度f，其中，目标摄像机的惯性测量单元可以为预先安装在目标摄像机中的陀螺仪，加速度传感器等，本实施例中不做具体限定。其中，获取到的目标摄像机的加速度w与角速度f是采集第一图像帧时的加速度和角速度。

然后，对卡尔曼滤波器进行初始化，并获取第二参数，其中，第二参数为对所述第二图像帧进行卡尔曼更新之后的协方差系数p⁺和系统状态量x⁺。需要说明的是，p⁺和x⁺是卡尔曼滤波器对第一图像帧的前一个图像帧(即，第二图像帧)进行卡尔曼更新之后得到的协方差系数和系统状态量，其中，系统状态量x⁺中包括目标摄像机的位置，姿态，运动速度，目标摄像机与惯性测量单元的外参。

在得到第一参数(加速度w与角速度f)和第二参数(p⁺和x⁺)之后，就可以通过卡尔曼滤波器进行预测，得到ΔD＝[ΔD₁,ΔD₂,…,ΔD_i]，其中，ΔD_i为第一图像帧中第i个特征区块的形变矩阵的更新值。在得到更新值ΔD＝[ΔD₁,ΔD₂,…,ΔD_i]之后，就可以利用更新值ΔD＝[ΔD₁,ΔD₂,…,ΔD_i]和第二图像帧中各特征区块的形变矩阵确定第一图像帧中各个特征区块的形变矩阵D＝[D₁,D₂,…,D_i]。

在按照上述所描述的方法提取得到至少一个特征区块之后，就可以计算第一图像帧的各个特征区块与第二图像帧中相对应特征区块的光度误差。如果第一图像帧中的各个特征区块表示为第二图像帧中的特征区块表示为L_i。此时，就可以计算第一图像帧的各个特征区块与第二图像帧的各个特征区块中用于反映真实场景中的同一个位置的区块的光度误差。

具体地，第二图像帧中的特征区块L_i可以采用以下方式获得：通过FAST角点提取方法提取上一帧图像(第二图像帧)中的角点，并将该角点作为第二图像帧中各个特征区块的中心坐标点，并提取第二图像帧中对应特征区块L_i。

在计算第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差之后，就可以基于光度误差确定第一图像帧的各个特征区块的优化位置。

在一个可选的实施方式中，在光度误差的数量为多个的情况下，步骤S206，基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置包括如下步骤：

步骤S2061，对多个光度误差进行求和运算，并将求和运算结果作为所述第一图像帧的光度误差；

步骤S2062，对所述第一图像帧的光度误差进行矩阵分解，得到所述第一图像帧中各个特征区块的优化位置。

在本实施例中，在得到多个光度误差之后，就可以对多个光度误差进行求和运算，得到第一图像帧的光度误差。其中，该光度误差是指第一图像帧中各特征区块相对于第二图像帧中各特征区块的光度误差。之后，对光度误差进行矩阵分解(LU分解)，得到第一图像帧中各个特征区块的优化位置p_i'。LU分解就是把矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积。

在得到第一图像帧的各个特征区块的优化位置p_i'之后，就可以将优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用目标状态参数预测目标摄像机的位姿。

在本发明实施例中，在利用所述第一参数和所述第二参数进行卡尔曼预测之后，得到所述目标更新参数。其中，目标更新参数为对第一图像帧进行卡尔曼预测后的协方差参数p^-和系统状态量x^-。

在一个可选的实施方式中，步骤S208，将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数包括如下步骤：

步骤S2081，利用所述优化位置和所述目标更新参数中的协方差参数确定系统状态更新量；

步骤S2082，结合所述系统状态更新量和所述目标更新参数中的系统状态量确定当前时刻的系统状态量和当前时刻的协方差；

步骤S2083，判断所述优化位置是否满足收敛条件；

步骤S2084，如果判断出满足，则将所述当前时刻的系统状态量确定为所述目标状态参数；

步骤S2085，如果判断出不满足所述收敛条件，则将所述当前时刻的系统状态量和当前时刻的卡尔曼滤波器的协方差作为所述目标更新参数进行迭代计算，直至所述优化位置满足所述收敛条件。

具体地，在本实施例中，将优化位置p_i'、目标更新参数中的协方差参数p^-和系统状态量x^-作为卡尔曼滤波器的更新参数，进而，通过更新公式和更新参数计算得到系统状态更新量Δx。然后，将系统状态更新量Δx和目标更新参数中的系统状态量x^-进行结合得到当前时刻的系统状态量x⁺和当前时刻的协方差p⁺。

在得到当前时刻的系统状态量和当前时刻的协方差之后，还需要迭代更新特征区块的位置信息(即，迭代更新特征区块的优化位置)，直至该优化位置满足收敛条件。其中，该收敛条件可以为优化位置的误差小于某个数值。

因此，在本实施例中，在得到当前时刻的系统状态量x⁺和当前时刻的协方差p⁺之后，需要判断优化位置是否满足收敛条件，如果满足，则将所述当前时刻的系统状态量确定为所述目标状态参数。如果不满足，则将当前系统状态量x⁺设为迭代值，即x_iter，并反复执行上述步骤S202至步骤S208，直至确定出的优化位置满足收敛条件。并将满足收敛条件时确定的系统状态量x⁺确定为所述目标状态参数。

具体地，将当前系统状态量x⁺设为迭代值x_iter，是指将所述当前时刻卡尔曼滤波器的系统状态量x⁺和当前时刻卡尔曼滤波器的协方差p⁺作为所述目标更新参数(p^-和x^-)，并反复执行以上步骤，直至所述优化位置满足所述收敛条件。

在通过上述迭代操作得到目标状态参数之后，就可以基于目标状态参数预测所述目标摄像机的位姿。目标状态参数中包括目标摄像机的位置、姿态、运动速度，目标摄像机与惯性测量单元的外参。通过上述参数，就能够确定目标摄像机的位姿。

在确定出目标摄像机的位姿之后，还可以基于所述目标状态参数中的系统状态量计算所述第一图像帧中各个特征区块的匹配度，得到多个匹配度；并将所述多个匹配度中小于预设匹配度的特征区块删除。除此之外，还可以在第一图像帧中加入新的特征区块，该新的特征区块可以为用户根据实际需要手动选择的特征区块，还可以通过角点检测方法添加新的特征区块。

上述所描述的过程为对当前图像帧(或者第一图像帧)进行处理，以确定目标摄像机位姿的具体过程。当获取到下一个图像帧中，同样采用上述所描述的方法来确定目标摄像机位姿。在此情况下，上述步骤中所描述的第二参数即为：当第一图像帧的优化位置满足收敛条件时，确定的当前时刻的系统状态量x⁺和当前时刻的协方差p⁺。具体过程，此处不再详细赘述。

综上所述，相对于现有的技术方案，本发明将图像的特征区块匹配所得到的光度误差作为卡尔曼滤波器的输入，并迭代更新得到更优的相机位姿。通过该处理方式，在准确度上：快速运动的情况下，本发明能有效且准确得估计出相机位姿，较之传统的特征点匹配方法实现了快速运动下的相机定位；在运行时间上：本发明在利用图像信息时避免了特征描述子的提取，该步骤十分耗时，因此，本发明在计算量上小于特征点匹配的方法。

实施例3：

图3是根据本发明实施例的另一种摄像机位姿确定方法的流程图，如图3所示，该方法的过程描述如下：

(1)系统初始化。通过摄像机的惯性测量单元获得摄像机的加速度w与角速度f，对卡尔曼滤波器进行初始化，得到第二参数p⁺，x⁺；其中，第二参数p⁺，x⁺为对前一帧图像进行卡尔曼更新之后的协方差系数和系统状态量；

(2)卡尔曼预测。通过初始化获得的第二参数、以及初始化之后输入的加速度w与角速度f对当前摄像机的状态进行预测，得到p^-和x^-，其中，具体计算过程描述如下：

当前摄像机加速度和角速度的公式为：其中，为角速度的测量值，为角速度的真实值，b_f为角速度的偏移量，b_w为加速度的偏移量，w_f为加速度的噪声项，w_w为加速度的噪声项。

当前摄像机的运动速度和角速度的公式为：其中z、c分别为当前摄像机的惯性测量单元与当前摄像机的旋转外参和平移外参，v为惯性测量单元的当前速度：

之后，预测当前摄像机的位置：

需要说明的是，上述所提到的位置、运动速度、角速度等都属于当前摄像机的系统状态x_k。

基于此，在本实施例中，基于加速度w与角速度f对当前摄像机的状态进行预测包括：通过预测函数对当前摄像机的状态进行预测，其中，预测函数的缩略表示形式：x_k＝f(x_k-1,w_k-1)，该预测函数表示通过加速度w与角速度f以及上一帧的状态量x⁺预测当前帧(或者，第k个图像帧)的状态p^-和x^-。其中，第k个图像帧的状态P^-和x^-分别表示为：和其中，其中，为当前图像帧的上一个图像帧进行卡尔曼更新之后的系统状态量。

其中，p^-和x^-为当前图像帧进行卡尔曼预测后的协方差参数和系统状态量；除此之外，还得到当前图像帧中对应特征区块的形变矩阵的更新值ΔD＝[ΔD₁,ΔD₂,…,ΔD_i]，其中，π为当前摄像机内参与当前摄像机畸变参数决定的相机模型，p_i为第i个特征区块的中心点坐标，Δp为该坐标点位置的变化。

其中，如果未提取出特征区块，更新值为0，其中，相对应特征区块是指相邻两个图像帧中用于反映真实场景中的同一个位置的区块

(3)前一帧图像的特征区块提取。通过FAST角点提取方法提取前一帧图像中的角点，作为特征区块的中心坐标点，并提取对应特征区块L_i。

(4)当前图像帧的形变矩阵计算。根据更新值ΔD＝[ΔD₁,ΔD₂,…,ΔD_i]以及前一帧图像中对应特征区块的形变矩阵，计算当前图像帧中特征区块的形变矩阵D_k＝[D₁,D₂,…,D_i]＝[ΔD_k,1·D_k-1,1,ΔD_k,2·D_k-1,2,…,ΔD_k,i·D_k-1,i]。需要说明的是，在本实施例中，特征区块用于反映对目标摄像机所拍摄真实世界的画面。

(5)当前图像帧形变后的特征区块提取。通过D＝[D₁,D₂,…,D_i]以及估计的当前图像帧中各特征区块中心点位置p_i，提取当前图像帧中的特征区块。

(6)光度误差计算。计算两帧间对应的特征区块光度误差的总和，获得当前帧的光度误差。随后通过LU分解(矩阵分解)，计算得到更优的当前帧特征区块的优化位置p_i'。

当前帧的光度误差公式为：

对光度误差公式进行LU分解，得到以下表达式：

其中，Q(p_i,I,D_i)可以表示为：[Q₁(p_i,I,D_i)Q₂(p_i,I,D_i)]，R(p_i,I,D_i)可以表示为：I为当前图像帧(上述实施例中的第一图像帧)的图片的像素矩阵，P为特征区块的像素矩阵。

在对光度误差公式进行LU分解，得到上述表达式之后，就可以基于上述表达式计算得到更优的当前图像帧的特征区块的优化位置p_i'，其中，p_i'满足以下公式I为当前图像帧(上述实施例中的第一图像帧)的图片的像素矩阵，P为特征区块的像素矩阵。π为当前摄像机内参与当前摄像机畸变参数决定的相机模型，p_i为第i个特征区块的中心点坐标，Δp_i为为第i个特征区块的中心点坐标位置的变化量。

(7)卡尔曼更新。将p^-以及p_i'作为卡尔曼滤波器的更新参数，得到系统状态更新量Δx，并与预测的状态量x^-结合得到当前系统状态x⁺以及卡尔曼滤波器的协方差p⁺。

(8)迭代更新特征区块的优化位置。将步骤(7)中估计的系统状态x⁺设为迭代值，即x_iter，重复步骤(5)～(8)，直到p_i'收敛，并将此时的x_iter记为x⁺。

光度误差项函数缩略表示如下：y_k＝h(x_k,n_k)，其中，n_k为噪声。在本实施例中，基于该光度误差项函数缩略表示来计算系统状态更新量Δx和当前系统状态x⁺，具体过程描述如下：

基于表达式y_k＝h(x_k,n_k)得到以下公式：和其中，H，J，L是雅克比矩阵。

之后，利用上述公式得到以下公式： 和Δx_k,j表示当上述第一图像帧为第k个图像帧时，第j次迭代过程中的系统状态更新量。其中，K是卡尔曼增益矩阵。其中，j表示迭代次数，为第k个图像帧的P^-，系统状态量包含p_i'。在第j次迭代结束之后，当前系统状态x⁺以及卡尔曼滤波器的协方差p⁺分别表示为：和

(9)依据当前系统状态量x⁺，对所有特征区块的当前匹配情况进行打分，计算每个特征区块的匹配度，并剔除匹配度较差的特征区块，并加入新的特征区块。

(10)将p⁺和x⁺作为下一次输入的滤波器参数。

相对于传统的特征点匹配方法，在本发明以卡尔曼滤波器为基础，通过特征区块光度误差匹配的方式将图像信息融入滤波器中，从而实现摄像机位姿的确定。本发明在利用图像信息时避免了特征描述子的提取，因此，本发明计算量上小于传统的特征点匹配的方法，能够在摄像机在快速运动的情况下依然能够有效且准确的估计出摄像机的位姿，进而缓解了现有的相机位姿估计有效性差的技术问题，从而实现了在相机快速运动时也能准确的跟踪相机位姿的技术效果。

实施例4：

本发明实施例还提供了一种摄像机位姿的确定装置，该摄像机位姿的确定装置主要用于执行本发明实施例上述内容所提供的摄像机位姿的确定方法，以下对本发明实施例提供的摄像机位姿的确定装置做具体介绍。

图4是根据本发明实施例的一种摄像机位姿的确定装置的示意图，如图4所示，该摄像机位姿的确定装置主要包括提取单元10，计算单元20，优化位置确定单元30和位姿确定单元40，其中：

提取单元10，用于在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；

计算单元20，用于计算所述第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，所述第二图像帧为所述第一图像帧的上一图像帧；

优化位置确定单元30，用于基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置；

位姿确定单元40，用于将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用所述目标状态参数预测所述目标摄像机的位姿，所述目标更新参数为对所述第一图像帧进行卡尔曼预测后的协方差参数和系统状态量。

在本发明实施例中，首先，在目标摄像机拍摄的第一图像帧中提取特征区块，然后，计算第一特征区块与第二图像帧中相对应特征区块的光度误差；之后，基于光度误差确定第一图像帧中各个特征区块的优化位置；最后，将优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用目标状态参数预测目标摄像机的位姿。

相对于传统的特征点匹配方法，在本发明以卡尔曼滤波器为基础，通过特征区块光度误差匹配的方式将图像信息融入滤波器中，从而实现摄像机位姿的确定。本发明在利用图像信息时避免了特征描述子的提取，因此，本发明计算量上小于传统的特征点匹配的方法，能够在摄像机在快速运动的情况下依然能够有效且准确的估计出摄像机的位姿，进而缓解了现有的相机位姿估计有效性差的技术问题，从而实现了在相机快速运动时也能准确的跟踪相机位姿的技术效果。

可选地，提取单元包括：确定模块，用于确定所述第一图像帧中各个特征区块的形变矩阵，其中，形变矩阵中包含用于反映特征区块变形程度的变形参数；获取模块，用于获取预先估计的所述第一图像帧中各个特征区块的中心点位置；提取模块，用于基于所述中心点位置和所述形变矩阵提取所述第一图像帧的各个特征区块。

可选地，确定模块用于：获取第一参数和第二参数，其中，所述第一参数为所述目标摄像机的加速度和角速度，所述第二参数为所述第二图像帧进行卡尔曼更新之后的协方差系数和系统状态量；利用所述第一参数和所述第二参数进行卡尔曼预测，预测得到所述第一图像帧中各个特征区块的形变矩阵的更新值；利用所述更新值和所述第二图像帧中各特征区块的形变矩阵确定所述第一图像帧中各个特征区块的形变矩阵。

可选地，确定模块还用于：在利用所述第一参数和所述第二参数进行卡尔曼预测之后，得到所述目标更新参数。

可选地，优化位置确定单元用于：在光度误差的数量为多个的情况下，对多个光度误差进行求和运算，并将求和运算结果作为所述第一图像帧的光度误差；对所述第一图像帧的光度误差进行矩阵分解，得到所述第一图像帧中各个特征区块的优化位置。

可选地，位姿确定单元用于：利用所述优化位置和所述目标更新参数中的协方差参数确定系统状态更新量；结合所述系统状态更新量和所述目标更新参数中的系统状态量确定当前时刻的系统状态量和当前时刻的卡尔曼滤波器的协方差；判断所述优化位置是否满足收敛条件；如果判断出满足，则将所述当前时刻的系统状态量确定为所述目标状态参数。

可选地，该装置还用于：如果判断出不满足所述收敛条件，则将所述当前时刻的系统状态量和当前时刻的卡尔曼滤波器的协方差作为所述目标更新参数进行迭代计算，直至所述优化位置满足所述收敛条件。

可选地，该装置还用于：基于所述目标状态参数中的系统状态量计算所述第一图像帧中各个特征区块的匹配度，得到多个匹配度；将所述多个匹配度中小于预设匹配度的特征区块删除，并在所述第一图像帧中加入新的特征区块。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在另一个实施例中，还提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述权实施例1或实施例2中任意实施例所述的方法的步骤。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种摄像机位姿确定方法，其特征在于，包括：

在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；

计算所述第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，所述第二图像帧为所述第一图像帧的上一图像帧；

基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置；

将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用所述目标状态参数预测所述目标摄像机的位姿，所述目标更新参数为对所述第一图像帧进行卡尔曼预测后的协方差参数和系统状态量。

2.根据权利要求1所述的方法，其特征在于，在目标摄像机拍摄的第一图像帧中提取至少一个特征区块包括：

确定所述第一图像帧中各个特征区块的形变矩阵，其中，所述形变矩阵中包含用于反映特征区块变形程度的变形参数；

获取预先估计的所述第一图像帧中各个特征区块的中心点位置；

基于所述中心点位置和所述形变矩阵提取所述第一图像帧的各个特征区块。

3.根据权利要求2所述的方法，其特征在于，确定所述第一图像帧中各个特征区块的形变矩阵包括：

获取第一参数和第二参数，其中，所述第一参数为所述目标摄像机的加速度和角速度，所述第二参数为所述第二图像帧进行卡尔曼更新之后的协方差系数和系统状态量；

利用所述第一参数和所述第二参数进行卡尔曼预测，预测得到所述第一图像帧中各个特征区块的形变矩阵的更新值；

利用所述更新值和所述第二图像帧中各特征区块的形变矩阵确定所述第一图像帧中各个特征区块的形变矩阵。

4.根据权利要求3所述的方法，其特征在于，在利用所述第一参数和所述第二参数进行卡尔曼预测之后，得到所述目标更新参数。

5.根据权利要求1所述的方法，其特征在于，所述光度误差的数量为多个，基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置包括：

对多个光度误差进行求和运算，并将求和运算结果作为所述第一图像帧的光度误差；

对所述第一图像帧的光度误差进行矩阵分解，得到所述第一图像帧中各个特征区块的优化位置。

6.根据权利要求1所述的方法，其特征在于，将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数包括：

利用所述优化位置和所述目标更新参数中的协方差参数确定系统状态更新量；

结合所述系统状态更新量和所述目标更新参数中的系统状态量确定当前时刻的系统状态量和当前时刻卡尔曼滤波器的协方差；

判断所述优化位置是否满足收敛条件；

如果判断出满足，则将所述当前时刻的系统状态量确定为所述目标状态参数。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

如果判断出不满足所述收敛条件，则将所述当前时刻的系统状态量和当前时刻的卡尔曼滤波器的协方差作为所述目标更新参数进行迭代计算，直至所述优化位置满足所述收敛条件。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述目标状态参数中的系统状态量计算所述第一图像帧中各个特征区块的匹配度，得到多个匹配度；

将所述多个匹配度中小于预设匹配度的特征区块删除，并在所述第一图像帧中加入新的特征区块。

9.一种摄像机位姿的确定装置，其特征在于，包括：

提取单元，用于在目标摄像机拍摄的第一图像帧中提取至少一个特征区块；

计算单元，用于计算所述第一图像帧中的各个特征区块与第二图像帧中相对应特征区块的光度误差，其中，所述第二图像帧为所述第一图像帧的上一图像帧；

优化位置确定单元，用于基于所述光度误差确定所述第一图像帧的各个特征区块的优化位置；

位姿确定单元，用于将所述优化位置和目标更新参数作为卡尔曼滤波器的更新参数，计算目标状态参数，并利用所述目标状态参数预测所述目标摄像机的位姿，所述目标更新参数为对所述第一图像帧进行卡尔曼预测后的协方差参数和系统状态量。

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法的步骤。

11.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至8任一项所述的方法的步骤。