CN108364319B

CN108364319B - 尺度确定方法、装置、存储介质及设备

Info

Publication number: CN108364319B
Application number: CN201810144737.9A
Authority: CN
Inventors: 陈宗豪; 肖泽东; 郑远力; 顾照鹏
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2018-02-12
Filing date: 2018-02-12
Publication date: 2022-02-01
Anticipated expiration: 2038-02-12
Also published as: CN108364319A

Abstract

本发明公开了一种尺度确定方法、装置、存储介质及设备，属于虚拟现实技术领域。包括：获取至少两个图像帧；根据至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组第一旋转参数和第一位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化，第一位移参数中包含视觉惯性里程计的尺度，且尺度未知；获取至少一组第二旋转参数和第二位移参数，每组第二旋转参数和第二位移参数用于表示IMU测量得到的单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数，确定尺度。本发明提高了尺度的确定效率。

Description

尺度确定方法、装置、存储介质及设备

技术领域

本发明涉及虚拟现实技术领域，特别涉及一种尺度确定方法、装置、存储介质及设备。

背景技术

视觉惯性里程计是利用相机和IMU(Inertial Measurement Unit，惯性测量单元)实现定位追踪功能的部件，被广泛应用于诸如VR(Virtual Reality，虚拟现实)或AR(Augmented Reality，增强显示)之类的产品中。在使用视觉惯性里程计的过程中需要确定视觉惯性里程计的尺度，以便于根据尺度进行定位。其中，尺度是物理量的衡量标准，比如，视觉惯性里程计的位移是1个尺度，则当尺度是1厘米这个衡量标准时，位移是1厘米；当尺度是1分米这个衡量标准时，位移是1分米。

相关技术中，视觉惯性里程计中的相机为双目相机，则在确定尺度时，可以获取对双目相机中的两个相机提前标定的内参和外参，再获取世界坐标系中同一个地图点在两个相机上形成的像点的视差，利用三角测量原理根据视差、内参和外参，求解世界坐标系中该地图点距离两个相机的深度，该深度即为视觉惯性里程计的尺度。其中，内参是相机自身特性相关的参数，外参是相机相对于世界坐标系的参数。

由于需要提前标定出两个相机的内参和外参，操作步骤较为复杂，导致确定尺度需要消耗较长的时间，确定尺度的效率不高。

发明内容

本发明实施例提供了一种尺度确定方法、装置、存储介质及设备，用于解决提前标定两个相机的外参和内参导致确定尺度的效率不高的问题。所述技术方案如下：

一方面，提供了一种尺度确定方法，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和IMU，所述方法包括：

获取所述单目相机拍摄的至少两个图像帧；

根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组所述第一旋转参数和第一位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化，所述第一位移参数中包含所述视觉惯性里程计的尺度，且所述尺度未知；

获取至少一组第二旋转参数和第二位移参数，每组所述第二旋转参数和第二位移参数用于表示所述IMU测量得到的所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；

根据所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度。

一方面，提供了一种尺度确定装置，其特征在于，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和惯性测量单元IMU，所述装置包括：

获取模块，用于获取所述单目相机拍摄的至少两个图像帧；

所述获取模块，还用于根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组所述第一旋转参数和第一位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化，所述第一位移参数中包含所述视觉惯性里程计的尺度，且所述尺度未知；

所述获取模块，还用于获取至少一组第二旋转参数和第二位移参数，每组所述第二旋转参数和第二位移参数用于表示所述IMU测量得到的所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；

确定模块，用于根据所述获取模块得到的所述至少一组第一旋转参数和第一位移参数以及所述至少一组第二旋转参数和第二位移参数，确定所述尺度。

一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的尺度确定方法。

一方面，提供了一种尺度确定设备，所述尺度确定设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的尺度确定方法。

本发明实施例提供的技术方案的有益效果是：

虽然可以根据至少两个图像帧计算出至少一组第一旋转参数和第一位移参数，但是每组第一旋转参数和第一位移参数中，第一位移参数中包含视觉惯性里程计的尺度，且该尺度未知，而IMU测量得到的至少一组第二旋转参数和第二位移参数中，第二位移参数中包含的尺度已知，所以，可以根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数来确定尺度。这样，通过一个单目相机和IMU即可确定尺度，解决了提前标定出两个相机的内参和外参来确定尺度时，确定尺度的效率不高的问题，从而提高了尺度的确定效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据部分示例性实施例示出的一种实施环境的示意图；

图2是本发明一个实施例提供的尺度确定方法的方法流程图；

图3是本发明另一实施例提供的尺度确定方法的方法流程图；

图4是本发明另一实施例提供的匹配特征点的示意图；

图5是本发明另一实施例提供的三角测量原理的示意图；

图6是本发明另一实施例提供的SfM模块和IMU模块的实现流程的示意图；

图7是本发明一个实施例提供的尺度确定装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，其示出了本发明实施例提供的实施环境的示意图。图1中以视觉惯性里程计应用于诸如VR和AR之类的头戴式显示器为例进行说明。

头戴式显示器是用于佩戴在用户头部进行图像显示的显示器。头戴式显示器通常包括佩戴部和显示部，佩戴部包括用于将头戴式显示器佩戴在用户头部的眼镜腿及弹性带，显示部包括左眼显示屏和右眼显示屏。头戴式显示器能够在左眼显示屏和右眼显示屏显示不同的图像，从而为用户模拟出三维虚拟环境。

头戴式显示器通过柔性电路板或硬件接口或数据线或无线网络与虚拟现实主机电性相连。虚拟现实主机用于建模三维虚拟环境、生成三维虚拟环境所对应的三维显示画面、生成三维虚拟环境中的虚拟物体等。当然，虚拟现实主机也可以建模二维虚拟环境、生成二维虚拟环境所对应的二维显示画面、生成二维虚拟环境中的虚拟物体；或者，虚拟现实主机可以建模三维虚拟环境、根据用户的视角位置生成该三维虚拟环境所对应的二维显示画面、生成三维虚拟环境中虚拟物体的二维投影画面等，本实施例对此不作限定。

可选地，虚拟现实主机可以集成在头戴式显示器的内部，也可以集成在与头戴式显示器不同的其它设备中，本实施例对此不作限定。本实施例中，以虚拟现实主机集成在与头戴式显示器的内部为例进行说明。其中，其它设备可以为台式计算机或服务器等，本实施例对此不作限定。

虚拟现实主机通常由设置在电路板上的处理器、存储器、视觉惯性里程计等电子器件实现。其中，视觉惯性里程计包括相机和IMU，用于采集在捕捉到用户的头部动作时采集图像，并改变头戴式显示器中的显示画面。

在用户使用头戴式显示器时，先要对视觉惯性里程计进行初始化，以确定视觉惯性里程计的尺度，后续可以根据尺度实现定位追踪功能。

其中，尺度是物理量的衡量标准。比如，单目相机在拍摄相邻两个图像帧时移动了5个尺度，则当尺度是1厘米这个衡量标准时，单目相机的位移是5厘米；当尺度是1分米这个衡量标准时，单目相机的位移是5分米。

相关技术中，视觉惯性里程计中的相机为双目相机，即视觉惯性里程计包括两个相机，这会导致视觉惯性里程计的制作成本较高。另外，在确定尺度时，需要提前标定两个相机的内参和外参，再运用三角测量原理确定出尺度，而标定两个相机的参数的操作步骤较为复杂，导致确定尺度的效率不高。本实施例提供了一种尺度确定方法，该尺度确定方法要求视觉惯性里程计包括一个单目相机，既可以避免对两个相机的内参和外参的标定，也可以节约制作成本。

请参考图2，其示出了本发明一个实施例提供的尺度确定方法的方法流程图，该尺度确定方法可以应用于图1所述的视觉惯性里程计中。该尺度确定方法，包括：

步骤201，获取单目相机拍摄的至少两个图像帧。

这里的至少两个图像帧可以是单目相机按照一定的帧率在一定的时间段内拍摄得到的图像帧，本实施例不对帧率的具体数值作限定。

可选的，在得到至少两个图像帧后，还可以从这至少两个图像帧中舍弃不满足条件的图像帧，保留满足条件的图像帧，对保留的图像帧进行后续的处理，以提高确定的尺度的准确性。其中，舍弃和保留图像帧的流程详见下面的步骤301中的描述，此处不作赘述。

步骤202，根据至少两个图像帧，获取至少一组第一旋转参数和第一位移参数。

每组第一旋转参数和第一位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化，第一位移参数中包含视觉惯性里程计的尺度，且该尺度未知。

第一旋转参数用于表示单目相机在拍摄后一个图像帧时相对于拍摄前一个图像帧时的旋转参数。第一旋转参数包括的参数与坐标轴相关，比如，当坐标轴是三维坐标轴时，旋转参数可以包括绕x轴旋转的参数、绕y轴旋转的参数和绕z轴旋转的参数。当坐标轴是其他坐标轴时，第一旋转参数还可以包括其他含义的参数，本实施例不作限定。第一旋转参数可以表示成矩阵、向量等形式，本实施例不作限定。

第一位移参数用于表示单目相机在拍摄后一个图像帧时相对于拍摄前一个图像帧时的位移参数。第一位移参数包括的参数与坐标轴相关，比如，当坐标轴是三维坐标轴时，平移参数可以包括沿x轴平移的参数、沿y轴平移的参数和沿z轴平移的参数。当坐标轴是其他坐标轴时，第一平移参数还可以包括其他含义的参数，本实施例不作限定。第一位移参数可以表示成矩阵、向量等形式，本实施例不作限定。

其中，第一位移参数中包含视觉惯性里程计的尺度且该尺度未知。即，第一位移参数的表达式中包含视觉惯性里程计的尺度且该尺度未知。比如，视觉惯性里程计的尺度是s，则第一位移参数的表达式可以由各项已知数和s表示。

本实施例中，根据每两个相邻的图像帧可以计算出一组第一旋转参数和第一位移参数。比如，单目相机拍摄了10个图像帧，则根据第一个和第二个图像帧可以计算出一组第一旋转参数和第一位移参数，根据第二个和第三个图像帧可以计算出一组第一旋转参数和第一位移参数，……，根据第九个和第十个图像帧可以计算出一组第一旋转参数和第一位移参数，共得到9组第一旋转参数和第一位移参数。计算流程详见步骤302-304中的描述，此处不作赘述。

其中，第一旋转参数包括3个自由度的旋转参数，第一位移参数包括3个自由度的平移参数，可以实现头戴式显示器的6自由度的追踪定位，从而提高追踪定位的精确性。本实施例可以以高帧率估计头部6自由度的位置姿态，有效提高了沉浸感和用户体验。

步骤203，获取至少一组第二旋转参数和第二位移参数。

第二旋转参数用于表示IMU测量得到的单目相机在拍摄后一个图像帧时相对于拍摄前一个图像帧时的旋转参数，且第二旋转参数的表示形式与第一旋转参数的表示形式相同。

第二位移参数用于表示IMU测量得到的单目相机在拍摄后一个图像帧时相对于拍摄前一个图像帧时的位移参数，且第二位移参数的表示形式与第一位移参数的表示形式相同。

本实施例中，IMU中设置有陀螺仪和加速度计，则可以通过陀螺仪测量每相邻两个图像帧对应的第二旋转数据，通过加速度计测量每相邻两个图像帧对应的第二位移参数，将相同的相邻两个图像帧对应的第二旋转参数和第二位移参数作为一组第二旋转参数和第二位移参数。

在通过陀螺仪测量第二旋转数据时，对于每相邻两个图像帧，可以对单目相机从拍摄相邻两个图像帧中前一个图像帧时到拍摄后一个图像帧时测量得到的所有角度参数进行积分时，得到该相邻两个图像帧对应的第二旋转参数。

在通过加速度计测量第二位移参数，对于每相邻两个图像帧，可以对单目相机从拍摄相邻两个图像帧中前一个图像帧时到拍摄后一个图像帧时测量得到的所有加速度参数进行积分时，得到该相邻两个图像帧对应的第二位移参数。

虽然通过IMU测量得到的至少一组第二旋转参数和第二位移参数中，第二位移参数包含的尺度已知，但是，由于陀螺仪在使用过程中会产生漂移，而漂移会使测得的角度参数产生偏差，所以，积分得到的第二旋转参数也会产生偏差，需要校正，校正流程详见步骤307中的描述。加速度计在使用过程中不会产生漂移，所以，可以认为积分得到的第二位移参数是正确的，不需要校正。

需要说明的是，步骤201-202的内容是根据至少两个图像帧，计算至少一组第一旋转参数和第一位移参数，步骤203的内容是获取IMU测量得到至少一组第二旋转参数和第二位移参数，这两个过程是相互独立的，所以，本实施例不限定步骤203和步骤201-202之间的先后执行顺序。图2中以步骤203和步骤201-202之间不设置箭头来表示不限定步骤203和步骤201-202之间的先后执行顺序。

步骤204，根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数，确定尺度。

本实施例中，可以根据至少一组第一旋转参数和第一位移参数确定单目相机在拍摄至少两个图像帧时的位置姿态变化，将各个位置姿态变化组成第一变化轨迹。可以根据至少一组第二旋转参数和第二位移参数确定单目相机在拍摄至少两个图像帧时的位置姿态变化，将各个位置姿态变化组成第二变化轨迹。由于第一变化轨迹中的尺度未知，且对第一变化轨迹设置不同的尺度等同于调整第一变化轨迹的缩放比例，所以可以计算使缩放后的第一变化轨迹和第二变化轨迹重合时的尺度，该尺度即为视觉惯性里程计的尺度。

为了便于理解设置不同的尺度等同于调整第一变化轨迹的缩放比例这句话，下面对调整的过程进行举例说明。为了简化示例，以第一位移参数是一维参数为例，则假设单目相机在拍摄相邻两个图像帧时移动了5个尺度，当尺度是1厘米这个衡量标准时，单目相机的第一位移参数是5厘米；当尺度是1分米这个衡量标准时，单目相机的第一位移参数是5分米。可见，尺度为1分米时的第一位移参数是尺度为1厘米时的第一位移参数的10倍，即，相对于尺度为1厘米时的第一位移参数来说，相当于将单目相机的移动轨迹放大了10倍。

综上所述，本发明实施例提供的尺度确定方法，虽然可以根据至少两个图像帧计算出至少一组第一旋转参数和第一位移参数，但是每组第一旋转参数和第一位移参数中，第一位移参数中包含视觉惯性里程计的尺度，且该尺度未知，而IMU测量得到的至少一组第二旋转参数和第二位移参数中，第二位移参数中包含的尺度已知，所以，可以根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数来确定尺度。这样，通过一个单目相机和IMU即可确定尺度，解决了提前标定出两个相机的内参和外参来确定尺度时，确定尺度的效率不高的问题，从而提高了尺度的确定效率。

请参考图3，其示出了本发明另一实施例提供的尺度确定方法的方法流程图，该尺度确定方法可以应用于图1所述的视觉惯性里程计中，本实施例将对涉及的算法进行细化。该尺度确定方法，包括：

步骤301，获取单目相机拍摄的至少两个图像帧。

其中，图像帧详见步骤201中的描述，下面对舍弃和保留图像帧的流程进行介绍。

其中，获取单目相机拍摄的至少两个图像帧，包括：获取并保留单目相机拍摄的第一个图像帧；对于单目相机在第一个图像帧之后拍摄的每个图像帧，当该图像帧中与前一个图像帧中匹配特征点的组数超过第二阈值，且该图像帧与前一个图像帧的视差超过第三阈值时，保留该图像帧。

在获取到第一个图像帧时，直接保留该图像帧，并提取第一个图像帧中的特征点；在获取到第二个图像帧时，提取第二个图像帧中的特征点，对第一个和第二个图像帧中的特征点进行匹配，并计算第一个和第二个图像帧的视差，当匹配特征点的组数超过第二阈值，且视差超过第三阈值时，保留第二个图像帧；当匹配特征点的组数未超过第二阈值时，舍弃第二个图像帧；或者，当视差不超过第三阈值时，舍弃第二个图像帧；或者，当匹配特征点的组数未超过第二阈值，且视差不超过第三阈值时，舍弃第二个图像帧；在获取到第三个图像帧时，提取第三个图像帧中的特征点，对第二个和第三个图像帧中的特征点进行匹配，并计算第二个和第三个图像帧的视差，根据上述条件确定是舍弃还是保留第三个图像帧。依次类推，直至判断完最后一个图像帧是舍弃还是保留后停止，或者，直至得到预设数量的图像帧后停止，比如保留了10个图像帧后停止，本实施例不对预设数量作限定。

本实施例中，提取的特征点可以是Fast(Features from accelerated segmenttest，角点检测)特征点、Sift(Scale-invariant feature transform，尺度不变特征变换)特征点、Surf(Speed-up robust features，加速健壮特征)特征点、ORB(Oriented FASTand Rotated BRIEF，拥有旋转尺度不变BRIEF描述子的FAST特征)特征点等等，本实施例不作限定。

一组匹配特征点是指世界坐标系中的同一个地图点分别在两个图像帧中形成的像点。地图点是指世界坐标系中的一个物点。请参考图4，图4示出了在不同角度拍摄的两个图像帧。这两个图像帧中标示的密密麻麻的圆圈即为特征点，每组匹配特征点之间以直线相连(以部分匹配特征点为例，未示出全部匹配特征点)。比如，墙面上的一个物点在左侧图像帧上的像点是特征点A，在右侧图像帧上的像点是特征点B，则可以将该墙面上的物点称为地图点，特征点A和特征点B称为一组匹配特征点。

特征点匹配的算法可以是SSD(Sum of Squared Differences，误差平方和)算法、光流跟踪算法、描述子匹配算法等，本实施例不作限定。以SSD算法为例，SSD算法的思想是计算两个图像帧中某个特征点附近的像素灰度值的残差，若残差小于第四阈值，则确定这两个特征点相匹配。其中，残差越小，特征点越匹配。计算残差的公式为

其中，I₁是第一个图像帧，I₂是第二个图像帧，u和v是特征点的像素坐标，u+i和v+j表示特征点附近的像素点的像素坐标。

两个图像帧的视差等于所有匹配特征点的视差的平均值，特征点的视差的计算公式为

其中，(u₁，v₁)和(u₂，v₂)分别是两个图像帧中的特征点的像素坐标。

本实施例不对第二阈值和第三阈值作限定，在一种可能的实现方案中，第二阈值是30，第三阈值是30。

步骤302，根据至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数。

每组第一相对旋转参数和第一相对位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化，且第一相对位移参数中包含视觉惯性里程计的尺度，且该尺度未知。

第一相对旋转参数与第一旋转参数的定义相同，区别在于，第一相对旋转参数的准确性低于对应的第一旋转参数。第一相对位移参数和第一位移参数的定义相同，区别在于，第一相对位移参数的准确性低于对应的第一位移参数。其中，第一相对位移参数中包含视觉惯性里程计的尺度，且该尺度未知。

本实施例中，根据至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数，包括：删除至少两个图像帧中误匹配的各组匹配特征点；对于每相邻两个图像帧，从相邻两个图像帧中剩余的匹配特征点中选择至少两组匹配特征点，根据至少两组匹配特征点获取一组第一相对旋转参数和第一相对位移参数。

本实施例中，可以通过RANSAC(Random Sample Consensus，随机采样一致性)算法筛选误匹配的各组匹配特征点。其中，误匹配的匹配特征点是指：两个匹配点并不是世界坐标系中的同一地图点分别在两个图像帧中所成的像点，但是特征点匹配的算法误认为这两个匹配点是世界坐标系中的同一地图点分别在两个图像帧中所成的像点。请参考图4，实际上特征点A和特征点B是一组匹配特征点，但是，特征点匹配算法可能会算出特征点A和特征点C是一组匹配特征点，此时，可以将特征点A和特征点C称为误匹配的一组匹配特征点。

RANSAC算法的思想是用所有匹配特征点的一个子集计算出一个结果，统计所有匹配特征点中有多少匹配特征点符合这个结果，选出使得符合某一个结果的匹配特征点点数最多的结果，不符合这个结果的匹配特征点就都是误匹配的匹配特征点。当然，还可以采用其他算法筛选出误匹配的各组匹配特征点，本实施例不作限定。

本实施例中，可以选择5组匹配特征点，采用五点法计算每相邻两个图像帧的一组第一相对旋转参数和第一相对位移参数；或者，可以选择8组匹配特征点，采用八点法计算每相邻两个图像帧的一组第一相对旋转参数和第一相对位移参数。当然，还可以采用其他算法计算每相邻两个图像帧的一组第一相对旋转参数和第一相对位移参数，本实施例不作限定。

步骤303，根据至少一组第一相对旋转参数和第一相对位移参数，获取地图点的坐标，每个地图点对应于至少两个图像帧中的一组匹配特征点。

在计算出至少一组第一相对旋转参数和第一相对位移参数后，可以根据每组第一相对旋转参数和第一相对位移参数，计算相邻两个图像帧中每组匹配特征点所对应的地图点的坐标。在计算地图点的坐标时，可以将第一相对位移参数中包含的尺度看作固定的未知数，利用三角测量原理计算每组匹配特征点所对应的地图点的坐标。请参考图5，图中的A表示地图点，用(X，Y，Z)表示地图点的坐标，a_l表示地图点在左侧图像帧上的像点(特征点)，坐标为(u_l，v_l)，a_r表示地图点在右侧图像帧上的像点(特征点)，O_l是左侧图像帧的光心，O_r是右侧图像帧的光心，z_l是左侧图像帧的光轴，z_r是右侧图像帧的光轴。

步骤304，根据优化规则对地图点的坐标进行优化，得到至少一组第一旋转参数和第一位移参数。

本实施例提供了两种计算方式，计算流程如下。

在第一种计算方式中，根据地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数，每组第二相对旋转参数和第二相对位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据优化规则将至少一组第二相对旋转参数和第二相对位移参数输入优化算法中，得到至少一组第一旋转参数和第一位移参数。

第二相对旋转参数与第一相对旋转参数和第一旋转参数的定义相同，区别在于，第二相对旋转参数的准确性位于对应的第一相对旋转参数和对应的第一旋转参数之间。第二相对位移参数与第一相对位移参数和第一位移参数的定义相同，区别在于，第二相对位移参数的准确性位于对应的第一相对位移参数和对应的第一位移参数之间。可见，在计算每组第一旋转旋转参数和第一位移参数时，先计算每组第一相对旋转参数和第一相对位移参数，再对每组第一相对旋转参数和第一相对位移参数进行优化，得到各组第二相对旋转参数和第二相对位移参数，再对每组第二相对旋转参数和第二相对位移参数进行优化，得到各组第一旋转参数和第一位移参数。

本实施例中，对于每相邻两个图像帧，可以将该相邻两个图像帧中所有地图点的坐标和所有地图点在相邻两个图像帧中的像素坐标输入PnP(Perspective nPositioning，透视n点定位)算法中，得到该相邻两个图像帧对应的一组第二相对旋转参数和第二相对位移参数。当然，也可以通过其他算法计算一组第二相对旋转参数和第二相对位移参数，本实施例不作限定。

在得到每相邻两个图像帧对应的一组第二相对旋转参数和第二相对位移参数后，可以将至少一组第二相对旋转参数和第二相对位移参数输入优化算法中，通过优化算法对每组第二相对旋转参数和第二相对位移参数进行微调，将微调后的第二相对旋转参数称为第一旋转参数，将微调后的第二相对位移参数称为第一位移参数，得到各组第一旋转参数和第一位移参数。优化算法可以是BA(Bundle Adjustment，光束法平差)算法，也可以是其他算法，本实施例不作限定。当优化算法是BA算法时，优化函数是最小化所有特征点的重投影误差，最小化重投影误差的思想是使得地图点投影到像平面的像点与实际像点之间的距离最小。

本实施例中，还可以将地图点的坐标输入优化算法，以提高得到的各组第一旋转参数和第一位移参数的准确性。然而，输入优化算法的数据越多，计算需要消耗的时间越长，所以，可以根据实际需求决定是否将地图点的坐标输入优化算法中，或者，可以根据实际需求决定将全部还是部分的地图点的坐标输入优化算法中。即，可以根据实际需求决定优化规则，根据优化规则确定是否将地图点的坐标输入优化算法。

下面从视觉惯性里程计的使用面积这个维度进行说明，则在根据地图点，获取至少一组第二相对旋转参数和第二相对位移参数之后，还可以获取视觉惯性里程计的使用面积；当使用面积超过第一阈值时，确定优化规则是不将地图点的坐标输入优化算法中。

当使用面积越大时，说明产生的图像帧越多，输入优化算法的第二相对旋转参数和第二相对位移参数越多，计算需要消耗的时间越长。所以，在使用面积超过第一阈值时，确定计算需要消耗的时间较长，此时不将地图点的坐标输入优化算法中，以缩短计算耗时，即，优化规则是不将第三位置输入优化算法中。在确定优化规则后，可以按照优化规则优化第二相对旋转参数和第二相对位移参数。除了可以通过使用面积确定优化规则外，还可以通过其他维度确定优化规则，本实施例不作限定。

在第二种计算方式中，根据地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数，每组第二相对旋转参数和第二相对位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；根据优化规则将全部或部分的地图点的坐标、至少一组第二相对位移参数和第二相对位移参数输入优化算法中，得到至少一组第一旋转参数和第一位移参数。

第二种计算方式与第一种计算方式的区别是，根据优化规则将全部或部分的地图点的坐标输入优化算法来优化第二相对旋转参数和第二相对位移参数。仍然从视觉惯性里程计的使用面积这个维度进行说明，则在根据地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数之后，可以获取视觉惯性里程计的使用面积；当使用面积不超过第一阈值时，确定优化规则是将全部的地图点的坐标输入优化算法中；当使用面积超过第一阈值时，确定优化规则是将部分的地图点的坐标输入优化算法中。

当使用面积越大时，说明产生的图像帧越多，输入优化算法的第二相对旋转参数和第二相对位移参数越多，计算需要消耗的时间越长。所以，可以在使用面积不超过第一阈值时，确定计算需要消耗的时间较短，此时可以将全部的地图点的坐标输入优化算法中，以提高优化精度，即，优化规则是将全部的地图点的坐标输入优化算法中；在使用面积超过第一阈值时，确定计算需要消耗的时间较长，此时可以将部分的地图点的坐标输入优化算法中，以缩短计算耗时，即，优化规则是将部分的地图点的坐标输入优化算法中。在确定优化规则后，可以按照优化规则优化第二相对旋转参数和第二相对位移参数。除了可以通过使用面积确定优化规则外，还可以通过其他维度确定优化规则，本实施例不作限定。

本步骤中计算出的至少一组第一旋转参数和第一位移参数有两个作用，第一个作用是计算单目相机在拍摄至少两个图像帧时位置姿态变化的第一变化轨迹，这部分内容详见步骤305中的描述，即，在步骤304之后执行步骤305；第二个作用是对至少一组第二旋转参数和第二位移参数中的第二旋转参数进行校正，这部分内容详见步骤307中的描述，即，在步骤304之后还执行步骤307。

步骤305，根据至少一组第一旋转参数和第一位移参数，获取单目相机在拍摄至少两个图像帧时位置姿态变化的第一变化轨迹。

在实现时，将至少一组第一旋转参数和第一位移参数输入公式

得到第一变化轨迹。

是根据图像帧计算得到的单目相机在拍摄第k+1个图像帧和第k个图像帧时的位置姿态变化，

是第k+1个图像帧和第k个图像帧之间的约束关系，且

v是单目相机在拍摄各个图像帧时的位移速度，

是单目相机在拍摄第一个图像帧时的重力加速度，s是视觉惯性里程计的尺度且未知。

其中，

是单目相机的初始位置姿态相对于拍摄第k个图像帧时的位置姿态的旋转参数，Δt_k是单目相机拍摄相邻两个图像帧的时间差，

是单目相机在拍摄第k+1个图像帧时的位置姿态相对于初始位置姿态的位移参数，

是单目相机在拍摄第k个图像帧使的位置姿态相对于初始位置姿态的位移参数，

是单目相机在拍摄第k个图像帧时的位移速度，

是单目相机在拍摄第k+1个图像帧时的位移速度。

在计算出第一变化轨迹后，执行步骤309。

步骤306，获取至少一组第二旋转参数和第二位移参数。

第二旋转参数和第二位移参数详见步骤203中的描述，此处不作赘述。

需要说明的是，步骤301-305的内容是根据至少两个图像帧，计算第一变化轨迹，步骤306的内容是获取IMU测量得到的至少一组第二旋转参数和第二位移参数，这两个过程是相互独立的，所以，本实施例不限定步骤306和步骤301-305之间的先后执行顺序。图3中以步骤306和步骤301-305之间不设置箭头来表示不限定步骤306和步骤301-305之间的先后执行顺序。

步骤307，利用至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数。

由于陀螺仪在使用过程中会产生漂移，而漂移会使测得的角度参数产生偏差，所以，积分得到的第二旋转参数也会产生偏差，需要校正。

其中，利用至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数，包括：获取至少一组第一旋转参数和第一位移参数中各个第一旋转参数，与至少一组第二旋转参数和第二位移参数中对应的第二旋转参数的差值，差值中包含陀螺仪的偏差且偏差未知，陀螺仪位于IMU中；计算所有的差值之和，并获取使差值之和最小时的偏差；根据偏差校正至少一组第二旋转参数和第二位移参数中的各个第二旋转参数，得到至少一组第三旋转参数和第二位移参数。

在实现时，将至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，与，至少一组第二旋转参数和第二位移参数中对应的第二旋转参数输入公式

得到陀螺仪的偏差b_ω，再根据偏差校正至少一组第二旋转参数和第二位移参数中的各个第二旋转参数，得到至少一组第三旋转参数和第二位移参数。其中，

表示单目相机在拍摄第k个图像帧和第k+1个图像帧的时间段内角度参数的积分结果，

表示单目相机在拍摄第k+1个图像帧和第k个图像帧的时间段内角度参数的积分结果，且

和

中都包含b_ω。即，

和

的表达式中都包含b_ω。

在根据偏差校正各个第二旋转参数时，可以将每个第二旋转参数按照该偏差进行校正，得到各个第三旋转参数。

步骤308，根据至少一组第三旋转参数和第二位移参数，获取单目相机在拍摄至少两个图像帧时位置姿态变化的第二变化轨迹。

在实现时，将至少一组第三旋转参数和第二位移参数输入公式

得到第二变化轨迹。

是IMU测量得到的单目相机在拍摄第k+1个图像帧和第k个图像帧时的相对位置姿态变化，

是单目相机在拍摄第k+1个图像帧时的位置姿态相对于拍摄第k个图像帧时的位置姿态的旋转参数，

是单目相机和IMU的距离。

其中，

是单目相机在初始位置姿态相对于拍摄第k个图像帧时的位置姿态的旋转参数，

是单目相机在拍摄第k+1个图像帧时的位置姿态相对于初始位置姿态的位移参数。

在计算出第二变化轨迹后，执行步骤310。

步骤309，调整第一变化轨迹的缩放比例，该第一变化轨迹的缩放比例与尺度相关。

其中，调整第一变化轨迹的描述详见步骤204中的举例说明，此处不作赘述。

步骤310，获取使缩放后的第一变化轨迹和第二变化轨迹重合时的尺度。

本步骤中，可以按照步骤308计算出的第二变化轨迹，调整步骤309中第一变化轨迹的缩放比例，使得第一变化轨迹和第二变化轨迹重合，获取重合时的尺度，该尺度即为视觉惯性里程计的尺度。

仍然以上述公式表示时，将

和

输入公式

得到尺度。

本实施例中，可以在视觉惯性里程计中设置SfM(Structure from Motion，运动恢复结构)模块和IMU模块，请参考图6，其示出了SfM模块和IMU模块在确定尺度时各自的实现流程。

由于删除了相邻两个图像帧中误匹配的各组匹配特征点，所以，根据剩余的匹配特征点计算得到的地图点的坐标较为准确，可以提高尺度确定的准确性。

通过先计算至少一组第一相对旋转参数和第一相对位移参数，再根据至少一组第一相对旋转参数和第一相对位移参数计算地图点的坐标，再根据地图点计算至少一组第一旋转参数和第一位移参数，可以提高第一旋转参数和第一位移参数的准确性。

通过将至少一组第二相对旋转参数和第二相对位移参数输入优化算法中，可以提高得到的第一旋转参数和第一位移参数的准确性。

通过根据使用面积确定优化规则，从而在使用面积小时可以提高计算精度，在使用面积大时可以提高计算耗时。

请参考图7，其示出了本发明一个实施例提供的尺度确定装置的结构框图，该尺度确定装置可以应用于图1所述的视觉惯性里程计中。该尺度确定装置，包括：

获取模块710，用于获取单目相机拍摄的至少两个图像帧；

获取模块710，还用于根据至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，每组第一旋转参数和第一位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化，第一位移参数中包含视觉惯性里程计的尺度，且尺度未知；

获取模块710，还用于获取至少一组第二旋转参数和第二位移参数，每组第二旋转参数和第二位移参数用于表示IMU测量得到的单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；

确定模块720，用于根据获取模块得到的至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数，确定尺度。

可选的，确定模块720，还用于：

根据至少一组第一旋转参数和第一位移参数，获取单目相机在拍摄至少两个图像帧时位置姿态变化的第一变化轨迹；

利用至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数；

根据至少一组第三旋转参数和第二位移参数，获取单目相机在拍摄至少两个图像帧时位置姿态变化的第二变化轨迹；

调整第一变化轨迹的缩放比例，第一变化轨迹的缩放比例与尺度相关；

获取使缩放后的第一变化轨迹和第二变化轨迹重合时的尺度。

可选的，确定模块720，还用于：

获取至少一组第一旋转参数和第一位移参数中各个第一旋转参数，与至少一组第二旋转参数和第二位移参数中对应的第二旋转参数的差值，差值中包含陀螺仪的偏差且偏差未知，陀螺仪位于IMU中；

计算所有的差值之和，并获取使差值之和最小时的偏差；

根据偏差校正至少一组第二旋转参数和第二位移参数中的各个第二旋转参数，得到至少一组第三旋转参数和第二位移参数。

可选的，获取模块710，还用于：

根据至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数，每组第一相对旋转参数和第一相对位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；

根据至少一组第一相对旋转参数和第一相对位移参数，获取地图点的坐标，每个地图点对应于至少两个图像帧中的一组匹配特征点；

根据优化规则对地图点的坐标进行优化，得到至少一组第一旋转参数和第一位移参数。

可选的，获取模块710，还用于：

删除至少两个图像帧中误匹配的各组匹配特征点；

对于每相邻两个图像帧，从相邻两个图像帧中剩余的匹配特征点中选择至少两组匹配特征点，根据至少两组匹配特征点获取一组第一相对旋转参数和第一相对位移参数。

可选的，获取模块710，还用于：

根据地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数，每组第二相对旋转参数和第二相对位移参数用于表示单目相机在拍摄至少两个图像帧中相邻两个图像帧时的位置姿态变化；

根据优化规则将至少一组第二相对旋转参数和第二相对位移参数输入优化算法中，得到至少一组第一旋转参数和第一位移参数。

可选的，获取模块710，还用于：

在根据地图点，获取至少一组第二相对旋转参数和第二相对位移参数之后，获取视觉惯性里程计的使用面积；

当使用面积超过第一阈值时，确定优化规则是不将地图点的坐标输入优化算法中。

可选的，获取模块710，还用于：

根据优化规则将全部或部分的地图点的坐标、至少一组第二相对位移参数和第二相对位移参数输入优化算法中，得到至少一组第一旋转参数和第一位移参数。

可选的，获取模块710，还用于：

在根据地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数之后，获取视觉惯性里程计的使用面积；

当使用面积不超过第一阈值时，确定优化规则是将全部的地图点的坐标输入优化算法中；

当使用面积超过第一阈值时，确定优化规则是将部分的地图点的坐标输入优化算法中。

可选的，获取模块710，还用于：

获取并保留单目相机拍摄的第一个图像帧；

对于单目相机在第一个图像帧之后拍摄的每个图像帧，当该图像帧中与前一个图像帧中匹配特征点的数量超过第二阈值，且该图像帧与前一个图像帧的视差超过第三阈值时，保留该图像帧。

综上所述，本发明实施例提供的尺度确定装置，虽然可以根据至少两个图像帧计算出至少一组第一旋转参数和第一位移参数，但是每组第一旋转参数和第一位移参数中，第一位移参数中包含视觉惯性里程计的尺度，且该尺度未知，而IMU测量得到的至少一组第二旋转参数和第二位移参数中，第二位移参数中包含的尺度已知，所以，可以根据至少一组第一旋转参数和第一位移参数以及至少一组第二旋转参数和第二位移参数来确定尺度。这样，通过一个单目相机和IMU即可确定尺度，解决了提前标定出两个相机的内参和外参来确定尺度时，确定尺度的效率不高的问题，从而提高了尺度的确定效率。

本发明一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的尺度确定方法。

本发明一个实施例提供了一种尺度确定设备，所述尺度确定设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的尺度确定方法。

需要说明的是：上述实施例提供的尺度确定装置在进行尺度确定时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将尺度确定装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的尺度确定装置与尺度确定方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种尺度确定方法，其特征在于，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和惯性测量单元IMU，所述方法包括：

获取所述单目相机拍摄的至少两个图像帧；

根据所述至少一组第一旋转参数和第一位移参数，获取所述单目相机在拍摄所述至少两个图像帧时位置姿态变化的第一变化轨迹；

调整所述第一变化轨迹的缩放比例，所述第一变化轨迹的缩放比例与所述尺度相关；

获取使缩放后的所述第一变化轨迹和第二变化轨迹重合时的所述尺度，所述第二变化轨迹是对所述至少一组第二旋转参数和第二位移参数中的第二旋转参数校正得到的。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用所述至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正所述至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数；

根据所述至少一组第三旋转参数和第二位移参数，获取所述单目相机在拍摄所述至少两个图像帧时位置姿态变化的第二变化轨迹。

3.根据权利要求2所述的方法，其特征在于，所述利用所述至少一组第一旋转参数和第一位移参数中的各个第一旋转参数，校正所述至少一组第二旋转参数和第二位移参数中对应的第二旋转参数，得到至少一组第三旋转参数和第二位移参数，包括：

获取所述至少一组第一旋转参数和第一位移参数中各个第一旋转参数，与所述至少一组第二旋转参数和第二位移参数中对应的第二旋转参数的差值，所述差值中包含陀螺仪的偏差且所述偏差未知，所述陀螺仪位于所述IMU中；

计算所有的差值之和，并获取使所述差值之和最小时的偏差；

根据所述偏差校正所述至少一组第二旋转参数和第二位移参数中的各个第二旋转参数，得到所述至少一组第三旋转参数和第二位移参数。

4.根据权利要求1所述的方法，其特征在于，所述根据所述至少两个图像帧，获取至少一组第一旋转参数和第一位移参数，包括：

根据所述至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数，每组所述第一相对旋转参数和第一相对位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；

根据所述至少一组第一相对旋转参数和第一相对位移参数，获取地图点的坐标，每个地图点对应于所述至少两个图像帧中的一组匹配特征点；

根据优化规则对所述地图点的坐标进行优化，得到所述至少一组第一旋转参数和第一位移参数。

5.根据权利要求4所述的方法，其特征在于，所述根据所述至少两个图像帧，获取至少一组第一相对旋转参数和第一相对位移参数，包括：

删除所述至少两个图像帧中误匹配的各组匹配特征点；

对于每相邻两个图像帧，从所述相邻两个图像帧中剩余的匹配特征点中选择至少两组匹配特征点，根据所述至少两组匹配特征点获取一组所述第一相对旋转参数和第一相对位移参数。

6.根据权利要求4所述的方法，其特征在于，所述根据优化规则对所述地图点的坐标进行优化，得到所述至少一组第一旋转参数和第一位移参数，包括：

根据所述地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数，每组所述第二相对旋转参数和第二相对位移参数用于表示所述单目相机在拍摄所述至少两个图像帧中相邻两个图像帧时的位置姿态变化；

根据所述优化规则将所述至少一组第二相对旋转参数和第二相对位移参数输入优化算法中，得到所述至少一组第一旋转参数和第一位移参数。

7.根据权利要求6所述的方法，其特征在于，在所述根据所述地图点，获取至少一组第二相对旋转参数和第二相对位移参数之后，所述方法还包括：

获取所述视觉惯性里程计的使用面积；

当所述使用面积超过第一阈值时，确定所述优化规则是不将所述地图点的坐标输入所述优化算法中。

8.根据权利要求4所述的方法，其特征在于，所述根据优化规则对所述地图点的坐标进行优化，得到所述至少一组第一旋转参数和第一位移参数，包括：

根据所述优化规则将全部或部分的所述地图点的坐标、所述至少一组第二相对位移参数和第二相对位移参数输入优化算法中，得到所述至少一组第一旋转参数和第一位移参数。

9.根据权利要求8所述的方法，其特征在于，在所述根据所述地图点的坐标，获取至少一组第二相对旋转参数和第二相对位移参数之后，所述方法还包括：

获取所述视觉惯性里程计的使用面积；

当所述使用面积不超过第一阈值时，确定所述优化规则是将全部的所述地图点的坐标输入所述优化算法中；

当所述使用面积超过所述第一阈值时，确定所述优化规则是将部分的所述地图点的坐标输入所述优化算法中。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述获取所述单目相机拍摄的至少两个图像帧，包括：

获取并保留所述单目相机拍摄的第一个图像帧；

对于所述单目相机在所述第一个图像帧之后拍摄的每个图像帧，当所述图像帧中与前一个图像帧中匹配特征点的组数超过第二阈值，且所述图像帧与所述前一个图像帧的视差超过第三阈值时，保留所述图像帧。

11.一种尺度确定装置，其特征在于，用于视觉惯性里程计中，所述视觉惯性里程计包括单目相机和惯性测量单元IMU，所述装置包括：

获取模块，用于获取所述单目相机拍摄的至少两个图像帧；

确定模块，用于根据所述至少一组第一旋转参数和第一位移参数，获取所述单目相机在拍摄所述至少两个图像帧时位置姿态变化的第一变化轨迹；调整所述第一变化轨迹的缩放比例，所述第一变化轨迹的缩放比例与所述尺度相关；获取使缩放后的所述第一变化轨迹和第二变化轨迹重合时的所述尺度，所述第二变化轨迹是对所述至少一组旋转参数和第二参数中的第二旋转参数校正得到的。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至10任一所述的尺度确定方法。

13.一种尺度确定设备，其特征在于，所述尺度确定设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至10任一所述的尺度确定方法。