CN110119189A

CN110119189A - Slam系统的初始化、ar控制方法、装置和系统

Info

Publication number: CN110119189A
Application number: CN201810114367.4A
Authority: CN
Inventors: 鲍虎军; 章国锋; 王楠; 陈丹鹏
Original assignee: Zhejiang Sensetime Technology Development Co Ltd
Current assignee: Zhejiang Sensetime Technology Development Co Ltd
Priority date: 2018-02-05
Filing date: 2018-02-05
Publication date: 2019-08-13
Anticipated expiration: 2038-02-05
Also published as: CN110119189B

Abstract

本发明提供一种同时定位与地图构建(Simultaneous Localization And Mapping，SLAM)系统的初始化、现实增强(Augmented Reality，AR)控制方法、装置和系统。该方法包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度；根据重力方向和对面高度确定参考面；将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。本发明实施例提高了SLAM的初始化速度，也提高了对面高度的准确性和视觉初始化过程中地图构建的准确性。

Description

SLAM系统的初始化、AR控制方法、装置和系统

技术领域

本发明涉及计算机图像处理技术，尤其涉及一种SLAM系统的初始化、AR控制方法、装置和系统。

背景技术

SLAM系统可广泛应用于增强现实、虚拟现实、机器人和自动驾驶等领域。SLAM系统用于获取所在的电子设备自身姿态、电子设备所在的环境以及电子设备在环境中的位置。

当用户使用电子设备时，SLAM系统首先进行初始化，获取电子设备的初始运动状态信息以及电子设备所在环境的初始环境信息，然后再据此进行电子设备状态跟踪、场景的地图实时构建等处理。SLAM系统初始化速度的快慢影响了用户使用电子设备的等待时长，且SLAM系统初始化获取的信息的准确度也影响了基于SLAM系统实现增强现实等应用的效果。

发明内容

本发明实施例提供一种SLAM系统的初始化技术方案和AR控制技术方案。

第一方面，本发明实施例提供一种基于双摄像头的SLAM系统的初始化方法，包括：

根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；

根据所述重力方向和所述对面高度确定参考面；

将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。

在第一方面的一种可行的实施方式中，所述参考面包括：地平面或水平物面。

在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：根据所述电子设备的重力传感器获得所述重力方向。

在第一方面的一种可行的实施方式中，所述主摄像头和所述备摄像头设于所述电子设备的同一平面。

在第一方面的一种可行的实施方式中，SLAM系统的初始化方法还包括：

获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频；

确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点；

根据所述共同特征点，将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中，获取所述每帧图像中的特征点的初始三维坐标信息。

对所述特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置；

根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。

在第一方面的一种可行的实施方式中，所述获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频，包括：

获取所述主摄像头在移动过程中拍摄得到的视频。

在第一方面的一种可行的实施方式中，所述获取所述主摄像头在移动过程中拍摄得到的视频之前，SLAM系统的初始化方法还包括：

呈现用于提示移动所述电子设备和/或所述主摄像头的信息。

根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化。

在第一方面的一种可行的实施方式中，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，包括：

根据每帧图像对应的主摄像头的位置和朝向信息，以及所述主摄像头和所述IMU的相对位置信息，确定每帧图像对应的所述IMU的位置和朝向信息。

在第一方面的一种可行的实施方式中，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，还包括：

根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度，确定所述IMU的角速度偏差信息。

根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息和位置信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度和加速度，确定所述时间间隔内的帧图像对应的电子设备的速度信息和/或所述IMU的加速度偏差信息。

第二方面，本发明实施例还提供一种增强现实AR控制方法，包括：

AR引擎获取采用如上述第一方面或第一方面的任意可能的实现中的方法进行初始化后的SLAM系统输出的电子设备的定位和/或地图构建信息；

所述AR引擎根据所述SLAM系统输出的信息，在所述电子设备所在场景或场景的拍摄视频中绘制虚拟物体。

第三方面，本发明实施例还提供一种SLAM系统，包括：

对面高度获取模块，用于根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻所述电子设备的备摄像头拍摄得到的备图像，确定所述主摄像头的对面高度；

参考面获取模块，用于根据所述重力方向和所述对面高度确定参考面；

特征点信息获取模块，用于将所述主图像投影到所述参考面中，确定所述主图像中至少一个特征点的三维坐标信息和/或深度信息。

在第三方面的一种可行的实施方式中，所述参考面包括：地平面或水平物面。

在第三方面的一种可行的实施方式中，SLAM系统还包括：

重力方向获取模块，用于根据所述电子设备的重力传感器获得所述重力方向。

在第三方面的一种可行的实施方式中，所述主摄像头和所述备摄像头设于所述电子设备的同一平面。

在第三方面的一种可行的实施方式中，SLAM系统还包括：

视频获取模块，用于获取所述主摄像头朝向除所述第一方向之外的至少一个其他方向拍摄的视频；

共同特征点获取模块，用于确定所述视频中至少一帧图像中的相对于所述主图像的共同特征点；

初始坐标获取模块，用于根据所述共同特征点，将所述参考面按照所述至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到所述每帧图像中，获取所述每帧图像中的特征点的初始三维坐标信息。

在第三方面的一种可行的实施方式中，SLAM系统还包括：

优化模块，用于对所述特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及所述每帧图像对应的主摄像头的朝向和位置；

深度信息获取模块，用于根据所述每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。

在第三方面的一种可行的实施方式中，SLAM系统还包括：

所述视频获取模块具体用于，获取所述主摄像头在移动过程中拍摄得到的视频。

在第三方面的一种可行的实施方式中，SLAM系统还包括：

提醒模块，用于呈现用于提示移动所述电子设备和/或所述主摄像头的信息。

在第三方面的一种可行的实施方式中，SLAM系统还包括：

IMU参数初始化模块，用于根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化。

在第三方面的一种可行的实施方式中，所述IMU参数初始化模块包括：

位置朝向获取单元，用于根据每帧图像对应的主摄像头的位置和朝向信息，以及所述主摄像头和所述IMU的相对位置信息，确定每帧图像对应的所述IMU的位置和朝向信息。

角速度偏差信息获取单元，用于根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度，确定所述IMU的角速度偏差信息。

速度和/或加速度偏差信息获取单元，用于根据所述视频中至少二帧图像各自对应的所述IMU的朝向信息和位置信息，以及所述至少二帧图像之间的时间间隔内的所述IMU的角速度和加速度，确定所述时间间隔内的帧图像对应的电子设备的速度信息和/或所述IMU的加速度偏差信息。

第四方面，本发明实施例还提供一种增强现实AR引擎，所述AR引擎用于，接收如上述第三方面或第三方面的任意可能的实现中的SLAM系统在进行SLAM系统初始化后输出电子设备的定位和/或地图构建信息；根据所述SLAM系统输出的信息，在所述电子设备所在场景或场景的拍摄视频中绘制虚拟物体。

第五方面，本发明实施例还提供一种电子设备，包括：

双目摄像头；

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如上述第一方面或第一方面的任意可能的实现中的方法、上述第二方面或第二方面的任意可能的实现中的方法。

第六方面，本发明实施例还提供一种增强现实AR控制系统，包括：通信连接的电子设备、AR引擎和SLAM系统，所述电子设备设有双目摄像头，所述AR引擎为如上述第四方面所述的AR引擎，所述SLAM系统为上述第三方面或第三方面的任意可能的实现中的系统。

本发明实施例提供的SLAM系统的初始化、AR控制方法、装置和系统，包括：根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度；根据重力方向和对面高度确定参考面；将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。本实施例仅通过双摄像头拍摄得到的两帧图像即可实现SLAM初始化的视觉初始化，大大提高了SLAM的初始化速度。另外，通过采用双摄像头拍摄得到两帧图像获取主摄像头的对面高度，提高了对面高度的准确性，也提高了视觉初始化过程中地图构建的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的SLAM系统的初始化方法的流程示意图；

图2为本发明实施例一适用的双摄像头的拍摄场景示意图；

图3为本发明实施例二提供的SLAM系统的初始化方法的流程示意图；

图4为本发明实施例三提供的SLAM系统的初始化方法的流程示意图；

图5为本发明实施例一提供的SLAM系统的结构示意图；

图6为本发明实施例二提供的SLAM系统的结构示意图；

图7为本发明实施例三提供的SLAM系统的结构示意图；

图8为本发明实施例一提供的电子设备的结构示意图；

图9为本发明实施例一提供的AR控制系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例一提供的SLAM系统的初始化方法的流程示意图。本实施例中，SLAM系统根据主备摄像头沿第一方向拍摄得到的主图像和备图像确定主摄像头的对面高度，并根据对面高度和重力方向来获取主图像中的至少一个特征点的三维坐标信息和/或深度信息，提高了SLAM系统的初始化速度和初始化准确度。本实施例的执行主体可以为具有双摄像头的电子装置。如图1所示，本发明实施例提供的SLAM系统的初始化方法，包括如下步骤：

S101、根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度。

示例性的，电子设备上安装有双摄像头，主摄像头和备摄像头，主摄像头和备摄像头的配置可以相同或不同，其中一个摄像头为主摄像头，则另一摄像头为备摄像头。备摄像头也可称为副摄像头。示例性的，两个摄像头可以设置在电子设备上的同一平面，可以但不限于左右排列或上下排列。在SLAM系统在初始化时，主备摄像头首先沿第一方向进行各自拍摄得到两帧图像，即主摄像头沿第一方向拍摄得到的主图像和备摄像头沿一方向拍摄得到的备图像。示例性的，第一方向是可以使得主备摄像头朝向参考面的任意方向，示例性的，摄像头可以垂直参考面进行拍摄，还可以沿特定角度朝向参考面进行拍摄。示例性的，参考面可以为地平面或水平物面。示例性的，电子设备可以采用电子设备中的重力传感器等可以检测重力的元器件准确并方便地获取重力方向。示例性的，本发明中根据主图像和备图像采用双目特征匹配和双目三角化的方法获取主摄像头的对面高度，并在初始化过程中借助重力方向对估算出的对面高度进行修正，提高了主摄像头的对面高度的准确度。避免了直接采用传统的几何的方式，如三角法，获取初始化所需的三维坐标和/或深度信息时，由于存在相机参数校正可能不准，双目摄像头的配置可能有差异(如主摄像头配置高，备摄像头配置低)等因素，导致估算的三维坐标和/或深度信息的噪声大，不准确。

S102、根据重力方向和对面高度确定参考面。

示例性的，图2为本发明实施例一适用的双摄像头的拍摄场景示意图。如图2所示，参考面可以为地平面，重力方向与参考面垂直，主摄像头沿第一方向朝向参考面拍摄得到主图像，主摄像头沿重力方向距离参考面的距离为对面高度。在确定参考面时，主摄像头沿着重力方向，在主摄像头的对面高度处，可确定一个与地面平行的参考面。

S103、将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。

示例性的，参考面在三维坐标系(x,y,z)下的平面方程可以为Ax+By+Cz+D＝0。在将主图像投影到参考面中时，示例性的，可首先确定主图像中一个像素点与参考面中的一个点(x0,y0,z0)对应，然后可确定出主图像中所有像素点在参考面中对应的点，继而可确定出主图像中至少一个像素点的三维坐标信息。示例性的，可采用图像处理领域中现有的特征提取算法，对主图像进行特征提取获取主图像中的特征点，因而可确定出主图像中至少一个特征点的三维坐标信息。根据主摄像头与参考面的对地距离，可确定出主摄像头的三维坐标信息，因此根据上述特征点与主摄像头的距离信息即可确定出上述特征点的深度信息。上述特征点的三维坐标信息和/或深度信息示例性的用于现实增强AR、虚拟现实、机器人、自动驾驶、游戏等过程中的地图构建。因此，本实施例仅通过双摄像头拍摄得到的两帧图像即可实现SLAM初始化的视觉初始化，大大提高了SLAM的初始化速度。另外，通过采用双摄像头拍摄得到两帧图像获取主摄像头的对面高度，提高了对面高度的准确性，也提高了视觉初始化过程中地图构建的准确性。

本发明实施例提供一种SLAM系统的初始化方法，包括：根据重力方向、电子设备的主摄像头沿第一方向朝向参考面拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度，根据重力方向和对面高度确定参考面，将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。本发明实施例中仅通过双摄像头拍摄得到的两帧图像即可实现SLAM初始化的视觉初始化，大大提高了SLAM的初始化速度。另外，通过采用双摄像头拍摄得到两帧图像，并借助重力方向来获取主摄像头的对面高度，提高了对面高度的准确性，也提高了视觉初始化过程中地图构建的准确性。

在图1所述实施例的基础上，本发明实施例还提供一种SLAM系统的初始化方法。图3为本发明实施例二提供的SLAM系统的初始化方法的流程示意图。与图1所示实施例相比，本实施例提供中主摄像头获取多帧图像。如图3所示，SLAM系统的初始化方法还包括：

S301、获取主摄像头朝向除第一方向之外的至少一个其他方向拍摄的视频。

可选的，获取主摄像头朝向除第一方向之外的其他方向拍摄的视频的具体方式可以为：获取主摄像头在移动过程中拍摄得到的视频。

示例性的，主摄像头在沿第一方向拍摄得到主图像后，持续移动并拍摄视频。

可选的，在获取主摄像头朝向除第一方向之外的其他方向拍摄的视频之前，SLAM系统的初始化方法还包括：

S300、呈现用于提示移动电子设备和/或主摄像头的信息。

示例性的，在主摄像头拍摄得到主图像后，电子设备呈现提示信息，提示信息可用于提示移动电子设备和/或主摄像头，使得用户或电子设备的支架移动电子设备和/或主摄像头，从而可获取主摄像头在移动时所拍摄得到的视频。可选的，呈现的方式具体可以为在电子设备的显示屏中显示和/或由电子设备的扬声器、蜂鸣器或者音视频播放器等发声装置发声提醒用户。

S302、确定视频中至少一帧图像中的相对于主图像的共同特征点。

示例性的，主摄像头朝向除第一方向外的其他方向进行视频拍摄。对于视频中的每帧图像，可采用特征提取算法获取图像中的特征点。示例性的，考虑到用户首先朝向第一方向拍摄得到主图像，然后拍摄朝向第一之外的其他方向的视频，因此，主图像中内容与视频中的每帧图像的内容相比，存在相同内容，因此视频中的每帧图像与主图像之间存在共同特征点。具体的，对于视频中的第k帧图像，记为图像k，其中k为大于2的正整数。将图像k与主图像进行特征提取确定图像k与主图像的共同特征点。示例性的，当检测到图像k与主图像之间不存在共同特征点，则采用视频中的第一帧图像，获取图像k与视频中的第一帧图像之间的共同特征点，当仍不存在共同特征点时，可依次采用视频中的第二帧、第三帧直至第k-1帧图像替换第一帧图像。

S303、根据共同特征点，将参考面按照至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到每帧图像中，获取每帧图像中的特征点的初始三维坐标信息。

示例性的，主图像中的共同特征点的三维坐标信息为确定的三维坐标信息，当图像k与主图像向存在共同特征点E时，图像k中的特征点E的三维坐标也可确定。主摄像头在拍摄图像k时，具有与拍摄主图像不同的朝向和位置，因此可将参考面按照图像k对应的朝向和位置映射到图像k上，从而可根据图像k中的各特征点相对于特征点E的相对位置信息，确定出图像k中的各特征点的初始三维坐标信息，示例性的，图像k中的各特征点的初始三维坐标信息由未知变量朝向和位置表示。同样的，可确定出视频中所有特征点的初始三维坐标信息。获取得到的初始三维坐标信息可用于现实增强AR、虚拟现实、机器人、自动驾驶、游戏等过程中的地图构建。

本发明实施例提供一种SLAM系统的初始化方法，包括：获取主摄像头朝向除第一方向之外的至少一个其他方向拍摄的视频，确定视频中至少一帧图像中的相对于主图像的共同特征点，根据共同特征点，将参考面按照至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到每帧图像中，获取每帧图像中的特征点的初始三维坐标信息。本实施例中根据主摄像头拍摄得到的视频和主图像，获取更多的特征点的三维坐标信息，可用在虚拟现实中提供更丰富的地图信息。

实施例的，在上述实施例的基础上，本发明实施例还提供一种SLAM系统的初始化方法，对上述实施例中获取的初始三围坐标信息进行了优化。如图3所示，在获取到特征点的初始三维坐标信息之后还包括：

S304、对特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及每帧图像对应的主摄像头的朝向和位置。

示例性的，可采用高斯、梯度下降等算法对特征点的初始三维坐标信息进行非线性优化，获取特征点优化后的三维坐标信息以及每帧图像对应的主摄像头的朝向和位置。示例性的，每帧图像对应的主摄像头的朝向和位置具体指示摄像头在拍摄每帧图像时在三维坐标系中所处的朝向和位置。

示例性的，可采用如下公式1获取特征点优化后的三维坐标信息以及每帧图像对应的主摄像头的朝向和位置：

其中，X_j＝(x_j,y_j,z_j),j∈[1,n]，表示特征点j的三维坐标信息，n指示特征点的总个数，R_i第i帧图像的朝向，t_i的表示第i帧图像的位置,i∈[1,w]w为视频的总帧数，K指示主摄像头的参数，fx和fy指示主摄像头的焦距；cx和cy指示主摄像头的光心，x_ij指示特征点j在第i帧图像上对应的特征点，Y_l＝(x_l,y_l,z_l),l∈[1,m]，表示位于参考面上的特征点，m表示参考面上的特征点的总个数，N表示平面法向，N＝(A,B,C)，N表示单位向量，d为坐标系原点到参考面的距离。α为权重系数，π()为针孔相机模型中将三维坐标投影到二维图像上的投影函数。为π(K(R_iX_j+t_i))与x_ij之间的误差，为Y_l到参考面的距离。

示例性的，公式1表示求解当最小时，X_j、R_i、t_i各自的取值，也即每个特征点优化后的三维坐标信息x_j以及每帧图像对应的朝向R_i和位置t_i。

示例性的，本领域技术人员应当明白，上述公式1仅为对特征点的三维坐标信息进行优化的一种示例性的方法，而不是对本发明技术方案的实质限制。

S305、根据每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。

示例性的，根据摄像头在拍摄每帧图像时在三维坐标系中所处的朝向和位置，以及每个特征点优化后的三维坐标信息，即可确定每个特征点的深度信息。

本实施例提供的SLAM系统的初始化方法中，在获取了视频中至少一帧图像中的特征点的初始三维坐标信息后，对初始三维坐标信息进行优化，获取优化后的三维坐标信息以及主摄像头在拍摄每帧图像时的位置和朝向信息，进一步提高了视觉初始化过程中地图构建的准确性。

在上述任一实施例的基础上，SLAM初始化过程在进行了视觉初始化之后，还包括电子设备的运动状态信息初始化。在上述图1中的S103或者上述图3所示实施例中的S305之后，SLAM系统的初始化方法的流程示意图还包括：

根据每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元(Inertial measurement unit，IMU)的参数进行初始化。

示例性的，在上述实施例获取的三维坐标系中，通过根据每帧图像对应的主摄像头的位置和朝向信息，对电子设备的IMU参数进行初始化，获取电子设备的运动状态信息，使得电子设备的运动状态信息与地图构建具有了相同的尺寸信息，提高了SLAM初始化的准确性。

示例性的，电子设备的运动状态信息主要包括：朝向信息、位置信息、速度信息、角速度偏差信息和IMU加速度偏差信息。图4为本发明实施例三提供的SLAM系统的初始化方法的流程示意图。下面结合具体实施例对本发明提供的SLAM系统的初始化中电子设备的IMU参数的初始化过程进行详细说明。

如图4所示，电子设备的IMU参数信息的初始化过程主要包括：

S401、根据每帧图像对应的主摄像头的位置和朝向信息，以及主摄像头和IMU的相对位置信息，确定每帧图像对应的IMU的位置和朝向信息。

示例性的，在电子设备中主摄像头与IMU的相对位置固定，因此可在电子设备预存储主摄像头和IMU的相对位置信息。当确定每帧图像对应的主摄像头和IMU的相对位置信息时，即可根据预存储的主摄像头和IMU的相对位置信息确定每帧图像对应的IMU的位置和朝向信息。

可选的，如图4所示，电子设备的IMU参数信息的初始化过程还包括：

S402、根据视频中至少二帧图像各自对应的IMU的朝向信息，以及至少二帧图像之间的时间间隔内的IMU的角速度，确定IMU的角速度偏差信息。

示例性的，考虑到基于视觉估计的图像旋转角度和基于IMU估计的旋转角度相同，可以为角速度偏差信息建立相关方程，对方程求解从而获取角速度偏差信息，示例性的角速度偏差信息的相关方程的建立过程主要包括：

S11、在视频中选定两帧图像，两帧图像具有时间间隔，两帧图像记为第一图像和第二图像，根据第一图像和第二图像各自对应的IMU的角度，获取两个角度差值作为第一角度变化量。

示例性的，视频中包含w帧图像，w为大于1的正整数，第一图像和第二图像示例性的可以为视频中的第k帧图像和第k+1帧图像，k为整数，k的取值范围为[0，w-1]。第一角度变化量的获取示例性的可以采用公式取。其中，表示第k+1帧图像相对于第0帧图像的旋转角度，表示第k帧图像相对于第0帧图像的旋转角度，表示第k+1帧图像相对于第k帧图像的旋转角度。

S12、对时间间隔内IMU的角速度进行积分，得到第二角度变化量。

示例性的，第二角度变化量可以为表示第k帧图像相对于第k+1帧图像的旋转角度。

S13、由于第一角度变化量与第二角度变化量在不考虑角速度偏差时应当相同，故建立关于角速度偏差信息的公式2，对公式2求解得到IMU的角速度偏差信息。

示例性的，公式2示例性的可以如下所示：

其中，Bw为IMU的角速度偏差信息，表示对Bw的倒数。考虑到，表示第k+1帧图像相对于第k帧图像的旋转角度，表示第k帧图像相对于第k+1帧图像的旋转角度，因此，的值较小，为IMU的角速度偏差信息，因此，的取值应使得公式2的结果较小。故通过使得最小，可获取Bw的取值。

S403、根据视频中至少二帧图像各自对应的IMU的朝向信息和位置信息，以及至少二帧图像之间的时间间隔内的IMU的角速度和加速度，确定时间间隔内的帧图像对应的电子设备的速度信息和/或IMU的加速度偏差信息。

示例性的，考虑到基于视觉估计的图像位移和基于IMU估计的位移相同，可以为速度信息和IMU的加速度偏差信息建立相关方程，对方程求解从而获取速度信息和IMU的加速度偏差信息。示例性的，可根据第一图像和第二图像各自对应的IMU的位置信息获取两个位置的差值作为位移变化量1。另外，对时间间隔内的IMU的加速度进行积分得到速度，根据对时间间隔内的IMU的加速度和积分得到的速度，获取位移变化量2，由于加速度信息中包含有位置的加速度偏差信息。而位移变化量1和位移变化量2应当相同，故可获取IMU的加速度偏差信息，另外，可根据位移变化量1和时间间隔获取速度信息。

示例性的，在获取速度信息和/或IMU的加速度偏差信息时，具体所需的图像的帧数和待求解的参数的数量有关。示例性的，一种可能的实现方式中，同时获取速度信息和IMU的加速度偏差信息的相关方程的建立过程主要包括：

S21、根据第一图像和第二图像各自对应的IMU的位置信息获取两个位置的差值作为第一位移变化量。

示例性的，具体可以为采用获取第一位移变化量。其中，表示第k+1帧图像相对于第0帧图像的位移变化量，表示第k帧图像相对于第0帧图像的位移变化量。

S22、对第一图像和第二图像的时间间隔内的IMU的加速度进行积分得到速度，根据对时间间隔内的IMU的加速度和积分得到的速度，获取第二位移变化量。

S23、由于第一位移变化量和第二位移变化量在不考虑加速度偏差信息时应当相同，故建立关于IMU的加速度偏差信息的公式3。

示例性的，公式3可以如下所示：

其中，I为单位矩阵，表示第k帧图像的朝向，表示对B_a的倒数，B_a表示IMU的加速度偏差信息，表示第k帧图像的速度，表示第k+1帧图像的速度，表示第k+1帧图像的朝向，表示第k帧图像的朝向，g表示重力，Δt_k表示重力第k帧图像与第k+1帧图像的时间间隔，表示考虑了B_w的第k帧图像相对于第k+1帧图像的位移变化，表示对B_a的倒数，表示考虑了B_w的第k帧图像相对于第k+1帧图像的速度变化。

示例性的，考虑到IMU的朝向、位置、速度、角速度偏差和加速度偏差均为三维矢量，公式3中具体包括6个方程。为了同时获取加速度偏差信息和两帧图像各自的速度信息，公式3中包含未知数9个，故需对应的增加所需的帧数。示例性的，当视频中有W帧图像时，则可建立6(W-1)个方程，总共包含3W+3个未知量(未知量具体包括3W个W帧图像的速度以及3个加速度偏差)，为获取公式中的未知数，视频中应至少包括4帧图像。

S24、参照S21至S23基于第二图像和第三图像，在公式3中增加关于第二图像和第三图像的公式；参照S21至S23基于第三图像和第四图像，在公式3中增加关于第三图像和第四图像的公式；对公式3求解得到IMU的加速度偏差信息和速度信息。

示例性的，公式3中仅为根据第k帧图像和第k+1帧图像建立的方程式，示例性的，还可在公式3中增加根据第k+1帧图像和第k+2帧图像建立的方程式，根据第k+2帧图像和第k+3帧图像建立的方程式，通过对增加了多帧图像的信息的公式3进行求解，即可获取加速度偏差信息和速度信息。

示例性的，当根据公式3求解得到B_a时，进一步判断B_a的值是否大于预设偏差值，当B_a的值大于预设偏差值时，则在视频中重新选取图像获取新的B_a值。进一步的，当B_a值小于预设偏差值时，还进一步检测根据公式3求解得到的各帧图像对应的速度与根据图像对应的IMU的位置信息获取的速度之间的偏差是否过大，例如大于预设速度偏差，若过大，则在视频中重新选取图像获取新的B_a值和图像对应的速度。进一步的，当求出公式3的解时，确定和的值大于预设数值，若否，则在视频中重新选取图像获取新的B_a值和图像对应的速度。

示例性的，本领域技术人员应当明白，上述公式2和公式3仅为对获取IMU的角速度偏差信息、电子设备的速度信息、IMU的加速度偏差信息的一种示例性的方法，而不是对本发明技术方案的实质限制。

另一方面，本发明实施例还提供一种AR控制系统，AR控制系统应用在AR引擎中，AR引擎获取采用如图1至图4中任一实施例所示的方法进行初始化后的SLAM系统输出的电子设备的定位和/或地图构建信息，并根据SLAM系统输出的信息，在电子设备所在场景或场景的拍摄视频中绘制虚拟物体。

示例性的，本发明图1至图4中任一实施例所示的SLAM系统的初始化方法输出的电子设备的定位和/或地图构建信息，还可以应用于计算机视觉、虚拟现实、机器人、自动驾驶、游戏、影视、教育、电子商务、旅游、智慧医疗、室内装修设计、智慧家居、智能制造、维修装配等领域。例如，在游戏领域，可方便在真实场景中准确地放置虚拟游戏人物，同时还可以与虚拟人物互动。

本发明另一方面还提供一种SLAM系统，用于执行上述图1至图4中任一实施例所示的SLAM系统的初始化方法，具有相同或相似的技术效果，本发明不再赘述。

图5为本发明实施例一提供的SLAM系统的结构示意图。如图5所示，SLAM系统包括：

对面高度获取模块501，用于根据重力方向、电子设备的主摄像头沿第一方向拍摄得到的主图像和同一时刻电子设备的备摄像头拍摄得到的备图像，确定主摄像头的对面高度；

参考面获取模块502，用于根据重力方向和对面高度确定参考面；

特征点信息获取模块503，用于将主图像投影到参考面中，确定主图像中至少一个特征点的三维坐标信息和/或深度信息。

可选的，参考面包括：地平面或水平物面。

可选的，如图5所示，SLAM系统还包括：重力方向获取模块504，用于根据电子设备的重力传感器获得重力方向。

可选的，主摄像头和备摄像头设于电子设备的同一平面。

示例性的，在图5所示实施例的基础上，图6为本发明实施例二提供的SLAM系统的结构示意图，如图6所示，SLAM系统还包括：

视频获取模块505，用于获取主摄像头朝向除第一方向之外的至少一个其他方向拍摄的视频；

共同特征点获取模块506，用于确定视频中至少一帧图像中的相对于主图像的共同特征点；

初始坐标获取模块507，用于根据共同特征点，将参考面按照至少一帧图像中的每帧图像对应的主摄像头的位置和朝向信息分别投影到每帧图像中，获取每帧图像中的特征点的初始三维坐标信息。

可选的，如图6所示，SLAM系统还包括：

优化模块508，用于对特征点的初始三维坐标信息进行非线性优化，获取每个特征点优化后的三维坐标信息以及每帧图像对应的主摄像头的朝向和位置；

深度信息获取模块509，用于根据每帧图像对应的主摄像头的位置和朝向信息确定相应特征点的深度信息。

可选的，视频获取模块505具体用于，获取主摄像头在移动过程中拍摄得到的视频。

可选的，如图6所示，SLAM系统还包括：

提醒模块510，用于呈现用于提示移动电子设备和/或主摄像头的信息。

可选的，如图6所示，SLAM系统还包括：

IMU参数初始化模块511，用于用于根据每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化。

示例性的，在图6所示实施例的基础上，图7为本发明实施例三提供的SLAM系统的结构示意图，如图7所示，IMU参数初始化模块508包括：

位置朝向获取单元701，用于根据每帧图像对应的主摄像头的位置和朝向信息，以及主摄像头和IMU的相对位置信息，确定每帧图像对应的IMU的位置和朝向信息。

可选的，IMU参数初始化模块508还包括：

角速度偏差信息获取单元702，用于根据视频中至少二帧图像各自对应的IMU的朝向信息，以及至少二帧图像之间的时间间隔内的IMU的角速度，确定IMU的角速度偏差信息

可选的，IMU参数初始化模块508还包括：

速度和/或加速度偏差信息获取单元703，用于根据视频中至少二帧图像各自对应的IMU的朝向信息和位置信息，以及至少二帧图像之间的时间间隔内的IMU的角速度和加速度，确定时间间隔内的帧图像对应的电子设备的速度信息和/或IMU的加速度偏差信息。

本发明实施例另一方面还提供一种AR引擎，AR引擎用于，接收如图5至图7中任一SLAM系统在进行SLAM系统初始化后输出电子设备的定位和/或地图构建信息；并根据SLAM系统输出的信息，在电子设备所在场景或场景的拍摄视频中绘制虚拟物体。

本发明实施例另一方面还提供一种电子设备，图8为本发明实施例一提供的电子设备的结构示意图，如图8所示，电子设备包括：

双目摄像头801；

存储器802，用于存储计算机程序；

处理器803，用于执行计算机程序，以实现上述任一实施例所述的SLAM系统的初始化方法和AR控制方法。

本发明实施例另一方面还提供一种AR控制系统，AR控制系统包括：通信连接的电子设备、AR引擎和SLAM系统，电子设备设有双目摄像头，AR引擎为上述执行AR控制方法的AR引擎，SLAM系统为如图5至图7中任一所述的SLAM系统。

示例性的，SLAM系统、AR引擎和电子设备可以分离部署，或者，SLAM系统部署在AR引擎内、AR和电子设备分离部署，或者，SLAM系统和AR引擎都部署在电子设备内。

示例性的，图9为本发明实施例一提供的AR控制系统的结构示意图，如图9所示，SLAM系统和AR引擎都部署在电子设备内AR控制系统包括：通信连接的电子设备901、AR引擎902和SLAM系统903，电子设备901设有双目摄像头904，SLAM系统903和AR引擎902都部署在电子设备901内。其中，双目摄像头904包括主摄像头905和备摄像头906。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种同时定位与地图构建SLAM系统的初始化方法，其特征在于，包括：

根据所述重力方向和所述对面高度确定参考面；

2.根据权利要求1所述的方法，其特征在于，还包括：

3.根据权利要求2所述的方法，其特征在于，还包括：

4.根据权利要求3所述的方法，其特征在于，还包括：

5.根据权利要求4所述的方法，其特征在于，所述根据所述每帧图像对应的主摄像头的位置和朝向信息，对电子设备的惯性测量单元IMU的参数进行初始化，包括：

6.一种增强现实AR控制方法，其特征在于，包括：

AR引擎获取采用如权利要求1-5中任一项所述的方法进行初始化后的SLAM系统输出的电子设备的定位和/或地图构建信息；

7.一种SLAM系统，其特征在于，包括：

8.一种增强现实AR引擎，其特征在于，所述AR引擎用于，接收如权利要求1-5中任一项所述的SLAM系统在进行SLAM系统初始化后输出电子设备的定位和/或地图构建信息；根据所述SLAM系统输出的信息，在所述电子设备所在场景或场景的拍摄视频中绘制虚拟物体。

9.一种电子设备，其特征在于，包括：

双目摄像头；

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，以实现如权利要求1-6中任一项所述的方法。

10.一种增强现实AR控制系统，其特征在于，包括：通信连接的电子设备、AR引擎和SLAM系统，所述电子设备设有双目摄像头，所述AR引擎为如权利要求8所述的AR引擎，所述SLAM系统为如权利要求7所述的系统。