CN115994984A - 视觉里程计地图点生成方法、装置、介质、ar图像处理方法、系统 - Google Patents

Abstract

本发明涉及一种视觉里程计地图点生成方法、装置、介质、AR图像处理方法、系统。该方法通过相机模型生成准确性高的方向向量，并利用地平面信息，通过特征点射线和地平面交点来生成地图点，同时利用射线与平面方程的解析式特点，快速生成地图点。本发明可大大加快计算速度，也能够保证在一定的条件下生成地图点的精度，更加适用于那些计算力低的AR设备以及要求处理高帧率图像的使用场景。

Description

视觉里程计地图点生成方法、装置、介质、AR图像处理方法、系统

技术领域

本发明涉及AR领域，特别涉及视觉里程计地图点生成方法、装置、介质、AR图像处理方法、系统。

背景技术

在AR领域中，设备会利用多种传感器估计自身在真实空间中的位置和姿态，使得虚拟内容与真实内容相结合；故位姿估计精度决定了AR内容效果的上限，这也是整个AR系统的核心算法之一。

一般来说，民用级AR设备中常见的传感器有全球定位系统(GPS)、蓝牙、惯性测量单元(IMU)、相机以及激光传感器等，其中蓝牙、GPS只能提供位置信息，精度较差，频率低，而AR设备对位姿估计频率有要求，这两种传感器不适合作为AR设备位姿估计的主力传感器。激光传感器的精度较高，算法复杂度也很低，但是对于设备功耗和成本要求较高，大部分AR设备厂商不会配备该传感器。相机作为一种低功耗且使用广泛的传感器，能提供包含大量物理世界信息的图像；即将图像中的信息通过一定规则去关联，并估计出AR设备的位姿，这种方法称为视觉里程计。

地图点是视觉里程计信息关联的关键，视觉里程计位姿估计结果的精度也依赖地图点的质量；若地图点质量较差，因优化函数难收敛导致计算速度下降，得到的位姿精度也会变差。目前很多AR设备(比如手机)因为成本或者内部数据传输带宽的原因，无法配备多个摄像头或者其他传感器，故依赖其他传感器提供地图点深度信息的方式容易受到硬件的影响。

本申请旨在建立一种新的视觉里程计地图点生成方法及实施系统。

发明内容

为了实现根据本发明的上述目的和其他优点，本发明的第一目的是提供视觉里程计地图点生成方法，包括如下步骤：

获取AR设备在真实世界的坐标系关系；其中，所述坐标系关系包括真实世界坐标系、AR设备的相机坐标系、AR设备相对于真实世界的转换矩阵；

利用特征提取器提取AR设备的相机拍摄的当前图像多个特征点的像素位置；

将所述特征点的像素位置转换为所述相机坐标系下深度为1的三维点，以得到所述特征点在所述相机坐标系下的第一方向向量，并将所述特征点在相机坐标系下的方向向量通过所述转换矩阵得到真实世界坐标系下的第二方向向量；

获取AR设备的相机光心在世界坐标系下的第一位置，并将第一位置作为所述特征点的三维空间射线起点，所述第二方向向量为三维空间射线方向，以得到所述特征点在真实世界三维空间对应的特征点射线；

将所述特征点射线与真实世界的地平面求交，得到交点即为所述特征点映射到真实世界的地图点。

优选地，还包括以下步骤：

筛选地图点，判断所述地图点是否满足筛选条件；

若满足，则保留当前地图点；若不满足，则舍弃当前地图点。

优选地，所述筛选条件为判断所述地图点对应的方向向量与地平面的夹角是否符合设定的设定阈值。

本发明的第二目的是提供一种视觉里程计地图点生成装置，包括：

获取单元，其被配置为获取AR设备在真实世界的坐标系关系、AR设备的相机光心在世界坐标系下的第一位置；其中，所述坐标系关系包括真实世界坐标系、AR设备的相机坐标系、AR设备相对于真实世界的转换矩阵；

提取单元，其被配置为提取AR设备的相机拍摄的当前图像多个特征点的像素位置；

处理单元，其被配置为将所述特征点的像素位置转换为所述相机坐标系下深度为1的三维点，以得到所述特征点在所述相机坐标系下的第一方向向量，并将所述特征点在相机坐标系下的方向向量通过所述转换矩阵得到真实世界坐标系下的第二方向向量；并将第一位置作为所述特征点的三维空间射线起点，所述第二方向向量为三维空间射线方向，以得到所述特征点在真实世界三维空间对应的特征点射线；将所述特征点射线与真实世界的地平面求交，得到交点即为所述特征点映射到真实世界的地图点。

优选地，还包括筛选单元，其被配置为判断所述地图点是否满足筛选条件；若满足，则保留当前地图点；若不满足，则舍弃当前地图点。

优选地，所述筛选条件为判断所述地图点对应的方向向量与地平面的夹角是否符合设定的设定阈值。

本发明的第三目的是提供一种视觉里程计地图点生成装置，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述存储器联接，并且当所述程序代码被所述处理器执行时，实现视觉里程计地图点生成方法。

本发明的第四目的是提供一种AR图像处理方法，其利用视觉里程计地图点生成方法得到地图点，并利用所述地图点估计AR设备的位姿。

本发明的第五目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现AR图像处理方法。

本发明的第六目的是提供一种AR图像处理系统，包括位姿单元，所述位姿单元被配置成执行AR图像处理方法。

与现有技术相比，本发明的有益效果是：

本发明涉及一种视觉里程计地图点生成方法、装置、介质、AR图像处理方法、系统。该方法通过相机模型生成准确性高的方向向量，并利用地平面信息，通过特征点射线和地平面交点来生成地图点，同时利用射线与平面方程的解析式特点，快速生成地图点。本发明可大大加快计算速度，也能够保证在一定的条件下生成地图点的精度，更加适用于那些计算力低的AR设备以及要求处理高帧率图像的使用场景。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为实施例1中视觉里程计地图点生成方法流程示意图一；

图2为实施例1中视觉里程计地图点生成方法流程示意图二；

图3为实施例1中视觉里程计地图点生成方法数据处理过程示意图；

图4为实施例1中地图点生成过程原理示意图；

图5为实施例1中地平面法向量与特征点方向向量关系示意图；

图6为实施例2中视觉里程计地图点生成装置模块化示意图；

图7为实施例3中视觉里程计地图点生成装置模块化示意图；

图8为实施例5中AR图像处理系统模块化示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

地图点生成是一个比较复杂和脆弱的模块，首先需要保证多帧图像之间的特征点匹配成功率，如果出现大量误匹配特征点对，那么三角化出来的地图点无法使用，所以这种方式比较适合带有描述子的特征点，而且描述子区分度越大越好，但是使用描述子就意味着计算成本急剧上升；若采用深度滤波器生成地图点方法不需要使用描述子，但是场景深度变化明显会导致地图点深度收敛过慢，使得可用于位姿优化的地图点过少，鲁棒性变差。

由于视觉里程计的常规三角化方法需要连续多帧图像特征点相互关联，而生成地图点之后还需要后续图像对已生成地图点进行更新优化，整个过程非常复杂，即使算力不错的AR设备(比如苹果、华为等高配置手机终端)也需要启用多线程来避免影响到跟踪模块的计算速度。在低配置的AR设备中，标准的地图点生成方法会带来更大的计算资源局限性，生成地图点质量会急剧下降，甚至影响到其他计算资源，例如过重的计算引发硬件发热，导致性能下降。

一般地，特征点通过相机模型生成的方向向量的准确性高，故地图点的生成难点在于得到准确的深度值，本申请正是利用这个特点以及准确的地平面信息(在世界坐标系定义中包含了地平面信息，即确定了重力方向，地平面信息信息便能获取)，通过特征点射线和地平面交点来生成地图点，同时利用射线与平面方程的解析式特点，快速生成地图点。

实施例1

如图1-图5所示，一种视觉里程计地图点生成方法，包括如下步骤：

S101、获取AR设备在真实世界的坐标系关系；其中，所述坐标系关系包括真实世界坐标系、AR设备的相机坐标系、AR设备相对于真实世界的转换矩阵；在一些实施例中，AR设备在真实世界的坐标系关系以及变量定义可通过如下方式进行配置：如图4所示，世界坐标系C_world位于真实世界的地平面某个位置，其中z轴与重力方向反向，原点坐标O_world＝[0,0,0]；AR设备自身坐标系为C_cam，即AR设备的相机坐标系；AR设备在空间中的位置和姿态(位姿)为T_{cam_to_world}，即AR设备相对于真实世界的转换矩阵。

S102、利用特征提取器提取AR设备的相机拍摄的当前图像多个特征点的像素位置；在一些实施例中，使用特征提取器(例如FAST、SIFT等)提取当前图像n个特征点[f₀,f₁,…,f_n]；其中，f_n＝[u,v]，u和v分别为特征点在图像中的像素位置。

S103、将所述特征点的像素位置转换为所述相机坐标系下深度为1的三维点，以得到所述特征点在所述相机坐标系下的第一方向向量，并将所述特征点在相机坐标系下的方向向量通过所述转换矩阵得到真实世界坐标系下的第二方向向量；在一些实施例中，通过相机模型将图像特征点转换为相机坐标系下深度为1的三维点Pc＝[Xc,Yc,Zc]：

Zc＝1，其中cx，cy表示相机中心点，fx，fy表示相机焦距，这四个参数可通过相机内参标定获取，至此，可得到特征点在相机坐标系下的第一方向向量Vc＝[Xc,Yc,1]，同时将特征点相机坐标系下的方向向量通过AR设备相对于真实世界的转换矩阵T_{cam_to_world}得到世界坐标系下的第二方向向量：Vw＝T_{cam_to_world}*Vc；

S104、获取AR设备的相机光心在世界坐标系下的第一位置，并将第一位置作为所述特征点的三维空间射线起点，射线的方向是Vw，以得到所述特征点在真实世界三维空间对应的特征点射线；在一些实施例中，如图4所示，三维空间中的射线方程为：p＝p_start+t*V，其中p为射线上的任意一点，p_start为射线起点，t为标量，是方向向量放大倍数，V表示方向向量，转换矩阵由相对于参考系的旋转量和位置组成，所以转换矩阵T_{cam_to_world}可以得到相机光心在世界坐标系下的第一位置P_{cam_center}＝[x_{cam_to_world},y_{cam_to_world},z_{cam_to_world}]，P_{cam_center}作为特征点三维空间射线起点，可得到特征点在三维空间对应的射线L_ray，其中，射线起点为相机光心在世界坐标系下的位置P_{cam_center}，射线的方向向量为Vw，所以特征点在世界坐标系下对应的射线方程为：p＝p_{cam_center}+t*Vw；

S105、将所述特征点射线与真实世界的地平面求交，得到交点即为所述特征点映射到真实世界的地图点。在一些实施例中，已知世界坐标系位于地面上，原点O_world为[0,0,0]，法向量n与重力反向为[0,0,1]，所以根据三维空间平面方程可得世界坐标系所在地平面的方程为n·p＝0，其中p表示平面中任意一个三维点，·表示向量点积；特征点射线L_ray与地平面交点需同时满足平面方程n·p_i＝0和射线方程p_i＝p_{cam_center}+t*Vw，结合两个方程，消除交点p_i并求解方向向量放大倍数t：

最终可得交点位置：

该交点也是图像特征点映射到真实世界的地图点。

本申请可大大加快计算速度，也能够保证在一定的条件下生成地图点的精度，更加适用于那些计算力低的AR设备以及要求处理高帧率图像的使用场景。

在一些优选实施例中，如图2、图3所示，还包括以下步骤：

S106、筛选地图点，判断地图点是否满足筛选条件；

S107、若满足，则保留当前地图点；

S108、若不满足，则舍弃当前地图点。在本实施例中，结合图5所示，S105步骤中的地图点位置公式可看出，方向向量放大倍数t存在退化情况，即分母数值n·Vw太小会导致求解的地图点位置数值非常大甚至出现奇点(分母为0)，而分母n·Vw是平面法向量与特征点方向向量的点积，这个值表示特征点方向向量与地面的夹角，数值越小表示生成的地图点越远，如果数值为0则表示特征点方向向量与地面平行，地图点在无穷远点；对于视觉里程计来说，地图点的深度值越大其约束能力就越弱，估计的位姿精度就越差，因此需要对生成地图点的深度做一定筛选，通过步骤S105生成的地图点深度与特征点方向向量放大倍数t的分母项有关，所以通过该分母项的阈值来筛选地图点，而放大倍数t的数值大于等于0，分子项n·p_{cam_center}一般情况下大于等于0(相机位于地平面上方)，所以分母项n·Vw小于0，且越靠近0，放大倍数越大，生成的地图点深度也越大，因此设定阈值λ，若分母项n·Vw小于λ才保留生成的地图点。

实施例2

如图6所示，一种视觉里程计地图点生成装置200，包括：

获取单元201，其被配置为获取AR设备在真实世界的坐标系关系、AR设备的相机光心在世界坐标系下的第一位置；其中，所述坐标系关系包括真实世界坐标系、AR设备的相机坐标系、AR设备相对于真实世界的转换矩阵；在一些实施例中，AR设备在真实世界的坐标系关系以及变量定义可通过如下方式进行获取：如图4所示，世界坐标系C_world位于真实世界的地平面某个位置，其中z轴与重力方向反向，原点坐标O_world＝[0,0,0]，即真实世界坐标系；AR设备自身坐标系为C_cam，即AR设备的相机坐标系；AR设备在空间中的位置和姿态(位姿)为T_{cam_to_world}，即AR设备相对于真实世界的转换矩阵。

提取单元202，其被配置为提取AR设备的相机拍摄的当前图像多个特征点的像素位置；在一些实施例中，提取单元202可配置成特征提取器(例如FAST、SIFT等)提取当前图像n个特征点[f₀,f₁,…,f_n]；其中，f_n＝[u,v]，u和v分别为特征点在图像中的像素位置。

处理单元203，其被配置为将所述特征点的像素位置转换为所述相机坐标系下深度为1的三维点，以得到所述特征点在所述相机坐标系下的第一方向向量，并将所述特征点在相机坐标系下的方向向量通过所述转换矩阵得到真实世界坐标系下的第二方向向量；并将第一位置作为所述特征点的三维空间射线起点，射线的方向是Vw，以得到所述特征点在真实世界三维空间对应的特征点射线；将所述特征点射线与真实世界的地平面求交，得到交点即为所述特征点映射到真实世界的地图点。具体地，通过相机模型将图像特征点转换为相机坐标系下深度为1的三维点Pc＝[Xc,Yc,Zc]：

Zc＝1，其中cx，cy表示相机中心点，fx，fy表示相机焦距，这四个参数可通过相机内参标定获取，至此，可得到特征点在相机坐标系下的第一方向向量Vc＝[Xc,Yc,1]，同时将特征点相机坐标系下的方向向量通过AR设备相对于真实世界的转换矩阵T_{cam_to_world}得到世界坐标系下的第二方向向量：Vw＝T_{cam_to_world}*Vc；三维空间中的射线方程为：p＝p_start+t*V，其中p为射线上的任意一点，p_start为射线起点，t为标量，是方向向量放大倍数，V表示方向向量，转换矩阵由相对于参考系的旋转量和位置组成，所以转换矩阵T_{cam_to_world}可以得到相机光心在世界坐标系下的第一位置P_{cam_center}＝[x_{cam_to_world},y_{cam_to_world},z_{cam_to_world}]，P_{cam_center}作为特征点三维空间射线起点，可得到特征点在三维空间对应的射线L_ray，其中，射线起点为相机光心在世界坐标系下的位置P_{cam_center}，射线的方向向量为Vw，所以特征点在世界坐标系下对应的射线方程为：p＝p_{cam_center}+t*Vw；已知世界坐标系位于地面上，原点O_world为[0,0,0]，法向量n与重力反向为[0,0,1]，所以根据三维空间平面方程可得世界坐标系所在地平面的方程为n·p＝0，其中p表示平面中任意一个三维点，·表示向量点积；特征点射线L_ray与地平面交点需同时满足平面方程n·p_i＝0和射线方程p_i＝p_{cam_center}+t*Vw，结合两个方程，消除交点p_i并求解方向向量放大倍数t：

最终可得交点位置：

该交点也是图像特征点映射到真实世界的地图点。

在一优选实施例中，还包括筛选单元204，其被配置为判断所述地图点是否满足筛选条件；若满足，则保留当前地图点；若不满足，则舍弃当前地图点。具体地，地图点位置公式可看出，方向向量放大倍数t存在退化情况，即分母数值n·Vw太小会导致求解的地图点位置数值非常大甚至出现奇点(分母为0)，而分母n·Vw是平面法向量与特征点方向向量的点积，这个值表示特征点方向向量与地面的夹角，数值越小表示生成的地图点越远，如果数值为0则表示特征点方向向量与地面平行，地图点在无穷远点；对于视觉里程计来说，地图点的深度值越大其约束能力就越弱，估计的位姿精度就越差，因此需要对生成地图点的深度做一定筛选，通过处理单元203生成的地图点深度与特征点方向向量放大倍数t的分母项有关，所以通过该分母项的阈值来筛选地图点，而放大倍数t的数值大于等于0，分子项n·p_{cam_center}一般情况下大于等于0(相机位于地平面上方)，所以分母项n·Vw小于0，且越靠近0，放大倍数越大，生成的地图点深度也越大，因此设定阈值λ，若分母项n·Vw小于λ才保留生成的地图点。

实施例3

如图7所示，一种视觉里程计地图点生成装置300，以通用计算设备的形式表现；包括但不限于：存储器301、处理器302；其中，

存储器301，其上存储有程序代码；处理器302，其与所述存储器联接，并且当所述程序代码被所述处理器执行时，实现实施例1中的视觉里程计地图点生成方法。

实施例4

一种AR图像处理方法，其利用运用实施例1中的方法得到视觉里程计地图点生成方法得到地图点，并利用所述地图点估计AR设备的位姿。

为说明利用地图点估计AR设备的位姿的方法，即视觉里程计，下面举例其简化流程：

取第一帧图像和第二帧图像进行初始化，提取两帧图像中的特征点并进行匹配，匹配后进行三角化生成地图点并计算两帧之间的相对位姿作为初始位姿；

接受后续新图像之后，将已生成的地图点重投影至当前图像，并进行特征点配准优化估计出当前图像的位姿；

对地图点和当前图像位姿执行光束平差法，增加轨迹连续性和尺度准确性；

图像输入到地图点构建线程，使用当前图像信息更新或者创建地图点，提高地图点精度并保证地图点的数量。

实施例5

如图8所示，一种AR图像处理系统400，包括位姿单元401，所述位姿单元401被配置成执行如实施例4中的AR图像处理方法。

需要说明的是，AR图像处理系统400可配置在移动终端中，也可配置在云端服务中，任何采用AR图像处理系统400的设备都属于本申请的保护范围。

实施例6

一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现实施例4中的AR图像处理方法。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个计算机可读存储介质(可以是CD-ROM、U盘、移动硬盘等)中或网络上，包括若干计算机程序指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本申请实施方式的上述方法。

这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。

尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。

本说明书实施例提供的装置、电子设备、非易失性计算机存储介质与方法是对应的，因此，装置、电子设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、电子设备、非易失性计算机存储介质的有益技术效果。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变化。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。本说明书一个或多个实施例本说明书一个或多个实施例本说明书一个或多个实施例本说明书一个或多个实施例。

Claims (10)

1.一种视觉里程计地图点生成方法，其特征在于，包括如下步骤：

获取AR设备在真实世界的坐标系关系；其中，所述坐标系关系包括真实世界坐标系、AR设备的相机坐标系、AR设备相对于真实世界的转换矩阵；

利用特征提取器提取AR设备的相机拍摄的当前图像多个特征点的像素位置；

将所述特征点的像素位置转换为所述相机坐标系下深度为1的三维点，以得到所述特征点在所述相机坐标系下的第一方向向量，并将所述特征点在相机坐标系下的方向向量通过所述转换矩阵得到真实世界坐标系下的第二方向向量；

获取AR设备的相机光心在世界坐标系下的第一位置，并将第一位置作为所述特征点的三维空间射线起点，所述第二方向向量为三维空间射线方向，以得到所述特征点在真实世界三维空间对应的特征点射线；

将所述特征点射线与真实世界的地平面求交，得到交点即为所述特征点映射到真实世界的地图点。

2.根据权利要求1所述的视觉里程计地图点生成方法，其特征在于，还包括以下步骤：

筛选地图点，判断所述地图点是否满足筛选条件；

若满足，则保留当前地图点；若不满足，则舍弃当前地图点。

3.根据权利要求2所述的视觉里程计地图点生成方法，其特征在于，所述筛选条件为判断所述地图点对应的方向向量与地平面的夹角是否符合设定的设定阈值。

4.一种视觉里程计地图点生成装置，其特征在于，包括：

获取单元，其被配置为获取AR设备在真实世界的坐标系关系、AR设备的相机光心在世界坐标系下的第一位置；其中，所述坐标系关系包括真实世界坐标系、AR设备的相机坐标系、AR设备相对于真实世界的转换矩阵；

提取单元，其被配置为提取AR设备的相机拍摄的当前图像多个特征点的像素位置；

处理单元，其被配置为将所述特征点的像素位置转换为所述相机坐标系下深度为1的三维点，以得到所述特征点在所述相机坐标系下的第一方向向量，并将所述特征点在相机坐标系下的方向向量通过所述转换矩阵得到真实世界坐标系下的第二方向向量；并将第一位置作为所述特征点的三维空间射线起点，所述第二方向向量为三维空间射线方向，以得到所述特征点在真实世界三维空间对应的特征点射线；将所述特征点射线与真实世界的地平面求交，得到交点即为所述特征点映射到真实世界的地图点。

5.根据权利要求4所述的视觉里程计地图点生成装置，其特征在于，还包括筛选单元，其被配置为判断所述地图点是否满足筛选条件；若满足，则保留当前地图点；若不满足，则舍弃当前地图点。

6.根据权利要求4所述的视觉里程计地图点生成装置，其特征在于，所述筛选条件为判断所述地图点对应的方向向量与地平面的夹角是否符合设定的设定阈值。

7.一种视觉里程计地图点生成装置，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述存储器联接，并且当所述程序代码被所述处理器执行时，实现权利要求1至3中任一项所述的方法。

8.一种AR图像处理方法，其特征在于，其利用如权利要求1-3所述的视觉里程计地图点生成方法得到地图点，并利用所述地图点估计AR设备的位姿。

9.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现权利要求8所述的AR图像处理方法。

10.一种AR图像处理系统，其特征在于，包括位姿单元，所述位姿单元被配置成执行如权利要求8所述的AR图像处理方法。

Images