CN113048980A - 位姿优化方法、装置、电子设备及存储介质 - Google Patents

位姿优化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113048980A
CN113048980A CN202110263263.1A CN202110263263A CN113048980A CN 113048980 A CN113048980 A CN 113048980A CN 202110263263 A CN202110263263 A CN 202110263263A CN 113048980 A CN113048980 A CN 113048980A
Authority
CN
China
Prior art keywords
depth information
determining
pose
dimensional
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110263263.1A
Other languages
English (en)
Other versions
CN113048980B (zh
Inventor
章国锋
鲍虎军
周鑫
刘浩敏
鲍冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shangtang Technology Development Co Ltd
Original Assignee
Zhejiang Shangtang Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shangtang Technology Development Co Ltd filed Critical Zhejiang Shangtang Technology Development Co Ltd
Priority to CN202110263263.1A priority Critical patent/CN113048980B/zh
Publication of CN113048980A publication Critical patent/CN113048980A/zh
Application granted granted Critical
Publication of CN113048980B publication Critical patent/CN113048980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开提供了一种位姿优化方法、装置、电子设备及存储介质，该位姿优化方法包括：基于移动设备拍摄的现实场景图像，确定移动设备的当前预测位姿；基于当前预测位姿、现实场景图像的特征点，以及预先构建的多个参考平面，确定特征点的目标深度信息，其中，多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面；根据目标深度信息优化当前预测位姿。本公开实施例，可以提高位姿的计算精度。

Description

位姿优化方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，具体而言，涉及一种位姿优化方法、装置、电子设备和存储介质。
背景技术
室内环境下，由于全球定位导航系统(Global Navigation Satellite System，GNSS)信号较弱，导致基于GNSS技术的导航方法在室内无法使用，为了解决该问题，现有的技术中通过采用视觉里程计在室内提供定位导航功能。其中，视觉里程计够根据视觉信息测算运动的距离和方向。
目前，由于单目相机具有低成本、轻量化和易于安装的特点，得到了广泛应用。然而，单目的视觉里程计存在着尺度不确定性的问题，无法恢复出正确的运动，进而使得位姿计算存在一定的误差。
发明内容
本公开实施例至少提供一种位姿优化方法、装置、电子设备及存储介质。
第一方面，本公开实施例提供了一种位姿优化方法，包括：
基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿；
基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，其中，所述多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面；
根据所述目标深度信息优化所述当前预测位姿。
本公开实施例中，首先预先构建表征现实场景的三维场景地图，并在该三维场景地图中构建多个参考平面；然后基于当前预测位姿、现实场景图像的特征点，以及多个参考平面，确定所述特征点的目标深度信息，进而可以得到视觉里程计的尺度信息，再根据目标深度信息对移动设备的当前预测位姿进行优化，可以在不依赖于IMU(InertialMeasurement Unit，惯性测量单元)的情况下，得到较为准确的位姿信息，提高了位姿的计算精度。
根据第一方面，在一种可能的实施方式中，所述基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，包括：
基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述多个参考平面中的每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
本公开实施例中，基于所述当前预测位姿、所述现实场景图像的特征点在图像坐标系下的二维坐标信息，以及每个参考平面对应的几何方程，确定所述特征点的目标深度信息，可以降低位姿计算时的计算量，使得位姿优化的算法不受移动设备性能的限制。
根据第一方面，在一种可能的实施方式中，所述基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述多个参考平面中的每个参考平面对应的几何方程，确定所述特征点的目标深度信息，包括：
基于所述当前预测位姿、所述二维坐标信息，以及所述移动设备中的图像采集部件的内部参数信息，确定所述特征点所对应的三维特征点在世界坐标系下的三维坐标信息；
根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
本公开实施例中，通过与所述特征点所对应的三维坐标信息以及每个参考平面对应的几何方程，来求解特征点的目标深度信息，可以简化特征点的目标深度信息的求解过程，进而提高求解效率。
根据第一方面，所述每个参考平面内包括有界区域；
所述根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息，包括：
在所述三维特征点落于每一所述参考平面的情况下，基于所述三维坐标信息，以及每一所述参考平面对应的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于每一所述初始深度信息所对应的参考平面的所述有界区域内；
在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息。
本申请实施例中，在根据三维坐标信息以及所述每个参考平面对应的几何方程得到初始深度信息后，还进一步确定三维特征点是否位于所述初始深度信息所对应的参考平面的所述有界区域内，并在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息，如此不仅可以基于初始深度信息得到目标深度信息，还可以提高得到的目标深度信息的准确率。
根据第一方面，在一种可能的实施方式中，所述在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息，包括：
在所述三维特征点位于多个所述初始深度信息分别对应的参考平面的所述有界区域内的情况下，确定最小的所述初始深度信息为所述目标深度信息。
本公开实施例中，在所述三维特征点位于多个所述初始深度信息对应的参考平面的所述有界区域内的情况下，说明从相机的视角看该多个参考平面存在重叠部分，但相机能开到的是离相机最近的参考平面，因此，需要将最小的所述初始深度信息为所述目标深度信息，如此，可以进步一提高目标深度信息的求解精度。
根据第一方面，在一种可能的实施方式中，所述根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息，包括：
在所述多个参考平面与地面分别垂直的情况下，确定每个所述参考平面在预设视角下所形成的参考直线；
根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息。
本公开实施例中，在所述多个参考平面与地面分别垂直的情况下，可以将视角变成二维俯视图，此时只需根据每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息，进而进一步简化目标深度信息的求解算法，提高目标深度信息的求解效率。
根据第一方面，在一种可能的实施方式中，所述参考直线包括线段；
所述根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息，包括：
在所述三维特征点落于每一所述参考直线的情况下，基于所述三维坐标信息，以及每一所述参考直线的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于每一所述初始深度信息所述对应的参考直线上的线段上；
在所述三维特征点位于所述初始深度信息所对应的参考直线上的线段的情况下，确定所述初始深度信息为所述目标深度信息。
本公开实施例中，将所构建的参考平面视作直线来求解目标深度信息，可以简化求解的步骤，进而可以提高计算的效率。
根据第一方面，在一种可能的实施方式中，所述基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，包括：
将所述现实场景图像划分为多个子图像，并确定每一所述子图像上的位置标识点；
基于所述当前预测位姿、所述位置标识点以及所述多个参考平面，从所述多个参考平面中确定与每个所述位置标识点对应的目标参考平面；
确定所述特征点所属的目标子图像；
基于所述当前预测位姿、所述特征点以及所述目标子图像上的所述位置标识点所对应的目标参考平面，确定所述目标深度信息。
本公开实施例中，由于先将现实场景图像划分为多个子图像，并确定每一子图像上的位置标识点对应的目标参考平面，然后根据特征点所属的目标子图像，直接基于目标子图像所对应的目标参考平面求解目标深度信息，进而可以提高目标深度信息的求解速度。
根据第一方面，在一种可能的实施方式中，所述根据所述目标深度信息优化所述移动设备的当前预测位姿，包括：
基于重投影误差构造优化方程；
基于所述目标深度信息以及所述优化方程对所述当前预测位姿进行优化。
本公开实施例中，通过基于重投影误差所构造优化方程，可以实现对当前预测位姿的优化，且提高了位姿优化的效率。
根据第一方面，在一种可能的实施方式中，所述基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿，包括：
基于移动设备拍摄的现实场景图像，通过即时定位与地图构建SLAM确定所述移动设备的当前预测位姿。
本公开实施例中，采用SLAM的确定所述移动设备的当前预测位姿，不仅可以得到当前预测位姿，同时还可以在当前预测位姿的基础上建造增量式地图，进而实现移动设备的自主定位和导航。
根据第一方面，在一种可能的实施方式中，所述方法还包括：
响应用户的目的地输入请求，在所述三维场景地图中确定所述目的地的位置信息；
基于优化后的当前预测位姿、以及所述目的地的位置信息，确定所述优化后的当前预测位姿与所述目的地之间的至少一条连接线路；
在所述三维场景地图中展示所述至少一条连接线路。
本公开实施例中，采用优化后的当前预测位姿进行当行线路规划，可以提高所规划的线路的精准度。另外，在三维场景地图中规划以及展示所规划的线路更加真实，可以为用户提供更好的指引。
根据第一方面，在一种可能的实施方式中，所述方法还包括：
基于优化后的当前预测位姿，在所述移动设备中展示与所述优化后的当前预测位姿相匹配的增强现实AR画面；所述AR画面中展示有至少一个虚拟对象；
检测针对所述至少一个虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示相应的AR特效。
本公开实施例中，基于优化后的当前预测位姿，可以使得在移动设备中所述展示的AR画面与用户所处的真实场景更加接近，提高了用户的观感体验。另外，在目标触发操作满足预设条件的情况下，才在所述AR画面中展示相应的AR特效，提高了交互的趣味性。
第二方面，本公开实施例提供了一种位姿优化装置，包括：
位姿预测模块，用于基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿；
深度计算模块，用于基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，其中，所述多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面；
位姿优化模块，用于根据所述目标深度信息优化所述当前预测位姿。
根据第二方面，在一种可能的实施方式中，深度计算模块具体用于：
基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述多个参考平面中的每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
根据第二方面，在一种可能的实施方式中，深度计算模块具体用于：
基于所述当前预测位姿、所述二维坐标信息，以及所述移动设备中的图像采集部件的内部参数信息，确定所述特征点所对应的三维特征点在世界坐标系下的三维坐标信息；
根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
根据第二方面，在一种可能的实施方式中，所述每个参考平面内包括有界区域；深度计算模块具体用于：
在所述三维特征点落于每一所述参考平面的情况下，基于所述三维坐标信息，以及每一所述参考平面对应的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于每一所述初始深度信息所对应的参考平面的所述有界区域内；
在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息。
根据第二方面，在一种可能的实施方式中，深度计算模块具体用于：
在所述三维特征点位于多个所述初始深度信息分别对应的参考平面的所述有界区域内的情况下，确定最小的所述初始深度信息为所述目标深度信息。
根据第二方面，在一种可能的实施方式中，深度计算模块具体用于：
在所述多个参考平面与地面分别垂直的情况下，确定每个所述参考平面在预设视角下所形成的参考直线；
根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息。
根据第二方面，在一种可能的实施方式中，所述参考直线包括线段；深度计算模块具体用于：
在所述三维特征点落于每一所述参考直线的情况下，基于所述三维坐标信息，以及每一所述参考直线的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于所述初始深度信息所对应的参考直线上的线段上；
在所述三维特征点位于所述初始深度信息对应的参考直线上的线段的情况下，确定所述初始深度信息为所述目标深度信息。
根据第二方面，在一种可能的实施方式中，深度计算模块具体用于：
将所述现实场景图像划分为多个子图像，并确定每一所述子图像上的位置标识点；
基于所述当前预测位姿、所述位置标识点以及所述多个参考平面，从所述多个参考平面中确定与每个所述位置标识点对应的目标参考平面；
确定所述特征点所属的目标子图像；
基于所述当前预测位姿、所述特征点以及所述目标子图像上的所述位置标识点所对应的目标参考平面，确定所述目标深度信息。
根据第二方面，在一种可能的实施方式中，位姿优化模块具体用于：
基于重投影误差构造优化方程；
基于所述目标深度信息以及所述优化方程对所述当前预测位姿进行优化。
根据第二方面，在一种可能的实施方式中，位姿预测模块具体用于：
基于移动设备拍摄的现实场景图像，通过即时定位与地图构建SLAM确定所述移动设备的当前预测位姿。
根据第二方面，在一种可能的实施方式中，所述装置还包括路线规划模块，所述路线规划模块用于：
响应用户的目的地输入请求，在所述三维场景地图中确定所述目的地的位置信息；
基于优化后的当前预测位姿、以及所述目的地的位置信息，确定所述优化后的当前预测位姿与所述目的地之间的至少一条连接线路；
在所述三维场景地图中展示所述至少一条连接线路。
根据第二方面，在一种可能的实施方式中，所述装置还包括画面展示模块，所述画面展示模块用于：
基于优化后的当前预测位姿，在所述移动设备中展示与所述优化后的当前预测位姿相匹配的增强现实AR画面；所述AR画面中展示有至少一个虚拟对象；
检测针对所述至少一个虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示相应的AR特效。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的位姿优化方法。
第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的位姿优化方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种位姿优化方法的流程图；
图2示出了本公开实施例所提供的一种确定目标深度信息的方法流程图；
图3示出了本公开实施例所提供的另一种确定目标深度信息的方法流程图；
图4示出了本公开实施例所提供的一种生成三维场景地图的方法流程图；
图5示出了本公开实施例所提供的另一种位姿优化方法的流程图；
图6示出了本公开实施例所提供的再一种位姿优化方法的流程图；
图7示出了本公开实施例所提供的一种位姿优化装置的结构示意图；
图8示出了本公开实施例所提供的另一种位姿优化装置的结构示意图；
图9示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
全球卫星导航系统也叫全球导航卫星系统(Global Navigation SatelliteSystem，GNSS)，是能在地球表面或近地空间的任何地点为用户提供全天候的三维坐标和速度以及时间信息的空基无线电导航定位系统。其包括一个或多个卫星星座及其支持特定工作所需的增强系统。
但是，在室内环境下，由于GNSS信号较弱，导致基于GNSS技术的导航方法在室内无法使用，因此，为了解决该问题，现有的技术中，通过视觉里程计来实现室内的定位导航功能。其中，视觉里程计够根据视觉信息测算运动的距离和方向。
经研究发现，由于单目相机具有低成本、轻量化和易于安装的特点，得到了广泛应用。然而，单目的视觉里程计存在着尺度不确定性的问题，无法回复出正确的运动。此外，现有的视觉里程计通过深度学习的方法(比如三角化法)来确定单目视觉里程计的尺度，但是该方案计算复杂，且对设备的性能要求较高，但基于室内的设备(如手机)的计算资源却限，使得在计算位姿时，优化的迭代次数有限，进而使得位姿计算存在一定的误差。因此，如何提高基于视觉里程计的室内导航精度以及简化在导航过程中的算法，为本公开要解决的技术问题。
基于上述研究，本公开提供了一种位姿优化方法，基于移动设备拍摄的现实场景图像，确定移动设备的当前预测位姿；然后基于当前预测位姿、现实场景图像的特征点，以及预先构建的三维场景地图中的多个参考平面，确定特征点的深度信息；再根据目标深度信息优化当前预测位姿，以得到精度较高的位姿。
本公开实施例中，在求解特征点的深度信息时，将预先构建的虚拟场景地图中的参考平面信息作为先验，假设特征点在参考平面上，求解特征点的深度；与现有技术中的方法(比如三角化法)相比，避免了相机运动时，相机参数对三角化精度的影响，进而确保了特征点深度的求解精度。此外，该方法速度更快，减小了计算量，进而降低的对运行设备的要求，即使计算能力有限的设备也可以实现精度较高的定位导航。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种位姿优化方法进行详细介绍，本公开实施例所提供的位姿优化方法的执行主体一般为具有一定计算能力的电子设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该位姿优化方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的位姿优化方法的流程图，该位姿优化方法包括以下S101～S103：
S101，基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿。
移动设备是指可以自主移动的设备(比如机器人)，或者可以搭载于一载体(比如人体)上且可以随着载体一起移动的设备。示例性地，移动设备具体可以包括手机、平板电脑、增强现实(Augmented Reality，AR)眼镜等。也即，该移动设备可以是前述具有一定计算能力的计算机设备中的移动设备或者手持设备等。移动设备可以内置图像采集部件也可以外接图像采集部件，在移动设备进入工作状态后，可以通过图像采集部件实时拍摄现实场景图像。
示例性地，可以根据移动设备拍摄的现实场景图像，并基于即时定位与地图构建SLAM技术来确定移动设备的当前预测位姿。其中，移动设备的当前预测位姿包括了移动设备的当前预测位置以及移动设备的当前预测姿态(朝向)。
可以理解，由于本公开实施例中的图像采集部件为单目相机，存在尺度不确定的问题，因此，基于移动设备拍摄的现实场景图像，所确定的移动设备的当前预测位姿仅仅是预测的位姿，也是不准确的，进而需要对当前预测位姿进行优化。
S102，基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，其中，所述多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面。
其中，在图像处理中，特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。
示例地，可以通过预先拍摄现实场景得到的视频或者图像数据，生成表征现实场景的三维场景地图，具体生成方式详见后文，该三维场景地图基于现实场景对应的视频数据生成，可以构建与现实场景在相同坐标系下完全重合的三维场景地图，因此可以将该三维场景地图作为现实场景的高精度地图使用。
示例地，在构建好三维场景地图后，可以在三维场景地图中确定相应的参考平面。其中，该参考平面可以是三维场景地图中的相应的物体所在的平面，比如，该参考平面可以是一面墙壁所在的平面，也可以是一个桌子的桌面，在此不做限定。此外，所确定的参考平面的数量也不限定，可以依据具体的三维场景地图所对应的环境而确定。
示例性地，可以基于所述当前预测位姿、所述现实场景图像的特征点的坐标，以及每个参考平面的几何方程，确定特征点的目标深度信息。
其中，每个参考平面的几何方程可以通过在该参考平面上选取多个目标点来确定，也即，通过多个目标点来确定该参考平面的几何方程。例如，可以在该参考平面选取四个点来确定该参考平面的方程，示例地，依据选取的四个点所构建的参考平面的方程如下公式(1)所示，其中，n为法向量。
nTx-d＝0
S103，根据所述目标深度信息优化当前预测位姿。
示例性地，基于重投影误差构造优化方程，并基于目标深度信息以及优化方程对当前预测位姿进行优化。
其中，重投影误差是指真实三维空间点在图像平面上的投影(也就是图像上的像素点)和重投影(其实是用我们的计算值得到的虚拟的像素点)的差值，因为种种原因计算得到的值和实际情况不会完全相符，也就是这个差值不可能恰好为0，此时也就需要将这些差值的和最小化获取最优的相机位姿参数及三维空间点的坐标。
可以理解，在SLAM中，可以通过构造优化方程，进而迭代求解设定的未知参数，也即，通过构造优化方程，得到需要求解的参数，比如相机位姿参数及三维点的坐标参数等。
本公开实施例中，在求解特征点的深度信息时，由于预先构建了三维场景地图，并该三维场景地图中构建了多个参考平面，因此，可以将参考平面信息作为先验，在特征点在该参考平面上的情况下，求解特征点的深度；与现有技术中的方法(比如三角化法)相比，避免了相机运动时，相机参数对三角化精度的影响，进而确保了特征点深度的求解精度。此外，该方法速度更快，减小了计算量，进而降低的对运行设备的要求，即使计算能力有限的设备也可以实现精度较高的定位导航。
下面将结合具体实施例对上述S102进行详细介绍。
针对上述S102，在基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息时，如图2所示，可以包括以下S1021～1022：
S1021，基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述移动设备中的图像采集部件的内部参数信息，确定所述特征点所对应的三维特征点在世界坐标系下的三维坐标信息。
其中，当前预测位姿也即相机的外部参数。
示例性地，针对采集到的现实场景图像可以建立图像坐标系，基于构建的图像坐标系可以确定构成特征点在图像坐标系下的二维坐标信息，即在图像坐标系下的像素坐标值。
图像采集部件的参数信息可以包括图像采集部件的内部参数和外部参数，其中，该内部参数可以用于将特征点在图像坐标系下的坐标值转化为在相机坐标系下的坐标值；外部参数可以用于将特征点在相机坐标系下的坐标值转换为在世界坐标系下的坐标值。
需要说明的是，该世界坐标系为三维场景地图下的坐标系，由于三维场景地图与现实场景是在相同坐标系下完全重合的，因此，该世界坐标系也可以表征现实场景的坐标系。
示例性地，这里可以通过移动设备中的图像采集部件的内部参数，对特征点在图像坐标系下的二维坐标信息转换至在相机坐标系下沿X轴和Y轴方向的坐标值，基于像素点的深度信息z(未知，待求解的参数信息)，可以得到该像素点在相机坐标系下沿Z轴方向的坐标值，然后再基于图像采集部件的外部参数，将特征点在相机坐标系下的坐标值转化至在世界坐标系下的坐标值，即得到特征点在世界坐标系下的三维坐标信息。
示例地，若已得知移动设备的当前预测位姿，也即相机的外部参数为
Figure BDA0002970977270000131
特征点的像素坐标uk，则可以得到该特征点所对应的三维特征点
Figure BDA0002970977270000132
其中z为位置量，也即本公开实施例中所要求解的深度信息。
S1022，根据所述三维特征点在世界坐标系下的三维坐标信息，以及所述三维场景地图中的每个参考平面的几何方程，确定所述特征点的目标深度信息。
针对S1022，在根据所述三维特征点在世界坐标系下的三维坐标信息，以及所述三维场景地图中的每个参考平面的几何方程，确定所述特征点的目标深度信息时，可以包括：
(1)在所述三维特征点落于每一所述参考平面的情况下，基于所述三维特征点在所述世界坐标系下的三维坐标信息，以及每一所述参考平面的几何方程分别确定所述特征点的初始深度信息。
(2)判断所述三维特征点是否位于每一所述初始深度信息所对应的参考平面的所述有界区域内。
(3)在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息。
具体地，在所述三维特征点落于当前参考平面的情况下，则有如下等式成立。
nT(Xk)-d＝0
基于上述等式，可以得出关于深度信息z的表达式如下：
Figure BDA0002970977270000141
通过上述表达式可以看出，在三维特征点落于当前参考平面的情况下，即可求解出深度信息Z。但是，由于上述关于每一个参考平面的几何方程是表示的一个无限延伸的平面，而本申请实施例中的平面是有界平面，也即，虽然依据上述等式求解出深度信息在，但是深度信息所对应的三维点可能是落于有界区域之外的，而落于有界区域之内的三维特征点才是需要求解的。也即，本实施方式中的有界区域是指三维场景地图中的某一物体的某一平面所对应的区域。
可以理解，为了最大概率且精度较高的求解出相应的深度信息z，有界区域应尽可能的大且为四方形，比如，以三维场景地图中的墙壁作为参考平面，则该参考平面的有界区域应为该墙壁整个面积，在构建该参考平面的参考方程时，可以选取该墙壁的四个顶点，进而构建该墙壁所在的平面的几何方程；若以三维场景地图中的圆形桌面作为参考平面，则该参考平面的有界区域应为该圆形桌面的内接四边形，因此，在构建该参考平面的参考方程时，可以选取该圆形桌面的内接四边形的四个顶点，进而构建该桌面所在的平面的几何方程。
此外，由于每个参考平面的几何方程不同，因此，该三维特征点在每一参考平面时，均可以求解出一个对应的初始深度信息，经过确认该初始深度信息所对应的三维特征点是否在对应的参考平面内的有界区域内，来确定该初始深度信息是否为目标深度信息。
在一些实施例中，由于所构建的参考平面会存在重叠部分，也即三维特征点可能同时落于多个参考平面的有界区域内，此时将存在多个初始深度信息满足要求，为了进一步确保深度信息的求解精度，在存在多个初始深度信息所对应的三维特征点位于所述对应的三维特征点所在的参考平面的有界区域内的情况下，确定最小的初始深度信息为所述目标深度信息。
可以理解，在拍摄现实场景图片时，若当前场景中存在重叠的部分，基于相机的视角，只能拍到显露于最外侧的物体，也即靠近相机最近的物体，因此，初始深度信息最小的才是需要求解的目标深度信息。
在另一些实施方式中，在所构建的参考平面均与地面垂直的情况下，可以将求解目标深度信息的过程进行简化，将视角变成二维俯视图，也即确定每个所述参考平面在预设视角下所形成的参考直线，将三维特征点位于参考平面上的情况，变为位于参考平面所对应的参考直线上的情况。
因此，本公开实施例中，在所述多个参考平面与地面分别垂直的情况下，可以先确定每个所述参考平面在预设视角下所形成的参考直线，然后根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息。
可以理解，由于直线的方程相较于平面的方程会比较简单，因此，可以提高求解目标深度信息的效率。
具体地，参考直线包括线段，根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息，可以包括以下：
(a)在所述三维特征点落于每一所述参考直线的情况下，基于所述三维坐标信息，以及每一所述参考直线的几何方程分别确定所述特征点的初始深度信息。
(b)判断所述三维特征点是否位于每一所述初始深度信息所述对应的参考直线上的线段上。
(c)在所述三维特征点位于所述初始深度信息所对应的参考直线上的线段的情况下，确定所述初始深度信息为所述目标深度信息。
需要说明的是，该实施方式中的求解目标深度信息的过程与前述根据参考平面求解目标深度信息的过程类似，在此不再赘述。
可以理解，由于现实场景图像中存在若干特征点，在上述求解目标深度信息的过程中，需要将每一特征点都和所有的参考平面的方程进行一次求解，并验证所得结果是否为所需要的目标深度信息，因此，为了提高目标深度信息的求解速度，在一些实施方式中，针对上述S102，在基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息时，如图3所示，可以包括以下S102a～102d：
S102a，将所述现实场景图像划分为多个子图像，并确定每一子图像上的位置标识点。
示例地，可以按着矩阵的方式将所述现实场景图像划分为多个子图像，也即，将现实场景图像进行网格化。其中，位置标识点可以是每一子图像上的中心点，也即，该位置标识点在对应的子图像上为位置具有典型代表的点。
S102b，基于所述当前预测位姿、所述位置标识点以及所述多个参考平面，从所述多个参考平面中确定与每个位置标识点分别对应的目标参考平面。
可以理解，该步骤与上述求解特征点的目标深度信息的过程所涉及的1021及1022类似，只是本实施例中，是求解位置标识点的深度信息，然后在置标识点的深度信息所对应的三维点落在参考平面内的有界区域的情况下，将该参考平面确定为与该位置标识点相对应的目标参考平面。
S102c，确定所述现实场景图像的特征点分别所属的目标子图像。
示例地，可以确定当前需要求解深度信息的特征点位于哪一个子图像，并将所属的子图像确定为目标子图像。
S102d，基于所述当前预测位姿、所述特征点以及所述目标子图像上的位置标识点所对应的目标参考平面，确定所述目标深度信息。
由于步骤S102b中已经知道了该目标子图像中的位置标识点所对应的目标参考平面了，而当前特征点与该位置标识点位于同一目标子图像上，该特征点应该也在该目标参考平面上，因此，可以直接基于该目标参考平面进行目标深度信息的求解操作，而无需再与所有参考平面进行求解操作，进而可以提高求解目标深度信息的速度。
针对上述多次提到的三维场景地图，如图4所示，具体可以按照以下方式预先构建，包括S601～S603：
S601，获取多张现实场景样本图像。
示例性地，可以预先通过移动设备对该现实场景(比如某商场)进行多角度拍摄，得到该现实场景对应的大量现实场景样本图像。
S602，基于多张现实场景样本图像，构建表征现实场景的初始三维场景虚拟模型。
针对S602，在基于多张现实场景样本图像，生成现实场景对应的初始三维场景虚拟模型时，可以包括：
(1)从获取的每张现实场景样本图像中提取多个特征点；
(2)基于提取的多个特征点，以及预存的与现实场景匹配的三维样本图，生成初始三维场景虚拟模型；其中，三维样本图为预存储的表征现实场景形貌特征的三维图。
具体地，针对每张现实场景样本图像提取的特征点可以为能够表征该张现实场景样本图像关键信息的点，比如针对包含目标物(比如墙壁)的现实场景样本图像，这里的特征点可以表示该目标物轮廓信息的特征点。
示例性地，这里预存的与现实场景的三维样本图可以包括提前设置好的能够表征该现实场景形貌特征、且带有尺寸标注的三维图，比如可以是表征该现实场景形貌特征的计算机辅助设计(Computer Aided Design，CAD)三维图。
针对该现实场景，当提取的特征点足够多时，特征点构成的特征点云，可以构成表征该现实场景的三维模型，这里的特征点云中的特征点是没有单位的，特征点云构成的三维模型也是没有单位的，然后将该特征点云与带有尺度标注的且能够表征该现实场景形貌特征的三维图对齐后，即得到该现实场景对应的初始三维场景虚拟模型。
S603，将构建的初始三维场景虚拟模型上的标定特征点与现实场景对应的标定特征点进行对齐，生成三维场景地图。
生成的初始三维模型可能会存在失真现象，然后可以通过现实场景对应的二维地图对其进行调整，可以得到准确度较高的三维场景虚拟模型。
针对S603，在将构建的初始三维场景模型上的标定特征点与现实场景对应的标定特征点进行对齐，生成三维场景地图时，包括：
(1)在现实场景对应的初始三维场景模型中提取用于表征现实场景多个空间位置点的标定特征点；
(2)确定标定特征点在现实场景对应的真实二维地图中的真实坐标数据，并基于每个标定特征点对应的真实坐标数据，调整初始三维场景模型中各个特征点的坐标数据。
示例性地，可以选择一些表征目标物边缘、角落的空间位置点的特征点作为这里的标定特征点，然后基于标定特征点对应的真实坐标数据以及该标定特征点在初始三维场景模型中的坐标数据，确定坐标数据调整量，然后基于该坐标数据调整量对初始三维模型中各个特征点的坐标数据进行修正，即可以得到准确度较高的三维场景模型。
参见图5所示，为本公开实施例提供的另一种位姿优化方法的流程图。与图1中的位姿优化方法不同的是，该方法还包括如下步骤S104a：
S104a，基于优化后的当前预测位姿、用户输入的目的地以及所述三维场景地图，规划导航路线。
具体地，可以响应用户的目的地输入请求，在所述三维场景地图中确定所述目的地的位置信息；然后基于优化后的当前预测位姿、以及所述目的地的位置信息，确定所述当前预测位姿与所述目的地之间的至少一条连接线路；最后在所述三维场景地图中展示所述至少一条连接线路。
本公开实施例中，可以基于优化好的当前预测位姿、用户输入的目的地以及三维场景地图，进行线路规划，使得即使在室内环境下，也能为用户提供较为精确的导航功能，提高了用户体验。
参见图6所示，为本公开实施例提供的再一种位姿优化方法的流程图。与图1中的位姿优化方法不同的是，该方法还包括如下步骤S104b～104c：
S104b，基于优化后的当前预测位姿以及所述现实场景图像，在所述移动设备中展示与所述优化后的当前预测位姿相匹配的AR画面；所述AR画面中展示有至少一个虚拟对象。
AR技术是一种将虚拟信息与真实世界巧妙融合的技术，该技术可以将虚拟信息与真实环境实时地叠加到一个画面。本实施方式中，移动设备是指具有AR功能的手机、平板电脑、AR眼镜等。
示例性地，该AR画面中可包括多个虚拟对象，也可以只包括一个虚拟对象，在此不做限定。虚拟对象具体指由计算机模拟产生的虚拟信息，可以为虚拟三维物体，比如虚拟动物、虚拟植物、虚拟其他物体等，或者虚拟平面物体，比如虚拟的指示箭头、虚拟文字和虚拟画面等。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
S104c，检测针对所述至少一个虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示相应的AR特效。
具体地，可以检测作用在移动设备的屏幕上的触发操作，识别触发操作在移动设备的屏幕上的屏幕坐标位置，基于屏幕坐标位置以及虚拟对象在所述三维场景地图中的预设位置区域，确定触发操作是否为针对虚拟对象的目标触发操作。
在一些实施方式中，在该目标触发操作的次数超出预设次数或者该目标触发操作的时长超出预设时长时，确定该目标触发操作满足预设条件。例如，只有在点击屏幕的次数超过预设次数时，才确定击中虚拟对象而展示相应的AR特效，如此，可以增加游戏交互的趣味性。
基于同一技术构思，本公开实施例中还提供了与位姿优化方法对应的位姿优化装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述位姿优化方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图7所示，为本公开实施例提供的一种位姿优化装置500的示意图，该位姿优化装置500包括：
位姿预测模块501，用于基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿；
深度计算模块502，用于基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，其中，所述多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面；
位姿优化模块503，用于根据所述目标深度信息优化所述当前预测位姿。
在一种可能的实施方式中，深度计算模块502具体用于：
基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述多个参考平面中的每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
在一种可能的实施方式中，深度计算模块502具体用于：
基于所述当前预测位姿、所述二维坐标信息，以及所述移动设备中的图像采集部件的内部参数信息，确定所述特征点所对应的三维特征点在世界坐标系下的三维坐标信息；
根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
在一种可能的实施方式中，所述每个参考平面内包括有界区域；深度计算模块502具体用于：
在所述三维特征点落于每一所述参考平面的情况下，基于所述三维坐标信息，以及每一所述参考平面对应的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于每一所述初始深度信息所对应的参考平面的所述有界区域内；
在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息。
在一种可能的实施方式中，深度计算模块502具体用于：
在所述三维特征点位于多个所述初始深度信息分别对应的参考平面的所述有界区域内的情况下，确定最小的所述初始深度信息为所述目标深度信息。
在一种可能的实施方式中，深度计算模块502具体用于：
在所述多个参考平面与地面分别垂直的情况下，确定每个所述参考平面在预设视角下所形成的参考直线；
根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息。
根据第二方面，在一种可能的实施方式中，所述参考直线包括线段；深度计算模块502具体用于：
在所述三维特征点落于每一所述参考直线的情况下，基于所述三维坐标信息，以及每一所述参考直线的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于所述初始深度信息所对应的参考直线上的线段上；
在所述三维特征点位于所述初始深度信息对应的参考直线上的线段的情况下，确定所述初始深度信息为所述目标深度信息。
在一种可能的实施方式中，深度计算模块502具体用于：
将所述现实场景图像划分为多个子图像，并确定每一所述子图像上的位置标识点；
基于所述当前预测位姿、所述位置标识点以及所述多个参考平面，从所述多个参考平面中确定与每个所述位置标识点对应的目标参考平面；
确定所述特征点所属的目标子图像；
基于所述当前预测位姿、所述特征点以及所述目标子图像上的所述位置标识点所对应的目标参考平面，确定所述目标深度信息。
在一种可能的实施方式中，位姿优化模块503具体用于：
基于重投影误差构造优化方程；
基于所述目标深度信息以及所述优化方程对所述当前预测位姿进行优化。
在一种可能的实施方式中，位姿预测模块501具体用于：
基于移动设备拍摄的现实场景图像，通过即时定位与地图构建SLAM确定所述移动设备的当前预测位姿。
在一种可能的实施方式中，所述装置还包括路线规划模块504a，所述路线规划模块用于：
响应用户的目的地输入请求，在所述三维场景地图中确定所述目的地的位置信息；
基于优化后的当前预测位姿、以及所述目的地的位置信息，确定所述优化后的当前预测位姿与所述目的地之间的至少一条连接线路；
在所述三维场景地图中展示所述至少一条连接线路。
根据第二方面，在一种可能的实施方式中，所述装置还包括画面展示模块504b，所述画面展示模块用于：
基于优化后的当前预测位姿，在所述移动设备中展示与所述优化后的当前预测位姿相匹配的AR画面；所述AR画面中展示有至少一个虚拟对象；
检测针对所述至少一个虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示相应的AR特效。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图9所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所述的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的位姿优化方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的位姿优化方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种位姿优化方法，其特征在于，包括：
基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿；
基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，其中，所述多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面；
根据所述目标深度信息优化所述当前预测位姿。
2.根据权利要求1所述的方法，其特征在于，所述基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，包括：
基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述多个参考平面中的每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述当前预测位姿、所述特征点在图像坐标系下的二维坐标信息，以及所述多个参考平面中的每个参考平面对应的几何方程，确定所述特征点的目标深度信息，包括：
基于所述当前预测位姿、所述二维坐标信息，以及所述移动设备中的图像采集部件的内部参数信息，确定所述特征点所对应的三维特征点在世界坐标系下的三维坐标信息；
根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息。
4.根据权利要求3所述的方法，其特征在于，所述每个参考平面内包括有界区域；
所述根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息，包括：
在所述三维特征点落于每一所述参考平面的情况下，基于所述三维坐标信息，以及每一所述参考平面对应的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于每一所述初始深度信息所对应的参考平面的所述有界区域内；
在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息。
5.根据权利要求4所述的方法，其特征在于，所述在所述三维特征点位于所述初始深度信息所对应的参考平面的所述有界区域内的情况下，确定所述初始深度信息为所述目标深度信息，包括：
在所述三维特征点位于多个所述初始深度信息分别对应的参考平面的所述有界区域内的情况下，确定最小的所述初始深度信息为所述目标深度信息。
6.根据权利要求3所述的方法，其特征在于，所述根据所述三维坐标信息，以及所述每个参考平面对应的几何方程，确定所述特征点的目标深度信息，包括：
在所述多个参考平面与地面分别垂直的情况下，确定每个所述参考平面在预设视角下所形成的参考直线；
根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息。
7.根据权利要求6所述的方法，其特征在于，所述参考直线包括线段；
所述根据所述三维坐标信息，以及每个所述参考直线对应的几何方程，确定所述特征点的目标深度信息，包括：
在所述三维特征点落于每一所述参考直线的情况下，基于所述三维坐标信息，以及每一所述参考直线的几何方程分别确定所述特征点的初始深度信息；
判断所述三维特征点是否位于所述初始深度信息所对应的参考直线上的线段上；
在所述三维特征点位于所述初始深度信息对应的参考直线上的线段的情况下，确定所述初始深度信息为所述目标深度信息。
8.根据权利要求1所述的方法，其特征在于，所述基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，包括：
将所述现实场景图像划分为多个子图像，并确定每一所述子图像上的位置标识点；
基于所述当前预测位姿、所述位置标识点以及所述多个参考平面，从所述多个参考平面中确定与每个所述位置标识点对应的目标参考平面；
确定所述特征点所属的目标子图像；
基于所述当前预测位姿、所述特征点以及所述目标子图像上的所述位置标识点所对应的目标参考平面，确定所述目标深度信息。
9.根据权利要求1所述的方法，其特征在于，所述根据所述目标深度信息优化所述当前预测位姿，包括：
基于重投影误差构造优化方程；
基于所述目标深度信息以及所述优化方程对所述当前预测位姿进行优化。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应用户的目的地输入请求，在所述三维场景地图中确定所述目的地的位置信息；
基于优化后的当前预测位姿以及所述目的地的位置信息，确定所述优化后的当前预测位姿与所述目的地之间的至少一条连接线路；
在所述三维场景地图中展示所述至少一条连接线路。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于优化后的当前预测位姿，在所述移动设备中展示与所述优化后的当前预测位姿相匹配的增强现实AR画面；所述AR画面中展示有至少一个虚拟对象；
检测针对所述至少一个虚拟对象的目标触发操作，在所述目标触发操作满足预设条件的情况下，在所述AR画面中展示相应的AR特效。
12.一种位姿优化装置，其特征在于，包括：
位姿预测模块，用于基于移动设备拍摄的现实场景图像，确定所述移动设备的当前预测位姿；
深度确定模块，用于基于所述当前预测位姿、所述现实场景图像的特征点，以及预先构建的多个参考平面，确定所述特征点的目标深度信息，其中，所述多个参考平面为预先构建的用于表征现实场景的三维场景地图中的多个参考平面；
位姿优化模块，用于根据所述目标深度信息优化所述当前预测位姿。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1-11任一所述的位姿优化方法。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1-11任一所述的位姿优化方法。
CN202110263263.1A 2021-03-11 2021-03-11 位姿优化方法、装置、电子设备及存储介质 Active CN113048980B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110263263.1A CN113048980B (zh) 2021-03-11 2021-03-11 位姿优化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110263263.1A CN113048980B (zh) 2021-03-11 2021-03-11 位姿优化方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113048980A true CN113048980A (zh) 2021-06-29
CN113048980B CN113048980B (zh) 2023-03-14

Family

ID=76511389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110263263.1A Active CN113048980B (zh) 2021-03-11 2021-03-11 位姿优化方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113048980B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113580134A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN113689484A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质
CN113741698A (zh) * 2021-09-09 2021-12-03 亮风台（上海）信息科技有限公司 一种确定和呈现目标标记信息的方法与设备
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
CN114842175A (zh) * 2022-04-22 2022-08-02 如你所视(北京)科技有限公司 三维标签的交互呈现方法、装置、设备、介质和程序产品
CN115810100A (zh) * 2023-02-06 2023-03-17 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031747A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp 三次元情報抽出装置および三次元情報抽出方法
JP2009271895A (ja) * 2008-04-30 2009-11-19 Kokusai Kogyo Co Ltd 独立偏位修正画像セットおよび方法
CN108805917A (zh) * 2018-05-25 2018-11-13 网易（杭州）网络有限公司 空间定位的方法、介质、装置和计算设备
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN110119189A (zh) * 2018-02-05 2019-08-13 浙江商汤科技开发有限公司 Slam系统的初始化、ar控制方法、装置和系统
CN112085786A (zh) * 2019-06-13 2020-12-15 北京地平线机器人技术研发有限公司 位姿信息确定方法及装置
CN112179373A (zh) * 2020-08-21 2021-01-05 同济大学 一种视觉里程计的测量方法及视觉里程计

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031747A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp 三次元情報抽出装置および三次元情報抽出方法
JP2009271895A (ja) * 2008-04-30 2009-11-19 Kokusai Kogyo Co Ltd 独立偏位修正画像セットおよび方法
CN110119189A (zh) * 2018-02-05 2019-08-13 浙江商汤科技开发有限公司 Slam系统的初始化、ar控制方法、装置和系统
CN108805917A (zh) * 2018-05-25 2018-11-13 网易（杭州）网络有限公司 空间定位的方法、介质、装置和计算设备
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN112085786A (zh) * 2019-06-13 2020-12-15 北京地平线机器人技术研发有限公司 位姿信息确定方法及装置
CN112179373A (zh) * 2020-08-21 2021-01-05 同济大学 一种视觉里程计的测量方法及视觉里程计

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRIKHA RAWIA ET AL.: "Camera pose estimation for augmented reality in a small indoor dynamic scene", 《JOURNAL OF ELECTRONIC IMAGING》 *
刘浩敏等: "基于单目视觉的同时定位与地图构建方法综述", 《计算机辅助设计与图形学学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113580134A (zh) * 2021-08-03 2021-11-02 湖北亿咖通科技有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN113580134B (zh) * 2021-08-03 2022-11-04 亿咖通(湖北)技术有限公司 视觉定位方法、设备、机器人、存储介质及程序产品
CN113689484A (zh) * 2021-08-25 2021-11-23 北京三快在线科技有限公司 深度信息的确定方法、装置、终端及存储介质
CN113741698A (zh) * 2021-09-09 2021-12-03 亮风台（上海）信息科技有限公司 一种确定和呈现目标标记信息的方法与设备
CN114061586A (zh) * 2021-11-10 2022-02-18 北京有竹居网络技术有限公司 用于生成电子设备的导航路径的方法和产品
CN114842175A (zh) * 2022-04-22 2022-08-02 如你所视(北京)科技有限公司 三维标签的交互呈现方法、装置、设备、介质和程序产品
CN115810100A (zh) * 2023-02-06 2023-03-17 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质及程序产品

Also Published As

Publication number Publication date
CN113048980B (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
CN113048980B (zh) 位姿优化方法、装置、电子设备及存储介质
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
EP2111530B1 (en) Automatic stereo measurement of a point of interest in a scene
US9466143B1 (en) Geoaccurate three-dimensional reconstruction via image-based geometry
US10086955B2 (en) Pattern-based camera pose estimation system
US8259994B1 (en) Using image and laser constraints to obtain consistent and improved pose estimates in vehicle pose databases
US20110261187A1 (en) Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
US10451403B2 (en) Structure-based camera pose estimation system
CN109425348B (zh) 一种同时定位与建图的方法和装置
CN109903330B (zh) 一种处理数据的方法和装置
US9858669B2 (en) Optimized camera pose estimation system
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN111080682B (zh) 点云数据的配准方法及装置
CN111862215B (zh) 一种计算机设备定位方法、装置、计算机设备和存储介质
JP7114686B2 (ja) 拡張現実装置及び位置決め方法
CN113361365B (zh) 定位方法和装置、设备及存储介质
CN113177974A (zh) 一种点云配准方法、装置、电子设备及存储介质
Cosido et al. Hybridization of convergent photogrammetry, computer vision, and artificial intelligence for digital documentation of cultural heritage-a case study: the magdalena palace
Lee et al. Vision-based terrain referenced navigation for unmanned aerial vehicles using homography relationship
CN110749308A (zh) 使用消费级gps和2.5d建筑物模型的面向slam的室外定位方法
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN113129422A (zh) 一种三维模型构建方法、装置、存储介质和计算机设备
KR20210094517A (ko) 3ｄ 기하학 추출을 위해 복수의 이미지들로부터 상보적 이미지를 선택하는 시스템 및 방법
CN113960614A (zh) 一种基于帧-地图匹配的高程图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant