CN106846497B - 应用于终端的呈现三维地图的方法和装置 - Google Patents

Abstract

本申请公开了应用于终端的呈现三维地图的方法和装置。该终端配置有前置摄像头和后置摄像头，该方法的一具体实施方式包括：根据该前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定第一绝对位姿信息；根据该第一坐标系与该后置摄像头对应的第二坐标系之间的变换关系，将该第一绝对位姿信息变换为第二绝对位姿信息；根据该第二绝对位姿信息和该后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；采用增强现实方式，呈现该第二三维地图。该实施方式提高了呈现三维地图的效率。

Description

应用于终端的呈现三维地图的方法和装置

技术领域

本申请涉及计算机技术领域，具体涉及增强现实领域，尤其涉及应用于终端的呈现三维地图的方法和装置。

背景技术

增强现实技术，是一种将真实世界信息和虚拟世界信息无缝集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过计算机等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间。在增强现实技术中，三维地图的构建和呈现是十分重要的。

然而，现有的构建进而呈现三维地图的方式，存在着呈现效率较低的问题。

发明内容

本申请的目的在于提出一种改进的应用于终端的呈现三维地图的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种应用于终端的呈现三维地图的方法，上述终端配置有前置摄像头和后置摄像头，上述方法包括：根据上述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；根据上述第一坐标系与上述后置摄像头对应的第二坐标系之间的变换关系，将上述第一绝对位姿信息变换为用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态的第二绝对位姿信息；根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；采用增强现实方式，呈现上述第二三维地图。

在一些实施例中，上述根据前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息，包括：根据上述前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定用于指示在上述目标时刻上述终端在上述第一三维地图所指示的三维环境中的位置和姿态的第一相对位姿信息，上述第一三维地图包括上述参照物的标注有相对尺寸的三维模型；根据上述实际尺寸和上述三维模型的相对尺寸，确定第一尺度换算因子，其中，上述第一尺度换算因子用于表征上述实物模型的相对尺寸与上述实物模型对应的实物的实际尺寸之间的比例；根据上述第一尺度换算因子和上述第一相对位姿信息，确定上述第一绝对位姿信息。

在一些实施例中，上述根据前置摄像头采集的多帧第一环境图像，构建标注有相对尺寸的第一三维地图，包括：采用即时定位与三维地图构建方式，构建标注有相对尺寸的第一三维地图。

在一些实施例中，上述参照物包括人脸；以及上述根据前置摄像头采集的多帧第一环境图像，构建标注有相对尺寸的第一三维地图，还包括：提取所采集的多帧第一环境图像中的人脸图像的特征点；根据所提取的特征点，采用三角测距的方式，构建标注有相对尺寸的上述人脸的三维模型；将上述第一三维地图中的上述人脸的三维模型替换为采用三角测距的方式构建的上述人脸的三维模型。

在一些实施例中，上述根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图，包括：

根据上述后置摄像头采集的多帧第二环境图像，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定用于指示在上述目标时刻上述终端在上述第二三维地图所指示的三维环境中的位置和姿态的第二相对位姿信息；根据上述第二绝对位姿信息和上述第二相对位姿信息，确定第二尺度换算因子，其中，上述第二尺度换算因子用于表征第二三维地图中的实物模型的相对尺寸与该实物模型对应的实物的实际尺寸之间的比例；根据上述第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

第二方面，本申请提供了一种应用于终端的呈现三维地图的装置，上述终端配置有前置摄像头和后置摄像头，上述装置包括：确定单元，用于根据上述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；变换单元，用于根据上述第一坐标系与上述后置摄像头对应的第二坐标系之间的变换关系，将上述第一绝对位姿信息变换为用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态的第二绝对位姿信息；构建单元，用于根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；呈现单元，用于采用增强现实方式，呈现上述第二三维地图。

在一些实施例中，上述确定单元，还用于：根据上述前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定用于指示在上述目标时刻上述终端在上述第一三维地图所指示的三维环境中的位置和姿态的第一相对位姿信息，上述第一三维地图包括上述参照物的标注有相对尺寸的三维模型；根据上述实际尺寸和上述三维模型的相对尺寸，确定第一尺度换算因子，其中，上述第一尺度换算因子用于表征上述实物模型的相对尺寸与上述实物模型对应的实物的实际尺寸之间的比例；根据上述第一尺度换算因子和上述第一相对位姿信息，确定上述第一绝对位姿信息。

在一些实施例中，上述确定单元，还用于：采用即时定位与三维地图构建方式，构建标注有相对尺寸的第一三维地图。

在一些实施例中，上述参照物包括人脸；以及上述确定单元，还用于：提取所采集的多帧第一环境图像中的人脸图像的特征点；根据所提取的特征点，采用三角测距的方式，构建标注有相对尺寸的上述人脸的三维模型；将上述第一三维地图中的上述人脸的三维模型替换为采用三角测距的方式构建的上述人脸的三维模型。

在一些实施例中，上述构建单元，还用于：根据上述后置摄像头采集的多帧第二环境图像，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定用于指示在上述目标时刻上述终端在上述第二三维地图所指示的三维环境中的位置和姿态的第二相对位姿信息；根据上述第二绝对位姿信息和上述第二相对位姿信息，确定第二尺度换算因子，其中，上述第二尺度换算因子用于表征第二三维地图中的实物模型的相对尺寸与该实物模型对应的实物的实际尺寸之间的比例；根据上述第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

第三方面，本申请实施例提供了一种终端，上述终端包括：一个或多个处理器；存储装置，用于存储一个或多个程序，前置摄像头，用于采集第一环境图像；后置摄像头，用于采集第二环境图像；当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面上述的方法。

本申请实施例利用提供的应用于终端的呈现三维地图的方法和装置，通过前置摄像头和后置摄像头所得出的终端的绝对位姿有关联这一特征，在利用前置摄像头确定了终端的第一绝对位姿的情况下，通过前置摄像头和后置摄像头的配合，确定终端的与后置摄像头对应的第二绝对位姿，进而能够利用上述第二绝对位姿构建后置摄像头采集的环境图像的三维地图。因为利用前置摄像头可以及时得到后置摄像头对应的第二绝对位姿，后置摄像头可以持续采集环境信息而避免了每隔一段时间中断以进行绝对尺度校正，所以本实施方式提高了构建三维地图的效率，进而提高了呈现三维地图的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的应用于终端的呈现三维地图的方法的一个实施例的流程图；

图3是根据本申请的应用于终端的呈现三维地图的方法的一个应用场景的示意图；

图4a是根据本申请的应用于终端的呈现三维地图的方法的又一个实施例的流程图；

图4b是图4a对应的方法中步骤405的一种实现方式的流程图；

图5是根据本申请的应用于终端的呈现三维地图的装置的一个实施例的结构示意图；

图6是适于用来实现本申请实施例的终端设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。本领域技术人员还将理解的是，虽然本文中可使用用语“第一”、“第二”等来描述各种三维地图、尺度换算因子、环境图像、坐标系、绝对位姿信息、相对位姿信息等，但是这些三维地图、尺度换算因子、环境图像、坐标系、绝对位姿信息、相对位姿信息不应被这些用语限制。这些用语仅用于将一个三维地图、尺度换算因子、环境图像、坐标系、绝对位姿信息、相对位姿信息与其它三维地图、尺度换算因子、环境图像、坐标系、绝对位姿信息、相对位姿信息区分开。

图1示出了可以应用本申请的应用于终端的呈现三维地图的方法或应用于终端的呈现三维地图的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105、106。网络104用以在终端设备101、102、103和服务器105、106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户110可以使用终端设备101、102、103通过网络104与服务器105、106交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用，例如增强现实类应用、视频播放类应用、搜索引擎类应用等。

终端设备101、102、103可以配置有前置摄像头和后置摄像头，并且可以是具有显示屏并且支持交互功能的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105、106可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以接收终端设备的应用更新请求并根据应用更新请求等数据处理，并将处理结果(例如更新的应用的安装包)反馈给终端设备。

需要说明的是，本申请实施例所提供的应用于终端的呈现三维地图的方法一般由终端设备101、102、103执行，相应地，输入装置一般设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。需要说明的是，在一些情况下，系统构架中也可以不设置服务器。

继续参考图2，其示出了根据本申请的应用于终端的呈现三维地图的方法的一个实施例的流程200。上述终端配置有前置摄像头和后置摄像头，上述的应用于终端的呈现三维地图的方法，包括以下步骤：

步骤201，根据前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息。

在本实施例中，应用于终端的呈现三维地图的方法运行于其上的电子设备(例如图1上述的终端)可以根据终端上配置的前置摄像头采集的多帧第一环境图像，确定第一绝对位姿信息。在这里，前置摄像头所采集的第一环境图像包括已知实际尺寸的参照物的图像。上述第一绝对位姿信息用于表征在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态。

在本实施例中，与前置摄像头对应的第一坐标系可以是世界坐标系，也可以是为前置摄像头配置的坐标系。

在本实施例的一些可选的实现方式中，可以将前置摄像头和后置摄像头均配置为单目摄像头。可选地，也可以将前置摄像头配置为双目摄像头，将后置摄像头配置为单目摄像头。可选地，还可以将前置摄像头配置和后置摄像头均配置为双目摄像头。

作为示例，参照物可以是人脸、公交卡、已知实际尺寸的瓶子等。

在本实施例的一些可选的实现方式中，在前置摄像头为双目摄像头的情况下，可以利用迭代最近点(Iterative Closest Point，ICP)算法，确定上述第一绝对位姿信息。

步骤202，根据第一坐标系与后置摄像头对应的第二坐标系之间的变换关系，将第一绝对位姿信息变换为用于表征在目标时刻的在第二坐标系中的位置和姿态的第二绝对位姿信息。

在本实施例中，上述电子设备可以根据上述第一坐标系与后置摄像头对应的第二坐标系之间的变换关系，将第一位姿信息变换为第二位姿信息。在这里，上述第二位姿信息用于表征在上述目标时刻上述终端在上述第二坐标系中位置和姿态。

作为示例，第一坐标系和第二坐标系可以是同一坐标系，那么，第一绝对位姿信息与第二绝对位姿信息相同，无需变换。

作为示例，第一坐标系和第二坐标系均为三维坐标系，第一坐标系和第二坐标系之间可以有两个轴方向相同，一个轴方向相反。例如，第一坐标系的x轴和第二坐标系的x’轴方向相同，第一坐标系的y轴和第二坐标系的y’轴方向相同，第一坐标系的z轴和第二坐标系的z’轴方向相反。

可以理解，虽然在不同坐标系中的表征终端位姿的绝对位姿信息不同，但在同一时刻，终端的空间中的位姿是一定的。在已知不同坐标系的变换关系的情况下，终端在不同坐标系中的绝对位姿信息之间可以相互变换。

需要说明的是，此处的绝对位姿信息中的参数的参数值与实际尺寸相同，所以称为“绝对位姿信息”，以与下文中相对位姿信息中的相对尺寸区分。

步骤203，根据第二绝对位姿信息和后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图。

在本实施例中，上述电子设备可以根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图。

本领域技术人员可以理解，确定终端的位姿信息可以理解为对终端的定位，同时定位和三维地图的构建是同时进行相互促进的过程。在得到绝对位姿信息后，可以构建出具有实际尺寸的三维地图；在构建出具有实际尺寸的三维地图后，可以得到绝对位姿信息。

需要说明的是，第二三维地图这一命名用于与后置摄像头相关的其他信息(如第二环境图像、第二绝对位姿信息)的命名保持一致，使得全文行文一致。因此，可以理解，第二三维地图构建之前不是必然要构建第一三维地图。

步骤204，采用增强现实方式，呈现第二三维地图。

在本实施例中，上述电子设备可以采用增强现实方式，呈现上述第二三维地图。

在本实施例的一些可选的实现方式中，采用增强现实的方式呈现所构建的第二三维地图，可以是将第二三维地图呈现至终端的屏幕，并且在终端的位姿变化的时候，屏幕上呈现的第二三维地图指示不同角度看到的第二环境。

在本实施例的一些可选的实现方式中，采用增强现实的方式呈现所构建的第二三维地图，可以是将用户添加至第二三维地图的虚拟物的三维模型与第二三维地图绑定，呈现第二三维地图的同时呈现上述虚拟物的三维模型，并且在呈现指示不同角度看到的第二环境的第二三维地图时，上述虚拟物相对于第二三维地图的位置不变。

在本实施例的一些可选的实现方式中，虚拟物的三维模型标注有虚拟物的实际尺寸，将虚拟物的三维模型添加至第二三维地图后，可以逼真地呈现虚拟物。作为示例，虚拟物可以是虚拟玩偶，用户选择将虚拟玩偶的三维模型添加至第二三维地图，在虚拟玩偶的三维模型和第二三维模型均标注有实际尺寸的情况下，可以将虚拟玩偶放置至三维模型时，使得虚拟玩偶与三维模型中的实物的三维模型(例如桌子模型)的比例与两者实际尺寸的比例一致，使得用户看到的画面更为逼真。

继续参见图3，图3是根据本实施例的应用于终端的呈现三维地图的方法的应用场景的一个示意图。在图3的应用场景中，用户首先打开具有增强现实功能的应用，终端上配置的前置摄像头和后置摄像头同时开启；之后，终端可以根据上述前置摄像头采集的多帧包括已知实际尺寸的参照物(例如人脸)的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；然后，上述终端可以根据上述第一坐标系与上述后置摄像头对应的第二坐标系之间的变换关系，将上述第一绝对位姿信息变换为用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态的第二绝对位姿信息；再后，上述终端可以根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图(例如包括标注有蜜蜂的实际尺寸的三维模型的三维地图)；最后，上述终端采用增强现实方式，呈现上述第二三维地图。

本申请的上述实施例提供的方法，利用前置摄像头和后置摄像头所得出的终端的绝对位姿有关联这一特征。在利用前置摄像头确定了终端的第一绝对位姿的情况下，通过前置摄像头和后置摄像头的配合，确定终端与后置摄像头对应的第二绝对位姿，进而能够利用上述第二绝对位姿构建后置摄像头采集的环境图像的三维地图。因为利用前置摄像头可以及时得到对后置摄像头对应的第二绝对位姿，后置摄像头可以持续采集环境信息而避免每隔一段时间中断以进行绝对尺度校正，所以本实施方式提高了构建三维地图的效率，进而提高了呈现三维地图的效率。

进一步参考图4a，其示出了应用于终端的呈现三维地图的方法的又一个实施例的流程400。上述终端配置有前置摄像头和后置摄像头，该应用于终端的呈现三维地图的方法的流程400，包括以下步骤：

步骤401，根据前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定第一相对位姿信息。

在本实施例中，应用于终端的呈现三维地图的方法运行于其上的电子设备(例如图1上述的终端)可以根据前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定第一相对位姿信息。

在本实施例中，前置摄像头所采集的第一环境图像包括人脸图像。上述第一三维地图包括标注有相对尺寸的人脸的三维模型。上述第一相对位姿信息用于指示在上述目标时刻上述终端在上述第一三维地图所指示的三维环境中的位置和姿态。

在本实施例中，前置摄像头可以是单目摄像头，单目摄像头不能获取深度信息，所以根据单目摄像头所采集到的图像构建的三维地图中的尺寸都是相对尺寸，即不是环境中实物的实际尺寸。

在本实施例的一些可选的实现方式中，可以采用即时定位与三维地图构建方式，构建标注有相对尺寸的第一三维地图。

在本实施例的一些可选的实现方式中，可以提取所采集的多帧第一环境图像中的人脸图像的特征点，其中，上述特征点可以包括以下至少一项：内眼角位置点、外眼角位置点、嘴角位置点。根据所提取的特征点，采用三角测距的方式，构建标注有相对尺寸的上述人脸的三维模型。将上述第一三维地图中的上述人脸的三维模型替换为采用三角测距的方式构建的上述人脸的三维模型。

需要说明的是，利用通用的即时定位与三维地图构建方式所建立的实物的三维模型，精度可能较低。本实现方式采用额外的方式对人脸的关键点再次建模，可以提高人脸模型的精度。将再次建模得到的模型用于与实际尺寸的比对，可以提高第一尺度转换因子的精度。

步骤402，根据人脸的实际尺寸和人脸的三维模型的相对尺寸，确定第一尺度转换因子。

在本实施例中，上述电子设备可以根据人脸的实际尺寸和人脸的三维模型的相对尺寸，确定第一尺度转换因子。在这里，第一尺度转换因子用于表征第一三维环境地图中的实物模型的相对尺寸与上述实物模型对应的实物的实际尺寸之间的比例。

在这里，人脸的实际尺寸可以是上述终端的常用用户的人脸的尺寸，也可以是统计分析出的人脸的通常的实际尺寸。

在这里，所比对的人脸的实际尺寸和人脸的三维模型的相对尺寸，可以是人脸总体的尺寸，也可以是人脸中某些特征点之间的尺寸。

步骤403，根据第一尺度换算因子和第一相对位姿信息，确定第一绝对位姿信息。

在本实施例中，上述电子设备可以根据第一尺度换算因子和第一相对位姿信息，确定第一绝对位姿信息。在这里，上述第一绝对位姿信息用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态。

作为示例，可以将第一相对位姿信息和第一尺度换算因子的参数值的比值，确定为第一绝对位姿信息的参数值。

步骤404，根据第一坐标系与后置摄像头对应的第二坐标系之间的变化关系，将第一绝对位姿信息变换为第二绝对位姿信息。

在本实施例中，上述电子设备可以根据第一坐标系与后置摄像头对应的第二坐标系之间的变化关系，将第一绝对位姿信息变换为第二绝对位姿信息。在这里，上述第二绝对位姿信息用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态。

步骤405，根据第二绝对位姿信息和后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图。

在本实施例中，上述电子设备可以根据第二绝对位姿信息和后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图。

在本实施例的一些可选的实现方式中，如图4b所示，其示出了步骤405的一种实现方式的流程。步骤405可以通过步骤4051-步骤4053实现。

步骤4051，根据后置摄像头采集的多帧第二环境信息，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定第二相对位姿信息。

在本实现方式中，上述电子设备可以根据后置摄像头采集的多帧第二环境信息，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定第二相对位姿信息。在这里，上述第二相对位姿信息用于指示在上述目标时刻上述终端在上述第二三维地图所指示的三维环境中的位置和姿态。

步骤4052，根据第二绝对位姿信息和第二相对位姿信息，确定第二尺度换算因子。

在本实现方式中，上述电子设备可以根据第二绝对位姿信息和第二相对位姿信息，确定第二尺度换算因子。在这里，上述第二尺度换算因子用于表征第二三维地图中的实物模型的相对尺寸与该实物模型对应的实物的实际尺寸之间的比例。

步骤4053，根据第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

在本实现方式中，上述电子设备可以根据上述第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

作为示例，可以将第二三维地图标注的相对尺寸与第二尺度换算因子的比值，确定为第二三维地图应标注的实际尺寸。

步骤406，采用增强现实方式，呈现第二三维地图。

在本实施例中，上述电子设备可以采用增强现实方式，呈现第二三维地图。步骤406的实现细节和技术效果可以参考步骤204中的说明，在此不再赘述。

从图4a中可以看出，与图2对应的实施例相比，本实施例中的应用于终端的呈现三维地图的方法的流程400突出了利用前置摄像头和人脸确定第一绝对位姿信息的步骤，并且前置摄像头为单目摄像头。由此，本实施例描述的方案可以应用于更为广泛的终端，并且可以便捷地获取参照物(例如，人脸)，从而可以在现有配置的终端上实现增强现实这一功能。

进一步参考图5，作为对上述各图上述方法的实现，本申请提供了一种应用于终端的呈现三维地图的装置的一个实施例，上述终端配置有前置摄像头和后置摄像头，该装置实施例与图2上述的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图5上述，本实施例的应用于终端的呈现三维地图的装置500包括：确定单元501、变换单元502、构建单元503和呈现单元504。其中，确定单元501，用于根据上述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；变换单元502，用于根据上述第一坐标系与上述后置摄像头对应的第二坐标系之间的变换关系，将上述第一绝对位姿信息变换为用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态的第二绝对位姿信息；构建单元503，用于根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；呈现单元504，用于采用增强现实方式，呈现上述第二三维地图。

在本实施例中，装置500的确定单元501、变换单元502、构建单元503和呈现单元504的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203以及步骤204，这此不再赘述。

在本实施例的一些可选的实现方式中，上述确定单元，还用于：根据上述前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定用于指示在上述目标时刻上述终端在上述第一三维地图所指示的三维环境中的位置和姿态的第一相对位姿信息，上述第一三维地图包括上述参照物的标注有相对尺寸的三维模型；根据上述实际尺寸和上述三维模型的相对尺寸，确定第一尺度换算因子，其中，上述第一尺度换算因子用于表征上述实物模型的相对尺寸与上述实物模型对应的实物的实际尺寸之间的比例；根据上述第一尺度换算因子和上述第一相对位姿信息，确定上述第一绝对位姿信息。

在本实施例的一些可选的实现方式中，上述确定单元，还用于：采用即时定位与三维地图构建方式，构建标注有相对尺寸的第一三维地图。

在本实施例的一些可选的实现方式中，上述参照物包括人脸；以及上述确定单元，还用于：提取所采集的多帧第一环境图像中的人脸图像的特征点，其中，上述特征点包括以下至少一项：内眼角位置点、外眼角位置点、嘴角位置点；根据所提取的特征点，采用三角测距的方式，构建标注有相对尺寸的上述人脸的三维模型；将上述第一三维地图中的上述人脸的三维模型替换为采用三角测距的方式构建的上述人脸的三维模型。

在本实施例的一些可选的实现方式中，上述构建单元，还用于：根据上述后置摄像头采集的多帧第二环境图像，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定用于指示在上述目标时刻上述终端在上述第二三维地图所指示的三维环境中的位置和姿态的第二相对位姿信息；根据上述第二绝对位姿信息和上述第二相对位姿信息，确定第二尺度换算因子，其中，上述第二尺度换算因子用于表征第二三维地图中的实物模型的相对尺寸与该实物模型对应的实物的实际尺寸之间的比例；根据上述第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

本实施例所提供的装置的各个单元的实现细节和技术效果，可以参考本申请其它实施例中的说明，在此不再赘述。

下面参考图6，其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标、前置摄像头、后置摄像头等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括确定单元、变换单元、构建单元和呈现单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，确定单元还可以被描述为“根据上述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：根据上述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻上述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；根据上述第一坐标系与上述后置摄像头对应的第二坐标系之间的变换关系，将上述第一绝对位姿信息变换为用于表征在上述目标时刻上述终端在上述第二坐标系中的位置和姿态的第二绝对位姿信息；根据上述第二绝对位姿信息和上述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；采用增强现实方式，呈现上述第二三维地图。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种应用于终端的呈现三维地图的方法，其特征在于，所述终端配置有前置摄像头和后置摄像头，所述方法包括：

根据所述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻所述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；

根据所述第一坐标系与所述后置摄像头对应的第二坐标系之间的变换关系，将所述第一绝对位姿信息变换为用于表征在所述目标时刻所述终端在所述第二坐标系中的位置和姿态的第二绝对位姿信息；

根据所述第二绝对位姿信息和所述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；

采用增强现实方式，呈现所述第二三维地图。

2.根据权利要求1所述的方法，其特征在于，所述根据前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻所述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息，包括：

根据所述前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定用于指示在所述目标时刻所述终端在所述第一三维地图所指示的三维环境中的位置和姿态的第一相对位姿信息，所述第一三维地图包括所述参照物的标注有相对尺寸的三维模型；

根据所述实际尺寸和所述三维模型的相对尺寸，确定第一尺度换算因子，其中，所述第一尺度换算因子用于表征所述实物模型的相对尺寸与所述实物模型对应的实物的实际尺寸之间的比例；

根据所述第一尺度换算因子和所述第一相对位姿信息，确定所述第一绝对位姿信息。

3.根据权利要求2所述的方法，其特征在于，所述根据前置摄像头采集的多帧第一环境图像，构建标注有相对尺寸的第一三维地图，包括：

采用即时定位与三维地图构建方式，构建标注有相对尺寸的第一三维地图。

4.根据权利要求3所述的方法，其特征在于，所述参照物包括人脸；以及

所述根据前置摄像头采集的多帧第一环境图像，构建标注有相对尺寸的第一三维地图，还包括：

提取所采集的多帧第一环境图像中的人脸图像的特征点；

根据所提取的特征点，采用三角测距的方式，构建标注有相对尺寸的所述人脸的三维模型；

将所述第一三维地图中的所述人脸的三维模型替换为采用三角测距的方式构建的所述人脸的三维模型。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述第二绝对位姿信息和所述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图，包括：

根据所述后置摄像头采集的多帧第二环境图像，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定用于指示在所述目标时刻所述终端在所述第二三维地图所指示的三维环境中的位置和姿态的第二相对位姿信息；

根据所述第二绝对位姿信息和所述第二相对位姿信息，确定第二尺度换算因子，其中，所述第二尺度换算因子用于表征第二三维地图中的实物模型的相对尺寸与该实物模型对应的实物的实际尺寸之间的比例；

根据所述第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

6.一种应用于终端的呈现三维地图的装置，其特征在于，所述终端配置有前置摄像头和后置摄像头，所述装置包括：

确定单元，用于根据所述前置摄像头采集的多帧包括已知实际尺寸的参照物的图像的第一环境图像，确定用于指示在目标时刻所述终端在前置摄像头对应的第一坐标系中的位置和姿态的第一绝对位姿信息；

变换单元，用于根据所述第一坐标系与所述后置摄像头对应的第二坐标系之间的变换关系，将所述第一绝对位姿信息变换为用于表征在所述目标时刻所述终端在所述第二坐标系中的位置和姿态的第二绝对位姿信息；

构建单元，用于根据所述第二绝对位姿信息和所述后置摄像头采集的多帧第二环境图像，构建标注有实际尺寸的第二三维地图；

呈现单元，用于采用增强现实方式，呈现所述第二三维地图。

7.根据权利要求6所述的装置，其特征在于，所述确定单元，还用于：

根据所述前置摄像头采集的多帧第一环境图像，构建包括标注有相对尺寸的实物模型的第一三维地图，并确定用于指示在所述目标时刻所述终端在所述第一三维地图所指示的三维环境中的位置和姿态的第一相对位姿信息，所述第一三维地图包括所述参照物的标注有相对尺寸的三维模型；

根据所述实际尺寸和所述三维模型的相对尺寸，确定第一尺度换算因子，其中，所述第一尺度换算因子用于表征所述实物模型的相对尺寸与所述实物模型对应的实物的实际尺寸之间的比例；

根据所述第一尺度换算因子和所述第一相对位姿信息，确定所述第一绝对位姿信息。

8.根据权利要求7所述的装置，其特征在于，所述确定单元，还用于：

采用即时定位与三维地图构建方式，构建标注有相对尺寸的第一三维地图。

9.根据权利要求8所述的装置，其特征在于，所述参照物包括人脸；以及

所述确定单元，还用于：

提取所采集的多帧第一环境图像中的人脸图像的特征点；

根据所提取的特征点，采用三角测距的方式，构建标注有相对尺寸的所述人脸的三维模型；

将所述第一三维地图中的所述人脸的三维模型替换为采用三角测距的方式构建的所述人脸的三维模型。

10.根据权利要求6-9中任一项所述的装置，其特征在于，所述构建单元，还用于：

根据所述后置摄像头采集的多帧第二环境图像，构建包括标注有相对尺寸的实物模型的第二三维地图，并确定用于指示在所述目标时刻所述终端在所述第二三维地图所指示的三维环境中的位置和姿态的第二相对位姿信息；

根据所述第二绝对位姿信息和所述第二相对位姿信息，确定第二尺度换算因子，其中，所述第二尺度换算因子用于表征第二三维地图中的实物模型的相对尺寸与该实物模型对应的实物的实际尺寸之间的比例；

根据所述第二尺度换算因子和标注有相对尺寸的第二三维地图，重建标注有实际尺寸的第二三维地图。

11.一种终端，其特征在于，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

前置摄像头，用于采集第一环境图像；

后置摄像头，用于采集第二环境图像；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images