CN112991556A - Ar数据的展示方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种AR数据的展示方法、装置、电子设备及存储介质，方法包括：获取现实世界的图像序列和电子设备的运动信息；基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿；基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息；将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界。本申请能够基于电子设备的位姿变化而追踪预设AR模型的位姿，以及通过光照信息使得预设AR模型与现实世界融合的更加真实，并基于位姿变化，展示预设AR模型的表面动态变化，提高预设AR模型的展示效果。

Description

AR数据的展示方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种AR数据的展示方法、装置、电子设备及存储介质。

背景技术

增强现实（Augmented Reality，AR）技术是将真实世界信息和虚拟世界信息“无缝”集成，把原本在现实世界中一定时间和空间范围内的实体信息(如视觉信息、声音、味道和触觉等)模拟仿真后，将虚拟信息应用到真实世界而被人类感官所感知的技术。AR技术能够将真实环境和虚拟物体实时地叠加到同一个画面或空间共存，以达到超越现实的感官体验。

随着用户越来越重视视觉体验，而不再满足于平面视觉，AR技术也越来越多的被应用于数据可视化。例如，对于气象数据而言，专业的二维气象图片使得非专业领域的普通用户感到枯燥乏味，或者二维气象图片因绚丽多彩而显得极端复杂，所以结合AR技术对气象数据进行可视化展示。但是目前在数据可视化展示方面，仅仅是将预设AR模型简单的添加到现实场景中，其显示效果较为单一，没有达到逼真的展示效果。

发明内容

本申请实施例的目的在于提供一种AR数据的展示方法、装置、电子设备及存储介质，旨在解决目前数据可视化展示方案中存在展示效果不佳的问题。

第一方面，本申请实施例提供了一种AR数据的展示方法，应用于电子设备，方法包括：

获取现实世界的图像序列和电子设备的运动信息；

基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿；

基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息；

将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界。

在本实施例中，通过获取现实世界的图像序列和电子设备的运动信息，并基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿，以及基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息，从而得到现实世界的环境信息、预设AR模型的展示平面，以及得到虚拟世界与现实世界的世界位置关系，实现现实世界的信息捕捉；再将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，从而能够基于电子设备的位姿变化而追踪预设AR模型的位姿，以及通过光照信息使得预设AR模型与现实世界融合的更加真实，并基于位姿变化，展示预设AR模型的表面动态变化，提高预设AR模型的展示效果。

在一种实施方式中，基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿，包括：

将图像序列中连续的每两张图像进行特征点匹配，得到连续的每两张图像的特征点匹配结果；

根据连续的每两张图像的特征点匹配结果，确定电子设备的位姿变化信息；

将位姿变化信息与运动信息进行对比分析，得到现实世界的第二坐标位姿；

基于现实世界的第二坐标位姿，更新虚拟世界的第一坐标位姿。

在本实施方式中，通过图像序列确定电子设备的位置和位姿变化情况，再利用运动信息对位姿变化信息进行修正，从而提高第二坐标位姿的精度，最后基于高精度的第二坐标位姿更新虚拟世界的第一坐标位姿，保证第一坐标位姿的准确性。

在一实施方式中，基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息，包括：

对图像序列中的每张图像进行特征点检测，得到特征点云；

将特征点云与预设特征点样式匹配，并将特征点云中与预设特征点样式匹配的特征点位置确定为目标平面；

对图像序列中的每张图像进行亮度检测，得到每张图像的亮度信息；

根据每张图像的亮度信息和与每张图像对应的第一坐标位姿，确定现实世界的光照信息，光照信息包括光照强度和光照照入角度。

在本实施方式中，通过特征点检测与匹配确定目标平面，通过亮度检测确定光照信息，从而得到预设AR模型的展示平面以及用于渲染预设AR模型的光照信息，其中光照照入角度能够模拟现实世界的光源角度。

在一实施方式中，将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界，包括：

以图像序列中与第一坐标位姿对应的图像作为AR世界的世界背景；

将预设AR模型融入到世界背景中的目标平面；

根据光照信息和预设AR模型的模型材质，对预设AR模型进行光照渲染，得到AR世界；展示AR世界。

在本实施方式中，通过以现实世界的图像作为背景，将预设AR模型融入到目标平面，并利用光照信息对预设AR模型进行光照渲染，使得预设AR模型更加真实，提高展示效果。

进一步地，将预设AR模型融入到世界背景中的目标平面，包括：

对世界背景进行物体检测，得到物体信息；

根据物体信息，确定预设AR模型的模型大小比例；

根据模型大小比例，调整预设AR模型的模型大小；

将模型大小调整后的预设AR模型融入到目标平面。

在本实施例中，通过背景物体的大小自动调整预设AR模型的模型大小，减少用户操作，同时提高预设AR模型与背景的融合度，使得展示效果更加逼真。

在一实施例中，获取现实世界的图像序列和电子设备的运动信息，包括：

初始化电子设备的AR展示功能，以电子设备的当前位置作为原点，生成AR世界的世界坐标系；

在世界坐标系下，采集电子设备相对于世界坐标系的位置变化信息和角度变化信息，得到运动信息；

以预设采集频率采集现实世界的现实图像，得到图像序列，其中每张现实图像对应一个运动信息。

在本实施方式中，以电子设备的初始位置建立世界坐标系，以便于后续跟踪电子设备的变化情况，从而便于更新虚拟世界的位姿信息；每个现实图像对应一个运动信息，以便于后续得知预设AR模型的在不同背景下电子设备的位姿，从而便于跟踪预设AR模型的位姿。

在一实施方式中，将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界之后，包括：

获取作用于电子设备的显示单元上的操作指令；

响应操作指令，对AR世界中的预设AR模型进行模型变换，并展示模型变换后的AR世界。

在本实施方式中，通过直接操作取代控件交互，相比于通过与虚拟物体互相分离的界面控件（如遥控）进行操作，让用户直接与物体本身进行互动可以带来更具沉浸感的AR体验。

第二方面，本申请实施例提供了一种AR数据的展示装置，应用于电子设备，装置包括：

获取模块，用于获取现实世界的图像序列和电子设备的运动信息；

第一确定模块，用于基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿；

第二确定模块，用于基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息；

渲染模块，用于将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界。

第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行上述第一方面的AR数据的展示方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面的AR数据的展示方法。

可以理解的是，上述第二方面至第四方面的有益效果可参考上述第一方面的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的预设AR模型的展示方法的流程示意图；

图2为本申请实施例提供的图像特征点示意图；

图3为本申请实施例提供的特征点样式示意图；

图4为本申请实施例提供的星际之门的预设AR模型的展示示意图；

图5为本申请实施例提供的杯子光照渲染的对比展示过程示意图；

图6为本申请实施例提供的地球预设AR模型的展示示意图；

图7为本申请实施例提供的星际之门的预设AR模型的内部展示示意图；

图8为本申请实施例提供的预设AR模型的展示装置的结构示意图；

图9为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

如背景技术相关记载，对于气象数据而言，专业的二维气象图片使得非专业领域的普通用户感到枯燥乏味，或者二维气象图片因绚丽多彩而显得极端复杂，所以结合AR技术对气象数据进行可视化展示。但是目前在数据可视化展示方面，仅仅是将预设AR模型简单的添加到现实场景中，其显示效果较为单一，没有达到逼真的展示效果。

针对上述现有技术中的问题，本申请提供了一种预设AR模型的展示方式，通过获取现实世界的图像序列和电子设备的运动信息，并基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿，以及基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息，从而得到现实世界的环境信息、预设AR模型的展示平面，以及得到虚拟世界与现实世界的世界位置关系，实现现实世界的信息捕捉；再将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，从而能够基于电子设备的位姿变化而追踪预设AR模型的位姿，以及通过光照信息使得预设AR模型与现实世界融合的更加真实，并基于位姿变化，展示预设AR模型的表面动态变化，提高预设AR模型的展示效果。

参见图1，图1示出了本申请实施例提供的一种预设AR模型的展示方法的实现流程图。本申请实施例中下述的预设AR模型的展示方法可应用于电子设备，电子设备包括但不限于智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算机设备。本申请实施例的预设AR模型的展示方法，包括步骤S101至S104，详述如下：

步骤S101，获取现实世界的图像序列和电子设备的运动信息。

在本实施例中，上述图像序列包含连续的多张图像，图像为电子设备采集的现实世界的图像。运动信息为表征电子设备相对于初始位置的位置变化信息和位姿变化信息。可选地，获取现实世界的图像序列和电子设备的运动信息可以包括在初始化阶段和在预设AR模型展示阶段的获取过程。

其中，在预设AR模型展示阶段时，电子设备上的摄像头实时获取现实世界的现实图像，电子设备上的运动传感器实时采集电子设备的运动信息，以用于更新预设AR模型展示时，AR世界的世界位姿变化情况，从而实时更新预设AR模型的位姿和光照渲染情况。

其中，在初始化阶段时，获取现实世界的图像序列和电子设备的运动信息，包括：初始化电子设备的AR展示功能，以电子设备的当前位置作为原点，生成AR世界的世界坐标系；在世界坐标系下，采集电子设备相对于世界坐标系的位置变化信息和角度变化信息，得到运动信息；以预设采集频率现实世界的现实图像，得到图像序列，其中每张现实图像对应一个运动信息。

示例性地，在电子设备启动AR展示功能时，在电子设备上显示初始化状态和初始化提醒信息，提醒用户通过电子设备的摄像头探索所处位置的周边环境。探索过程中，以电子设备开始探索时的当前位置作为原点，生成AR世界的世界坐标系，然后以预设采集频率，控制摄像机采集图像，从而得到拍摄的视频(图像序列)，同时获取设备的运动信息(比如旋转角度、移动距离等)。

步骤S102，基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿。

在本实施例中，第一坐标位姿为虚拟世界的世界坐标位姿，其用于为现实世界与虚拟世界结合提供有效信息。当电子设备探索到的现实世界发生变化（即采集到的图像不一样）时，能够追踪到当前摄像机相对于初始化阶段时的位置变化信息和角度变化信息，也就是说，电子设备在现实世界位置和角度发生变化，则现实世界对应的虚拟世界也对应发生变化，因此通过图像序列和运动信息检测现实世界的位置和角度变化情况，从而实时渲染出虚拟世界相对于现实世界的位置和角度。

可选地，可以对摄像头采集到的图像序列进行计算机视觉分析，以识别出每一帧图像中的特征点，并确定特征点在连续图像帧之间的位置变化信息，最后根据位置变化信息确定虚拟世界的第一坐标位姿。

可选地，还可以利用视觉惯性测距技术，对摄像头采集到的图像序列进行计算机视觉分析，并且与电子设备的运动传感器采集到的运动信息相结合，得到第一坐标位姿。其中对图像序列进行计算机视觉分析时，可以识别出每一帧图像中的特征点，并确定特征点在连续图像帧之间的位置变化信息，再将位置变化信息与运动传感器提供的运动信息进行比较，最终得到高精度的电子设备位置和角度信息。

可以理解的是，为了保证世界追踪能够达到较好的效果，则需要保证运动传感器不能停止工作、现实世界场景需要有一定特征点可追踪，以及电子设备的移动速度不能过快。

在一实施例中，基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿，包括：将图像序列中连续的每两张图像进行特征点匹配，得到连续的每两张图像的特征点匹配结果；根据连续的每两张图像的特征点匹配结果，确定电子设备的位姿变化信息；将位姿变化信息与运动信息进行对比分析，得到现实世界的第二坐标位姿；基于现实世界的第二坐标位姿，更新虚拟世界的第一坐标位姿。

在本实施例中，将运动传感器与场景分析相结合，以在现实世界和虚拟空间之间创建对应关系。示例性地，利用预设特征点提取算法提取每张图像的特征点，利用预设特征点匹配算法，对连续的每两张图像进行特征点匹配，确定两张图像的相同特征点；由于图像采集频率相同，所以可以根据两张图像之间变化角度和变化距离，确定后一帧图像相对于前一帧图像的图像整体变化情况；利用图像整体变化情况，确定电子设备的位姿变化信息。为了提高位姿信息的准确度，利用预设的卡尔曼滤波器，将运动信息与位姿变化信息进行结合，以实现运动信息对位姿变化信息进行信息修正，得到现实世界的第二坐标位姿；最后基于现实世界的第二坐标位姿，更新虚拟世界的第一坐标位姿。

步骤S103，基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息。

在本实施例中，上述目标平面为预设AR模型的展示平面，其用于放置预设AR模型；光照信息为现实世界的环境光照信息，其包括但不限于光照强度和光照照入角度。预设AR模型为基于待展示的数据所构建预设AR模型，例如，待展示的数据为中国天气数据，则预设AR模型可以为携带有天气数据的三维地球模型。

可选地，基于图像序列检测现实世界的水平面，从而确定用于放置预设AR模型的目标平面；检测图像序列中每张图像的亮度值，以得到图像亮度变化情况和光照强度，并将图像亮度变化情况与第一坐标位姿相结合，以确定现实世界中光源的照入角度。

在一实施方式中，基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息，包括：对图像序列中的每张图像进行特征点检测，得到特征点云；将特征点云与预设特征点样式匹配，并将特征点云中与预设特征点样式匹配的特征点位置确定为目标平面；对图像序列中的每张图像进行亮度检测，得到每张图像的亮度信息；根据每张图像的亮度信息和与每张图像对应的第一坐标位姿，确定现实世界的光照信息，光照信息包括光照强度和光照照入角度。

在本实施例中，如图2示出的特征点示意图，可以利用预设光学系统检测特征点（图2中的“+”），并通过取平均值的方式，采用任意三个点定义一个平面。示例性地，如图3示出了特征点样式示意图，为了有效地使用户了解到水平面定位正在进行，采用可视化的指示标识进行展示。例如，当用户看到位于屏幕中央的梯形准星（如图3左边图案），就会明白现在应该去寻找一片平面区域；当准星样式发生变化（如图3右边图案），则水平面测定完成，将图3右边图案对应的现实世界位置作为目标平面。

示例性地，利用光照估计的方式对图像序列中的每张图像进行亮度检测。光照估计基于当前捕捉到的图像的曝光等信息，给出一个估计的光照强度值(单位为lumen，光强单位)。默认的光照强度为1000 lumen，当现实世界较亮时，得到高于1000 lumen的值，当现实世界光照较暗时，得到低于 1000 lumen的值。

其中，根据连续图像的光照强度值变化情况以及每张图像对应的第一坐标位姿，可以确定出现实世界的光源照入角度。例如，当连续10张图像的光照强度值变化情况为光照强度值递减，连续10张图像对应的第一坐标位姿变化情况为从左到右，基于距离光源越近，光照强度越强，则可以确定光照从左边照入。可以理解的是，在本申请的实际应用中，光照照入角度可以确定为具体的方位角。

步骤S104，将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界。

在本实施例中，将摄像机捕捉到的现实世界的视频作为背景，将预设AR模型融入背景中，将世界追踪到的运动信息实时更新到 AR 世界中的相机，通过光照信息实时渲染虚拟世界物体在屏幕中的位置和角度。

在一实施方式中，将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界，包括：以图像序列中与第一坐标位姿对应的图像作为AR世界的世界背景；将预设AR模型融入到世界背景中的目标平面；根据光照信息和预设AR模型的模型材质，对预设AR模型进行光照渲染，得到AR世界；展示AR世界。

在本实施方式中，如图4示出的星际之门的预设AR模型的展示示意图，将现实世界作为AR世界的世界背景，将星际之门融入到世界背景中。如图5示出的光照渲染的对比展示过程示意图，图5左边图案为杯子在明亮环境下的示意图，图5中间图案为杯子融入到昏暗环境时未渲染状态下的示意图，图5右边图案为被子融入到昏暗环境时渲染后的示意图。

现实世界中一般太阳照在一个物体时不会出现从正上方直照下来的情况，当太阳光斜着照在物体上时，物体周边的光线没有被物体遮挡，直接照在物体周边，被物体遮挡的光线会被物体表面反射回去使得光线不能透过物体，此时物体后面接收到的光线就会比周边弱很多，从而形成光线的亮度差、光线暗的部分就是物体的影子。

可选地，由于虚拟物体无法被太阳照射形成影子，但可以通过在AR场景中加入平行光，模拟太阳光照射，并调整平行光适合的角度，打造真实的光影效果。另外，物体对太阳光的反射和吸收与物体的材料性质和表面光滑程度有密切的关系，则可以在制作模型时，赋予模型与真实物体一致的材质效果，材质包括但不限于纹理贴图、金属度、凹凸贴图、反射率、UV贴图等。

进一步地，将预设AR模型融入到世界背景中的目标平面，包括：对世界背景进行物体检测，得到物体信息；根据物体信息，确定预设AR模型的模型大小比例；根据模型大小比例，调整预设AR模型的模型大小；将模型大小调整后的预设AR模型融入到目标平面。

在本实施例中，可以检测出物体类型和物体大小，根据物体类型和物体大小确定预设AR模型的模型大小比例。可选地，在制作模型时，模型大小采用米为单位，即使用与测量真实世界物体时一致的单位，来保证模型在AR场景中时，拥有和真实物体相同的比例。

示例性地，如图6示出的地球预设AR模型的展示示意图，可以检测到背景中的小孩，再基于小孩与地球预设AR模型之间的预设比例关系，确定地球预设AR模型展示在当前环境下的模型比例大小，根据模型大小比例，调整地球预设AR模型的模型大小。

在一实施方式中，将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界之后，包括：获取作用于电子设备的显示单元上的操作指令；响应操作指令，对AR世界中的预设AR模型进行模型变换，并展示模型变换后的AR世界。

在本实施方式中，由于物体在三维空间中的运动通常分类两类：平移和旋转，那么表达一个物体的变化就应该能够包含两类运动变化。为了完整的表达一个物体在 3D 空间的变化，需要一个 4x4 矩阵。基于此更新AR场景中移动设备在6D空间中的移动距离，6D代表3D世界中的xyz移动（转换），外加俯仰（Pitch）/偏航（Yaw）/翻滚（Roll）的3D移动（旋转）。

进一步地，为了获取当前捕捉到的图像中某点击位置有关的信息(包括平面、特征点等)。如图6示出的操作示意图，当点击屏幕（作用于屏幕的操作指令）时，会发射一个射线，假设屏幕平面是三维坐标系中的 xy 平面，那么该射线会沿着 z 轴方向射向屏幕里面。此次过程会将射线遇到的所有有用信息返回，返回结果以离屏幕距离进行排序，离屏幕最近的排在最前面。

进一步地，可以与预设AR模型进行交互，交互动作包括但不限于单指拖动预设AR模型，使预设AR模型随手指旋转；双指缩放预设AR模型，使预设AR模型跟随手指放大或者缩小；滑动选择器滑动时，切换预设AR模型表面的数据。

进一步地，如图7示出的星际之门的另一示意图，可以将预设AR模型固定在目标平面上展示，跟踪电子设备的运行情况，当电子设备从图4位置移动至图7位置（第一人称视角）时，则可以从星际之门从内部看到外部。

为了执行上述方法实施例对应的方法，以实现相应的功能和技术效果，下面提供一种AR数据的展示装置。参见图8，图8是本申请实施例提供的一种AR数据的展示装置的结构框图。为了便于说明，仅示出了与本实施例相关的部分，本申请实施例提供的AR数据的展示装置，包括：

获取模块801，用于获取现实世界的图像序列和电子设备的运动信息；

第一确定模块802，用于基于图像序列和运动信息，确定相对于现实世界的虚拟世界的第一坐标位姿；

第二确定模块803，用于基于图像序列和第一坐标位姿，确定用于放置预设AR模型的目标平面和现实世界的光照信息；

渲染模块804，用于将图像序列、第一坐标位姿、目标平面、光照信息和预设AR模型进行结合渲染，得到AR世界，并展示AR世界。

在一种实施方式中，第一确定模块802，具体用于：

将图像序列中连续的每两张图像进行特征点匹配，得到连续的每两张图像的特征点匹配结果；

根据连续的每两张图像的特征点匹配结果，确定电子设备的位姿变化信息；

将位姿变化信息与运动信息进行对比分析，得到现实世界的第二坐标位姿；

基于现实世界的第二坐标位姿，更新虚拟世界的第一坐标位姿。

在一实施方式中，第二确定模块803，具体用于：

对图像序列中的每张图像进行特征点检测，得到特征点云；

将特征点云与预设特征点样式匹配，并将特征点云中与预设特征点样式匹配的特征点位置确定为目标平面；

对图像序列中的每张图像进行亮度检测，得到每张图像的亮度信息；

根据每张图像的亮度信息和与每张图像对应的第一坐标位姿，确定现实世界的光照信息，光照信息包括光照强度和光照照入角度。

在一实施方式中，渲染模块804，具体用于：

以图像序列中与第一坐标位姿对应的图像作为AR世界的世界背景；

将预设AR模型融入到世界背景中的目标平面；

根据光照信息和预设AR模型的模型材质，对预设AR模型进行光照渲染，得到AR世界；展示AR世界。

进一步地，渲染模块804还用于：

对世界背景进行物体检测，得到物体信息；

根据物体信息，确定预设AR模型的模型大小比例；

根据模型大小比例，调整预设AR模型的模型大小；

将模型大小调整后的预设AR模型融入到目标平面。

在一实施例中，获取模块801，具体用于：

初始化电子设备的AR展示功能，以电子设备的当前位置作为原点，生成AR世界的世界坐标系；

在世界坐标系下，采集电子设备相对于世界坐标系的位置变化信息和角度变化信息，得到运动信息；

以预设采集频率采集现实世界的现实图像，得到图像序列，其中每张现实图像对应一个运动信息。

在一实施方式中，上述装置，还包括：

第二获取模块，用于获取作用于电子设备的显示单元上的操作指令；

变化模块，用于响应操作指令，对AR世界中的预设AR模型进行模型变换，并展示模型变换后的AR世界。

上述的AR数据的展示装置可实施上述方法实施例的AR数据的展示方法。上述方法实施例中的可选项也适用于本实施例，这里不再详述。本申请实施例的其余内容可参照上述方法实施例的内容，在本实施例中，不再进行赘述。

图9为本申请一实施例提供的电子设备的结构示意图。如图9所示，该实施例的电子设备9包括：至少一个处理器90（图9中仅示出一个）处理器、存储器91以及存储在所述存储器91中并可在所述至少一个处理器90上运行的计算机程序92，所述处理器90执行所述计算机程序92时实现上述任意方法实施例中的步骤。

所述电子设备9可以是智能手机、平板电脑、桌上型计算机、超级计算机、个人数字助理、物理服务器和云服务器等计算设备。该电子设备可包括但不仅限于处理器90、存储器91。本领域技术人员可以理解，图9仅仅是电子设备9的举例，并不构成对电子设备9的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器90可以是中央处理单元(Central Processing Unit，CPU)，该处理器90还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器91在一些实施例中可以是所述电子设备9的内部存储单元，例如电子设备9的硬盘或内存。所述存储器91在另一些实施例中也可以是所述电子设备9的外部存储设备，例如所述电子设备9上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器91还可以既包括所述电子设备9的内部存储单元也包括外部存储设备。所述存储器91用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器91还可以用于暂时地存储已经输出或者将要输出的数据。

另外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述任意方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种AR数据的展示方法，其特征在于，应用于电子设备，所述方法包括：

获取现实世界的图像序列和所述电子设备的运动信息；

基于所述图像序列和所述运动信息，确定相对于所述现实世界的虚拟世界的第一坐标位姿；

基于所述图像序列和所述第一坐标位姿，确定用于放置预设AR模型的目标平面和所述现实世界的光照信息；

将所述图像序列、所述第一坐标位姿、所述目标平面、所述光照信息和所述预设AR模型进行结合渲染，得到AR世界，并展示所述AR世界。

2.根据权利要求1所述的AR数据的展示方法，其特征在于，所述基于所述图像序列和所述运动信息，确定相对于所述现实世界的虚拟世界的第一坐标位姿，包括：

将所述图像序列中连续的每两张图像进行特征点匹配，得到连续的每两张图像的特征点匹配结果；

根据连续的每两张图像的特征点匹配结果，确定所述电子设备的位姿变化信息；

将所述位姿变化信息与所述运动信息进行对比分析，得到所述现实世界的第二坐标位姿；

基于所述现实世界的第二坐标位姿，更新所述虚拟世界的第一坐标位姿。

3.根据权利要求1所述的AR数据的展示方法，其特征在于，所述基于所述图像序列和所述第一坐标位姿，确定用于放置预设AR模型的目标平面和所述现实世界的光照信息，包括：

对所述图像序列中的每张图像进行特征点检测，得到特征点云；

将所述特征点云与预设特征点样式匹配，并将所述特征点云中与所述预设特征点样式匹配的特征点位置确定为所述目标平面；

对所述图像序列中的每张图像进行亮度检测，得到每张图像的亮度信息；

根据每张图像的所述亮度信息和与每张图像对应的所述第一坐标位姿，确定所述现实世界的光照信息，所述光照信息包括光照强度和光照照入角度。

4.根据权利要求1所述的AR数据的展示方法，其特征在于，所述将所述图像序列、所述第一坐标位姿、所述目标平面、所述光照信息和所述预设AR模型进行结合渲染，得到AR世界，并展示所述AR世界，包括：

以所述图像序列中与所述第一坐标位姿对应的图像作为所述AR世界的世界背景，将所述预设AR模型融入到所述世界背景中的所述目标平面；

根据所述光照信息和所述预设AR模型的模型材质，对所述预设AR模型进行光照渲染，得到所述AR世界，展示所述AR世界。

5.根据权利要求4所述的AR数据的展示方法，其特征在于，所述将所述预设AR模型融入到所述世界背景中的所述目标平面，包括：

对所述世界背景进行物体检测，得到物体信息；

根据所述物体信息，确定所述预设AR模型的模型大小比例；

根据所述模型大小比例，调整所述预设AR模型的模型大小；

将模型大小调整后的所述预设AR模型融入到所述目标平面。

6.根据权利要求1所述的AR数据的展示方法，其特征在于，所述获取现实世界的图像序列和所述电子设备的运动信息，包括：

初始化所述电子设备的AR展示功能，以所述电子设备的当前位置作为原点，生成所述AR世界的世界坐标系；

在所述世界坐标系下，采集所述电子设备相对于所述世界坐标系的位置变化信息和角度变化信息，得到所述运动信息；

以预设采集频率采集所述现实世界的现实图像，得到所述图像序列，其中每张所述现实图像对应一个所述运动信息。

7.根据权利要求1所述的AR数据的展示方法，其特征在于，所述将所述图像序列、所述第一坐标位姿、所述目标平面、所述光照信息和所述预设AR模型进行结合渲染，得到AR世界，并展示所述AR世界之后，包括：

获取作用于所述电子设备的显示单元上的操作指令；

响应所述操作指令，对所述AR世界中的所述预设AR模型进行模型变换，并展示模型变换后的所述AR世界。

8.一种AR数据的展示装置，其特征在于，应用于电子设备，所述装置包括：

获取模块，用于获取现实世界的图像序列和所述电子设备的运动信息；

第一确定模块，用于基于所述图像序列和所述运动信息，确定相对于所述现实世界的虚拟世界的第一坐标位姿；

第二确定模块，用于基于所述图像序列和所述第一坐标位姿，确定用于放置预设AR模型的目标平面和所述现实世界的光照信息；

渲染模块，用于将所述图像序列、所述第一坐标位姿、所述目标平面、所述光照信息和所述预设AR模型进行结合渲染，得到AR世界，并展示所述AR世界。

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至7中任一项所述的AR数据的展示方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的AR数据的展示方法。

Images