CN116486046A - 基于光照强度显示虚拟物体的方法及设备 - Google Patents

Abstract

本申请涉及AR技术领域，提供一种基于光照强度显示虚拟物体的方法及设备，针对摄像头采集的真实环境的各帧彩色图像，分别生成相应的局部光照图，并根据各帧局部光照图包含的像素点的球面坐标，以及获取的摄像头的姿态数据，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图，由于全景纹理贴图是根据实时采集的各帧彩色图像生成的，真实性较高，且不同彩色图像对应的摄像头的姿态数据不同，这样，全景纹理贴图包含了各用户视角下看到的真实环境的纹理数据，当从全景纹理贴图中提取光照强度，保证了光照强度的准确性，从而在根据光照强度显示虚拟物体时，使虚拟物体的表明亮度和光影与真实环境的光照一致，提高虚实融合的真实性。

Description

基于光照强度显示虚拟物体的方法及设备

技术领域

本申请涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种基于光照强度显示虚拟物体的方法及设备。

背景技术

AR技术将虚拟的三维物体、视频、文字、图片等计算机生成的物体实时叠加显示到真实场景中，通过虚实融合实现自然的人机交互，其在医疗卫生、军事仿真、工业维修、教育娱乐等行业具有广泛的应用前景。

AR效果的真实性主要体现在几何一致性、时间一致性和光照一致性上。其中，几何一致性是指计算机生成的虚拟物体在真实环境中的位置、透视和遮挡关系等准确无误；时间一致性是指虚拟物体与真实环境中的物体运动状态相互协调；光照一致性是指虚拟物体与真实物体的明暗关系相互匹配。

在AR体验中，用户对环境的照明有微妙的感觉，当显示的虚拟物体没有光影或光影没有反映真实环境中的光照强度时，用户会感觉到该虚拟物体并不属于该真实环境，降低了AR体验。

因此，令显示的虚拟物体能够匹配真实环境的光照，对于沉浸式和逼真的AR体验是非常重要的。

发明内容

本申请实施例提供了一种基于光照强度显示虚拟物体的方法及设备，用于提高虚拟物体与真实环境融合的真实感。

一方面，本申请实施例提供一种基于光照强度显示虚拟物体的方法，包括：

获取摄像头采集的真实环境的各帧彩色图像，以及惯性测量单元IMU采集的每一帧彩色图像对应的所述摄像头的姿态数据；

针对每一帧彩色图像，生成所述彩色图像对应的局部光照图，并根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；

根据所述全景纹理贴图，提取所述真实环境的光照强度，并根据提取的光照强度，显示虚拟物体。

另一方面，本申请实施例提供一种显示设备所述显示设备支持AR技术，包括摄像头、惯性测量单元IMU、存储器、显示器、处理器，所述摄像头、所述IMU、所述存储器、所述显示器与所述处理器通过总线连接：

所述摄像头用于采集真实环境的彩色图像；

所述IMU用于测量所述摄像头的姿态数据；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

获取所述摄像头采集的真实环境的各帧彩色图像，以及所述IMU采集的每一帧彩色图像对应的所述摄像头的姿态数据；

针对每一帧彩色图像，生成所述彩色图像对应的局部光照图，并根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；

根据所述全景纹理贴图，提取所述真实环境的光照强度，并根据提取的光照强度，通过所述显示器显示虚拟物体。

另一方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行基于光照强度显示虚拟物体的方法。

本申请的上述实施例中，获取摄像头采集的真实环境的各帧彩色图像，并生成各帧彩色图像各自对应的局部光照图，根据各帧局部光照图的分辨率以及摄像头的视场角，确定相应的局部光照图中各个像素点的球面坐标，根据各帧彩色图像对应的摄像头的姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图，由于全景纹理贴图是根据实时采集的真实环境的各帧彩色图像生成的，真实性较高，且不同彩色图像对应的摄像头的姿态数据不同，不同姿态数据反映了不同用户视角，这样，全景纹理贴图包含了各视角下用户看到的真实环境的纹理数据，当从全景纹理贴图中提取光照强度，保证了光照强度的准确性，从而在根据光照强度显示虚拟物体时，使虚拟物体的表明亮度和光影能够反映真实环境的光照，提高虚拟物体与真实环境融合的真实性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1示例性示出了本申请实施例提供的基于光照强度显示虚拟物体的方法流程图；

图2示例性示出了本申请实施例提供的不同数量SG的对比效果图；

图3示例性示出了本申请实施例提供的AR应用拍摄真实环境画面的示意图；

图4示例性示出了本申请实施例提供的AR应用为真实环境添加虚拟物体的示意图；

图5示例性示出了本申请实施例提供的虚拟物体与真实环境融合后的效果图；

图6示例性示出了本申请实施例提供的显示设备的结构图。

具体实施方式

为使本申请的目的、实施方式和优点更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，所描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。

基于本申请描述的示例性实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请所附权利要求保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。

术语″包括″和″具有″以及他们的任何变形，意图在于覆盖但不排他的包含，例如，包含了一系列组件的产品或设备不必限于清楚地列出的那些组件，而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。

本申请中使用的术语″模块″，是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合，能够执行与该元件相关的功能。

在AR场景中，可以将模拟仿真的虚拟物体是放置在真实画面上，另虚实两种信息互为补充，从而实现对真实环境的″增强″。

在实际应用中，真实环境的光照强度，对虚拟物体能否真实地融入到真实画面中具有重要影响。在较暗的环境下，虚拟物体表面亮度应该偏暗一些；在较亮环境下，虚拟物体表面亮度应该偏亮一些；当虚拟物体的材质具有镜面反射能力时，虚拟物体的表面应反射真实环境的画面。因此，这就需要具有AR功能的显示设备具备光照环境感知的能力。

目前，将虚拟物体叠加显示在真实环境的画面中时，虚拟物体的纹理贴图大多采用机器学习方法，利用摄像头拍摄的真实环境图像来提取出光照强度信息，再根据光照强度信息，调整虚拟物体光影和表明亮度，从而使虚拟物体与真实环境自然的融合。然而，当在全景图像中渲染虚拟物体时，由于摄像头未拍摄到的角度需要利用深度学习进行预估，导致预估的纹理与真实环境明显不一致，导致提取的光照强度信息不准确，进而降低了虚拟物体与真实环境的融合的真实感。

鉴于此，本申请实施例提供了一种基于光照强度显示虚拟物体的方法及设备，通过不同用户视角下采集的真实环境的多帧彩色图像，生成真实环境的全景纹理贴图，相对于采用机器学习方法预估真实环境的纹理图，本申请实施例保证了全景纹理贴图与真实环境的一致性，当从全景纹理贴图中提取真实环境的光照强度时，提取的光照强度更加准确，从而在根据准确的光照强度显示虚拟物体时，使虚拟物体的表面亮度和光影与真实环境一致，提高虚拟物体与真实环境融合的真实性，进而提升用户的AR体验。

下面结合附图详细描述本申请的实施例。

如图1所示，为本申请实施例提供的基于光照强度显示虚拟物体的方法流程图，该流程由支持AR技术的显示设备执行，主要包括以下几步：

S101：获取摄像头采集的真实环境的各帧彩色图像，以及IMU采集的每一帧彩色图像对应的摄像头的姿态数据。

在本申请的实施例中，显示设备安装有摄像头和惯性测量单元(InertialMeasurement Unit，IMU)。显示设备启动后，摄像头和IMU同步进行数据采集，其中，摄像头实时采集真实环境下的彩色图像，IMU实时测量摄像头的姿态数据，即显示设备的姿态数据，记为(AngleX，AngleY，AngleZ)。在实际应用中，用户通过转动可以改变显示设备的姿态数据，从而改变摄像头拍摄的真实环境的画面，也就是说，通过转动，摄像头可以采集各用户视角下不同的真实环境的画面。

在S101中，显示设备实时接收摄像头采集的真实环境的各帧彩色图像，以及IMU采集的每一帧彩色图像对应的摄像头的姿态数据，其中，各帧彩色图像用于提取真实环境的光照强度，姿态数据用于对各用户视角下图像统一到一个坐标系下。

需要说明的是，本申请实施例中显示设备的摄像头的分辨率大小和视场角大小，可根据实际需求进行预先设置，设置好后，各帧彩色图像的分辨率相同，等于摄像头的分辨率。

S102：针对每一帧彩色图像，生成彩色图像对应的局部光照图，并根据局部光照图的分辨率以及摄像头的视场角，确定局部光照图中各个像素点的球面坐标。

下面以一帧彩色图像为例，描述S102的具体实施过程。

在本申请的实施例中，球面高斯(Spherical Gaussians，SG)参数表示对一个图像进行光照贴图时，使用N个球形高斯分布来拟合环境中的N个光源，其中，SG参数包括光源中心方向，光源亮度信息和带宽。根据SG参数，可以生成彩色图像的局部光照图。

具体的，显示设备获取到彩色图像后，确定该彩色图像的球面高斯参数，并根据球面高斯参数，生成彩色图像对应的局部光照图，局部光照图的分辨率与对应的彩色图像的分辨率相同。其中，球面高斯参数的计算公式如下：

G(η；α，λ，μ)＝αexp(λ(μ·η-1)) 公式1

其中，μ表示球心到球面高斯中心的方向向量，λ∈(0，+∞)为球面高斯的带宽，用于控制球面高斯从中心向四周的衰减程度，α为球面高斯的振幅(即RGB颜色权重)。输入一个距离球心方向为η的点，通过公式1就可以计算出球面高斯在该点的取值。可选的，η可以根据实际需求进行设置，例如可以是8，也可以是16。

对于任意一张彩色图像，可以用N个球面高斯来拟合，当N越小时，拟合能力越弱，只能表示粗糙的环境光照，当N增大时，拟合能力提高，能够拟合更多的细节，表示的环境光照越接近真实值。同一张彩色图像不同数量SG的对比如图2所示。

进一步地，获得该彩色图像对应的局部光照图后，根据该局部光照图的分辨率以及摄像头的视场角，确定该局部光照图中各个像素点的球面坐标。

以一个像素点为例，具体实施时，根据摄像头的水平视场角、局部光照图的横向分辨率、以及该像素点的横坐标，确定像素点对应的球面经度，公式如下：

并且，根据摄像头的竖直视场角、局部光照图的纵向分辨率、以及像素点的纵坐标，确定该像素点对应的球面纬度，公式如下：

然后，根据球面载体的半径、球面经度、以及球面经纬度，确定该像素点的球面坐标，公式如下：

x_w＝r*cos(longitude)*cos(latitude) 公式4

y_W＝r*cos(longitude)*sin(latitude) 公式5

z_w＝r*sin(latitude) 公式6

在公式2-6中，u表示该像素点的横坐标，v表示该像素点的纵坐标，FOV_H表示摄像头的水平视场角，FOV_V表示摄像头的竖直视场角，W表示该像素点所在的局部光照图的横向分辨率，H表示该像素点所在的局部光照图的纵向分辨率，r表示球面载体的半径，longitude表示该像素点对应的球面经度，latitude表示该像素点对应的球面纬度，(x_w，y_W，z_w)表示该像素点的球面坐标。

在本申请的实施例中，球面载体用于播放全景图像。

S103：根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图。

下面以一帧局部光照图为例，描述纹理映射过程。

具体实施时，显示设备根据采集该局部光照图像对应的彩色图像时，显示设备的姿态数据(即摄像头的姿态数据)，确定彩色图像相对于球面载体的偏移量，包括旋转矩阵R和平移向量t。进一步地显示设备根据该局部光照图包含的像素点的球面坐标(x_w，y_W，z_w)将该局部光照图统一映射至球面载体上，映射公式如下：

其中，

在本申请实施例不考虑平移向量对映射结果的影响，因此，在实际计算时，可根据显示设备的姿态数据，确定旋转矩阵R，将平移向量t设置为0。

在S103中，随着用户头部的转动，显示设备可以获得不同视角下的多帧彩色图像，将各帧彩色图像各自对应的局部光照图一一映射至球面载体后，球面载体上的纹理会越来越丰富，从而得到全景纹理贴图。

S104：根据全景纹理贴图，提取真实环境的光照强度，并根据提取的光照强度，显示虚拟物体。

在本申请的实施例中，由于全景纹理贴图是根据实时采集的真实环境的各帧彩色图像生成的，真实性较高，且不同彩色图像对应的摄像头的姿态数据不同，不同姿态数据反映了不同用户视角，这样，全景纹理贴图包含了各视角下用户看到的真实环境的纹理数据，当从全景纹理贴图中提取光照强度，保证了光照强度的准确性，从而在根据光照强度显示虚拟物体时，使虚拟物体的表明亮度和光影能够反映真实环境的光照，提高虚拟物体与真实环境融合的真实性，进而提升用户体验。

在一种场景中，摄像头随着显示设备的开启，持续采集真实环境的彩色图像。如果采集到重复的彩色图像，显示设备将用最新采集的彩色图像的纹理替换原来采集的彩色图像的纹理。

在另一种场景中，显示设备响应于光照提取停止指令，向摄像头和IMU发送停止采集数据的消息，摄像头接收到该消息后，停止采集真实环境的彩色图像，同时，IMU接收到该消息后，停止测量显示设备的姿态数据。从而，显示设备将停止获取摄像头采集的真实环境的彩色图像，以及摄像头的姿态数据。

在一种可选的实施方式中，光照提取停止指令可以是用户触发的。例如，用户点击显示设备提供的用户界面中″停止″选项，向显示设备发送光照提取停止指令。

在另一种可选的实施方式中，还可以是显示设备系统自动触发的。例如，当得到横向360°纵向180°的全景纹理贴图后，向显示设备发送光照提取停止指令。

本申请实施例提供的基于光照强度显示虚拟物体的方法，可以应用在支持AR技术的产品中，如智能手机、智能电视、笔记本电脑、AR眼镜等显示设备中。

例如，如图3所示，用户打开智能手机中AR应用，开启摄像头和IMU，通过用户界面，用户可以看到当前视角下摄像头采集的真实场景的彩色图像。进一步地，如图4所示，用户通过长按用户界面，令AR应用弹出虚拟物体添加界面，用户勾选需要在真实画面中添加的虚拟对象。当AR应用接收到用户选择的虚拟物体后，根据采用本申请实施例提供的方法生成的全景纹理贴图中，提取真实环境的光照强度，根据提取的光照强度，显示添加的虚拟物体，使得虚拟物体的表面亮度和光影与真实环境一致，提高虚拟物体和真实环境融合的真实性。

如图5所示，为按照本申请实施例提供的方法得到的AR效果图，其中，茶壶为添加的虚拟物体，该茶壶的表面亮度和光影与真实环境的光照强度一致，提高画面的真实性。

在一些实施例中，当AR应用接收到用户选择的虚拟物体后，还可以直接显示虚拟物体，然后采用本申请实施例提供的方法生成的全景纹理贴图中，提取真实环境的光照强度，根据提取的光照强度，调节已显示的虚拟物体的光照强度，使得虚拟物体的表面亮度和光影与真实环境一致，提高虚拟物体和真实环境融合的真实性。

基于相同的技术构思，本申请实施例提供一种显示设备，该显示设备支持AR技术，可执本申请实施例提供的基于光照强度显示虚拟物体的方法流程，并能达到同样的技术效果，在此不再重复。

参见图6该显示设备包括摄像头601、IMU602、存储器603、显示器604和处理器605，摄像头601、IMU602、存储器603、显示器604与处理器605通过总线606连接：

摄像头601用于采集真实环境的彩色图像；

IMU602用于测量摄像头的姿态数据；

存储器603存储有计算机程序，处理器605根据存储器603存储的计算机程序，执行以下操作：

获取摄像头601采集的真实环境的各帧彩色图像，以及IMU602采集的每一帧彩色图像对应的摄像头的姿态数据；

针对每一帧彩色图像，生成彩色图像对应的局部光照图，并根据局部光照图的分辨率以及摄像头的视场角，确定局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；

根据全景纹理贴图，提取真实环境的光照强度，并根据提取的光照强度，通过显示器604显示虚拟物体。

可选的，处理器605生成彩色图像对应的局部光照图，具体操作为：

确定彩色图像的球面高斯参数；

根据球面高斯参数，生成彩色图像对应的局部光照图。

可选的，处理器605根据局部光照图的分辨率以及摄像头的视场角，确定局部光照图中各个像素点的球面坐标，具体操作为：

针对每一个像素点，执行以下操作：

根据摄像头的水平视场角、局部光照图的横向分辨率、以及像素点的横坐标，确定像素点对应的球面经度；

根据摄像头的竖直视场角、局部光照图的纵向分辨率、以及像素点的纵坐标，确定像素点对应的球面纬度；

根据球面载体的半径、球面经度、以及球面经纬度，确定像素点的球面坐标。

可选的，每个像素点的球面坐标的确定公式如下：

x_w＝r*cos(longitude)*cos(latitude)

y_W＝r*cos(longitude)*sin(latitude)

z_w＝r*sin(latitude)

其中，u表示像素点的横坐标，v表示像素点的纵坐标，FOV_H表示摄像头的水平视场角，FOV_V表示摄像头的竖直视场角，W表示局部光照图的横向分辨率，H表示局部光照图的纵向分辨率，r表示球面载体的半径，longitude表示像素点对应的球面经度，latitude表示像素点对应的球面纬度，(x_w，y_W，z_w)表示像素点的球面坐标。

可选的，处理器605还执行：

响应于光照提取停止指令，停止获取摄像头采集的真实环境的彩色图像，以及摄像头的姿态数据。

本申请实施例还提供一种计算机可读存储介质，用于存储一些指令，这些指令被执行时，可以完成前述实施例的方法。

本申请实施例还提供一种计算机程序产品，用于存储计算机程序，该计算机程序用于执行前述实施例的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用，从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种基于光照强度显示虚拟物体的方法，其特征在于，应用于增强现实AR场景，包括：

获取摄像头采集的真实环境的各帧彩色图像，以及惯性测量单元IMU采集的每一帧彩色图像对应的所述摄像头的姿态数据，

针对每一帧彩色图像，生成所述彩色图像对应的局部光照图，并根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；

根据所述全景纹理贴图，提取所述真实环境的光照强度，并根据提取的光照强度，显示虚拟物体。

2.如权利要求1所述的方法，其特征在于，所述生成所述彩色图像对应的局部光照图，包括：

确定所述彩色图像的球面高斯参数；

根据所述球面高斯参数，生成所述彩色图像对应的局部光照图。

3.如权利要求1所述的方法，其特征在于，所述根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标，包括：

针对每一个像素点，执行以下操作：

根据所述摄像头的水平视场角、所述局部光照图的横向分辨率、以及所述像素点的横坐标，确定所述像素点对应的球面经度；

根据所述摄像头的竖直视场角、所述局部光照图的纵向分辨率、以及所述像素点的纵坐标，确定所述像素点对应的球面纬度；

根据所述球面载体的半径、所述球面经度、以及所述球面经纬度，确定所述像素点的球面坐标。

4.如权利要求3所述的方法，其特征在于，每个像素点的球面坐标的确定公式如下：

x_w＝r*cos(longitude)*cos(latitude)

y_W＝r*cos(longitude)*sin(latitude)

z_w＝r*sin(latitude)

其中，u表示像素点的横坐标，v表示像素点的纵坐标，FOV_H表示所述摄像头的水平视场角，FOV_V表示所述摄像头的竖直视场角，W表示所述局部光照图的横向分辨率，H表示所述局部光照图的纵向分辨率，r表示所述球面载体的半径，longitude表示像素点对应的球面经度，latitude表示像素点对应的球面纬度，(x_w，y_W，z_w)表示像素点的球面坐标。

5.如权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

响应于光照提取停止指令，停止获取所述摄像头采集的真实环境的彩色图像，以及所述摄像头的姿态数据。

6.一种显示设备，其特征在于，所述显示设备支持AR技术，包括摄像头、惯性测量单元IMU、存储器、显示器、处理器，所述摄像头、所述IMU、所述存储器、所述显示器与所述处理器通过总线连接：

所述摄像头用于采集真实环境的彩色图像；

所述IMU用于测量所述摄像头的姿态数据；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

获取所述摄像头采集的真实环境的各帧彩色图像，以及所述IMU采集的每一帧彩色图像对应的所述摄像头的姿态数据，

针对每一帧彩色图像，生成所述彩色图像对应的局部光照图，并根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；

根据所述全景纹理贴图，提取所述真实环境的光照强度，并根据提取的光照强度，通过所述显示器显示虚拟物体。

7.如权利要求6所述的显示设备，其特征在于，所述处理器生成所述彩色图像对应的局部光照图，具体操作为：

确定所述彩色图像的球面高斯参数；

根据所述球面高斯参数，生成所述彩色图像对应的局部光照图。

8.如权利要求6所述的显示设备，其特征在于，所述处理器根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标，具体操作为：

针对每一个像素点，执行以下操作：

根据所述摄像头的水平视场角、所述局部光照图的横向分辨率、以及所述像素点的横坐标，确定所述像素点对应的球面经度；

根据所述摄像头的竖直视场角、所述局部光照图的纵向分辨率、以及所述像素点的纵坐标，确定所述像素点对应的球面纬度；

根据所述球面载体的半径、所述球面经度、以及所述球面经纬度，确定所述像素点的球面坐标。

9.如权利要求8所述的显示设备，其特征在于，每个像素点的球面坐标的确定公式如下：

x_w＝r*cos(longitude)*cos(latitude)

y_W＝r*cos(longitude)*sin(latitude)

z_w＝r*sin(latitude)

其中，u表示像素点的横坐标，v表示像素点的纵坐标，FOV_H表示所述摄像头的水平视场角，FOV_V表示所述摄像头的竖直视场角，W表示所述局部光照图的横向分辨率，H表示所述局部光照图的纵向分辨率，r表示所述球面载体的半径，longitude表示像素点对应的球面经度，latitude表示像素点对应的球面纬度，(x_w，y_W，z_w)表示像素点的球面坐标。

10.如权利要求6-9中任一项所述的显示设备，其特征在于，所述处理器还执行：

响应于光照提取停止指令，停止获取所述摄像头采集的真实环境的彩色图像，以及所述摄像头的姿态数据。