CN113487662A - 画面显示方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了画面显示方法、装置、电子设备和存储介质；本发明可以获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；将目标实体图像映射到虚拟三维场景中；基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。在本发明中，可以将现实世界采集的目标实体的图像映射到虚拟三维场景中，并基于虚拟光源和映射到虚拟三维场景中的目标实体图像，生成虚拟阴影，从而形成目标实体融合在虚拟三维场景中的画面，由此，可以提升目标实体与虚拟三维场景融合时的真实性。

Description

画面显示方法、装置、电子设备和存储介质

技术领域

本发明涉及互联网技术领域，具体涉及画面显示方法、装置、电子设备和存储介质。

背景技术

由于虚拟演播室具有成本低、效果丰富多样、制作效率高等特点，因此被广泛应用于网络直播行业。虚拟演播室技术是在色键抠像技术的基础上，充分利用了计算机图形技术和视频合成技术，根据摄像机的位置与参数，经过色键合成后，使得现实世界中的实体(如真实人物、动物等)融合在计算机所产生的虚拟三维场景中，并且能在其中运动，从而创造出逼真的、立体感很强的电视演播室效果。

但是，目前实体与虚拟三维场景融合时的真实性较低。

发明内容

本发明提供画面显示方法、装置、电子设备和存储介质，可以提升目标实体与虚拟三维场景融合时的真实性。

本发明提供一种画面显示方法，包括：

获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；

将目标实体图像映射到虚拟三维场景中；

基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；

显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。

本发明还提供一种画面显示装置，包括：

获取单元，用于获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；

映射单元，用于将目标实体图像映射到虚拟三维场景中；

生成单元，用于基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；

显示单元，用于显示画面，画面为目标实体图像和虚拟阴影在虚拟三维场景中的画面。

在一些实施例中，生成单元具体用于：

获取预设指令以及虚拟光源的光源参数；

当预设指令为第一指令时，根据虚拟光源的光源参数渲染虚拟三维场景中的目标实体图像，并基于渲染后的目标实体图像和虚拟光源的光源参数，在虚拟三维场景中生成目标实体对应的虚拟阴影；

当预设指令为第二指令时，基于虚拟光源的光源参数和虚拟三维场景中的目标实体图像，在虚拟三维场景中生成目标实体对应的虚拟阴影。

在一些实施例中，生成单元具体用于：

根据虚拟光源的光源参数，确定虚拟三维场景中的目标实体图像对应的光照信息；

采用虚拟三维场景中的目标实体图像对应的光照信息渲染虚拟三维场景中的目标实体图像。

在一些实施例中，虚拟光源的光源参数包括虚拟光源的位置，生成单元具体用于：

以虚拟光源的位置为视点，生成针对渲染后的目标实体图像的深度信息，渲染后的目标实体图像的深度信息表示渲染后的目标实体图像上的点相对虚拟光源的深度值；

根据虚拟三维场景中虚拟镜头和渲染后的目标实体图像的深度信息，生成目标实体对应的虚拟阴影。

在一些实施例中，生成单元具体用于：

确定虚拟镜头的位置；

以虚拟镜头的位置为视点，确定虚拟三维场景中像素点相对虚拟光源的第一深度值；

根据渲染后的目标实体图像的深度信息确定第二深度值，第二深度值为像素点在渲染后的目标实体图像上对应的点的深度值；

当第一深度值大于第二深度值时，生成目标实体对应的虚拟阴影，虚拟阴影包括像素点。

在一些实施例中，生成单元具体用于：

从虚拟光源处引出多条射线，从而形成针对渲染后的目标实体图像的阴影体，射线通过渲染后的目标实体图像的每个顶点；

从虚拟三维场景中虚拟镜头处向虚拟三维场景中像素点引出目标射线；

当目标射线穿入或穿出渲染后的目标实体图像的阴影体时，更新目标射线对应的预设计数的值；

当预设计数的值大于预设阈值时，生成目标实体对应的虚拟阴影，虚拟阴影包括像素点。

在一些实施例中，虚拟光源的光源参数包括虚拟光源的位置，生成单元具体用于：

根据渲染后的目标实体图像和虚拟光源的光源参数确定阴影区域；

确定虚拟三维场景中位于阴影区域的虚拟模型；

以虚拟光源的位置为视点，生成针对渲染后的目标实体图像的阴影贴图；

将阴影贴图映射在虚拟三维场景中位于阴影区域的虚拟模型上，得到目标实体对应的虚拟阴影。

在一些实施例中，映射单元具体用于：

根据目标实体图像在虚拟三维场景中的虚拟载体上选取目标区域；

将目标实体图像映射在虚拟载体的目标区域上。

本发明还提供一种电子设备，包括存储器和处理器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行本发明所提供的任一种画面显示方法中的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明所提供的任一种画面显示方法中的步骤。

本发明可以获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；将目标实体图像映射到虚拟三维场景中；基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；显示画面，画面为目标实体图像和虚拟阴影在虚拟三维场景中的画面。

在本发明中，可以将现实世界采集的目标实体的图像映射到虚拟三维场景中，并基于虚拟光源和映射到虚拟三维场景中的目标实体图像，生成目标实体的虚拟阴影，从而形成目标实体融合在虚拟三维场景中的画面；由于映射到虚拟三维场景中的目标实体图像是二维图像，基于二维图像生成阴影效率较高，并且目标实体在虚拟三维场景中还具有阴影，由此，可以提升目标实体与虚拟三维场景融合时的真实性。

附图说明

为了更清楚地说明本发明中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明提供的画面显示方法的流程示意图；

图1b是本发明提供的一种虚拟光源投射在目标实体图像上时的示意图；

图1c是本发明提供的一种生成目标实体对应的虚拟阴影的示意图；

图1d是本发明提供的另一种生成目标实体对应的虚拟阴影的示意图；

图2是本发明提供的画面显示方法应用在虚拟演播室的场景中的流程示意图；

图3是本发明提供的画面显示装置的结构示意图；

图4是本发明提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供画面显示方法、装置、电子设备和存储介质。

其中，该画面显示装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer，PC)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

在一些实施例中，该画面显示装置还可以集成在多个电子设备中，比如，画面显示装置可以集成在多个服务器中，由多个服务器来实现本发明的画面显示方法。在一些实施例中，服务器也可以以终端的形式来实现。

例如，该电子设备可以获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；将目标实体图像映射到虚拟三维场景中；基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。

在本发明中，可以将现实世界采集的目标实体的图像映射到虚拟三维场景中，并基于虚拟光源和映射到虚拟三维场景中的目标实体图像，生成目标实体的虚拟阴影，从而形成目标实体融合在虚拟三维场景中的画面；由于映射到虚拟三维场景中的目标实体图像是二维图像，基于二维图像生成阴影效率较高，并且目标实体在虚拟三维场景中还具有阴影，由此，可以提升目标实体与虚拟三维场景融合时的真实性。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

在本实施例中，提供了一种画面显示方法，如图1a所示，该画面显示方法的具体流程可以如下：

101、获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像。

其中，目标实体可以是现实世界中客观存在的实体，如真实人物、动物(如宠物)等；在一些实施例中，目标实体可以处于特定的颜色背景中，例如目标实体处于蓝色背景中。目标实体图像可以为模拟图像或数字图像，可以表示目标实体的外貌特征，例如可以包括目标实体的容貌、衣、神情、体型、姿态等。

在一些实施例中，可以通过摄像机采集目标实体在现实世界的活动画面，形成视频流；其中，活动画面可以为目标实体唱歌、跳舞、主持节目、运动等画面。电子设备接收摄影机发送的视频流，对视频流里面的每一帧图像进行图像处理，得到目标实体图像，该图像处理可以为色键抠像处理。其中，每一帧图像中的目标实体的数量不做限制，可以有多个目标实体，抠像处理后可以得到多个目标实体图像。

102、将目标实体图像映射到虚拟三维场景中。

其中，虚拟三维场景可以为电子设备通过数字通讯技术勾勒出的数字化场景，可以由多个虚拟模型组成。该虚拟三维场景可以根据目标实体的活动画面进行设计；例如，目标实体在现实世界跳舞，则虚拟三维场景可以是由多个虚拟模型组成的虚拟舞台，该虚拟舞台可以包括墙、乐器等物体的虚拟模型。

在一些实施例中，根据目标实体图像在虚拟三维场景中的虚拟载体上选取目标区域；将目标实体图像映射在虚拟载体的目标区域上。其中，虚拟载体可以为虚拟三维场景中能够承载图像的模型，例如可以为面片模型；该面片模型可以为不具有厚度的模型，即可以是二维模型，其形状和大小不做限制，可以根据虚拟三维场景来确定大小，例如根据虚拟舞台的大小确定面片模型的大小；该面片模型可以是透明的。目标区域可以为虚拟载体上的任一区域。

在一些实施例中，可以根据目标实体图像在虚拟三维场景中建立一个虚拟人物模型，该模型的形状可以跟目标实体图像的形状保持一致，其可以为二维模型或三维模型。例如，目标实体图像包括目标实体的头部和上身，则建立一个包括头部和上身的虚拟人物模型。将目标实体图像映射到虚拟三维场景的虚拟人物模型上。

在一些实施例中，若虚拟三维场景是通过运行在电子设备中的虚拟引擎形成的，可以通过虚拟引擎中的材质实现将目标实体图像映射到虚拟三维场景中。例如，目标实体图像可以相当于纹理贴图，材质读取目标实体图像，再把材质赋予给虚拟载体或虚拟人物模型。

103、基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影。

其中，虚拟阴影用于模仿现实世界中光遇到目标实体时会形成一个暗区的现象，可以使得目标实体融合在虚拟三维场景中的真实性较高。

虚拟光源可以用于确定虚拟三维场景的颜色和氛围，可以为虚拟光源设置光源参数，该光源参数可以包括但不限于光照强度、颜色、位置和方向，并且虚拟场景运行过程中虚拟光源的位置可以移动。例如，虚拟光源可以为定向光源Directional、点光源Point、聚光源Spot以及天光Sky等。需要说明的是，虚拟三维场景中虚拟光源的数量不做限制，可以同时有多个虚拟光源投射在虚拟三维场景中。

在一些实施例中，获取预设指令以及虚拟光源的光源参数，预设指令可根据实际应用情况自定义设置。在一些实施例中，可以通过虚拟引擎中的材质设置预设指令，例如，可以通过调节材质的参数来设置预设指令，预设指令可以包括第一指令和第二指令。

其中，如图1b所示，第一指令表示在电子设备渲染虚拟三维场景中的目标实体图像时，虚拟光源投射在虚拟三维场景中的目标实体图像上，该目标实体图像会受到虚拟光源的影响，如材质会受到虚拟光源的影响进行反射、漫反射等；并生成目标实体对应的虚拟阴影；因此，第一指令也可称为受光照模式。第二指令表示在电子设备渲染虚拟三维场景中的目标实体图像时，虚拟光源投射在虚拟三维场景中的目标实体图像上，该真人图像目标实体图像不会受到虚拟光源的影响，只生成目标实体对应的虚拟阴影；因此，第二指令也可称为不受光照模式。

当预设指令为第一指令时，根据虚拟光源的光源参数渲染虚拟三维场景中的目标实体图像，并基于渲染后的目标实体图像和虚拟光源的光源参数，在虚拟三维场景中生成目标实体对应的虚拟阴影。在一些实施例中，根据虚拟光源的光源参数，确定虚拟三维场景中的目标实体图像对应的光照信息；光源参数可以包括但不限于光照强度和颜色，即计算目标实体图像在虚拟三维场景中的位置处的光照强度和颜色。采用虚拟三维场景中的目标实体图像对应的光照信息渲染虚拟三维场景中的目标实体图像。

当预设指令为第二指令时，基于虚拟光源的光源参数和虚拟三维场景中的目标实体图像，在虚拟三维场景中生成目标实体对应的虚拟阴影。其中，基于渲染后的目标实体图像在虚拟三维场景中生成目标实体对应的虚拟阴影，与直接基于虚拟三维场景中的目标实体图像在虚拟三维场景中生成目标实体对应的虚拟阴影的具体实施方式类似，本发明仅以基于渲染后的目标实体图像和虚拟光源的光源参数，在虚拟三维场景中生成目标实体对应的虚拟阴影为例进行阐述，可以包括但不限于以下几种方式。

方式1，以虚拟光源的位置为视点，生成针对渲染后的目标实体图像的深度信息，渲染后的目标实体图像的深度信息表示渲染后的目标实体图像上的点相对虚拟光源的深度值。其中，视点表示观察者所处位置，即从虚拟光源的位置处，计算渲染后的目标实体图像上的点的深度值。在本方案中，视点可以为虚拟镜头所处的位置或虚拟光源所处的位置。

根据虚拟三维场景中虚拟镜头和渲染后的目标实体图像的深度信息，生成目标实体对应的虚拟阴影。在一些实施例中，可以确定虚拟镜头的位置；以虚拟镜头的位置为视点，确定虚拟三维场景中像素点相对虚拟光源的第一深度值；根据渲染后的目标实体图像的深度信息确定第二深度值，第二深度值为像素点在渲染后的目标实体图像上对应的点的深度值；当第一深度值大于第二深度值时，生成目标实体对应的虚拟阴影，虚拟阴影包括像素点。当第一深度值不大于第二深度值时，该像素值不在虚拟阴影中。

举例来说，如图1c所示，假设A为虚拟光源，B为渲染后的目标实体图像，C为虚拟镜头，图中带箭头的线模拟了虚拟光源的光线，p点为虚拟三维场景中的像素点，d点为像素点在渲染后的目标实体图像上对应的点。以虚拟光源为视点，可以得到渲染后的目标实体图像中的点相对虚拟光源的深度值，从而得到针对渲染后的目标实体图像的深度信息，也可称为深度图。以虚拟镜头为视点，得到p点的位置，将p点转换到虚拟光源的坐标空间中，得到相对虚拟光源的深度值，假设为0.6。其对应到渲染后的目标实体图像上的点为d点，假设根据深度图得到d点的深度值为0.4。则p点的深度值大于d点的深度值，说明p点被渲染后的目标实体图像遮盖，p点处于渲染后的目标实体图像的虚拟阴影中。根据上述方法，确定虚拟三维场景中所有被渲染后的目标实体图像遮盖的点，即可得到虚拟阴影。

方式2，从虚拟光源处引出多条射线，从而形成针对渲染后的目标实体图像的阴影体，射线通过渲染后的目标实体图像的每个顶点，其中，连接所有顶点可以形成目标实体图像的轮廓；从虚拟三维场景中虚拟镜头处向虚拟三维场景中像素点引出目标射线。当目标射线穿入或穿出渲染后的目标实体图像的阴影体时，更新目标射线对应的预设计数的值；其中，当目标射线穿入渲染后的目标实体图像的阴影体时，预设计数的值增加，当目标射线穿出渲染后的目标实体图像的阴影体时，预设计数的值减小。当预设计数的值大于预设阈值时，生成目标实体对应的虚拟阴影，虚拟阴影包括像素点。其中，预设计数和预设值可根据实际应用情况自定义设置。通过精确地判断每个像素点是否处于目标实体图像的虚拟阴影中，可以使得生成的虚拟阴影的效果比较细致。

举例来说，如图1d所示，图中表示了虚拟光源、虚拟镜头(视点)和阴影体，并假设从视点到虚拟三维场景中点的射线对应的预设计数的初始值为0。从视点至虚拟三维场景中的像素点a引出了一条射线a；当射线a穿入阴影体时，预设计数加1，当射线a穿出阴影体时，预设计数减1；最终预设计数为0，则像素点a处于虚拟阴影外。从视点至虚拟三维场景中的像素点b引出了一条射线b，当射线b穿入阴影体时，预设计数加1；最终预设计数为1，则像素点b处于虚拟阴影中。

方式3，可以根据渲染后的目标实体图像和虚拟光源的光源参数确定阴影区域；在一些实施例中，获取虚拟场景中虚拟模型的位置，根据该目标实体图像的位置和大小、虚拟光源的位置和虚拟模型的位置计算阴影区域。并且确定虚拟三维场景中位于阴影区域的虚拟模型；以虚拟光源的位置为视点，生成针对渲染后的目标实体图像的阴影贴图；将阴影贴图映射在虚拟三维场景中位于阴影区域的虚拟模型上，得到目标实体对应的虚拟阴影。

在一些实施例中，可以对实人物对应的虚拟阴影的边缘进行模糊化处理，得到模糊化后的虚拟阴影。越靠近边缘的阴影的颜色越淡，可以使阴影更加真实。

在一些实施例中，可以生成一个与渲染后的目标实体图像形状相同或相似的阴影贴图，该阴影贴图的尺寸可与渲染后的目标实体图像的尺寸成比例。将该阴影贴图映射在一个虚拟模型上，该虚拟模型可随着目标实体图像的移动而移动。

104、显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。

在一些实施例中，可以采用电子设备的显示设备显示虚拟三维场景中的画面；还可以实时将虚拟三维场景中的画面发送给其他客户端，这些客户端可以将虚拟三维场景中的画面显示给用户，其中客户端与计算设备可以相互通信。

在一些实施例中，可以采用虚拟环境中的虚拟镜头采集目标实体图像融合在虚拟三维场景中并生成虚拟阴影的画面。

由上可知，在本发明中，可以将现实世界采集的目标实体的图像映射到虚拟三维场景中，并采用虚拟光源对虚拟三维场景中的目标实体图像进行投射；当虚拟光源投射在该目标实体图像上时，目标实体图像可以受虚拟光源的光照强度和颜色的影响，并生成目标实体的虚拟阴影；目标实体图像也可以不受光照影响，只生成目标实体的虚拟阴影；由于映射到虚拟三维场景中的目标实体图像是二维图像，基于二维图像生成虚拟阴影效率较高；并且目标实体在虚拟三维场景中具有阴影，从而可以让目标实体融合在虚拟三维场景中的画面的融合度更高。由此，可以提升目标实体与虚拟三维场景融合时的真实性。

本发明提供的画面显示方案可以应用在各种虚拟三维场景与目标实体结合的场景中。比如，以虚拟演播室且目标实体为真实人物为例，该虚拟演播室系统包括摄像机和电子设备。电子设备获取真人图像，真人图像为在现实世界采集的真实人物的图像；将真人图像映射到虚拟三维场景中；基于虚拟光源和虚拟三维场景中的真人图像，在虚拟三维场景生成真实人物对应的虚拟阴影；显示画面，画面为真人图像和虚拟阴影在虚拟三维场景中的画面。采用本发明提供的方案能够获得真实人物在虚拟三维场景中的阴影，增加了真实人物与虚拟三维场景融合时的真实性。

根据上述实施例所描述的方法，以下将作进一步详细说明。

如图2所示，一种画面显示方法具体流程如下：

201、获取真人图像，真人图像为在现实世界采集的真实人物的图像。

在一些实施例中，摄影机采集真实人物在现实世界中的活动画面，形成视频流，电子设备接收摄影机发送的包含真实人物的视频流，对该视频流中每一帧图像进行色键抠像处理，得到真人图像。

202、将真人图像映射到虚拟三维场景中。

在一些实施例中，在虚拟三维场景中建立一个面片模型，将真人图像作为纹理贴图，采用材质读取真人图像，再把材质赋予给面片模型，即可通过纹理映射的方式将真人图像映射到虚拟三维场景中。

203、基于虚拟光源和虚拟三维场景中的真人图像，在虚拟三维场景生成真实人物对应的虚拟阴影。

在一些实施例中，获取预设指令以及虚拟光源的光源参数，可以通过虚拟引擎中的材质预先设置预设指令，预设指令可以包括第一指令和第二指令。

当预设指令为第一指令时，根据虚拟光源的光源参数渲染虚拟三维场景中的真人图像，并基于渲染后的真人图像和虚拟光源的光源参数，在虚拟三维场景中生成真实人物对应的虚拟阴影。在一些实施例中，根据虚拟光源的光源参数，确定虚拟三维场景中的真人图像对应的光照信息；光源参数可以包括但不限于光照强度和颜色，即计算真人图像在虚拟三维场景中的位置处的光照强度和颜色。采用虚拟三维场景中的真人图像对应的光照信息渲染虚拟三维场景中的真人图像。

当预设指令为第二指令时，基于虚拟光源的光源参数和虚拟三维场景中的真人图像，在虚拟三维场景中生成真实人物对应的虚拟阴影。

204、显示虚拟三维场景中的画面，画面包括真人图像和虚拟阴影。

在一些实施例中，电子设备控制虚拟镜头采集真人图像和虚拟阴影在虚拟三维场景中的画面，将该画面发送给客户端，以便用户观看。

由上可知，可以从摄像机处获取视频流，从视频流中获取真实人物的真人图像。并且将真人图像映射到运行在电子设备中的虚拟三维场景中，并基于虚拟光源和映射到虚拟三维场景中的真人图像，生成真实人物的虚拟阴影，从而形成真实人物融合在虚拟三维场景中的画面；由于映射到虚拟三维场景中的真人图像是二维图像，基于二维图像生成阴影效率较高，并且真实人物在虚拟三维场景中还具有阴影，由此，可以提升真实人物与虚拟三维场景融合时的真实性。

为了更好地实施以上方法，本发明还提供一种画面显示装置，该画面显示装置具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。

比如，在本实施例中，将以画面显示装置具体集成在计算机为例，对本发明的方法进行详细说明。

例如，如图3所示，该画面显示装置可以包括获取单元301、映射单元302、生成单元303以及显示单元304，如下：

(一)获取单元301：

获取单元301，用于获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像。

(二)映射单元302：

映射单元302，用于将目标实体图像映射到虚拟三维场景中。

(三)生成单元303：

生成单元303，用于基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影。

(四)显示单元304：

显示单元304，用于显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。

在一些实施例中，生成单元303具体用于：

获取预设指令以及虚拟光源的光源参数；

当预设指令为第一指令时，根据虚拟光源的光源参数渲染虚拟三维场景中的目标实体图像，并基于渲染后的目标实体图像和虚拟光源的光源参数，在虚拟三维场景中生成目标实体对应的虚拟阴影；

当预设指令为第二指令时，基于虚拟光源的光源参数和虚拟三维场景中的目标实体图像，在虚拟三维场景中生成目标实体对应的虚拟阴影。

在一些实施例中，生成单元303具体用于：

根据虚拟光源的光源参数，确定虚拟三维场景中的目标实体图像对应的光照信息；

采用虚拟三维场景中的目标实体图像对应的光照信息渲染虚拟三维场景中的目标实体图像。

在一些实施例中，虚拟光源的光源参数包括虚拟光源的位置，生成单元303具体用于：

以虚拟光源的位置为视点，生成针对渲染后的目标实体图像的深度信息，渲染后的目标实体图像的深度信息表示渲染后的目标实体图像上的点相对虚拟光源的深度值；

根据虚拟三维场景中虚拟镜头和渲染后的目标实体图像的深度信息，生成目标实体对应的虚拟阴影。

在一些实施例中，生成单元303具体用于：

确定虚拟镜头的位置；

以虚拟镜头的位置为视点，确定虚拟三维场景中像素点相对虚拟光源的第一深度值；

根据渲染后的目标实体图像的深度信息确定第二深度值，第二深度值为像素点在渲染后的目标实体图像上对应的点的深度值；

当第一深度值大于第二深度值时，生成目标实体对应的虚拟阴影，虚拟阴影包括像素点。

在一些实施例中，生成单元303具体用于：

从虚拟光源处引出多条射线，从而形成针对渲染后的目标实体图像的阴影体，射线通过渲染后的目标实体图像的每个顶点；

从虚拟三维场景中虚拟镜头处向虚拟三维场景中像素点引出目标射线；

当目标射线穿入或穿出渲染后的目标实体图像的阴影体时，更新目标射线对应的预设计数的值；

当预设计数的值大于预设阈值时，生成目标实体对应的虚拟阴影，虚拟阴影包括像素点。

在一些实施例中，虚拟光源的光源参数包括虚拟光源的位置，生成单元303具体用于：

根据渲染后的目标实体图像和虚拟光源的光源参数确定阴影区域；

确定虚拟三维场景中位于阴影区域的虚拟模型；

以虚拟光源的位置为视点，生成针对渲染后的目标实体图像的阴影贴图；

将阴影贴图映射在虚拟三维场景中位于阴影区域的虚拟模型上，得到目标实体对应的虚拟阴影。

在一些实施例中，映射单元302具体用于：

根据目标实体图像在虚拟三维场景中的虚拟载体上选取目标区域；

将目标实体图像映射在虚拟载体的目标区域上。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的画面显示装置可以将现实世界采集的目标实体的图像映射到虚拟三维场景中，并基于虚拟光源和映射到虚拟三维场景中的目标实体图像，生成目标实体的虚拟阴影，从而形成目标实体融合在虚拟三维场景中的画面；由于映射到虚拟三维场景中的目标实体图像是二维图像，基于二维图像生成阴影效率较高，并且目标实体在虚拟三维场景中还具有阴影，由此，可以提升目标实体与虚拟三维场景融合时的真实性。

相应的，本申请实施例还提供一种电子设备，该电子设备可以为终端或服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机、个人数字助理(Personal Digital Assistant，PDA)等终端设备。

如图4所示，图4为本申请实施例提供的电子设备的结构示意图，该电子设备400包括有一个或者一个以上处理核心的处理器401、有一个或一个以上计算机可读存储介质的存储器402及存储在存储器402上并可在处理器上运行的计算机程序。其中，处理器401与存储器402电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分，通过运行或加载存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备400的各种功能和处理数据，从而对电子设备400进行整体监控。

在本申请实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能：

获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；

将目标实体图像映射到虚拟三维场景中；

基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；

显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

可选的，如图4所示，电子设备400还包括：触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407。其中，处理器401分别与触控显示屏403、射频电路404、音频电路405、输入单元406以及电源407电性连接。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

触控显示屏403可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏403可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏403而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏403也可以作为输入单元406的一部分实现输入功能。

在本申请实施例中，通过处理器401执行虚拟引擎的程序在触控显示屏403上生成图形用户界面。该触控显示屏403用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令。

射频电路404可用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。

音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。音频电路405可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路405接收后转换为音频数据，再将音频数据输出处理器401处理后，经射频电路404以发送给比如另一电子设备，或者将音频数据输出至存储器402以便进一步处理。音频电路405还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。

输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源407用于给电子设备400的各个部件供电。可选的，电源407可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源407还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图4中未示出，电子设备400还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

由上可知，本实施例提供的电子设备可以将现实世界采集的目标实体的图像映射到虚拟三维场景中，并基于虚拟光源和映射到虚拟三维场景中的目标实体图像，生成目标实体的虚拟阴影，从而形成目标实体融合在虚拟三维场景中的画面；由于映射到虚拟三维场景中的目标实体图像是二维图像，基于二维图像生成阴影效率较高，并且目标实体在虚拟三维场景中还具有阴影，由此，可以提升目标实体与虚拟三维场景融合时的真实性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种画面显示方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取目标实体图像，目标实体图像为在现实世界采集的目标实体的图像；

将目标实体图像映射到虚拟三维场景中；

基于虚拟光源和虚拟三维场景中的目标实体图像，在虚拟三维场景生成目标实体对应的虚拟阴影；

显示虚拟三维场景中的画面，画面包括目标实体图像和虚拟阴影。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种画面显示方法中的步骤，因此，可以实现本申请实施例所提供的任一种画面显示方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种画面显示方法、装置、存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种画面显示方法，其特征在于，包括：

获取目标实体图像，所述目标实体图像为在现实世界采集的目标实体的图像；

将所述目标实体图像映射到虚拟三维场景中；

基于虚拟光源和所述虚拟三维场景中的目标实体图像，在所述虚拟三维场景生成所述目标实体对应的虚拟阴影；

显示所述虚拟三维场景中的画面，所述画面包括所述目标实体图像和所述虚拟阴影。

2.如权利要求1所述的画面显示方法，其特征在于，所述基于虚拟光源和所述虚拟三维场景中的目标实体图像，在所述虚拟三维场景生成所述目标实体对应的虚拟阴影，包括：

获取预设指令以及所述虚拟光源的光源参数；

当所述预设指令为第一指令时，根据所述虚拟光源的光源参数渲染所述虚拟三维场景中的目标实体图像，并基于渲染后的目标实体图像和所述虚拟光源的光源参数，在所述虚拟三维场景中生成所述目标实体对应的虚拟阴影；

当所述预设指令为第二指令时，基于所述虚拟光源的光源参数和所述虚拟三维场景中的目标实体图像，在所述虚拟三维场景中生成所述目标实体对应的虚拟阴影。

3.如权利要求2所述的画面显示方法，其特征在于，所述根据所述虚拟光源的光源参数渲染所述虚拟三维场景中的目标实体图像，包括：

根据所述虚拟光源的光源参数，确定所述虚拟三维场景中的目标实体图像对应的光照信息；

采用所述虚拟三维场景中的目标实体图像对应的光照信息渲染所述虚拟三维场景中的目标实体图像。

4.如权利要求2所述的画面显示方法，其特征在于，所述虚拟光源的光源参数包括虚拟光源的位置，所述基于渲染后的目标实体图像和所述虚拟光源的光源参数，在所述虚拟三维场景中生成所述目标实体对应的虚拟阴影，包括：

以所述虚拟光源的位置为视点，生成针对所述渲染后的目标实体图像的深度信息，所述渲染后的目标实体图像的深度信息表示所述渲染后的目标实体图像上的点相对所述虚拟光源的深度值；

根据所述虚拟三维场景中虚拟镜头和所述渲染后的目标实体图像的深度信息，生成所述目标实体对应的虚拟阴影。

5.如权利要求4所述的画面显示方法，其特征在于，所述根据所述虚拟三维场景中虚拟镜头和所述渲染后的目标实体图像的深度信息，生成所述目标实体对应的虚拟阴影，包括：

确定虚拟镜头的位置；

以所述虚拟镜头的位置为视点，确定所述虚拟三维场景中像素点相对所述虚拟光源的第一深度值；

根据所述渲染后的目标实体图像的深度信息确定第二深度值，所述第二深度值为所述像素点在所述渲染后的目标实体图像上对应的点的深度值；

当所述第一深度值大于所述第二深度值时，生成所述目标实体对应的虚拟阴影，所述虚拟阴影包括所述像素点。

6.如权利要求2所述的画面显示方法，其特征在于，所述基于渲染后的目标实体图像和所述虚拟光源的光源参数，在所述虚拟三维场景中生成所述目标实体对应的虚拟阴影，包括：

从所述虚拟光源处引出多条射线，从而形成针对所述渲染后的目标实体图像的阴影体，所述射线通过所述渲染后的目标实体图像的每个顶点；

从所述虚拟三维场景中虚拟镜头处向虚拟三维场景中像素点引出目标射线；

当所述目标射线穿入或穿出所述渲染后的目标实体图像的阴影体时，更新所述目标射线对应的预设计数的值；

当所述预设计数的值大于预设阈值时，生成所述目标实体对应的虚拟阴影，所述虚拟阴影包括所述像素点。

7.如权利要求2所述的画面显示方法，其特征在于，所述虚拟光源的光源参数包括虚拟光源的位置，所述基于渲染后的目标实体图像和所述虚拟光源的光源参数，在所述虚拟三维场景中生成所述目标实体对应的虚拟阴影，包括：

根据渲染后的目标实体图像和所述虚拟光源的光源参数确定阴影区域；

确定所述虚拟三维场景中位于所述阴影区域的虚拟模型；

以所述虚拟光源的位置为视点，生成针对所述渲染后的目标实体图像的阴影贴图；

将所述阴影贴图映射在所述虚拟三维场景中位于所述阴影区域的虚拟模型上，得到所述目标实体对应的虚拟阴影。

8.如权利要求1所述的画面显示方法，其特征在于，所述将所述目标实体图像映射到虚拟三维场景中，包括：

根据所述目标实体图像在虚拟三维场景中的虚拟载体上选取目标区域；

将所述目标实体图像映射在所述虚拟载体的目标区域上。

9.一种画面显示装置，其特征在于，包括：

获取单元，用于获取目标实体图像，所述目标实体图像为在现实世界采集的目标实体的图像；

映射单元，用于将所述目标实体图像映射到虚拟三维场景中；

生成单元，用于基于虚拟光源和所述虚拟三维场景中的目标实体图像，在所述虚拟三维场景生成所述目标实体对应的虚拟阴影；

显示单元，用于显示画面，所述画面为所述目标实体图像和所述虚拟阴影在所述虚拟三维场景中的画面。

10.一种设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令；所述处理器从所述存储器中加载指令，以执行如权利要求1～8任一项所述的画面显示方法中的步骤。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1～8任一项所述的画面显示方法中的步骤。

Images