CN111833423A - 展示方法、装置、设备和计算机可读存储介质 - Google Patents

Abstract

本公开实施例公开了一种展示方法、装置、设备和计算机可读存储介质。该方法包括：采集真实场景图像；根据真实场景图像获取真实场景所处的环境光信息；根据环境光信息，确定与真实场景匹配的虚拟对象的渲染效果参数；基于渲染效果参数，渲染虚拟对象；在显示设备上展示真实场景图像与虚拟对象相叠加的增强现实AR效果。通过本公开，能够使得虚拟对象更好的融合到真实场景图像中，减少了虚拟对象相对于真实场景图像的突兀感，提升了虚拟对象的真实感，满足了用户对视觉体验的要求。

Description

展示方法、装置、设备和计算机可读存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种展示方法、装置、设备和计算机可读存储介质。

背景技术

增强现实(Augmented Reality，AR)是一种将真实世界信息和虚拟世界信息相互结合的新技术，该技术通过在实时影像中渲染虚拟对象的方式实现将虚拟对象加载到真实世界中并进行互动。但是，在增强现实中对虚拟对象的渲染问题一直是影响用户视觉体验的关键，特别是对虚拟对象的光照渲染，对用户视觉体验的影响最大。

在相关技术中，在增强现实中对虚拟对象的光照渲染是往往通过人为设置的虚拟光源来进行渲染，被渲染的虚拟对象相对于实时影像有突兀感，不能很好的融合到真实世界中以满足用户的要求。

发明内容

本公开实施例提供一种展示方法、装置、设备及计算机可读存储介质。

本公开实施例的技术方案是这样实现的：

本公开实施例提供一种展示方法，包括：采集真实场景图像；根据所述真实场景图像获取真实场景所处的环境光信息；根据所述环境光信息，确定与所述真实场景匹配的虚拟对象的渲染效果参数；基于所述渲染效果参数，渲染所述虚拟对象；在显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果。

在本公开的一个实施例中，所述环境光信息包括以下至少之一：光源位置、光源色温、光源明暗度和环境纹理信息。

在本公开的一个实施例中，所述显示设备还包括图像采集单元，所述图像采集单元设置于所述显示屏的一侧，所述采集真实场景图像，包括：所述显示设备在移动的过程中通过所述图像采集单元实时采集所述真实场景图像。

在本公开的一个实施例中，所述根据所述真实场景图像获取真实场景所处的环境光信息，包括：识别所述真实场景图像中的至少一个实体对象；在所述至少一个实体对象中存在具有光源的目标实体对象的情况下，根据所述目标实体对象确定所述环境光信息；在所述至少一个实体对象中不存在具有光源的目标实体对象的情况下，根据所述至少一个实体对象生成虚拟光源，并根据所述虚拟光源确定所述环境光信息。

在本公开的一个实施例中，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述根据所述目标实体对象确定所述环境光信息，包括：获取所述目标实体对象在所述真实场景图像中的相对位置和光源图像；根据预设的转换规则，将所述相对位置转换为虚拟坐标系下的所述光源位置；根据所述光源图像确定所述光源色温和所述光源明暗度。

在本公开的一个实施例中，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述根据所述至少一个实体对象生成虚拟光源，并根据所述虚拟光源确定所述环境光信息，包括：获取每一所述实体对象在所述真实场景图像中的相对位置和实体对象图像；根据每一所述实体对象对应的实体对象图像，确定所述光源色温、所述光源明暗度和每一所述实体对象对应的光线方向；根据每一所述实体对象的相对位置和光线方向，确定虚拟坐标系下的所述光源位置。

在本公开的一个实施例中，在所述环境光信息包括环境纹理信息的情况下，所述根据所述真实场景图像获取环境光信息，还包括：获取每一所述实体对象在所述真实场景图像中的相对位置和实体对象图像；根据每一所述实体对象的相对位置和实体对象图像，生成每一所述实体对象对应的环境纹理信息。

在本公开的一个实施例中，所述根据所述环境光信息，确定所述虚拟对象的渲染效果参数，包括：获取所述虚拟对象的在所述虚拟坐标系下的显示位置；根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数。

在本公开的一个实施例中，所述虚拟对象的渲染效果参数包括以下至少之一：所述虚拟对象的贴纸和所述虚拟对象的纹理。

在本公开的一个实施例中，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述虚拟对象的渲染效果参数包括所述虚拟对象的贴纸，所述根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数，包括：根据所述光源位置、所述显示位置和所述虚拟对象的模型，确定待渲染的贴纸区域；所述贴纸区域位于所述模型的外表面；根据所述光源色温、所述光源明暗度和所述贴纸区域，确定所述虚拟对象的贴纸。

在本公开的一个实施例中，在所述环境光信息包括所述环境纹理信息的情况下，所述虚拟对象的渲染效果参数还包括所述虚拟对象的纹理，所述根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数，包括：根据每一所述实体对象的在所述真实场景图像中的相对位置、所述显示位置和所述虚拟对象的模型，确定待渲染的纹理区域；所述纹理区域位于所述模型的外表面；根据每一所述实体对象的实体对象图像和所述纹理区域，确定所述虚拟对象的纹理。

在本公开的一个实施例中，所述显示设备包括在预设的滑轨上可移动且设置有图像采集单元的显示屏；其中，所述图像采集单元用于在所述显示屏移动的过程中，实时采集真实场景图像。

本公开实施例提供一种展示装置，包括：采集模块，用于采集真实场景图像；获取模块，用于根据所述真实场景图像获取真实场景所处的环境光信息；确定模块，用于根据所述环境光信息，确定与所述真实场景匹配的虚拟对象的渲染效果参数；渲染模块，用于基于所述渲染效果参数，渲染所述虚拟对象；显示模块，用于在显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果。

本公开实施例提供一种显示设备，包括：显示屏；存储器，用于存储可执行计算机程序；处理器，用于执行所述存储器中存储的可执行计算机程序时，结合所述显示屏实现上述的展示方法。

本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器执行时，实现上述的展示方法。

本公开实施例提供的展示方法，通过采集真实场景图像；根据真实场景图像获取真实场景所处的环境光信息；根据环境光信息，确定与真实场景匹配的虚拟对象的渲染效果参数；基于渲染效果参数，渲染虚拟对象；在显示设备上展示真实场景图像与虚拟对象相叠加的AR效果。由于根据真实场景图像确定环境光信息，并根据该环境光信息确定与真实场景匹配的虚拟对象，可以使环境光信息与真实场景中的光照信息更加匹配，利用该环境光信息生成的渲染效果参数进行虚拟对象的渲染，提高了该虚拟对象渲染时的真实感，相较于传统技术中人工设置光源或人工设置渲染效果参数的方案，本公开可以适用于任何场景下的AR虚拟对象的渲染及展示，提升了方法的适用性；并且，由于提升了对虚拟对象渲染时的真实感，在将该虚拟对象与真实场景图像进行叠加显示的过程中，可以使得虚拟对象更好的融合到真实场景图像中，减少了虚拟对象相对于真实场景图像的突兀感，提升了虚拟对象的真实感，满足了用户对视觉体验的要求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例提供的展示系统的一个可选的架构示意图；

图2为本公开实施例提供的显示设备的结构示意图；

图3为本公开实施例提供的展示方法的一个可选的流程示意图；

图4为本公开实施例提供的展示方法的一个可选的流程示意图；

图5A为本公开实施例提供的展示方法的一个可选的流程示意图；

图5B为本公开实施例提供的一个可选的环境光信息获取示意图；

图6A为本公开实施例提供的展示方法的一个可选的流程示意图；

图6B为本公开实施例提供的一个可选的环境光信息获取示意图；

图7为本公开实施例提供的展示方法的一个可选的流程示意图；

图8为本公开实施例提供的展示方法的一个可选的流程示意图；

图9A为本公开实施例提供的展示方法的一个可选的流程示意图；

图9B为本公开实施例提供的一个可选的贴纸获取示意图；

图10A为本公开实施例提供的展示方法的一个可选的流程示意图；

图10B为本公开实施例提供的一个可选的纹理获取示意图；

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本公开实施例所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本公开实施例中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。

增强现实技术是一种将虚拟信息与真实世界巧妙融合的技术，用户可以通过AR设备可以观看到叠加在真实场景中的虚拟对象，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果，为本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。

本公开实施例提供一种展示方法、装置、设备及计算机可读存储介质，能够使得虚拟对象更好的融合到真实场景图像中，减少了虚拟对象相对于真实场景图像的突兀感，提升了虚拟对象的真实感，满足了用户对视觉体验的要求。

下面说明本公开实施例提供的显示设备的示例性应用，本公开实施例提供的显示设备可以实施为智能手机、平板电脑、笔记本电脑、智能电视等各种类型的具有图像采集单元的设备。显示设备上可设置显示屏，具体可以是触控与显示一体的显示面板，也可以由显示面板和覆盖在显示面板上的触控面板组成等。触控面板可以是红外线式、电阻式、表面声波式或电容式触控面板等，本公开实施例不作限制。在一实施例中，该显示设备可以内置有图像采集单元。在另一实施例中，该显示设备还可以与其他图像采集单元通信连接，以通过与其他图像采集单元之间的通信，接收其他图像采集单元采集的图像，本公开实施例不作限制。

下面，将说明上述显示设备实施时的示例性应用。参见图1，图1是本公开实施例提供的展示系统的一个可选的架构示意图，为支撑一个展示应用，在展示系统100中，设备400(显示设备，示例性示出了设备400-1和设备400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。下面结合在社交应用中，第一用户向第二用户发送展示有的AR画面的场景为例进行展示系统的说明。第一用户对应设备400-1，第二用户对应设备400-2。在社交应用的社交界面中，实现展示和AR画面发送的场景时，设备400-1，用于采集真实场景图像；根据所述真实场景图像获取真实场景所处的环境光信息；根据所述环境光信息，确定与所述真实场景匹配的虚拟对象的渲染效果参数；基于所述渲染效果参数，渲染所述虚拟对象；在显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果。服务器200，用于在用户通过设备400-1发送展示所述真实场景图像与所述相叠加的增强现实AR效果的图像时，将该图像发送至设备400-2，以使设备400-2在图形界面401-2上展示所述真实场景图像与所述相叠加的增强现实AR效果。

参见图2，图2是本公开实施例提供的设备的结构示意图，图2所示的设备400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。设备400中的各个组件通过总线系统440耦合在一起。可理解，总线系统440用于实现这些组件之间的连接通信。总线系统440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本公开实施例描述的存储器450旨在包括任意适合类型的存储器。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

在本公开的一些实施例中，存储器450，用于存储可执行计算机程序；处理器410，用于执行所述存储器中存储的可执行计算机程序时，实现本公开实施例所述的展示方法。

在本公开的一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作系统451，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个(有线或无线)网络接口420到达其他计算设备，示例性的网络接口420包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；

显示模块453，用于经由一个或多个与用户接口430相关联的输出装置431(例如，显示屏等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；

输入处理模块454，用于对一个或多个来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在本公开的一些实施例中，本公开实施例提供的设备中的软件实现部分可以由展示装置实现，图2示出了存储在存储器450中的展示装置455的部分，其可以是程序和插件等形式的软件，包括以下软件模块：采集模块4551、获取模块4552、确定模块4553、渲染模块4554和显示模块4555，将在下文中说明各个单元的功能。

在本公开的另一些实施例中，本公开实施例提供的装置可以采用硬件方式实现，作为示例，本公开实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本公开实施例提供的展示方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，ComplexProgrammable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable GateArray)或其他电子元件。

以下将结合本公开实施例提供的显示设备的示例性应用和实施，并以显示设备包括显示屏和图像采集单元为例，说明本公开实施例提供的展示方法。

图3是本公开实施例提供的展示方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。

S301、采集真实场景图像。

本公开的一些实施例中，显示设备可以通过图像采集单元实时采集真实场景图像。示例的，显示设备可以以视屏拍摄的方式，实时采集真实场景图像。示例的，真实场景图像可以是带有色彩且反应真实场景中的实体对象的RGB图像；例如，当真实场景为办公楼区域时，真实场景图像可以是办公楼区域的彩色图像。

S302、根据真实场景图像获取真实场景所处的环境光信息。

在本公开的一些实施例中，环境光信息包括以下至少之一：光源位置、光源色温、光源明暗度和环境纹理信息。

在本公开的一些实施例中，可以通过图像识别技术，先识别出真实场景图像中的至少一个实体对象，并获取每一实体对象对应的阴影图像，根据实体对象与对应的阴影对象的相对位置，可以获取光源在该实体对象的光照方向，结合不同实体对象的光照方向，可以得到光源的光源位置信息。其中，该光源位置为虚拟坐标系下的位置信息。例如，如上述所说的，当真实场景图像是办公楼区域的彩色图像时，实体对象可以是通过图像识别技术而识别出的办公楼区域中的某一栋或者某几栋大楼，实体对象的阴影图像则可以是该某一栋或者某几栋大楼的对应的阴影图像。

在本公开的一些实施例中，可以通过分析该真实场景图像中的整体颜色，进而可以得到光源色温、光源明暗度等环境光信息。其中，光源色温用于表征光源的颜色信息，可以通过K(开尔文)计量，色温小于3000K为暖色，色温在3000K至5000K之间为标准色，色温大于5000K为冷色。光源明暗度用于表征光源的光照强度，可以通过LX(勒克斯)计量。

在本公开的一些实施例中，可以通过图像识别技术，先识别出真实场景图像中的至少一个实体对象，根据每一实体对象在该真实场景图像中的图像信息生成每一实体对象对应的环境纹理信息，在渲染虚拟对象时，该环境纹理信息用于生成该虚拟对象的纹理，即生成的纹理可以表现出虚拟物体对周围实体对象的反射现象。

S303、根据环境光信息，确定与真实场景匹配的虚拟对象的渲染效果参数。

在本公开的一个实施例中，渲染效果参数可以包括以下至少之一：虚拟对象的贴纸和虚拟对象的纹理。

在本公开的一个实施例中，可以根据获取的环境光信息生成对应的渲染效果参数。在环境光信息包括光源位置、光源色温和光源明暗度中的至少之一的情况下，可以根据该环境光信息生成虚拟对象的贴纸，该贴纸用于表征该虚拟对象对于光源的反射效果。在环境光信息包括环境纹理信息的情况下，可以根据该环境光信息生成虚拟对象的纹理，该纹理用于表征该虚拟对象对于周围实体对象的反射效果。

S304、基于渲染效果参数，渲染虚拟对象。

在本公开的一个实施例中，该虚拟对象的模型和在虚拟空间中的显示位置是预先设置的。响应于对该虚拟对象的展示指令，根据该虚拟对象的模型、在虚拟空间中的显示位置和上述的渲染效果参数，在虚拟空间中生成渲染后的虚拟对象。

在本公开的一个实施例中，该虚拟对象可以是一个，也可以是多个，本公开对此不作限定。

在本公开的一个实施例中，在渲染效果参数包括贴纸的情况下，生成的虚拟对象的外表面可以对当前真实场景下的光源进行反射；在渲染效果参数包括纹理的情况下，生成的虚拟对象的外表面可以对当前真实场景下的实体对象进行反射；在渲染效果参数包括贴纸和纹理的情况下，生成的虚拟对象的外表面可以对当前真实场景下的光源和实体对象进行反射。

S305、在显示设备上展示真实场景图像与虚拟对象相叠加的AR效果。

在本公开的一个实施例中，显示设备在基于渲染效果参数渲染虚拟对象之后，会将渲染后的虚拟对象实时叠加至真实场景图像中的显示位置上，并将叠加了虚拟对象的真实场景图像的增强现实AR效果通过显示设备进行展示。

在本公开的一些实施例中，显示设备还包括图像采集单元，图像采集单元设置于显示屏的一侧；在实时采集真实场景图像时，显示设备在移动的过程中通过图像采集单元实时采集真实场景图像。所述显示设备可以是普通的显示屏、一体机、投影仪、虚拟现实(Virtual Reality，VR)设备、增强现实设备，也可以是具有特殊效果的显示设备。

其中，该图像采集单元可以设置于显示屏正面的一侧，也可以设置于显示屏背面的一侧。在显示设备进行移动时，位于显示设备上的图像采集单元也可以随着显示设备的移动而移动，因此，显示设备通过图像采集单元采集的真实场景图像也会随之变化，对应地，显示设备会根据新的真实场景图像进行环境光信息的获取，并重新获取渲染效果参数。

通过本公开实施例对于图3的上述示例性实施可知，本公开实施例通过采集真实场景图像；根据真实场景图像获取真实场景所处的环境光信息；根据环境光信息，确定与真实场景匹配的虚拟对象的渲染效果参数；基于渲染效果参数，渲染虚拟对象；在显示设备上展示真实场景图像与虚拟对象相叠加的AR效果。由于根据真实场景图像确定环境光信息，并根据该环境光信息确定与真实场景匹配的虚拟对象，可以使环境光信息与真实场景中的光照信息更加匹配，利用该环境光信息生成的渲染效果参数进行虚拟对象的渲染，提高了该虚拟对象渲染时的真实感，相较于传统技术中人工设置光源或人工设置渲染效果参数的方案，本公开可以适用于任何场景下的AR虚拟对象的渲染及展示，提升了方法的适用性；并且，由于提升了对虚拟对象渲染时的真实感，在将该虚拟对象与真实场景图像进行叠加显示的过程中，可以使得虚拟对象更好的融合到真实场景图像中，减少了虚拟对象相对于真实场景图像的突兀感，提升了虚拟对象的真实感，满足了用户对视觉体验的要求。

图4是本公开实施例提供的展示方法的一个可选的流程示意图，基于图3，图3示出的S302可以更新为S401至S403，将结合图4示出的步骤进行说明。

S401、识别真实场景图像中的至少一个实体对象。

在本公开的一个实施例中，显示设备可以将该真实场景图像输入至预设的训练好的实体对象识别模型中，该实体对象识别模型用于识别输入的真实场景图像中的实体对象。其中，该实体对象识别模型可以输出包含标注框的真实场景图像，在该输出的真实场景图像中，标注框用于框选实体对象并对该实体对象添加类别标记。

以真实场景图像为包含若干栋大楼的办公楼区域图像为例，在将该办公楼区域图像输入至该实体对象识别模型后，该实体对象识别模型可以识别该办公楼区域图像中的办公楼、办公楼阴影、太阳、天空和街道等实体对象，并对每一实体对象添加标注框。

S402、在至少一个实体对象中存在具有光源的目标实体对象的情况下，根据目标实体对象确定环境光信息。

在本公开的一个实施例中，由于显示设备可以移动，且真实场景中的光源也可以移动(例如太阳可以运动)，因此，显示设备获取的真实场景图像中可能会包括可以发光的实体对象。其中，可以将该至少一个实体对象中的具有光源的实体对象作为目标实体对象。举例来说，该目标实体对象可以包括太阳，路灯和显示屏等可以发光的实体对象。

在本公开的一个实施例中，在获取到目标实体对象后，由于该目标实体对象就是光源，因此可以直接根据该目标实体对象在真实场景图像中的相对位置确定虚拟光源在虚拟坐标系下的光源位置，也可以根据该目标实体对象在真实场景图像中的图像信息，确定光源色温和光源明暗度。

S403、在至少一个实体对象中不存在具有光源的目标实体对象的情况下，根据至少一个实体对象生成虚拟光源，并根据虚拟光源确定环境光信息。

在本公开的一个实施例中，由于显示设备可以移动，且真实场景中的光源也可以移动(例如太阳可以运动)，因此，显示设备获取的真实场景图像中可能不包括可以发光的实体对象，为了得到最接近真实场景下的光源位置，需要根据至少一个实体对象生成一个虚拟光源。

在本公开的一个实施例中，在获取到至少一个实体对象后，由于该至少一个实体对象不存在光源，因此需要获取每一实体对象在真实场景图像中的标注框，获取每一实体对象的实时影像，根据每一实体对象的实时影像估计虚拟光源的光源位置、光源色温和光源明暗度。

通过本公开实施例对于图4的上述示例性实施可知，本公开实施例通过识别真实场景图像中的至少一个实体对象；在至少一个实体对象中存在具有光源的目标实体对象的情况下，根据目标实体对象确定环境光信息；在至少一个实体对象中不存在具有光源的目标实体对象的情况下，根据至少一个实体对象生成虚拟光源，并根据虚拟光源确定环境光信息。由于通过识别该真实场景图像，获取其中具有光源的目标实体对象，可以快速得到与真实场景下真实光源最匹配的虚拟坐标系下的虚拟光源；并且，由于根据至少一个实体对象生成虚拟光源，可以在当前真实场景图像中不存在光源物体的情况下仍可以估计出更符合真实场景的虚拟光源。

图5A是本公开实施例提供的展示方法的一个可选的流程示意图，基于图4，图4示出的S402可以更新为S501至S503，将结合图5A示出的步骤进行说明。

S501、在环境光信息包括光源位置、光源色温和光源明暗度的情况下，获取目标实体对象在真实场景图像中的相对位置和光源图像。

在本公开的一个实施例中，在至少一个实体对象中存在具有光源的目标实体对象的情况下，显示设备根据该目标实体对象在该真实场景图像下中的标注框，确定目标实体对象在真实场景图像中的相对位置，也可以根据该标注框截取光源图像。

S502、根据预设的转换规则，将相对位置转换为虚拟坐标系下的光源位置。

在本公开的一个实施例中，显示设备和真实对象所在的空间为真实场景，该真实场景对应真实坐标系；虚拟对象和虚拟光源所在的空间为虚拟空间，该虚拟空间对应虚拟坐标系。该显示设备中预设有虚拟坐标系与真实坐标系之间的转换关系，显示设备可以先根据目标实体对象在真实场景图像中的相对位置，确定该目标实体对象在真实坐标系下的位置，再结合虚拟坐标系与真实坐标系之间的转换关系，确定该目标实体对象在虚拟坐标系下的光源位置。

S503、根据光源图像确定光源色温和光源明暗度。

在本公开的一个实施例中，通过分析该光源图像中各像素点的RGB信息确定光源色温，并且根据各像素点的灰度信息确定光源明暗度。

请参阅图5B，其示出了本公开实施例提供的一个可选的环境光信息获取示意图。在图5B中包括真实场景图像M1，通过实体对象的识别，可以得到目标实体对象L1、实体对象B1、B2(办公楼)。由于该M1中包含目标实体对象L1，因此，可以根据L1在M1中的相对位置确定虚拟坐标系下的光源位置，还可以根据L1在M1中对应的光源图像确定光源色温和光源明暗度。

通过本公开实施例对于图5A的上述示例性实施可知，本公开实施例通过确定目标实体对象的相对位置，可以快速准确的得到虚拟坐标系下的光源位置；并且，通过获取目标实体对象对应的光源图像，可以快速准确的得到光源色温和光源明暗度；提升了环境光信息的获取效率和准确率。

图6A是本公开实施例提供的展示方法的一个可选的流程示意图，基于图4，图4示出的S403可以更新为S601至S603，将结合图6A示出的步骤进行说明。

S601、在环境光信息包括光源位置、光源色温和光源明暗度的情况下，获取每一实体对象在真实场景图像中的相对位置和实体对象图像。

在本公开的一个实施例中，在至少一个实体对象中不存在具有光源的目标实体对象的情况下，显示设备需要根据至少一个实体对象生成虚拟光源。其中，显示设备获取至少一个实体对象在该真实场景图像下中对应的标注框，以确定每一实体对象在真实场景图像中的相对位置；还可以通过该标注框在该真实场景图像中截取每一实体对象对应的实体对象图像。

S602、根据每一实体对象对应的实体对象图像，确定光源色温、光源明暗度和每一实体对象对应的光线方向。

在本公开的一个实施例中，通过分析每一实体对象对应的实体对象图像中各像素点的RGB信息确定光源色温，并且根据各像素点的灰度信息确定光源明暗度。

在本公开的一个实施例中，对于每一实体对象图像，可以分析该实体对象图像的明暗区域分布来确定该实体对象对应的光线方向。例如，在实体对象图像中获取明亮区域的中心点位置，及黑暗区域的中心点位置，该实体对象图像对应的光线方向为明亮区域的中心点位置到黑暗区域的中心点位置的方向。

S603、根据每一实体对象的相对位置和光线方向，确定虚拟坐标系下的光源位置。

在本公开的一个实施例中，以每一实体对象的相对位置为原点，以对应的光线方向向光线发射方向延伸，各实体对象对应的光线方向可以汇聚到一个发光点，根据预设的转换规则，将该发光点的相对位置转换为虚拟坐标系下的光源位置。

请参阅图6B，其示出了本公开实施例提供的一个可选的环境光信息获取示意图。在图6B中包括真实场景图像M2，通过实体对象的识别，可以得到实体对象B1、B2(办公楼)。由于该M2中不包含目标实体对象，因此，需要通过B1中的明亮区域的中心点位置O1和黑暗区域O2确定B1对应的光线方向，通过B2中的明亮区域的中心点位置O3和黑暗区域O4确定B2对应的光线方向，结合B1对应的光线方向及B2对应的光线方向可得到发光点L2在当前真实场景图像中的相对位置，根据上述的转换规则，可以得到虚拟坐标系下的光源位置。同时，根据B1、B2在M2中对应的实体对象图像确定光源色温和光源明暗度。

通过本公开实施例对于图6A的上述示例性实施可知，本公开实施例通过确定每一实体对象对应的实体对象图像，可以在真实场景图像中不存在光源时，根据每一实体对象的光照方向估计出发光点在真实场景图像中的相对位置，进而得到虚拟坐标系下的光源位置，提升了环境光信息的获取效率和准确率。

图7是本公开实施例提供的展示方法的一个可选的流程示意图，基于图5A或图6A，图5A示出的S501至S503可以更新为S701至S702，或，图6A示出的S601至S603可以更新为S701至S702，将结合图7示出的步骤进行说明。

S701、获取每一实体对象在真实场景图像中的相对位置和实体对象图像。

在本公开的一个实施例中，S701中获取每一实体对象在真实场景图像中的相对位置和实体对象图像的方式，与S601中的获取方式相同。

S702、根据每一实体对象的相对位置和实体对象图像，生成每一实体对象对应的环境纹理信息。

在本公开的一个实施例中，在环境光信息包括环境纹理信息的情况下，显示设备还会根据每一实体对象在真实场景图像中的相对位置和实体对象图像，建立该实体对象对应的环境纹理信息。该每一实体对象的环境纹理信息用于在渲染虚拟对象的外表面的纹理时，可以对当前真实场景下的每一实体对象的实体对象图像进行反射。

通过本公开实施例对于图7的上述示例性实施可知，本公开实施例通过获取每一实体对象的相对位置和实体对象图像，生成每一实体对象对应的环境纹理信息，可以在渲染虚拟对象时符合真实场景的环境反射现象，提升了真实感。

图8是本公开实施例提供的展示方法的一个可选的流程示意图，基于图3及上述其他实施例，图3示出的S303可以更新为S801至S802，将结合图8示出的步骤进行说明。

S801、获取虚拟对象的在虚拟坐标系下的显示位置。

S802、根据显示位置及环境光信息确定虚拟对象的渲染效果参数。

在本公开的一个实施例中，该虚拟对象在虚拟坐标系下的显示位置是预先设置的。响应于对该虚拟对象的展示指令，根据该虚拟对象的模型、在虚拟空间中的显示位置和上述的渲染效果参数，在虚拟空间中生成渲染后的虚拟对象。

在本公开的一个实施例中，请参阅图9A，图9A是本公开实施例提供的展示方法的一个可选的流程示意图，基于图8及上述其他实施例，图8示出的S802可以更新为S901至S902，将结合图9A示出的步骤进行说明。

S901、在环境光信息包括光源位置、光源色温和光源明暗度的情况下，虚拟对象的渲染效果参数包括虚拟对象的贴纸；根据光源位置、显示位置和虚拟对象的模型，确定待渲染的贴纸区域；贴纸区域位于模型的外表面。

在本公开的一个实施例中，光源位置、光源色温和光源明暗度用于确定虚拟对象的贴纸，该贴纸可以使得生成的虚拟对象的外表面可以对当前真实场景下的光源进行反射。其中，根据光源位置和虚拟物体的显示位置可以获取到该虚拟物体受到的光照方向，根据该光照方向及该虚拟对象的模型，可以获取到该虚拟对象的模型的外表面受到光照的区域，将该区域确定为贴纸区域。

S902、根据光源色温、光源明暗度和贴纸区域，确定虚拟对象的贴纸。

在本公开的一个实施例中，可以根据该光源色温、光源明暗度在该贴纸区域中填充对应RGB信息及灰度信息的像素点，将填充完像素点的贴纸区域形成的表面作为虚拟对象的贴纸。在对虚拟对象的渲染过程中，可以将该贴纸显示在该虚拟对象模型对应的外表面位置上，可以反射出真实场景下的光源。

请参阅图9B，其示出了本公开实施例提供的一个可选的贴纸获取示意图。在图9B中包括真实场景图像M1，通过实体对象的识别，可以得到目标实体对象L1、实体对象B1、B2(办公楼)。在渲染虚拟对象A1时，根据A1的相对位置、与L1在虚拟坐标系中的相对位置，可以确定A1受到的光照方向，结合该光照方向及A1的模型，可以获取到贴纸区域P1，P1位于A1的球面模型的外表面，之后根据光源色温、光源明暗度填充该贴纸区域P1可以得到该虚拟物体A1的贴纸。其中，该真实场景图像M1还可以不包括目标实体对象L1，可以通过虚拟光源在虚拟坐标系中的相对位置和A1的相对位置，确定A1受到的光照方向。

通过本公开实施例对于图9A的上述示例性实施可知，本公开实施例通过虚拟对象的显示位置、光源位置及虚拟对象的模型，可以在虚拟对象的模型外表面确定用于反射光源的贴纸区域，可以使得虚拟对象在渲染时符合真实场景的光源光照方向，提升了真实感；通过光源色温、光源明暗度和贴纸区域，确定虚拟对象的贴纸，可以使得虚拟对象在渲染时符合真实场景的光源的色彩，也提升了虚拟物体渲染的真实感。

图10A是本公开实施例提供的展示方法的一个可选的流程示意图，基于图8及上述其他实施例，图8示出的S802可以更新为S1001至S1002，将结合图10A示出的步骤进行说明。

S1001、在环境光信息包括环境纹理信息的情况下，虚拟对象的渲染效果参数还包括虚拟对象的纹理；根据每一实体对象的在真实场景图像中的相对位置、显示位置和虚拟对象的模型，确定待渲染的纹理区域；纹理区域位于模型的外表面。

在本公开的一个实施例中，环境纹理信息用于确定虚拟对象的纹理，该纹理可以使得生成的虚拟对象的外表面可以对当前真实场景中的真实对象进行反射。其中，可以先根据上述的转换规则，将每一实体对象在真实场景图像中的相对位置转换为虚拟坐标系下的相对位置，根据每一实体对象的虚拟坐标系下的相对位置和虚拟对象的显示位置，可以获取到该虚拟物体接收到每一实体对象的照射方向，根据该照射方向及该虚拟对象的模型，可以获取到该虚拟对象的模型的外表面受到各真实对象照射的区域，其中，该区域包括每一真实对象对应一个子区域，将该区域确定为纹理区域。

S1002、根据每一实体对象的实体对象图像和纹理区域，确定虚拟对象的纹理。

在本公开的一个实施例中，可以利用每一实体对象对应的实体对象图像填充该纹理区域中与实体对象对应的子区域，将填充实体对象图像的纹理区域形成的表面作为虚拟对象的纹理。在对虚拟对象的渲染过程中，可以将该纹理显示在该虚拟对象模型对应的外表面位置上，可以反射出真实场景下的真实对象。

请参阅图10B，其示出了本公开实施例提供的一个可选的纹理获取示意图。在图10B中包括真实场景图像M3，通过实体对象的识别，可以得到实体对象B1、B2(办公楼)。在渲染虚拟对象A2时，根据A2的相对位置、与B1、B2在虚拟坐标系中的相对位置，可以确定A2受到B1、B2的照射方向，结合B1、B2的照射方向及A2的模型，可以获取到B1对应的纹理区域T1和B2对应的纹理区域T2，T1和T2位于A2的模型的外表面，之后将B1对应的实体对象图像填充至对应的T1区域，并将B2对应的实体对象图像填充至对应的T2区域，将填充后的T1区域及T2区域作为该虚拟物体A2的纹理。

通过本公开实施例对于图10A的上述示例性实施可知，本公开实施例通过虚拟对象的显示位置、各实体对象的相对位置及虚拟对象的模型，可以在虚拟对象的模型外表面确定用于反射环境中实体对象的纹理区域及填充对应的实体对象图像，可以使得虚拟对象在渲染时符合真实场景的环境反射现象，提升了真实感。

在本公开的一些实施例中，显示设备包括在预设的滑轨上可移动且设置有图像采集单元的显示屏；其中，图像采集单元用于在显示屏移动的过程中，实时采集真实场景图像。

下面继续说明本公开实施例提供的展示装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的展示装置455中的软件模块可以包括：

采集模块4551，用于采集真实场景图像；

获取模块4552，用于根据所述真实场景图像获取真实场景所处的环境光信息；

确定模块4553，用于根据所述环境光信息，确定与所述真实场景匹配的虚拟对象的渲染效果参数；

渲染模块4554，用于基于所述渲染效果参数，渲染所述虚拟对象；

显示模块4555，用于在显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果。

在本公开的一些实施例中，所述环境光信息包括以下至少之一：光源位置、光源色温、光源明暗度和环境纹理信息。

在本公开的一些实施例中，所述显示设备还包括图像采集单元，所述采集模块4551还用于，在移动的过程中通过所述图像采集单元实时采集所述真实场景图像。

在本公开的一些实施例中，所述获取模块4552还用于，识别所述真实场景图像中的至少一个实体对象；在所述至少一个实体对象中存在具有光源的目标实体对象的情况下，根据所述目标实体对象确定所述环境光信息；在所述至少一个实体对象中不存在具有光源的目标实体对象的情况下，根据所述至少一个实体对象生成虚拟光源，并根据所述虚拟光源确定所述环境光信息。

在本公开的一些实施例中，所述获取模块4552还用于，获取所述目标实体对象在所述真实场景图像中的相对位置和光源图像；根据预设的转换规则，将所述相对位置转换为虚拟坐标系下的所述光源位置；根据所述光源图像确定所述光源色温和所述光源明暗度。

在本公开的一些实施例中，所述获取模块4552还用于，获取每一所述实体对象在所述真实场景图像中的相对位置和实体对象图像；根据每一所述实体对象对应的实体对象图像，确定所述光源色温、所述光源明暗度和每一所述实体对象对应的光线方向；根据每一所述实体对象的相对位置和光线方向，确定虚拟坐标系下的所述光源位置。

在本公开的一些实施例中，所述获取模块4552还用于，获取每一所述实体对象在所述真实场景图像中的相对位置和实体对象图像；根据每一所述实体对象的相对位置和实体对象图像，生成每一所述实体对象对应的环境纹理信息。

在本公开的一些实施例中，所述确定模块4553还用于，获取所述虚拟对象的在所述虚拟坐标系下的显示位置；根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数。

在本公开的一些实施例中，所述虚拟对象的渲染效果参数包括以下至少之一：所述虚拟对象的贴纸和所述虚拟对象的纹理。

在本公开的一些实施例中，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述虚拟对象的渲染效果参数包括所述虚拟对象的贴纸，所述确定模块4553还用于，根据所述光源位置、所述显示位置和所述虚拟对象的模型，确定待渲染的贴纸区域；所述贴纸区域位于所述模型的外表面；根据所述光源色温、所述光源明暗度和所述贴纸区域，确定所述虚拟对象的贴纸。

在本公开的一些实施例中，在所述环境光信息包括所述环境纹理信息的情况下，所述虚拟对象的渲染效果参数还包括所述虚拟对象的纹理，所述确定模块4553还用于根据每一所述实体对象的在所述真实场景图像中的相对位置、所述显示位置和所述虚拟对象的模型，确定待渲染的纹理区域；所述纹理区域位于所述模型的外表面；根据每一所述实体对象的实体对象图像和所述纹理区域，确定所述虚拟对象的纹理。

在本公开的一些实施例中，所述显示设备包括在预设的滑轨上可移动且设置有图像采集单元的显示屏；其中，所述图像采集单元用于在所述显示屏移动的过程中，实时采集真实场景图像。

本公开实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本公开实施例提供的方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。

Claims (15)

1.一种展示方法，其特征在于，包括：

采集真实场景图像；

根据所述真实场景图像获取真实场景所处的环境光信息；

根据所述环境光信息，确定与所述真实场景匹配的虚拟对象的渲染效果参数；

基于所述渲染效果参数，渲染所述虚拟对象；

在显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果。

2.根据权利要求1所述的方法，其特征在于，所述环境光信息包括以下至少之一：光源位置、光源色温、光源明暗度和环境纹理信息。

3.根据权利要求1所述的方法，其特征在于，所述显示设备还包括图像采集单元，所述图像采集单元设置于所述显示屏的一侧，所述采集真实场景图像，包括：

所述显示设备在移动的过程中通过所述图像采集单元实时采集所述真实场景图像。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述真实场景图像获取真实场景所处的环境光信息，包括：

识别所述真实场景图像中的至少一个实体对象；

在所述至少一个实体对象中存在具有光源的目标实体对象的情况下，根据所述目标实体对象确定所述环境光信息；

在所述至少一个实体对象中不存在具有光源的目标实体对象的情况下，根据所述至少一个实体对象生成虚拟光源，并根据所述虚拟光源确定所述环境光信息。

5.根据权利要求4所述的方法，其特征在于，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述根据所述目标实体对象确定所述环境光信息，包括

获取所述目标实体对象在所述真实场景图像中的相对位置和光源图像；

根据预设的转换规则，将所述相对位置转换为虚拟坐标系下的所述光源位置；

根据所述光源图像确定所述光源色温和所述光源明暗度。

6.根据权利要求4所述的方法，其特征在于，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述根据所述至少一个实体对象生成虚拟光源，并根据所述虚拟光源确定所述环境光信息，包括：

获取每一所述实体对象在所述真实场景图像中的相对位置和实体对象图像；

根据每一所述实体对象对应的实体对象图像，确定所述光源色温、所述光源明暗度和每一所述实体对象对应的光线方向；

根据每一所述实体对象的相对位置和光线方向，确定虚拟坐标系下的所述光源位置。

7.根据权利要求5或6所述的方法，其特征在于，在所述环境光信息包括环境纹理信息的情况下，所述根据所述真实场景图像获取环境光信息，还包括：

获取每一所述实体对象在所述真实场景图像中的相对位置和实体对象图像；

根据每一所述实体对象的相对位置和实体对象图像，生成每一所述实体对象对应的环境纹理信息。

8.根据权利要求7所述的方法，其特征在于，所述根据所述环境光信息，确定所述虚拟对象的渲染效果参数，包括：

获取所述虚拟对象的在所述虚拟坐标系下的显示位置；

根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数。

9.根据权利要求8所述的方法，其特征在于，所述虚拟对象的渲染效果参数包括以下至少之一：所述虚拟对象的贴纸和所述虚拟对象的纹理。

10.根据权利要求9所述的方法，其特征在于，在所述环境光信息包括光源位置、光源色温和光源明暗度的情况下，所述虚拟对象的渲染效果参数包括所述虚拟对象的贴纸，所述根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数，包括：

根据所述光源位置、所述显示位置和所述虚拟对象的模型，确定待渲染的贴纸区域；所述贴纸区域位于所述模型的外表面；

根据所述光源色温、所述光源明暗度和所述贴纸区域，确定所述虚拟对象的贴纸。

11.根据权利要求10所述的方法，其特征在于，在所述环境光信息包括所述环境纹理信息的情况下，所述虚拟对象的渲染效果参数还包括所述虚拟对象的纹理，所述根据所述显示位置及所述环境光信息确定所述虚拟对象的渲染效果参数，包括：

根据每一所述实体对象的在所述真实场景图像中的相对位置、所述显示位置和所述虚拟对象的模型，确定待渲染的纹理区域；所述纹理区域位于所述模型的外表面；

根据每一所述实体对象的实体对象图像和所述纹理区域，确定所述虚拟对象的纹理。

12.根据权利要求1至11任一项所述的方法，其特征在于，所述显示设备包括在预设的滑轨上可移动且设置有图像采集单元的显示屏；

其中，所述图像采集单元用于在所述显示屏移动的过程中，实时采集所述真实场景图像。

13.一种展示装置，其特征在于，包括：

采集模块，用于采集真实场景图像；

获取模块，用于根据所述真实场景图像获取真实场景所处的环境光信息；

确定模块，用于根据所述环境光信息，确定与所述真实场景匹配的虚拟对象的渲染效果参数；

渲染模块，用于基于所述渲染效果参数，渲染所述虚拟对象；

显示模块，用于在显示设备上展示所述真实场景图像与所述虚拟对象相叠加的增强现实AR效果。

14.一种显示设备，其特征在于，包括：

显示屏；

存储器，用于存储可执行计算机程序；

处理器，用于执行所述存储器中存储的可执行计算机程序时，结合所述显示屏，实现权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于引起处理器执行时，实现权利要求1至12中任一项所述的方法。

Images