CN111833458B - 图像显示方法及装置、设备、计算机可读存储介质 - Google Patents

Abstract

本公开提供了一种图像显示方法、装置、设备及计算机可读存储介质，所述方法包括：采集真实场景图像，并获取与真实场景图像对应的虚拟对象数据；基于真实场景图像，确定虚拟对象数据对应的虚拟对象的显示数据；基于显示数据以及虚拟对象数据，进行渲染处理得到虚拟效果图像，虚拟效果图像中的虚拟对象不被真实场景图像中的真实对象遮挡；在显示设备上展示真实场景图像与虚拟效果图像相叠加的增强现实效果。通过本公开，能够提高展示的灵活性和丰富性。

Description

图像显示方法及装置、设备、计算机可读存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种图像显示方法及装置、设备、计算机可读存储介质。

背景技术

目前，对于一些大型展会，如汽车展示、工地楼体展示、或建筑规划沙盘展示等场景，参展者往往只能看到目前完成程度的展品实物本身，对与展品相关的进一步详细信息的展示以及预期的完整展示效果多依赖于讲解员的讲解或是单独的宣传片展示，导致展示效果不够灵活和丰富。

发明内容

本公开实施例提供了一种图像显示方法及装置、设备、计算机可读存储介质。

本公开的技术方案是这样实现的：

本公开实施例提供一种图像显示方法，包括：

采集真实场景图像，并获取与所述真实场景图像对应的虚拟对象数据；基于所述真实场景图像，确定所述虚拟对象数据对应的虚拟对象的显示数据；基于所述显示数据以及所述虚拟对象数据，进行渲染处理得到虚拟效果图像，所述虚拟效果图像中的虚拟对象不被所述真实场景图像中的真实对象遮挡；在显示设备上展示所述真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

本公开实施例提供一种图像显示装置，所述装置包括：

采集模块，用于采集真实场景图像；

获取模块，用于获取与所述真实场景图像对应的虚拟对象数据；

确定模块，用于基于所述真实场景图像，确定所述虚拟对象数据对应的虚拟对象的显示数据；

处理模块，用于基于所述显示数据以及所述虚拟对象数据，进行渲染处理，得到虚拟效果图像，所述虚拟效果图像中的虚拟对象不被所述真实场景图像中的真实对象遮挡；

展示模块，用于在显示设备上展示所述真实场景图像与所述虚拟效果图像相叠加的增强显示效果。

本公开实施例提供一种图像显示设备，该图像显示设备包括：

显示屏；

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序时，结合所述显示屏，实现上述任一方法的步骤。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现上述任一方法的步骤。

本公开实施例具有以下有益效果：

本公开实施例提供的技术方案，首先采集真实场景图像，并获取与真实场景图像对应的虚拟对象数据；接着，基于真实场景图像，确定虚拟对象数据对应的虚拟对象的显示数据；并基于显示数据以及虚拟对象数据，进行渲染处理得到虚拟效果图像，虚拟效果图像中的虚拟对象不被真实场景图像中的真实对象遮挡；最后，在显示设备上展示真实场景图像与虚拟效果图像相叠加的增强现实效果。如此，在真实场景图像中增加虚拟对象，通过设置虚拟对象的显示参数，使得虚拟对象不被真实场景图像中的真实对象遮挡，增强了图像的显示效果，并且提高了图像显示的灵活性和丰富性。

附图说明

图1a是本公开实施例提供的图像显示系统的一个可选的结构示意图；

图1b为本申请实施例提供的一种应用场景的示意图一；

图1c为本申请实施例提供的一种应用场景的示意图二；

图1d为本公开实施例提供的一种图像显示方法流程图一；

图2为本公开实施例提供的一种显示界面示意图一；

图3a为本公开实施例提供的一种显示界面示意图二；

图3b为本公开实施例提供的一种显示界面示意图三；

图4为本公开实施例提供的一种显示界面示意图四；

图5为本公开实施例提供的一种图像显示方法流程图二；

图6为本公开实施例提供的一种显示界面示意图五；

图7为本公开实施例提供的一种显示界面示意图六；

图8为本公开实施例提供的一种显示界面示意图七；

图9为本公开实施例提供的一种显示界面示意图八；

图10为本公开实施例提供的一种图像显示装置的组成结构示意图；

图11为本公开实施例提供的一种图像显示设备的组成结构示意图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，用户可以通过AR设备可以观看到叠加在真实场景中的虚拟对象，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟对象能够更好地与现实场景相融合，实现增强现实场景中对虚拟对象的呈现效果，为本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。

本公开实施例提供一种图像显示方法、装置、设备和计算机可读存储介质，能够提高展示的灵活性和丰富性，本公开实施例提供的图像显示方法应用于图像显示设备中，下面说明本公开实施例提供的图像显示设备的示例性应用，本公开实施例提供的图像显示设备可以实施为AR眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，显示屏(例如可移动的显示屏，显示屏可以在预设的滑动轨道上移动)、移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端。

下面，将说明图像显示设备实施为终端时示例性应用。当图像显示设备实施为终端时，可以基于真实场景图像中的真实对象，从终端的内部存储空间中的预设三维虚拟场景获取确定对应的虚拟对象数据，根据虚拟对象数据呈现与真实对象叠加的虚实结合的AR图像效果；终端也可以与云端服务器进行交互，通过预存在云端服务器的预设三维虚拟场景获得虚拟对象数据。下面结合在对展示物体进行展示的场景中，终端通过与服务器交互的方式获取虚拟对象数据，以呈现AR图像效果为例进行图像显示系统的说明。

参见图1a，图1a是本公开实施例提供的图像显示系统100的一个可选的架构示意图，为实现支撑一个展示应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。在真实的展示场景中，如沙盘展示，工地楼宇展示等，终端400可以是带有摄像头的手机，其中手机可以通过手持移动。

终端400用于通过图像采集单元采集当前移动位置上的真实场景图像；基于真实场景图像中包括的真实对象，确定与真实对象匹配的虚拟对象数据；利用虚拟对象数据，在真实场景图像中与真实对象关联的展示位置处渲染虚拟对象数据对应的虚拟对象；在图形界面410展示真实场景图像与虚拟对象相叠加的增强现实AR效果。

示例性的，当终端400实施为手机时，可以启动手机上的预设展示应用，通过预设展示应用调用摄像头采集真实场景图像，并基于真实场景图像中包括的真实对象，向服务器200发起数据请求，服务器200接收到数据请求后，从预存在数据库500中的预设虚拟三维场景模型中确定与真实对象匹配的虚拟对象数据；并将虚拟对象数据发回给终端400。终端400得到服务器反馈的虚拟对象数据之后，通过渲染工具根据虚拟对象数据渲染出虚拟对象，并叠加在真实场景图像中真实对象的目标区域，从而得到虚实结合的AR效果图像，最终将AR效果图像呈现在终端400的图形界面上。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例中不做限制。

下面详细介绍本申请实施例的应用场景。

图1b为本申请实施例提供的一种应用场景的示意图，如图1b所示，图像显示设备可以包括可移动的显示屏101，该可移动的显示屏101可以设置在楼宇之中，在其它实施例中，可移动的显示屏101可以设置在楼宇的边缘或楼宇之外。可移动的显示屏101可以用于拍摄楼宇，显示楼宇以及关于楼宇的虚拟对象。可移动的显示屏101显示的楼宇，可以是拍摄得到的楼宇，或者可以与拍摄的楼宇对应的楼宇的渲染模型，或者可以部分是拍摄得到的楼宇，部分为楼宇的渲染模型。例如，在拍摄楼宇A和楼宇B的情况下，可移动的显示屏101可以确定楼宇A的楼宇模型为A’，楼宇B的楼宇模型为B’，可移动的显示屏101可以显示的是楼宇A和楼宇模型B’，或者，可以显示楼宇模型A’和楼宇模型B。楼宇的虚拟对象可以是楼宇的楼号信息、楼宇所在的公司信息、层数信息以及负责人信息等中的至少一种。

图1c为本申请实施例提供的另一种应用场景的示意图，如图1c所示，本申请实施例中的图像显示设备还可以终端设备102，用户可以手持或佩戴终端设备102进入楼宇之间，并通过拍摄楼宇使在终端设备102上显示楼宇、楼宇模型以及楼宇标签(虚拟对象)中的至少一种。

下面，将结合本公开实施例提供的图像显示设备的示例性应用和实施，说明本公开实施例提供的图像显示方法。

本公开实施例提供一种图像显示方法，如图1d所示，该方法包括：

S110、采集真实场景图像，并获取与真实场景图像对应的虚拟对象数据。

在本公开实施例中，图像显示设备可以通过摄像头实时采集当前真实场景的图像。其中，真实场景可以是建筑物室内场景、街道场景、具体的物体等能够叠加虚拟对象的场景，通过在真实场景中叠加虚拟对象，来呈现增强现实的效果，本公开实施例不作限制。

在本公开实施例中，图像显示设备中用于采集真实场景图像的摄像头可以是单目摄像头，也可以是双目摄像头，本公开实施例这里不做限定。

在本公开实施例中，图像显示设备可以识别真实场景图像中的内容信息，并根据识别到的内容信息，获取与该真实场景图像对应的虚拟对象数据。

在本公开实施例中，虚拟对象数据可以是预设的，也可以是根据真实场景图像实时生成的。

在本公开的一些实施例中，可以预先构建虚拟对象数据库，即预设虚拟对象数据库，该预设虚拟对象数据库可以存储真实场景中的多个真实对象与虚拟对象数据之间的映射关系。这样，当图像显示设备在识别到真实场景图像的内容信息后，图像显示设备可以从预设虚拟对象数据库中查找并获取与该内容信息对应的虚拟对象数据，并获取该虚拟对象数据。

在本公开的一些实施例中，可以通过机器学习的方式，预先训练虚拟对象数据模型。这里，可以根据大量的真实对象的样本数据，以及真实对象的样本数据对应的虚拟对象数据，训练神经网络模型，得到训练好的虚拟对象数据模型。这样，当图像显示设备在识别到真实场景图像的内容信息后，将该内容信息输入至虚拟对象数据模型中，通过虚拟对象数据模型来得到实时生成的虚拟对象数据。

在本公开实施例中，图像显示设备可以从本地存储空间中获取与该真实场景图像对应的虚拟对象数据，也可以向第三方设备请求与该真实场景对应的虚拟对象数据。本公开实施例这里对获取虚拟对象数据的方式不做限定。

在本公开实施例中，虚拟对象数据是一组虚拟的图像数据，一个虚拟对象数据可以对应一个虚拟对象。虚拟对象可以理解为是在真实场景中展现的虚拟物体。

在本公开实施例中，虚拟对象可以包括以下至少之一：

虚拟标签；

虚拟动画模型；

虚拟物体细节模型。

其中，虚拟标签可以是针对真实场景图像中某个真实对象相关的信息的展示；例如，参考图2所示的一种示例性的图像显示设备的显示界面示意图，虚拟标签可以是真实场景图像中显示的楼体21对应的虚拟广告牌22。

虚拟动画模型，可以是在真实场景中的动态显示的虚拟物体；例如，参考图3a和图3b所示的一种示例性的图像显示设备的显示界面示意图，虚拟动画模型可以是在真实场景图像中显示的道路31上移动的卡通人物32，具体，卡通人物可以按照预设运动轨迹从图3a所示的位置A，移动到图3b所示的位置B。

虚拟物体细节模型，可以是对真实场景中的对象的虚拟化的细节展示；例如，参考图4所示的一种示例性的图像显示设备的显示界面示意图。虚拟物体细节模型可以是真实场景中汽车内部的虚拟细节展示。

S120、基于真实场景图像，确定虚拟对象数据对应的虚拟对象的显示数据。

在一些可能的实现方式中，在采集到真实场景图像后，可以对真实场景图像进行三维建模，并将虚拟对象数据对应的虚拟对象插入到真实场景图像的三维模型中。这样，在插入的时候，可能会导致虚拟对象被真实场景中某些真实对象的三维模型所遮挡。

基于此，在本公开实施例中，通过S110得到真实场景图像对应的虚拟对象数据后，可以根据真实场景图像中的真实对象的三维模型，确定虚拟对象数据所对应的虚拟对象的显示数据。

在本公开的一些实施例中，显示数据可以是以下数据之一：虚拟对象的显示位置、虚拟对象的显示区域、虚拟对象的显示参数、与虚拟对象相关的真实对象对应的三维模型的显示参数等。

可以理解的是，图像显示设备可以根据真实场景图像，对虚拟对象的显示数据进行设置，使得虚拟对象在显示过程中不被真实场景图像中的真实对象的三维模型遮挡。

S130、基于显示数据以及虚拟对象数据，进行渲染处理得到虚拟效果图像，虚拟效果图像中的虚拟对象不被真实场景图像中的真实对象遮挡。

在本公开的一些实施例中，图像显示设备可以基于虚拟对象的显示数据，对虚拟对象数据所对应的虚拟对象进行渲染处理，使得渲染处理后的虚拟对象叠加到真实场景图像对应的三维模型中时，不被真实场景图像中真实对象的三维模型所遮挡。

S140、在显示设备上展示真实场景图像与虚拟效果图像相叠加的增强现实效果。

在本公开的一些实施例中，在对虚拟对象进行渲染处理得到虚拟效果图像之后，可以将真实场景图像和虚拟效果图像进行叠加，并在显示设备上显示叠加后的增强现实效果。这样，用户在显示设备上观看采集到的真实场景图像时，可以观看到真实场景的三维立体效果，以及叠加在真实场景图像上的虚拟对象，并且，在虚拟对象显示的过程中不被真实场景图中的真实对象遮挡。

由此可见，本公开实施例提供的图像显示方法，首先采集真实场景图像，并获取与真实场景图像对应的虚拟对象数据；接着，基于真实场景图像，确定虚拟对象数据对应的虚拟对象的显示数据；并基于显示数据以及虚拟对象数据，进行渲染处理得到虚拟效果图像，虚拟效果图像中的虚拟对象不被真实场景图像中的真实对象遮挡；最后，在显示设备上展示真实场景图像与虚拟效果图像相叠加的增强现实效果。如此，在真实场景图像中增加虚拟对象，通过设置虚拟对象的显示参数，使得虚拟对象不被真实场景图像中的真实对象遮挡，增强了图像的显示效果，并且提高了图像显示的灵活性。

基于前述实施例，参考图5所示的图像显示方法流程示意图，S120可以通过以下步骤实现：

S1201、基于真实场景图像，确定虚拟对象在真实场景图像中的目标区域，和/或，与虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数。

在本公开的一些实施例中，目标区域是指真实场景图像中叠加虚拟对象的区域。与虚拟对象相关的真实对象是指，从用户视觉观察角度来说，与虚拟对象重叠的三维模型对应的真实对象。

在本公开实施例中，为了保证显示界面上，用户观察到的虚拟对象不被真实场景图像中真实对象遮挡，图像显示设备可以根据真实场景图像，来设置虚拟对象所要叠加的区域，和/或与虚拟对象相关的至少一个真实对象的三维模型的显示参数。

示例性的，确定真实场景图像中未设置真实对象的区域为目标区域，或者将遮挡在虚拟对象前的真实对象的显示透明度设置为全透明。

也就是说，将虚拟对象设置在真实场景图像的特定区域中，或者将遮挡虚拟对象(即与虚拟对象重叠)的真实对象的三维模型的显示参数进行调整，使得虚拟对象不被遮挡，从而增强图像的显示效果，并且提高图像显示的灵活性。

在本公开的一些实施例中，S1201中基于真实场景图像，确定虚拟对象在真实场景图像中的目标区域，可以通过以下步骤实现：

S1201a、对真实场景图像进行识别，得到真实场景图像中背景区域；

S1201b、将背景区域中的至少部分区域，确定为目标区域。

在本公开提供的实施例中，图像显示设备可以对采集到的真实场景图像进行识别，将真实场景图像中的真实对象和背景区域进行分割，得到真实场景图像中的背景区域。

在本公开的一些实施例中，图像显示设备可以提取真实场景图像中的原始特征点集合，基于原始特征点集合对真实场景图像进行图像分割处理，将真实对象从真实场景图像中抠离，剩下的区域即为背景区域。

在本公开实施例中，将背景区域中的至少部分区域确定为目标区域。可以理解为，图像显示设备能够将虚拟对象对应的虚拟效果图像叠加到背景区域中，这样，真实对象无法遮挡虚拟对象，从而增强图像的显示效果，并且提高图像显示的灵活性。

示例性的，参考6所示的一种示例性的图像显示设备的显示界面示意图，图6中采集到的真实场景图像包括楼体61，和与楼体61对应的虚拟对象62。该虚拟对象62为介绍楼体61的虚拟标签。图像显示设备可以对该真实场景图像中的天空进行识别，确定天空所在的区域，将虚拟对象62对应的虚拟效果图像叠加至真实场景图像的天空区域中。这样，虚拟对象前无遮挡的真实对象，从而增强图像的显示效果。

在本公开的一些实施例中，S1201中基于真实场景图像，确定虚拟对象在真实场景图像中的目标区域，可以通过以下步骤实现：

S1201a’、确定真实场景图像中，与虚拟对象对应的目标真实对象；其中，目标真实对象为真实场景图像中多个真实对象中的至少一个；

S1201b’、对目标真实对象所处的局部图像进行边缘检测，得到目标真实对象的边缘轮廓线；

S1201c’、基于目标真实对象的边缘轮廓线，确定目标区域。

可以理解的是，图像显示设备可以结合目标真实对象，将目标真实对象对应的虚拟对象贴近叠加至目标真实对象的边缘，既可以满足视觉体验，也不会被其他真实对象所遮挡。

在本公开实施例中，用户可以通过对真实场景图像的触控操作，选择目标真实对象。

示例性的，参考图7所示的一种示例性的图像显示设备的显示界面示意图，图像显示设备获取在显示界面71中真实场景图像上输入的触控操作；然后，确定出该触控操作在展示界面71上的位置；然后，基于该位置，在真实场景图像中，确定出触控操作对应的目标真实对象72。对目标真实对象72所处的局部区域图像进行处理，得到目标真实对象的边缘轮廓。进一步，获取该目标真实对象72的虚拟对象73；最后，将虚拟对象73叠加在贴近目标真实对象72边缘，得到最终的显示画面，将显示画面呈现在展示界面71上。如此，结合目标真实对象的边缘轮廓线对虚拟对象进行显示，既可以满足视觉体验，也不会被其他真实对象所遮挡。从而使得为用户提供的增强现实场景更加符合用户的需求。

在本公开实施例中，S1201c’基于目标真实对象的边缘轮廓线，确定目标区域之前，还可以获取采集真实场景图像时的视角信息。

对应的，S1201c’基于目标真实对象的边缘轮廓线，确定目标区域，可以通过以下方式实现：

基于视角信息和目标真实对象的边缘轮廓线，确定目标区域。

其中，视角信息是指通过摄像头的镜头中心点到成像平面对角线。可以理解为：摄像头拍摄物体时，从物体两端(上、下或左、右)引出的光线在摄像头光心处所成的夹角。

在本公开实施例中，图像显示设备可以结合视角信息，以及目标真实对象的边缘，来确定显示虚拟对象的目标区域。例如，参考图7和图8所示的一种示例性的图像显示设备的显示界面示意图，真实场景图像为工地楼体图，若该工地楼体图表征拍摄视角为摄像头从下往上拍时，如图7所示，可以将楼体偏高处的边缘轮廓线周围的区域确定为目标区域，对虚拟对象进行显示；若该工地楼体图表征拍摄视角为摄像头正中间拍摄时，如图8所示，可以将楼体中间的边缘轮廓线周围的区域确定为目标区域，对虚拟对象进行显示。如图8所示，在楼体中间显示关于楼体81的虚拟标签82，虚拟标签82可以是对楼体81的介绍“5G应用示范区规划建设5G产业园，以产业园内核心楼宇为载体，龙头项目为引领，打造5G应用示范区，为建邮区经济发展注入数字新动能，跑出"5G+"速度”。如此，既可以满足用户的视觉体验，还不会被真实场景中的真实对象遮挡。

在本公开的一些实施例中，为了自适应的确定目标区域，S1201中基于真实场景图像，确定虚拟对象在真实场景图像中的目标区域，可以通过以下步骤实现：

S1201a”、确定虚拟对象在真实场景图像中的占据面积；

S1201b”、若占据面积小于真实场景图像的背景区域的面积，则确定背景区域的部分区域为所述目标区域；

S1201c”、若占据面积大于背景区域的面积，则基于真实场景图像中的目标真实对象的边缘轮廓线，确定目标区域。

在本公开实施例中，在S110确定了虚拟对象数据后，图像显示设备可以确定虚拟对象数据所对应的虚拟对象占真实场景图像中的面积大小。进而基于虚拟对象的占据面积，来确定是将背景区域作为目标区域还是将边缘轮廓线周围的区域作为目标区域。

在本公开的一些实施例中，可以将选择背景区域的部分区域作为目标区域设置为最高优先级。在确定了虚拟对象的占据面积之后，首先判断背景区域是否能够容纳该虚拟对象。若背景区域的面积大于虚拟对象的占据面积，则将背景区域的至少部分区域作为目标区域。若背景区域的面积小于虚拟对象的占据面积，则将目标真实对象的边缘轮廓线周围的区域作为目标区域。

这样，可以基于真实场景自适应的确定虚拟对象的显示区域，提高显示的灵活性。

在本公开的一些实施例中，S1201中确定与虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数，可以通过以下步骤实现：

在虚拟对象与真实场景图像中至少一个真实对象所对应的三维模型的部分区域重叠的情况下，调整至少一个真实对象所对应的三维模型的部分区域的显示参数，得到调整后的显示参数，以使在利用调整后的显示参数显示至少一个真实对象的三维模型时，虚拟对象不被所述至少一个真实对象遮挡。

在本公开实施例中，S1201确定与虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数之前，还可以执行以下步骤：

S1200a、获取真实场景图像的图像信息和深度信息；

S1200b、根据真实场景图像的图像信息和深度信息，对真实场景图像中的多个真实对象进行三维建模，得到多个真实对象的三维模型；多个真实对象包含所述至少一个真实对象。

在本公开的一些实施例中，图像显示设备可以同时获取真实场景的图像信息和深度信息。图像信息是二维坐标系下，像素点的排列信息；深度信息，是在三维坐标下，真实场景图像中图像表面到真实对象视点的距离信息。

在本公开实施例中，图像信息可以通过RGB摄像头获取，深度信息可以通过双目摄像头通过测量视差得到，深度信息还可以通过TOF摄像头获取。本公开实施例对图像信息和深度信息的获取方式不做限定。

在本公开实施例中，图像显示设备可以根据真实场景图像的图像信息以及深度信息，对真实场景图像进行1:1三维模型建模，得到真实场景图像中多个真实对象的三维模型。

这样，在确定虚拟对象数据对应的虚拟对象之后，可以将虚拟对象插入到真实场景的三维模型中，当插入的虚拟对象与真实场景图像中至少一个真实对象所对应的三维模型的部分区域重叠的情况下，图像显示设备可以调整至少一个真实对象所对应的三维模型的部分区域的显示参数，得到调整后的显示参数，以使在利用调整后的显示参数显示至少一个真实对象的三维模型时，虚拟对象不被至少一个真实对象遮挡。

在本公开的一些实施例中，上文提到的显示参数包括以下之一：

显示透明度；

显示材料为特定材质；特定材质无法可视化显示。

可以理解的是，在检测到虚拟对象被真实对象遮挡的情况下，可以将真实对象中遮挡虚拟对象的部分调整为透明，或者不可见的材质，使得视觉上呈现出未被遮挡的效果。如此，增强了图像的显示效果，并且提高了图像显示的灵活性。

示例性的，参考图9所示的一种示例性的图像显示设备的显示界面示意图。图像91是基于真实场景采集的真实场景图像；该真实场景图像中包含三个楼体：楼体92、楼体93和楼体94；楼体92位于楼体93和楼体94的后方，楼体92的部分区域分别被楼体93和楼体94遮挡。

图像显示设备接收到用户的触控操作，当触控操作针对的目标真实对象为楼体92时，获取楼体92对应的虚拟对象，即介绍楼体92的标签95，如图9所示，标签95包括：介绍楼体92中的商业信息“人才公寓”“商业配套”。

这里，图像采集设备可以对图像91进行三维建模，当将介绍楼体92的标签95插入在楼体92对应的位置处。这样，标签95就和楼体94的部分区域重叠。在这种情况下，图像显示设备可以设置楼体94三维模型的部分区域为不可见材质，其他部分设置为可见材质，这样，被遮挡的标签95就能够显示出来。视觉效果上就是，标间95不被真实场景中的真实对象所遮挡。

基于上述实施例，S140在显示设备上展示真实场景图像与虚拟效果图像相叠加的增强现实效果中，提到的增强现实效果包括以下之一：

真实场景图像中的至少一个真实对象的至少部分被所述虚拟对象遮挡；

真实场景图像中的目标真实对象的边缘处渲染有所述虚拟对象；

真实场景图像中的背景区域中渲染有所述虚拟对象。

也就是说，通过将真实场景图像与虚拟效果图像进行叠加，可以实现虚拟对象不被真实对象遮挡的效果，增强了图像的显示效果，并且提高了图像显示的灵活性。

基于前述实施例，本公开实施例提供一种图像显示装置，图10为本公开实施例提供的图像显示装置的组成结构示意图，如图10所示，所述装置1000包括：

采集模块1001，用于采集真实场景图像；

获取模块1002，用于获取与所述真实场景图像对应的虚拟对象数据；

确定模块1003，用于基于所述真实场景图像，确定所述虚拟对象数据对应的虚拟对象的显示数据；

处理模块1004，用于基于所述显示数据以及所述虚拟对象数据，进行渲染处理，得到虚拟效果图像，所述虚拟效果图像中的虚拟对象不被所述真实场景图像中的真实对象遮挡；

展示模块1005，用于在显示设备上展示所述真实场景图像与所述虚拟效果图像相叠加的增强显示效果。

在一些实施例中，所述确定模块1003，用于基于所述真实场景图像，确定所述虚拟对象在所述真实场景图像中的目标区域，和/或，与所述虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数。

在一些实施例中，所述确定模块1003，具体用于对所述真实场景图像进行识别，得到所述真实场景图像中背景区域；将所述背景区域中的至少部分区域，确定为所述目标区域。

在一些实施例中，所述确定模块1003，用于确定所述真实场景图像中，与所述虚拟对象对应的目标真实对象；其中，所述目标真实对象为所述真实场景图像中多个真实对象中的至少一个；对所述目标真实对象所处的局部图像进行边缘检测，得到所述目标真实对象的边缘轮廓线；基于所述目标真实对象的边缘轮廓线，确定所述目标区域。

在一些实施例中，采集模块1002，用于获取采集所述真实场景图像时的视角信息；

所述确定模块1003，用于基于所述视角信息和所述目标真实对象的边缘轮廓线，确定所述目标区域。

在一些实施例中，所述确定模块1003，用于确定所述虚拟对象在所述真实场景图像中的占据面积；若所述占据面积小于所述真实场景图像的背景区域的面积，则确定所述背景区域的部分区域为所述目标区域；若所述占据面积大于所述背景区域的面积，则基于所述真实场景图像中的目标真实对象的边缘轮廓线，确定所述目标区域。

在一些实施例中，所述确定模块1003，用于在所述虚拟对象与所述真实场景图像中至少一个真实对象所对应的三维模型的部分区域重叠的情况下，调整所述至少一个真实对象所对应的三维模型的部分区域的显示参数，得到调整后的显示参数，以使在利用调整后的显示参数显示所述至少一个真实对象的三维模型时，所述虚拟对象不被所述至少一个真实对象遮挡。

在一些实施例中，所述获取模块1002，用于获取所述真实场景图像的图像信息和深度信息；

处理模块1004，根据所述真实场景图像的图像信息和深度信息，对所述真实场景图像中的多个真实对象进行三维建模，得到所述多个真实对象的三维模型；所述多个真实对象包含所述至少一个真实对象。

所述显示参数包括以下之一：

显示透明度；

显示材料为特定材质；所述特定材质无法可视化显示。

在一些实施例中，所述确定模块1003，用于识别所述真实场景图像中目标真实对象的内容信息；从预设虚拟对象数据库中，确定出与所述目标真实对象的内容信息匹配的所述虚拟对象数据。

在一些实施例中，所述虚拟对象包括以下之一：

虚拟标签；

虚拟动画模型；

虚拟物体细节模型。

在一些实施例中，所述增强现实效果包括以下之一：

所述真实场景图像中的至少一个真实对象的至少部分被所述虚拟对象遮挡；

所述真实场景图像中的目标真实对象的边缘处渲染有所述虚拟对象；

所述真实场景图像中的背景区域中渲染有所述虚拟对象。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的信息显示方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。

对应地，本公开实施例再提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，该计算机可执行指令用于实现本公开实施例提供的信息显示方法中的步骤。

相应的，本公开实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现上述实施例提供的信息显示方法的步骤。

相应的，本公开实施例提供一种图像显示设备，图11为本公开实施例图像显示设备的结构示意图，如图11所示，所述图像显示设备1100包括：显示屏1101；

存储器1102，用于存储计算机程序；

处理器1103，用于执行所述存储器1102中存储的计算机程序时，结合所述显示屏1101，实现上述实施例提供的图像显示方法的步骤。

图像显示设备110还包括：通信总线1104。通信总线1104配置为实现这些组件之间的连接通信。

在本公开实施例中，显示屏1101包括但不限于液晶显示屏，有机发光二级管显示屏，触控显示屏等等，本公开这里不做限定。

以上计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开计算机设备和存储介质实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本公开实施例方案的目的。

另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种图像显示方法，其特征在于，所述方法包括：

采集真实场景图像，并获取与所述真实场景图像对应的虚拟对象数据；

基于所述真实场景图像，确定与所述虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数；和，

确定所述虚拟对象在所述真实场景图像中的占据面积；若所述占据面积小于所述真实场景图像的背景区域的面积，则确定所述背景区域的部分区域为目标区域；若所述占据面积大于所述背景区域的面积，则基于所述真实场景图像中的目标真实对象的边缘轮廓线，确定目标区域；

基于所述显示参数和所述目标区域，以及所述虚拟对象数据，进行渲染处理得到虚拟效果图像，所述虚拟效果图像中的虚拟对象不被所述真实场景图像中的真实对象遮挡；

在显示设备上展示所述真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述真实场景图像进行识别，得到所述真实场景图像中背景区域；

将所述背景区域中的至少部分区域，确定为所述目标区域。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述真实场景图像中，与所述虚拟对象对应的目标真实对象；其中，所述目标真实对象为所述真实场景图像中多个真实对象中的至少一个；

对所述目标真实对象所处的局部图像进行边缘检测，得到所述目标真实对象的边缘轮廓线；

基于所述目标真实对象的边缘轮廓线，确定所述目标区域。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标真实对象的边缘轮廓线，确定所述目标区域之前，还包括：

获取采集所述真实场景图像时的视角信息；

所述基于所述目标真实对象的边缘轮廓线，确定所述目标区域，包括：

基于所述视角信息和所述目标真实对象的边缘轮廓线，确定所述目标区域。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述确定与所述虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数，包括：

在所述虚拟对象与所述真实场景图像中至少一个真实对象所对应的三维模型的部分区域重叠的情况下，调整所述至少一个真实对象所对应的三维模型的部分区域的显示参数，得到调整后的显示参数，以使在利用调整后的显示参数显示所述至少一个真实对象的三维模型时，所述虚拟对象不被所述至少一个真实对象遮挡。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述确定与所述虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数之前，还包括：

获取所述真实场景图像的图像信息和深度信息；

根据所述真实场景图像的图像信息和深度信息，对所述真实场景图像中的多个真实对象进行三维建模，得到所述多个真实对象的三维模型；所述多个真实对象包含所述至少一个真实对象。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述显示参数包括以下之一：

显示透明度；

显示材料为特定材质；所述特定材质无法可视化显示。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述获取与所述真实场景图像对应的虚拟对象数据，包括：

识别所述真实场景图像中目标真实对象的内容信息；

从预设虚拟对象数据库中，确定出与所述目标真实对象的内容信息匹配的所述虚拟对象数据。

9.根据权利要求1-8所述的方法，其特征在于，所述虚拟对象包括以下之一：

虚拟标签；

虚拟动画模型；

虚拟物体细节模型。

10.根据权利要求1-9所述的方法，其特征在于，所述增强现实效果包括以下之一：

所述真实场景图像中的至少一个真实对象的至少部分被所述虚拟对象遮挡；

所述真实场景图像中的目标真实对象的边缘处渲染有所述虚拟对象；

所述真实场景图像中的背景区域中渲染有所述虚拟对象。

11.一种图像显示装置，其特征在于，包括：

采集模块，用于采集真实场景图像；

获取模块，用于获取与所述真实场景图像对应的虚拟对象数据；

确定模块，用于基于所述真实场景图像，确定与所述虚拟对象相关的至少一个真实对象所对应的三维模型的显示参数，和；

确定所述虚拟对象在所述真实场景图像中的占据面积；若所述占据面积小于所述真实场景图像的背景区域的面积，则确定所述背景区域的部分区域为目标区域；若所述占据面积大于所述背景区域的面积，则基于所述真实场景图像中的目标真实对象的边缘轮廓线，确定目标区域；

处理模块，用于基于所述显示参数和所述目标区域，以及所述虚拟对象数据，进行渲染处理，得到虚拟效果图像，所述虚拟效果图像中的虚拟对象不被所述真实场景图像中的真实对象遮挡；

展示模块，用于在显示设备上展示所述真实场景图像与所述虚拟效果图像相叠加的增强显示效果。

12.一种图像显示设备，其特征在于，包括：

显示屏；

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序时，结合所述显示屏，实现权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，其特征在于，存储有计算机程序，用于被处理器执行时，实现权利要求1至10任一项所述的方法。

Images