CN111862866A - 图像显示方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本公开实施例公开了一种图像显示方法，所述方法包括：采集至少一帧真实场景图像；识别所述至少一帧真实场景图像中目标展示对象和背景区域；获取与所述目标展示对象对应的虚拟效果数据，并基于所述虚拟效果数据对所述目标展示对象进行渲染处理，得到虚拟效果图像；对所述背景区域中至少部分区域进行遮挡处理，在图像显示设备上展示经所述遮挡处理之后的真实场景图像与所述虚拟效果图像相叠加的增强现实效果。本公开实施例同时公开了一种图像显示装置、图像显示设备以及计算机可读存储介质。

Description

图像显示方法、装置、设备及计算机可读存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像显示方法、装置、设备及计算机可读存储介质。

背景技术

目前，对于一些大型展会，如历史文物展示、汽车展示、工地楼体展示、或建筑规划沙盘展示等场景，参展者往往只能看到展品的实物本身，对展品的相关信息多依赖于讲解员的讲解或是单独的宣传片展示，展示效果不够灵活和丰富。

发明内容

本公开实施例提供了一种图像显示方法及装置、设备和计算机可读存储介质。

本公开实施例的技术方案是这样实现的：

本公开实施例提供一种图像显示方法，所述方法包括：

采集至少一帧真实场景图像；

识别所述至少一帧真实场景图像中目标展示对象和背景区域；

获取与所述目标展示对象对应的虚拟效果数据，并基于所述虚拟效果数据对所述目标展示对象进行渲染处理，得到虚拟效果图像；

对所述背景区域中至少部分区域进行遮挡处理，在图像显示设备上展示经所述遮挡处理之后的真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

本公开实施例提供一种像显示装置，其特征在于，所述装置包括：

图像采集单元，用于采集至少一帧真实场景图像；

识别单元，用于识别所述至少一帧真实场景图像中目标展示对象和背景区域；

获取单元，用于获取与所述目标展示对象对应的第一虚拟效果数据；

第一处理单元，用于并基于所述第一虚拟效果数据对所述目标展示对象进行渲染处理，得到虚拟效果图像；

第二处理单元，用于对所述背景区域中至少部分区域进行遮挡处理；

显示单元，用于在图像显示设备上展示经所述遮挡处理之后的真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

本公开实施例提供一种图像显示设备，所述图像显示设备包括摄像头、显示器，处理器和用于存储能够在处理器上运行的计算机程序的存储器；

所述摄像头、所述显示器、所述处理器和所述存储器通过通信总线连接；

其中，所述处理器结合所述摄像头和所述显示器，运行所述存储器中存储的计算机程序时，实现本公开实施例提供的方法。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现本公开实施例提供的方法。

本公开实施例具有以下有益效果：

本公开实施例提供的图像显示方法，首先采集至少一帧真实场景图像；识别至少一帧真实场景图像中目标展示对象和背景区域；接着，获取与目标展示对象对应的虚拟效果数据，并基于虚拟效果数据对目标展示对象进行渲染处理，得到虚拟效果图像；进一步，对背景区域中至少部分区域进行遮挡处理，在图像显示设备上展示经遮挡处理之后的真实场景图像与虚拟效果图像相叠加的增强现实效果。如此，在真实场景图像中针对目标展示对象增加虚拟效果，同时，对真实场景图像中至少部分背景区域进行遮挡，降低背景区域对目标展示对象的影响，增强了图像的显示效果，并且提高了图像显示的灵活性和丰富性。

附图说明

图1-1是本公开实施例提供的图像显示系统的一个可选的结构示意图；

图1-2为本公开实施例提供的一种应用场景的示意图一；

图1-3为本公开实施例提供的一种应用场景的示意图二；

图2为本公开实施例提供的一种图像显示方法流程图；

图3-1是本公开实施例提供的一种图像显示设备的示意图一；

图3-2是本公开实施例提供的一种图像显示设备的示意图二；

图4-1是本公开实施例提供的一种显示效果示意图一；

图4-2是本公开实施例提供的一种显示效果示意图二；

图5是本公开实施例提供的一种显示效果示意图三；

图6-1是本公开实施例提供的一种真实场景图像；

图6-2是本公开实施例提供的一种显示效果示意图四；

图6-3是本公开实施例提供的一种显示效果示意图五；

图6-4是本公开实施例提供的一种显示效果示意图六；

图6-5是本公开实施例提供的一种显示效果示意图七；

图7为本公开实施例提供的一种图像显示装置的组成结构示意图；

图8为本公开实施例提供的一种图像显示设备的组成结构示意图。

具体实施方式

为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，用户可以通过AR设备可以观看到叠加在真实场景中的虚拟效果，比如可以看到叠加在真实的校园操场上的虚拟大树，看到叠加在天空中的虚拟飞翔小鸟，如何使得这些虚拟大树和虚拟飞翔小鸟这些虚拟效果能够更好地与现实场景相融合，实现增强现实场景中对虚拟效果的呈现效果，为本公开实施例所要讨论的内容，下面将结合以下具体实施例进行阐述。

本公开实施例提供一种图像显示方法、装置、设备和计算机可读存储介质，能够提高图像显示的灵活性和丰富性，本公开实施例提供的图像显示方法应用于图像显示设备中，下面说明本公开实施例提供的图像显示设备的示例性应用，本公开实施例提供的图像显示设备可以实施为AR眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端。在公开实施例中，图像显示设备包括显示屏幕，其中，显示屏幕实施为可移动的显示屏幕，例如显示屏幕可以在预设滑动轨道上移动，或者在可移动的滑动支架上实现移动，或者用户手持图像显示设备移动，以实现显示屏幕的移动。

下面，将说明图像显示设备实施为终端时示例性应用。当图像显示设备实施为终端时，可以基于真实场景图像中的展示对象，从终端的内部存储空间中的预设三维虚拟场景获取该真实场景对象的虚拟效果数据，根据虚拟效果数据呈现与真实场景中展示对象叠加的虚实结合的AR图像效果；终端也可以与云端服务器进行交互，通过预存在云端服务器的预设三维虚拟场景获得虚拟效果数据。下面结合在对展示物体进行展示的场景中，终端通过与服务器交互的方式获取虚拟效果数据，以呈现AR图像效果为例进行图像显示系统的说明。

参见图1-1，图1-1是本公开实施例提供的图像显示系统100的一个可选的架构示意图，为实现支撑一个展示应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。在真实的展示场景中，如历史文物展示、沙盘展示，工地楼宇展示等，终端400可以是在预设滑轨上设置的图像显示设备，或者是带有摄像头的手机，其中手机可以通过手持移动。

终端400用于通过图像采集单元采集当前移动位置上的真实场景图像；基于真实场景图像中包括的展示对象，确定与展示对象匹配的虚拟效果数据；利用虚拟效果数据，在真实场景图像中与展示对象关联的展示位置处渲染虚拟效果数据对应的虚拟效果；在图形界面410展示真实场景图像与虚拟效果相叠加的增强现实AR效果。

示例性的，当终端400实施为手机时，可以启动手机上的预设展示应用，通过预设展示应用调用摄像头采集真实场景图像，并基于真实场景图像中包括的展示对象，向服务器200发起数据请求，服务器200接收到数据请求后，从预存在数据库500中的预设虚拟三维场景模型中确定与展示对象匹配的虚拟效果数据；并将虚拟效果数据发回给终端400。终端400得到服务器反馈的虚拟效果数据之后，通过渲染工具根据虚拟效果数据渲染出虚拟效果，并叠加在真实场景图像中展示对象的目标区域，从而得到虚实结合的AR效果图像，最终将AR效果图像呈现在终端400的图形界面上。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本公开实施例中不做限制。

示例性的，下面对本申请实施例可适用的应用场景进行示例性说明。

图1-2为本申请实施例提供的一种应用场景的示意图，如图1-2所示，图像显示设备可以包括可移动的显示屏101，该可移动的显示屏101可以设置在展会的多个展品的周围，可移动的显示屏101上配置有后置摄像头，可以用于拍摄展品，可移动的显示屏101上可以显示展品以及显示关于展品的虚拟效果。展品的虚拟效果可以是展品的介绍信息、展品的内部细节展示信息、展品的轮廓线、展品的虚拟讲解员中的至少一种。可移动的显示屏101显示的目标展示对象，可以是拍摄得到的展品，或者是与拍摄的展品对应的展品的渲染模型，还可以部分是拍摄得到的展品，部分为展品的渲染模型。展品的渲染模型是指，图像显示设备构建的关于展品的三维模型。例如，在拍摄展品A和展品B的情况下，可移动的显示屏101可以确定展品A的渲染模型为A’，展品B的渲染模型为B’，可移动的显示屏101显示的目标展示对象，可以是展品A和展品B，也可以是展品A和渲染模型B’，还可以是渲染模型A’和展品B，又可以是渲染模型A’和渲染模型B’。

图1-3为本申请实施例提供的另一种应用场景的示意图，如图1-3所示，本申请实施例中的图像显示设备还可以终端设备102，用户可以手持或佩戴终端设备102进入展品之间，并通过拍摄展品使在终端设备102上显示展品、展品模型以及展品的虚拟效果中的至少一种。

本公开实施例提供一种图像显示方法，如图2所示，该方法包括：

S210、采集至少一帧真实场景图像。

本公开实施例中提供的图像显示方法应用于图像显示设备中，其中，图像显示设备的显示屏幕为可移动屏幕。其中，图像显示设备的显示屏幕可以如图3-1所示，在预设滑动轨道上移动，也可以如图3-2所示，通过固定在可移动的滑动支架上实现滑动。

在本公开实施例中，图像显示设备可以通过图像采集设备采集当前真实场景图像。其中，真实场景可以是展台上的文物展品、沙盘模型、建筑中的工地、建筑物室内场景、街道场景、具体的物体等能够叠加虚拟效果的场景，通过在真实场景中叠加虚拟效果，来呈现增强现实的效果。其中，图像采集单元的采集范围可以包含全部展示物体，可以只包含部分展示物体，具体的可根据实际情况进行选择，本公开实施例对图像采集单元的采集范围不做限定。

在本公开实施例中，用于采集真实场景图像的图像采集设备可以是单目摄像头，也可以是双目摄像头，本公开实施例这里不做限定。

在本公开的一些实施例中，图像显示设备的显示屏幕为透明显示屏或者非透明显示屏。

当图像显示设备的显示屏幕为非透明显示屏时，可以在非透明显示屏的背面(即未设置显示屏的一面)设置单目摄像头或双目摄像头，用于采集非透明显示屏背面对着的展示物体，并通过非透明显示屏正面的显示屏幕显示展示物体对应的真实场景图像与虚拟效果相叠加的增强现实AR效果。

当图像显示设备的显示屏幕为透明显示屏时，可以在透明显示屏的一侧设置单目摄像头或双目摄像头，用于采集位于透明显示屏一侧的展示物体。图像显示设备通过识别采集到的展示物体，在透明的屏幕上显示展示物体对应的虚拟效果。这样，用户透过透明显示屏可以观看到位于透明显示屏后面的展示物体，并从透明显示屏上观看到叠加在展示物体上的虚拟效果，如此，实现真实场景与虚拟效果相叠加的增强现实AR效果。

S220、识别至少一帧真实场景图像中目标展示对象和背景区域。

本公开实施例中，真实场景图像为包含了展示对象与真实场景背景信息的图像，显示设备可以通过图像识别方法，从真实场景图像中识别出展示对象和背景区域。

本公开实施例中，目标展示对象为真实场景图像中包含的属于展示物体的图像，由于图像采集单元的采集范围覆盖了展示物体的部分或全部，因此显示设备将采集到的真实场景图像中对应包含的该展示物体的部分或全部图像，作为目标展示对象。

在本公开的一些实施例中，可以通过机器学习的方式，预先训练用于图像识别的神经网络模型。这里，可以根据大量的样本图像，以及每个样本图像对应的展示对象，和每个样本对象对应的背景区域，来训练神经网络模型，得到训练好的用于图像识别的神经网络模型。这样，图像显示设备采集到真实场景图像后，将该真实场景图像输入至训练好的神经网络模型中，实时地识别真实场景图像的目标展示对象和背景区域。

在本公开的一些实施例中，可以预先构建展示对象数据库。这样，在获取到真实场景图像后，图像显示设备可以提取真实场景图像的图像特征，并将该图像特征与真实对象数据库存储的多个真实对象的图像特征进行特征对比，确定真实场景的图像中的目标展示对象，进而根据提取的图像特征进行图像分割，将真实场景图像中除了目标展示对象所在区域的其他区域，确定为背景区域。

S230、获取与目标展示对象对应的虚拟效果数据，并基于虚拟效果数据对目标展示对象进行渲染处理，得到虚拟效果图像。

在本公开实施例中，图像显示设备可以从真实场景图像中识别出目标展示对象，并基于识别到的目标展示对象，确定与目标展示对象匹配的虚拟效果数据，并根据虚拟效果数据进行渲染。

本公开实施例中，虚拟效果数据是一组虚拟的图像数据，可以是用于通过渲染工具渲染出虚拟效果的渲染参数。虚拟效果可以理解为是在真实场景图像中展现的虚拟物体。

本公开实施例中，虚拟效果数据可以包括以下至少之一：

目标展示对象的渲染模型、虚拟交互对象、虚拟物体轮廓模型、虚拟物体细节模型、虚拟标签。

其中，目标展示对象的渲染模型，是指基于目标展示对象的图像信息和深度信息，构建的三维虚拟模型。这里的三维虚拟模型在能够与真实场景中的目标展示对象以1：1的方式建立，即若将三维虚拟模型放入该真实场景所在的世界坐标系中，则该三维虚拟模型会与该真实场景中的目标展示对象完全重合。

虚拟交互对象，是指能够与位于图像显示设备前的真实用户进行交互的虚拟对象，例如虚拟讲解员，虚拟机器人等。例如，参考图4-1所示的一种示例性的图像显示设备的显示界面示意图，虚拟交互对象可以是真实场景图像中对目标展示物体401进行讲解的虚拟讲解员402。

虚拟物体轮廓模型，是指对真实场景图像中展示对象的轮廓进行重点展示的虚拟图像。例如，参考图4-1所示的一种示例性的图像显示设备的显示界面示意图，虚拟物体轮廓模型，可以是对真实场景图像400中目标展示物体401轮廓进行勾勒的虚拟轮廓线403。

虚拟物体细节模型，是指对真实场景图像中目标展示对象的虚拟化的细节展示；例如，参考图4-2所示的一种示例性的图像显示设备的显示界面示意图，虚拟物体细节模型可以是真实场景图像400中展示的文物404内部的虚拟细节展示405。

虚拟标签，是针对真实场景图像中目标展示对象附加信息的展示；例如，参考图4-2所示的一种示例性的图像显示设备的显示界面示意图，虚拟标签可以是真实场景图像中显示的文物404对应的详细介绍信息406，其中，详细介绍信息可以是“口径75.6厘米”。

在本公开实施例中，图像显示设备可以从本地存储空间中获取与该真实场景图像对应的虚拟效果数据，也可以将真实场景图像发送至第三方设备，如云端服务器，由第三方设备根据真实场景图像中的目标展示对象向图像显示设备提供对应的虚拟效果数据。本公开实施例对获取虚拟效果数据的方式不做限定。

S240、对背景区域中至少部分区域进行遮挡处理，在图像显示设备上展示经遮挡处理之后的真实场景图像与虚拟效果图像相叠加的增强现实效果。

本公开实施例中，当图像显示设备的显示屏幕为非透明显示屏时，图像显示设备可以实时采集真实场景图像，来对真实场景图像中的目标展示对象进行展示，基于此，在非透明显示屏对真实场景中的目标展示对象进行展示时候，真实场景图像中的背景区域可能会出现动态变化情况。当图像显示设备的显示屏幕为透明显示屏时，用户可以透过该透明显示屏看到位于透明显示屏后侧的物体，同样地，在透明显示屏对目标展示对象的虚拟效果进行显示的时候，由于显示屏幕为透明显示屏，那么位于透明显示屏后侧人或者物体会出现动态变化的情况，影响图像显示设备中对目标展示对象的显示。

例如，参考图5所示的应用场景，在图像显示设备的显示屏幕为透明显示屏501的情况下，图像显示设备对展示文物的虚拟效果进行展示时，透明显示屏后侧的其他显示设备502显示的图像在动态变化中，如此，背景区域中的不断变化的图像对当前的显示内容产生了干扰。

基于此，本公开实施例可以在识别到真实场景图像中的背景区域之后，对背景区域进行遮挡处理，或者对背景区域中的部分区域进行遮挡处理，使真实场景图像中的背景区域，或者背景区域中的部分区域被遮挡。进而，经过遮挡处理之后的真实场景图像可以与S230得到的虚拟效果图像进行叠加，并在显示设备上显示叠加后的增强现实效果。这样，用户在图像显示设备上可以直观地看到目标展示对象，以及叠加在目标展示对象周围的虚拟效果图像，同时，用户观看到的真实场景图像中背景区域的至少部分区域被遮挡效果图像遮挡，如此，避免背景区域中不被期望的信息被展示出来，降低了背景区域中显示的内容对目标展示对象的干扰。

在本公开实施例中，对背景区域中的至少部分区域进行遮挡处理，可以是对背景区域的至少部分区域的图像进行隐藏、模糊化处理，也可以是通过预设的遮挡图像，对背景区域的至少部分区域进行遮挡，还可以是在背景区域的至少部分区域添加预设的虚拟遮挡效果，来对背景区域中至少部分区域进行覆盖。本公开实施例对遮挡处理的方式不进行限定。

在本公开的一些实施例中，图像显示设备可以对真实场景图像中的整个背景区域进行遮挡处理，也可以对背景区域的部分区域进行遮挡处理。这里，背景区域的部分区域可以是背景区域中动态变化的区域，也可以是背景区域中未发生变化的区域，本公开实施例这里对部分区域不进行限定。

由此可见，本公开实施例提供的图像显示方法，首先采集至少一帧真实场景图像；识别至少一帧真实场景图像中目标展示对象和背景区域；接着，获取与目标展示对象对应的虚拟效果数据，并基于虚拟效果数据对目标展示对象进行渲染处理，得到虚拟效果图像；进一步，对背景区域中至少部分区域进行遮挡处理，在图像显示设备上展示经遮挡处理之后的真实场景图像与虚拟效果图像相叠加的增强现实效果。如此，在真实场景图像中针对目标展示对象增加虚拟效果，同时，对真实场景图像中至少部分背景区域进行遮挡，降低背景区域对目标展示对象的影响，增强了图像的显示效果，并且提高了图像显示的灵活性和丰富性。

基于上述实施例，本申请实施例中，对背景区域的至少部分区域进行遮挡处理的方式有多种，下面详细介绍其中的三种方式：方式一，方式二和方式三。

方式一、S240对背景区域中至少部分区域进行遮挡处理，可以通过以下方式实现：

S2401、确定与背景区域中至少部分区域对应的目标显示参数；

S2402、基于目标显示参数，对背景区域中至少部分区域当前的显示参数进行调整，以实现对背景区域中至少部分区域的遮挡处理，其中，调整后的背景区域中的至少部分区域不可见。

本公开实施例中，图像显示设备可以对真实场景图像中背景区域的至少部分区域的显示参数进行调整，使得调整后的背景区域的至少部分区域不可见，这里，不可见可以理解为是背景区域的至少部分区域被隐藏或者被模糊化。

在本公开的一些实施例中，图像显示设备可以按照预设的遮挡效果(例如，隐藏效果，或者模糊化效果)，来确定背景区域中至少部分区域的目标显示参数，进而，图像显示设备可以根据确定的目标显示参数，对当前背景区域的至少部分区域的显示参数进行调整，来达到对背景区域的至少部分区域的不可见效果。

示例性的，参考图6-1所示的一种示例性的一帧真实场景图像，图6-1中包括花架601，电视柜602，以及电视机603。其中，花架601和电视柜602属于展示对象，电视机603属于展示对象的背景。在图6-1所示的场景中，电视机603中显示的图像在不断变化中。通过图像显示设备对图6-1所示的场景进行展示时，图像显示设备可以先采集多帧如图6-1所示的真实场景图像，进而，图像显示设备根据多帧真实场景图像识别出电视机603所在的区域为动态显示的区域，因此，图像显示设备可以对电视机603所在的区域的显示参数进行调整。对电视机603所在的区域的显示参数进行调整后的效果示意图参考图6-2所示，虚线框604中的区域为进行显示参数调整的区域。

在本公开的一些实施例中，显示参数可以包括以下至少之一：显示颜色参数、显示样式、显示像素值。

其中，显示颜色参数，具体是指背景区域的至少部分区域中每个像素点的RGB值；显示样式，是指背景区域的至少部分区域中需要调整显示参数的区域高度、宽度、形状等外观特征；显示像素值，是指背景区域的至少部分区域中每个像素点的亮度信息。

本公开实施例，通过调整真实场景图像中背景区域的至少部分区域的显示参数，来达到对背景区域的至少部分区域的遮挡效果，可以快速并且准确地将背景区域中不期望的部分进行遮挡处理。

在本公开的一些实施例中，S2401确定与背景区域中至少部分区域对应的目标显示参数，可以通过以下方式来实现：

S2401a、获取目标展示对象的显示参数；

S2401b、基于目标展示对象的显示参数，确定背景区域中至少部分区域的目标显示参数。

可以理解的是，图像显示设备可以根据目标展示对象的显示参数，确定目标显示参数，根据目标显示参数对背景区域的至少部分区域的显示参数进行调整，使得调整显示参数后的图像区域能够与真实场景图像更贴合。

在本公开的一些实施例中，图像显示设备可以基于目标展示对象中多个像素点的平均显示颜色参数或者平均显示像素值，确定背景区域中至少部分区域的目标显示参数。图像显示设备也可以将目标展示对象所在的区域切分为多个子区域，根据每个子区域中的平均显示参数，确定背景区域中与该子区域对应的子背景区域的显示参数。本公开实施例这里不对确定显示参数的方式进行限定。

这样，根据目标展示图像的显示参数，来确定背景区域中至少部分区域的目标显示参数，可以使得遮挡后背景区域的至少部分区域的显示，与真实场景图像中其他区域更贴近，如此，最终的整体图像的显示效果更统一，提高了用户的视觉体验。

方式二、在S240中，对背景区域中至少部分区域进行遮挡处理，可以通过以下方式实现：

S2401’、获取与背景区域中至少部分区域对应的预设遮挡图像；

S2402’、使用预设遮挡图像对所述背景区域中至少部分区域进行遮挡处理。

本公开实施例中，图像显示设备可以从本地存储空间中获取与该真实场景图像对应的预设遮挡图像，也可以向将真实场景图像发送至第三方设备，如云端服务器，由第三方设备根据真实场景图像的背景区域中至少部分区域，向显示设备提供对应的预设遮挡图像。本公开实施例对获取遮挡图像的方式不做限定。

示例性的，参考图6-3所示的效果示意图，图像显示设备在到采集图6-1所示的真实场景图像后，可以从本地存储空间获取预设遮挡图像605，将预设遮挡图像605设置在电视机603所在的区域的最上层的图层中，通过预设遮挡图像605对图6-1中电视机603所在的区域进行遮挡。

在本公开的一些实施例中，图像显示设备可以根据目标展示对象的显示参数，对遮挡图像的边缘进行处理，使得遮挡后背景区域的至少部分区域的边缘，与真实场景图像中其他区域过渡的更平滑，整体图像的显示效果更统一，提高用户的视觉体验。

方式三、S240对背景区域中至少部分区域进行遮挡处理，可以通过以下方式实现：

S2401*、获取与背景区域中至少部分区域对应的虚拟遮挡数据；

S2402*、对虚拟遮挡数据对应的遮挡效果进行渲染，得到背景区域中至少部分区域被遮挡后的真实场景图像。

在本公开实施例中，图像显示设备还可以在背景区域中至少部分区域添加遮挡效果，使得遮挡效果能够覆盖背景区域的至少部分区域，从而达到遮挡背景区域中至少部分区域的效果，得到被遮挡后的真实场景图像。

在本公开的一些实施例中，遮挡效果是根据虚拟遮挡数据渲染得到；可以理解的是，遮挡效果为虚拟的遮挡物体。

在本公开的一些实施例中，遮挡效果可以包括以下至少之一：虚拟动画模型，虚拟遮挡标签。

其中，虚拟动画模型，可以是对背景区域的中至少部分区域进行遮挡的动态的虚拟遮挡物体；例如，参考图6-4，虚拟动画模型可以是能够遮挡图6-1场景中电视机603所在区域的随风摆动的盆栽606。

另外，虚拟遮挡标签，可以是用于对背景区域的中至少部分区域进行遮挡的目标展示对象的附加信息；例如，参考图6-5，虚拟遮挡标签可以是，能够遮挡图6-1场景中电视机603所在区域的关于电视柜602详细介绍的消息框607；其中，消息框607中可以显示如下信息：客厅电视柜，客厅当中常见的家具之一。通常，客厅电视柜有钢木结构、玻璃+钢管结构、板式结构和实木结构等一系列材质，风格款式多与客厅其他家具相统一。

在本公开的一些实施例中，图像显示设备可以从本地存储空间中获取与该真实场景图像对应的虚拟遮挡数据，也可以向将真实场景图像发送至第三方设备，如云端服务器，由第三方设备根据真实场景图像的背景区域中至少部分区域，向显示设备提供对应的虚拟遮挡数据。本公开实施例对虚拟遮挡数据获取的方式不做限定。

本公开实施例中，图像显示设备可以通过虚拟遮挡效果对背景区域的至少部分区域进行遮挡，降低背景区域对目标展示对象的影响，增强了图像的显示效果，并且提高了图像显示的灵活性和丰富性。

基于上述实施例，S240对背景区域中至少部分区域进行遮挡处理之前，图像显示设备还可以确定背景区域的至少部分区域。在本公开的一些实施例中，可以根据以下步骤确定背景区域中的至少部分区域：

S231、基于至少两帧真实场景图像中的背景区域，确定背景区域中的目标区域；目标区域为背景区域中动态变化的区域或者未发生变化的区域；

S232、将目标区域作为背景区域中待进行遮挡处理的至少部分区域。

本公开实施例中，图像显示设备可以将真实场景图像中动态变化的区域作为需要进行遮挡处理的区域，图像显示设备也可以将真实场景图像中静止不变的区域作为需要进行遮挡处理的区域。

在本公开的一些实施例中，图像显示设备可以对采集的多帧真实场景图像中的连续两帧真实场景图像进行对比，来确定真实场景图像中背景区域中发生变化的区域，或者未发生变化的区域。进而，图像显示设备将背景区域中发生变化的区域，或者未发生变化的区域作为待遮挡区域，即上文提到的背景区域的至少部分区域。

这样，图像显示设备，可以根据实际图像的实际变化情况，确定需要进行遮挡的区域，提高了图像处理的灵活性。

下面，详细介绍图像显示设备确定背景区域中目标区域的方式。

在本公开的一些实施例中，S231基于至少两帧真实场景图像中的背景区域，确定背景区域中的目标区域，可以通过以下步骤实现：

S2311、确定每帧真实场景图像中背景区域的显示参数；

S2312、若相邻两帧真实场景图像中第一区域的显示参数变化量满足特定条件，则将第一区域确定为所述目标区域。

在本公开实施例中，显示参数可以是显示像素值，或者显示颜色参数。

在本公开的一些实施例中，图像显示设备可以对连续两帧真实场景图像中的背景区域显示像素值进行对比，通过计算显示像素值的变化量，来确定发生变化的区域；图像显示设备还可以对连续两帧真实场景图像中背景区域的显示颜色进行对比，通过计算显示颜色的变化量，来确定发生变化的区域。本公开实施例对两帧真实场景图像进行对比的方式不进行限定。

本公开一些实施例中，在目标区域用于表征背景区域中动态变化的区域的情况下，S2312中提到的特定条件可以包括以下至少之一：

第一区域中至少部分像素的像素值变化量大于第一像素阈值；

第一区域中至少部分像素的平均值变化量大于第二像素阈值；

第一区域中至少部分像素的颜色参数的变化量大于第一颜色阈值；

第一区域中至少部分像素的平均颜色参数的变化量大于第二颜色阈值。

也就是说，本公开实施例中，图像显示设备可以对比连续两帧真实场景图像，将发生明显变化的区域，确定为待遮挡的区域。

在本公开的一些实施例中，图像显示设备可以将连续两帧真实场景的背景区域划分为多个区域。图像显示设备将第一帧真实场景图像中的第一区域与第二帧真实场景图像中的第一区域的多个像素的像素值和/或颜色参数进行对比，当第一区域中至少部分像素的像素值变化量大于第一像素阈值，第一区域中至少部分像素的平均值变化量大于第二像素阈值，第一区域中至少部分像素的颜色参数的变化量大于第一颜色阈值，第一区域中至少部分像素的平均颜色参数的变化量大于第二颜色阈值中的至少一个被满足，则可以将第一区域确定为目标区域。

进而，图像显示设备将第一帧真实场景图像中的第二区域与第二帧真实场景图像中的第二区域的多个像素的像素值和/或颜色参数进行对比，当第二区域中至少部分像素的像素值变化量大于第一像素阈值，第二区域中至少部分像素的平均值变化量大于第二像素阈值，第二区域中至少部分像素的颜色参数的变化量大于第一颜色阈值，第二区域中至少部分像素的平均颜色参数的变化量大于第二颜色阈值中的至少一个被满足，则可以将第二区域确定为目标区域。

接着，图像显示设备将第一帧真实场景图像中的第三区域与第二帧真实场景图像中的第三区域的多个像素的像素值和/或颜色参数进行对比，对比方式与上文中描述的方式相同，直到真实场景图像中的多个区域对比完成。

如此，图像显示设备可以准确地确定背景区域中发生变化的区域，将发生变化的区域作为待遮挡的目标区域。

在本公开的一些实施例中，在目标区域用于表征背景区域中未发生变化的区域的情况下，S2312中提到的特定条件可以包括以下至少之一：

第一区域中至少部分像素的像素值变化量小于第三像素阈值；

第一区域中至少部分像素的平均值变化量小于第四像素阈值；

第一区域中至少部分像素的颜色参数的变化量小于第三颜色阈值；

第一区域中至少部分像素的平均颜色参数的变化量小于第四颜色阈值。

也就是说，本公开实施例中，图像显示设备可以对比连续两帧真实场景图像，将未发生明显变化的区域，确定为待遮挡的区域。

与上文中描述的类似，在本公开的一些实施例中，图像显示设备可以将连续两帧真实场景的背景区域划分为多个区域。图像显示设备将第一帧真实场景图像中的第一区域与第二帧真实场景图像中的第一区域的多个像素的像素值和/或颜色参数进行对比，当第一区域中至少部分像素的像素值变化量小于第三像素阈值，第一区域中至少部分像素的平均值变化量小于第四像素阈值，第一区域中至少部分像素的颜色参数的变化量小于第三颜色阈值，第一区域中至少部分像素的平均颜色参数的变化量小于第四颜色阈值中的至少一个被满足，则可以将第一区域确定为目标区域。

其他区域的确定方式与上文的描述类似，这里不再赘述。

这样，图像显示设备可以准确地确定背景区域中未发生变化的区域，将未发生变化的区域作为待遮挡的目标区域。

基于上述实施例，在本公开实施例中，增强显示效果，包括：

在至少一帧真实场景图像的目标展示对象的预设范围内显示有虚拟效果数据对应的虚拟效果对象；

以及，以下效果之一：

背景区域中至少部分区域模糊化；

背景区域中至少部分区域被遮挡图像遮挡；

背景区域中至少部分区域渲染有虚拟遮挡数据对应的虚拟遮挡对象。

也就是说，本公开实施例可以在真实场景图像中针对目标展示对象增加虚拟效果，增强了目标展示对象的展示效果。同时，在增强显示效果中，背景区域中至少部分区域模糊化；或者，背景区域中至少部分区域被遮挡图像遮挡；或者，背景区域中至少部分区域渲染有虚拟遮挡数据对应的虚拟遮挡对象，避免背景区域中不被期望的信息被展示出来，降低了背景区域中显示的内容对目标展示对象的干扰。

基于前述实施例，本公开实施例提供一种图像显示装置，该图像显示装置可以应用于上文所述的图像显示设备中，图7为本公开实施例提供的图像显示装置的组成结构示意图，如图7所示，所述装置700包括：

图像采集单元701，用于采集至少一帧真实场景图像；

识别单元702，用于识别所述至少一帧真实场景图像中目标展示对象和背景区域；

获取单元703，用于获取与所述目标展示对象对应的第一虚拟效果数据；

第一处理单元704，用于并基于所述第一虚拟效果数据对所述目标展示对象进行渲染处理，得到虚拟效果图像；

第二处理单元705，用于对所述背景区域中至少部分区域进行遮挡处理；

显示单元706，用于在图像显示设备上展示经所述遮挡处理之后的真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

在本公开的一些实施例中，第二处理单元705，还用于确定与所述背景区域中至少部分区域对应的目标显示参数；基于所述目标显示参数，对所述背景区域中至少部分区域当前的显示参数进行调整，其中，调整后的所述背景区域中的至少部分区域不可见。

在本公开的一些实施例中，获取单元703，还用于获取目标展示对象的显示参数；

第二处理单元705，基于所述目标展示对象的显示参数，确定所述背景区域中至少部分区域的目标显示参数。

在本公开的一些实施例中，获取单元703，还用于获取与所述背景区域中至少部分区域对应的预设遮挡图像；

第二处理单元705，还用于使用所述预设遮挡图像对所述背景区域中的至少部分区域进行遮挡处理。

在本公开的一些实施例中，获取单元703，还用于获取与所述背景区域中至少部分区域对应的虚拟遮挡数据；

第二处理单元705，还用于对所述虚拟遮挡数据对应的遮挡效果进行渲染，得到所述背景区域中至少部分区域被遮挡后的真实场景图像。

在本公开的一些实施例中，图像显示装置还包括第三处理单元；所述至少一帧真实场景图像包括至少两帧真实场景图像；

第三处理单元，用于基于所述至少两帧真实场景图像中的背景区域，确定所述背景区域中的目标区域；所述目标区域为所述背景区域中动态变化的区域或者未发生变化的区域；将所述目标区域作为所述背景区域中待进行遮挡处理的所述至少部分区域。

在本公开的一些实施例中，第三处理单元，还用于确定每帧真实场景图像中背景区域的显示参数；若相邻两帧真实场景图像中第一区域的显示参数变化量满足特定条件，则将所述第一区域确定为所述目标区域。

在本公开的一些实施例中，所述目标区域用于表征所述背景区域中动态变化的区域，所述特定条件包括以下至少之一：

所述第一区域中至少部分像素的像素值变化量大于第一像素阈值；

所述第一区域中至少部分像素的平均值变化量大于第二像素阈值；

所述第一区域中至少部分像素的颜色参数的变化量大于第一颜色阈值；

所述第一区域中至少部分像素的平均颜色参数的变化量大于第二颜色阈值。

在本公开的一些实施例中，所述目标区域用于表征所述背景区域中未发生变化的区域，所述特定条件包括以下至少之一：

所述第一区域中至少部分像素的像素值变化量小于第三像素阈值；

所述第一区域中至少部分像素的平均值变化量小于第四像素阈值；

所述第一区域中至少部分像素的颜色参数的变化量小于第三颜色阈值；

所述第一区域中至少部分像素的平均颜色参数的变化量小于第四颜色阈值。

在本公开的一些实施例中，所述显示参数包括以下至少之一：显示颜色参数、显示样式、显示像素值。

在本公开的一些实施例中，所述增强显示效果，包括：

在所述至少一帧真实场景图像的目标展示对象的预设范围内显示有虚拟效果数据对应的虚拟效果对象；以及，以下效果之一：

所述背景区域中至少部分区域模糊化；

所述背景区域中至少部分区域被遮挡图像遮挡；

所述背景区域中至少部分区域渲染有虚拟遮挡数据对应的虚拟遮挡对象。

在本公开的一些实施例中，所述图像显示设备的显示屏幕在预设滑动轨道上移动。

在本公开的一些实施例中，所述图像显示设备的显示屏幕为透明显示屏或者非透明显示屏。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

需要说明的是，本公开实施例中，如果以软件功能模块的形式实现上述的信息显示方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本公开实施例不限制于任何特定的硬件和软件结合。

相应的，本公开实施例再提供一种计算机存储介质，所述计算机存储介质上存储有计算机可执行指令，该计算机可执行指令用于实现上述实施例提供的信息显示方法的步骤。

相应的，本公开实施例提供一种图像显示设备，图8为本公开实施例图像显示设备的结构示意图，如图8所示，所述图像显示设备800包括：摄像头801、显示器802；

存储器803，用于存储计算机程序；

处理器804，用于执行所述存储器803中存储的计算机程序时，结合所述摄像头801和所述显示屏802，实现上述实施例提供的图像显示方法的步骤。

图像显示设备800还包括：通信总线805。通信总线805配置为实现这些组件之间的连接通信。

在本公开实施例中，显示屏802包括但不限于液晶显示屏，有机发光二级管显示屏，触控显示屏等等，本公开这里不做限定。

以上计算机设备和存储介质实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开计算机设备和存储介质实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本公开的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本公开的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本公开实施例的实施过程构成任何限定。上述本公开实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本公开所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本公开实施例方案的目的。

另外，在本公开各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本公开上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像显示方法，其特征在于，所述方法包括：

采集至少一帧真实场景图像；

识别所述至少一帧真实场景图像中目标展示对象和背景区域；

获取与所述目标展示对象对应的虚拟效果数据，并基于所述虚拟效果数据对所述目标展示对象进行渲染处理，得到虚拟效果图像；

对所述背景区域中至少部分区域进行遮挡处理，在图像显示设备上展示经所述遮挡处理之后的真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

2.根据权利要求1所述的方法，其特征在于，所述对所述背景区域中至少部分区域进行遮挡处理，包括：

确定与所述背景区域中至少部分区域对应的目标显示参数；

基于所述目标显示参数，对所述背景区域中至少部分区域当前的显示参数进行调整，其中，调整后的所述背景区域中的至少部分区域不可见。

3.根据权利要求2所述的方法，其特征在于，所述确定与所述背景区域中至少部分区域对应的目标显示参数，包括：

获取目标展示对象的显示参数；

基于所述目标展示对象的显示参数，确定所述背景区域中至少部分区域的目标显示参数。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述背景区域中至少部分区域进行遮挡处理，包括：

获取与所述背景区域中至少部分区域对应的预设遮挡图像；

使用所述预设遮挡图像对所述背景区域中的至少部分区域进行遮挡处理。

5.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述背景区域中至少部分区域进行遮挡处理，包括：

获取与所述背景区域中至少部分区域对应的虚拟遮挡数据；

对所述虚拟遮挡数据对应的遮挡效果进行渲染，得到所述背景区域中至少部分区域被遮挡后的真实场景图像。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述至少一帧真实场景图像包括至少两帧真实场景图像；根据以下方式确定所述背景区域中的至少部分区域：

基于所述至少两帧真实场景图像中的背景区域，确定所述背景区域中的目标区域；所述目标区域为所述背景区域中动态变化的区域或者未发生变化的区域；

将所述目标区域作为所述背景区域中待进行遮挡处理的所述至少部分区域。

7.根据权利要求6所述的方法，其特征在于，所述基于所述至少两帧真实场景图像中的背景区域，确定所述背景区域中的目标区域，包括：

确定每帧真实场景图像中背景区域的显示参数；

若相邻两帧真实场景图像中第一区域的显示参数变化量满足特定条件，则将所述第一区域确定为所述目标区域。

8.根据权利要求7所述的方法，其特征在于，所述目标区域用于表征所述背景区域中动态变化的区域，所述特定条件包括以下至少之一：

所述第一区域中至少部分像素的像素值变化量大于第一像素阈值；

所述第一区域中至少部分像素的平均值变化量大于第二像素阈值；

所述第一区域中至少部分像素的颜色参数的变化量大于第一颜色阈值；

所述第一区域中至少部分像素的平均颜色参数的变化量大于第二颜色阈值。

9.根据权利要求7所述的方法，其特征在于，所述目标区域用于表征所述背景区域中未发生变化的区域，所述特定条件包括以下至少之一：

所述第一区域中至少部分像素的像素值变化量小于第三像素阈值；

所述第一区域中至少部分像素的平均值变化量小于第四像素阈值；

所述第一区域中至少部分像素的颜色参数的变化量小于第三颜色阈值；

所述第一区域中至少部分像素的平均颜色参数的变化量小于第四颜色阈值。

10.根据权利要求2至9任一项所述的方法，其特征在于，所述显示参数包括以下至少之一：显示颜色参数、显示样式、显示像素值。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述增强显示效果，包括：

在所述至少一帧真实场景图像的目标展示对象的预设范围内显示有虚拟效果数据对应的虚拟效果对象；以及，以下效果之一：

所述背景区域中至少部分区域模糊化；

所述背景区域中至少部分区域被遮挡图像遮挡；

所述背景区域中至少部分区域渲染有虚拟遮挡数据对应的虚拟遮挡对象。

12.根据权利要求1-11任一项所述的方法，其特征在于，所述图像显示设备的显示屏幕在预设滑动轨道上移动。

13.根据权利要求1-12任一项所述的方法，其特征在于，所述图像显示设备的显示屏幕为透明显示屏或者非透明显示屏。

14.一种图像显示装置，其特征在于，所述装置包括：

图像采集单元，用于采集至少一帧真实场景图像；

识别单元，用于识别所述至少一帧真实场景图像中目标展示对象和背景区域；

获取单元，用于获取与所述目标展示对象对应的第一虚拟效果数据；

第一处理单元，用于并基于所述第一虚拟效果数据对所述目标展示对象进行渲染处理，得到虚拟效果图像；

第二处理单元，用于对所述背景区域中至少部分区域进行遮挡处理；

显示单元，用于在图像显示设备上展示经所述遮挡处理之后的真实场景图像与所述虚拟效果图像相叠加的增强现实效果。

15.一种图像显示设备，所述图像显示设备包括摄像头、显示器，处理器和用于存储能够在处理器上运行的计算机程序的存储器；

所述摄像头、所述显示器、所述处理器和所述存储器通过通信总线连接；

其中，所述处理器结合所述摄像头和所述显示器，运行所述存储器中存储的计算机程序时，执行权利要求1至13任一项所述方法的步骤。

16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行实现权利要求1至13任一项所述方法的步骤。

Images