CN103533254A - 采用增强现实技术的显示屏及其控制方法 - Google Patents

Abstract

本发明揭示了一种采用增强现实技术的显示屏，包括大尺寸显示屏、摄像头、图像捕捉服务器、图像合成服务器和视频播放服务器。摄像头连接到大尺寸显示屏，摄像头对准指定区域，指定区域位于大尺寸显示屏前方，指定区域被标记。图像捕捉服务器连接到摄像头，图像捕捉服务器从摄像头获取的图像中识别并分离人像图像，人像图像被实时转换为人像视频流。图像合成服务器将人像视频流与背景视频流合成形成合成视频流，人像视频流在合成视频流中处于预定的位置。视频播放服务器连接到大尺寸显示屏，在大尺寸显示屏上播放合成视屏流。本发明还揭示了一种采用增强现实技术的显示屏的控制方法。本发明使得观众能感受到自己被融入到正在播放的视频中，达到互动的效果。

Description

采用增强现实技术的显示屏及其控制方法

技术领域

本发明涉及多媒体终端设备领域，尤其涉及一种采用增强现实技术的显示屏及其控制方法。

背景技术

多媒体显示屏目前已成为一种主流的显示媒介。在商业楼宇、住宅小区、公寓电梯、大卖场、机场、火车站、地铁车站、户外显示屏等等应用领域多媒体显示屏都有着广泛的应用。

随着显示屏制造技术的快速发展，大尺寸的显示屏得到了快速的普及，以LED为主的大尺寸显示屏给观众带了了丰富的视觉感受。但是对于现有的显示屏来说，一个显著的不足是互动性太差，不能与周边的观众有效互动，只能做单向的广播。

随着增强现实（AR）技术的出现，使得观众融入到所播放的视频节目中称为可能。增强现实（AR）技术是一个虚、实结合的应用，它借助于计算机图形和可视化技术，将从现实环境中获取的图像融合到虚拟环境中，营造出一种虚幻而又真实的场景。通常的AR技术需要使用计算机系统、视频输入转换系统、人机交互系统、动作捕捉跟踪系统、视频显示系统和传感系统来实现。

对于传统的AR技术来说，其中的动作捕捉系统和传感系统是实现的关键，也是成本最为高昂的部件。但传统的AR技术主要应用与较为封闭的环境中，例如家里，因此动作捕捉系统和传感系统都是相当精密的仪器，能够捕捉细小的动作并进行细致的处理。对于多媒体显示屏来说，由于其应用环境是开放式的，所以相对比较嘈杂，干扰因素很多，过于精密的动作捕捉系统和传感系统在这种噪声环境下反而难以正常工作。并且，多媒体显示屏作为一种大人流区域的媒体设备，不需要将观众停留在显示屏前很长的时间，也不需要过于精密的动作采集，是要能够实现简单的互动即可。同时，多媒体显示屏的大规模引用也对成本控制提出了要求。因此，就需要一种具备简单互动能力，具有较强的抗干扰能力且成本较低的AR实现方式。

发明内容

本发明旨在提出一种采用增强现实技术的显示屏技术，采集位于指定区域内的观众的人像图像，将人像图像与背景视频合成，达到互动的效果。

根据本发明的一实施例，提出一种采用增强现实技术的显示屏，包括大尺寸显示屏、摄像头、图像捕捉服务器、图像合成服务器和视频播放服务器。摄像头连接到大尺寸显示屏，摄像头对准指定区域，指定区域位于大尺寸显示屏前方，指定区域被标记。图像捕捉服务器连接到摄像头，图像捕捉服务器从摄像头获取的图像中识别并分离人像图像，人像图像被实时转换为人像视频流。图像合成服务器将人像视频流与背景视频流合成形成合成视频流，人像视频流在合成视频流中处于预定的位置。视频播放服务器连接到大尺寸显示屏，在大尺寸显示屏上播放合成视屏流。

在一个实施例中，图像捕捉服务器通过像素比较来识别并分离人像图像，当图像捕捉服务器判断摄像头获取的图像中存在人像图像时，获取人像图像并转换为人像视频流，同时生成一个触发信号。

在一个实施例中，指定区域由单色背景区域标记。当有人进入到指定区域时，在摄像头获取的图像中，人像所占的图像比例不小于80%。图像捕捉服务器进行像素比较，当摄像头获取的图像中至少50%的区域与单色背景的像素不同时，判断存在人像图像。

在一个实施例中，背景视频流中存在固定的替代区域。当未收到触发信号时，背景视屏流直接作为合成视频流。当收到触发信号时，在替代区域中背景视频流被覆盖，人像视频流在替代区域中播放，实现人像视频流与背景视频流的合成。

根据本发明的一实施例，提出一种采用增强现实技术的显示屏的控制方法，包括如下的步骤：

标记及对准步骤，标记一指定区域，一摄像头对准指定区域，该指定区域位于一大尺寸显示屏前方；

图像获取步骤，摄像头获取图像，图像包括所述指定区域；

图像捕捉步骤，从摄像头获取的图像中识别并分离人像图像，并将人像图像被实时转换为人像视频流；

图像合成步骤，将人像视频流与背景视频流合成形成合成视频流，人像视频流在合成视频流中处于预定的位置；

视频播放步骤，在大尺寸显示屏上播放合成视屏流。

在一个实施例中，图像捕捉步骤中通过像素比较来识别并分离人像图像，当判断摄像头获取的图像中存在人像图像时，获取人像图像并转换为人像视频流，同时生成一个触发信号。

在一个实施例中，指定区域由单色背景区域标记。当有人进入到指定区域时，在摄像头获取的图像中，人像所占的图像比例不小于80%。图像捕捉步骤中进行像素比较，当摄像头获取的图像中至少50%的区域与单色背景的像素不同时，判断存在人像图像。

在一个实施例中，背景视频流中存在固定的替代区域。图像合成步骤中，当未收到触发信号时，背景视屏流直接作为合成视频流。图像合成步骤中，当收到触发信号时，在替代区域中背景视频流被覆盖，人像视频流在替代区域中播放，实现人像视频流与背景视频流的合成。

本发明的采用增强现实技术的显示屏及其控制方法使得处于指定区域内的观众的人像图像被采集，该人像图像会被合成到背景视频中并在预定的位置播放，使得观众能感受到自己被融入到正在播放的视频中，达到互动的效果。

附图说明

下面结合附图对本发明的具体实施方式做进一步详细具体的说明。

图1揭示了根据本发明的一实施例的采用增强现实技术的显示屏的结构图。

图2揭示了根据本发明的采用增强现实技术的显示屏的控制方法对图1所示的采用增强现实技术的显示屏进行控制的流程图。

图3揭示了摄像头获取的图像的示意图。

具体实施方式

本发明提出一种采用增强现实（AR）技术的显示屏，该显示屏与传统的AR技术相比，降低了动作捕捉的精确度从而简化了设备并降低了实现成本。同时增加了抗干扰能力以使得该技术更加适合于多媒体屏幕的应用场合，即人流量大，干扰信号多。

图1揭示了根据本发明的一实施例的采用增强现实技术的显示屏的结构图。如图1所示，该采用增强现实技术的显示屏包括大尺寸显示屏102、摄像头104、图像捕捉服务器106、图像合成服务器108和视频播放服务器110。

摄像头104连接到大尺寸显示屏102，摄像头104对准指定区域103。指定区域103位于大尺寸显示屏102前方。指定区域103被标记。在一个实施例中，指定区域103由单色背景区域标记，比如采用蓝色单色背景，或者灰色单色背景。采用单色背景的原因是易于识别，能够更加容易地从摄像头获取的图像中识别出是否存在人像。图3揭示了摄像头获取的图像的示意图。如图3所示，摄像头所获取的图像的范围应当全部被指定区域所覆盖，即其背景为单色。并且，当有人进入到指定区域时，在摄像头获取的图像中，人像所占的图像比例不小于80%。如此，通过像素比对就能够快速判断是否在指定区域中存在人像。由于对于本发明来说，AR技术的精度要求并不是很高，但是对反应速度的要求比较高，所以采用这种简单快速的判断方式比较合适。为了使得摄像头获得的图像能够满足上述要求，摄像头104被设置在比较高的区域，并且通过合理的计算，能够使得摄像头所拍摄的范围均处于指定区域103的范围内，并且人像会在这个图像中占据相当大的比例。

图像捕捉服务器106连接到摄像头104。图像捕捉服务器106从摄像头104获取的图像中识别并分离人像图像。人像图像被实时转换为人像视频流。当指定区域的背景为单色时，图像捕捉服务器106能够通过像素比较来识别并分离人像图像。因为在指定区域中没有人时，摄像头104所获取的图像都是单色的，当有人进入到指定区域时，由于摄像头104的位置被配置为使得人像在所获取图像中占据较大的比例，因此人像所占据的区域像素会发生改变。于是，通过像素比较就能够判断是否存在人像图像。为了确保判断的准确率，在一个实施例中设定，当摄像头获取的图像中至少50%的区域与单色背景的像素不同时，判断存在人像图像。考虑到人像所占的图像比例不小于80%，设定50%作为判断依据应当具有较高的准确率。图像捕捉服务器106还负责输出触发信号，当图像捕捉服务器判断摄像头获取的图像中存在人像图像时，图像捕捉服务器106从摄像头104获得的图像中获取人像图像并将其转换为人像视频流，同时生成一个触发信号。

图像合成服务器108将由图像捕捉服务器106生成的人像视频流与背景视频流合成形成合成视频流，人像视频流在合成视频流中处于预定的位置。背景视频流即一个正常播放的视频，该视频作为“虚拟环境”的载体，人像视频流将被融合到该背景视频流中。为了简化操作并降低实现的成本，在本发明的实施例中，人像视频流将被融合到背景视频流中的预定位置，该预定位置是固定的一个区域，称为替代区域。当有人进入到指定区域103中，其人像将被图像捕捉服务器106识别并转换为人像视频流，同时图像捕捉服务器106会发出触发信号。当图像合成服务器108收到触发信号时，在替代区域中背景视频流被覆盖，同时人像视频流在替代区域中播放，这样，站在指定区域103中的人的人像就会出现在背景视频流中，并且人像视频流会随着人的动作而实时变化，通过人像视频流和背景视频流的重叠覆盖播放实现人像视频流与背景视频流的合成。当没有人进入到指定区域103中，则没有触发信号发出，如果图像合成服务器108未收到触发信号时，则背景视屏流直接作为合成视频流。这样播放的就是完整的背景视频流。

视频播放服务器110连接到大尺寸显示屏102，视频播放服务器110在大尺寸显示屏102上播放合成视屏流。如上面所述的，在指定区域103中有人时，人像会与背景视频流合成后在大尺寸显示屏102上播放。如果在指定区域103中没有人，则直接在大尺寸显示屏102上播放原始的背景视频流。

本发明还提出一种采用增强现实技术的显示屏的控制方法，图2揭示了根据本发明的采用增强现实技术的显示屏的控制方法对图1所示的采用增强现实技术的显示屏进行控制的流程图。如图2所示，该方法包括：

202.标记及对准步骤。标记一指定区域，一摄像头对准指定区域，该指定区域位于一大尺寸显示屏前方。在一个实施例中，指定区域由单色背景区域标记，比如由蓝色或者灰色的单色来标记指定区域。

204.图像获取步骤。摄像头获取图像，图像包括指定区域。摄像头的设置高度以及角度被调节以使得当有人进入到指定区域时，在摄像头获取的图像中，人像所占的图像比例不小于80%。图3揭示了摄像头获取的图像的示意图。

206.图像捕捉步骤。从摄像头获取的图像中识别并分离人像图像，并将人像图像被实时转换为人像视频流。图像捕捉步骤中通过像素比较来识别并分离人像图像，由于指定区域由单色背景标记，因此当有人进入到指定区域中时，容易通过像素比较的方式来识别。考虑到人像所占的图像比例不小于80%，因此设定当摄像头获取的图像中至少50%的区域与单色背景的像素不同时，判断存在人像图像应当具有比较高的准确率。当判断摄像头获取的图像中存在人像图像时，获取人像图像并转换为人像视频流，同时生成一个触发信号。上述的步骤由图像捕捉服务器完成。

208.图像合成步骤。将人像视频流与背景视频流合成形成合成视频流，人像视频流在合成视频流中处于预定的位置。背景视频流即一个正常播放的视频，该视频作为“虚拟环境”的载体，人像视频流将被融合到该背景视频流中。为了简化操作并降低实现的成本，在本发明的实施例中，人像视频流将被融合到背景视频流中的预定位置，该预定位置是固定的一个区域，称为替代区域。当有人进入到指定区域中，其人像将在图像捕捉步骤中被识别并转换为人像视频流，同时发出触发信号。在图像合成步骤中，如果收到触发信号时，则在替代区域中背景视频流被覆盖，同时人像视频流在替代区域中播放，这样，站在指定区域中的人的人像就会出现在背景视频流中，并且人像视频流会随着人的动作而实时变化，通过人像视频流和背景视频流的重叠覆盖播放实现人像视频流与背景视频流的合成。当没有人进入到指定区域中，则没有触发信号发出，如果在图像合成步骤中未收到触发信号，则背景视屏流直接作为合成视频流。这样播放的就是完整的背景视频流。

210.视频播放步骤。在大尺寸显示屏上播放合成视屏流。如上面所述的，在指定区域中有人时，人像会与背景视频流合成后在大尺寸显示屏上播放。如果在指定区域中没有人，则直接在大尺寸显示屏上播放原始的背景视频流。

本发明的采用增强现实技术的显示屏及其控制方法使得处于指定区域内的观众的人像图像被采集，该人像图像会被合成到背景视频中并在预定的位置播放，使得观众能感受到自己被融入到正在播放的视频中，达到互动的效果。

Claims (10)

1.一种采用增强现实技术的显示屏，其特征在于，包括：

大尺寸显示屏；

摄像头，摄像头连接到大尺寸显示屏，摄像头对准指定区域，所述指定区域位于大尺寸显示屏前方，指定区域被标记；

图像捕捉服务器，连接到摄像头，图像捕捉服务器从摄像头获取的图像中识别并分离人像图像，所述人像图像被实时转换为人像视频流；

图像合成服务器，将所述人像视频流与背景视频流合成形成合成视频流，所述人像视频流在合成视频流中处于预定的位置；

视频播放服务器，连接到大尺寸显示屏，在所述大尺寸显示屏上播放所述合成视屏流。

2.如权利要求1所述的采用增强现实技术的显示屏，其特征在于，

所述图像捕捉服务器通过像素比较来识别并分离人像图像，当所述图像捕捉服务器判断所述摄像头获取的图像中存在人像图像时，获取人像图像并转换为人像视频流，同时生成一个触发信号。

3.如权利要求2所述的采用增强现实技术的显示屏，其特征在于，

所述指定区域由单色背景区域标记；

当有人进入到指定区域时，在摄像头获取的图像中，人像所占的图像比例不小于80%。

4.如权利要求3所述的采用增强现实技术的显示屏，其特征在于，所述图像捕捉服务器进行像素比较，当摄像头获取的图像中至少50%的区域与所述单色背景的像素不同时，判断存在人像图像。

5.如权利要求2所述的采用增强现实技术的显示屏，其特征在于，所述背景视频流中存在固定的替代区域；

当未收到所述触发信号时，所述背景视屏流直接作为合成视频流；

当收到所述触发信号时，在所述替代区域中背景视频流被覆盖，所述人像视频流在所述替代区域中播放，实现人像视频流与背景视频流的合成。

6.一种采用增强现实技术的显示屏的控制方法，其特征在于，包括：

标记及对准步骤，标记一指定区域，一摄像头对准所述指定区域，该指定区域位于一大尺寸显示屏前方；

图像获取步骤，摄像头获取图像，所述图像包括所述指定区域；

图像捕捉步骤，从摄像头获取的图像中识别并分离人像图像，并将人像图像被实时转换为人像视频流；

图像合成步骤，将所述人像视频流与背景视频流合成形成合成视频流，所述人像视频流在合成视频流中处于预定的位置；

视频播放步骤，在所述大尺寸显示屏上播放所述合成视屏流。

7.如权利要求6所述的采用增强现实技术的显示屏的控制方法，其特征在于，

所述图像捕捉步骤中通过像素比较来识别并分离人像图像，当判断所述摄像头获取的图像中存在人像图像时，获取人像图像并转换为人像视频流，同时生成一个触发信号。

8.如权利要求7所述的采用增强现实技术的显示屏的控制方法，其特征在于，

所述指定区域由单色背景区域标记；

当有人进入到指定区域时，在摄像头获取的图像中，人像所占的图像比例不小于80%。

9.如权利要求8所述的采用增强现实技术的显示屏的控制方法，其特征在于，图像捕捉步骤中进行像素比较，当摄像头获取的图像中至少50%的区域与所述单色背景的像素不同时，判断存在人像图像。

10.如权利要求7所述的采用增强现实技术的显示屏的控制方法，其特征在于，所述背景视频流中存在固定的替代区域；

图像合成步骤中，当未收到所述触发信号时，所述背景视屏流直接作为合成视频流；

图像合成步骤中，当收到所述触发信号时，在所述替代区域中背景视频流被覆盖，所述人像视频流在所述替代区域中播放，实现人像视频流与背景视频流的合成。

Images