CN106454295A - 一种基于纯色背景的实时全息投影装置与方法 - Google Patents

Abstract

本发明是一种基于纯色背景的实时全息投影装置与方法,由投影机、棱锥分光镜、投影幕、图像采集设备、视频抠图模块、视频拼接合成服务器、声音采集设备、声音播放设备组成，投影幕位于投影机、棱锥分光镜之间；图像采集设备包括摄像头和纯色背景，其采集的图像由视频抠图模块抠图后送入视频拼接服务器拼接，再由投影机投影到投影幕，在棱锥分光镜上展示全息投影图像，同时由声音播放设备将声音采集设备采集的声音进行播放。本发明无需后期处理，可以实时完成抠图并进行全息投影的展示。

Description

一种基于纯色背景的实时全息投影装置与方法

技术领域

本发明属于全息投影技术领域，是一种结合图像处理与视频合成技术的全息投影装置。

背景技术

随着科学技术的迅猛发展，人们对投影艺术视觉效果的要求高涨。全息投影技术是近年来兴起的一种高科技技术，向世人展示了高科技的魅力。它正以一种全新的方式改变着人们对那些传统舞台的声光电技术的审美态度。该技术可将三维画面悬浮在实景的半空中成像，营造了亦幻亦真的氛围，效果奇特，具有强烈的纵深感，真假难辩。使人从四个角度多方位观赏画面，相较二维画面更加详细，真实。该技术应用广泛，展馆、舞台等场合，教育、销售等行业均有应用。

传统的全息投影都是播放固定的事先制作好的视频，这就限制了其应用的范围，并且与人的互动性不强，从录制到播放时间较长，过程繁琐，影响了使用者的体验。如果在全息投影的基础上，利用图像处理技术，将采集到的视频去掉背景，只留下我们想要的前景，再将几路视频加以拼接，则可以实现实时的全息投影。但实时的全息投影如今在技术上依旧有一定的难度，所以现在市面上鲜有实时的全息投影技术。

发明内容

（一）本发明要解决的技术问题

本发明针对目前全息投影的上述缺陷，本发明的目的是利用图像处理技术，将视频的纯色背景去掉，保留前景，并将几路视频合成到一起，提出一种实时的全息投影装置。

（二）本发明的技术方案一种基于纯色背景的实时全息投影装置，包含有：投影机、棱锥分光镜、投影幕、图像采集设备、视频抠图模块、视频拼接合成服务器、声音采集设备、声音播放设备，其中：

投影幕位于投影机、棱锥分光镜之间；

图像采集设备，采集具有纯色背景的多路视频；

视频抠图模块与图像采集设备相连，利用纯色背景，抠出多路视频中要展示的前景图像；

视频拼接合成服务器与视频抠图模块相连，将抠出的要展示的前景图像合成视频；

声音采集设备放置于图像采集设备附近，采集要展示的前景图像附近的声音，声音播放设备放置于棱锥分光镜附近；声音播放设备也同时将声音采集设备采集到的声音进行播放；

投影机与视频拼接合成服务器相连，投影机把合成视频信号，投影到投影幕上，在棱锥分光镜上形成全息投影。

本发明的有益效果：

1、本发明通过采集纯色背景图像并对其进行图像处理，将人物自动从背景中提取出来，无需人为干预，并可以加上其他背景，实时的投影到全息投影中。

2、实时生成的全息投影克服了传统上要先录制视频，再进行全息投影的繁琐过程，获得了更好的用户体验并且大大地扩展了其应用范围。

3、本装置应用广泛，可以应用于全息可视电话、全息可视会议、展览馆厅等。

附图说明

图1是本发明装置的工作原理示意图；

图2是本发明方法的流程图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实例仅旨在便于对本发明的理解，而对其不起任何限定作用。

请参阅图1所示本发明异型投影的全息投影装置的工作原理示意图，该装置可以实时进行前景人物的提取并叠加新背景，并将处理后的视频投影到全息投影上；所述装置包含有：投影机1、投影幕2、棱锥分光镜3、视频拼接合成服务器4、视频抠图模块5、图像采集设备6、声音采集设备7、声音播放设备8，其中：

投影幕1位于投影机2、棱锥分光镜3之间；

图像采集设备6中包含四路摄像头并分别有一个对应的纯色背景，四路摄像头依次呈顺时针90度排列，图像采集设备6与视频抠图模块5相连；

声音采集设备7与图像采集设备6放置在一起，声音播放设备8与棱锥分光镜3放置在一起；

视频抠图模块5又与视频拼接合成服务器4相连；

视频拼接合成服务器4又与投影机1相连；

投影机1把从视频拼接合成服务器4接收到的视频信号，投影到投影幕2上，在棱锥分光镜3上形成全息投影。

所述投影机1、棱锥分光镜3及投影幕2共同构成全息投影系统。

所述图像采集设备6，可以实时采集4路视频，对应全息投影展示物体的前后左右4面。

所述图像采集设备6具有纯色背景。

所述视频抠图模块5利用纯色背景将要展示的内容抠出，并送入视频拼接合成服务器4。

所述视频拼接合成服务器4将抠出的图像合成视频，最终输出给投影机1。

进行图像展示的同时，声音播放设备7也同时将声音采集设备8采集到的声音进行播放。

所述视频拼接合成服务器4可根据需要，既可以只合成视频抠图模块5抠出的图像，也可以在此基础上加入一些背景合成最终的投影图像。

所述视频拼接合成服务器4具有梯形拼接和三角形拼接两种模式。

如附图2所示本发明提供的一种基于纯色背景的实时全息投影装置的工作流程图，该方法应用于包含投影机1、投影幕2、棱锥分光镜3、视频拼接合成服务器4、视频抠图模块5、图像采集设备6、声音采集设备7、声音播放设备8基于纯色背景的实时全息投影装置，其特征在于，该装置流程包括以下步骤：

A、视频采集：使用基于但不限于绿色背景布和摄像头的采集设备进行视频采集；

在本发明的一个实施例中：

图像采集设备选择四台罗技c920彩色摄像头，输出接口USB，最大分辨率1080p，30帧/秒；背景采用纯绿色的背景布。摄像头采集彩色视频,并将视频传人视频抠图模块。

B、判断输入视频的路数：本装置有自动检测功能，确定输入视频为几路然后根据有几路视频进行下面的流程时就处理几路视频；本装置输入视频可以是1路、2路、3路或者4路，视频抠图模块、视频拼接合成服务器会根据输入视频路数的不同自动进行输出的调整；

C、抠图处理：分别对每路视频进行纯色背景的剔除，抠出前景图像；

在本发明的一个实施例中：

视频抠图模块采用一台ThinkPadX240电脑，酷睿i5处理器，操作系统Windows7，电脑通过USB hub与四路摄像头连接，程序首先关闭电脑自带摄像头，然后判断与电脑通过USB连接的摄像头有4个，然后读取四路摄像头的视频，并剔除绿色背景，提取前景，将前景视频分四路通过网络发送给视频拼接合成服务器；

D、由视频拼接合成服务器判断拼接方式选择开关和加入背景开关的状态；

E、根据拼接方式选择开关状态采用对应拼接方式进行拼接；

F、根据背景开关状态进行加入或者不加入背景；

在本发明的一个实施例中：

视频拼接合成服务器采用一台ThinkPadX240电脑，酷睿i3处理器，操作系统Windows7，通过网络接收视频抠图模块发送的视频信息，判断有四路视频信号，通过鼠标点击选择程序界面的按键选择矩形拼接模式不加入背景。程序将接收到的四路视频，通过缩放拼接到一起，不加入背景，然后将图像通过HDMI接口送入投影机；

G、投影机将前景图像进行进行全息投影，同时声音播放设备播放由声音采集设备采集的声音；

所述的视频抠图模块基于纯色背景抠图，其流程包括：

C1、根据背景颜色选择背景模型；

C2、分别对每一路视频，逐个像素与背景模型进行对比，将背景剔除，抠出前景；

C3、分别对每一路视频，对前景边缘进行优化；

所述的拼接合成模块具有不同的拼接方法，并可以加入指定背景，其流程包括：

D1、判断拼接方法选择开关与加入背景开关的状态，并记录；

E1、拼接时，合成后图像为正方形，以其对角线分出的四个三角形区域分别为四路图像的放置图像目标区域，其中，如图1俯视时，上下左右四个摄像头分别对应合成后图像划分的四个上下左右四个三角形；并且摄像头图像做一定旋转使摄像头图像中的“上”朝向合成后图像的中心，即上下左右四个摄像头分别顺时针旋转180度，0度，90度，270度。如果为矩形拼接，则取每路图像的整张矩形图像进行缩放，以内接其对应三角形区域的方式拼接，然后跳过E2，执行F1；否则，进行E2；

E2、进行梯形拼接，取每路图像的梯形或三角形，以图像的底边为梯形底边取底角为45度的等腰梯形或者以图像的底边为三角形直角边取等腰直角三角形。然后根据合成后图像目标区域大小进行图像的缩放，以内接目标区域的方式将四路图像拼接；

F1、如果加入背景开关打开，则将拼接后的图像与指定背景叠，再将图像输出；否则，就直接输出拼接后的图像。

在本发明的实施例中：

投影机采用dostyle IP303投影仪，分辨率1280*720，同时支持音频的播放。采用dostyle IP303投影仪的HDMI输入模式，实时接收并播放来自视频拼接合成服务器的全息视频。同时声音采集设备由英创PM-60话筒与客所思KX-2声卡组成，声音播放设备由投影仪的外放功能充当。声卡客所思KX-2将话筒的音频信号传给投影仪dostyle IP303进行播放。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为。

Claims (10)

1.一种基于纯色背景的实时全息投影装置，其特征在于包含有：投影机、棱锥分光镜、投影幕、图像采集设备、视频抠图模块、视频拼接合成服务器、声音采集设备、声音播放设备，其中：

投影幕位于投影机、棱锥分光镜之间；

图像采集设备，采集具有纯色背景的多路视频；

视频抠图模块与图像采集设备相连，利用纯色背景，抠出多路视频中要展示的前景图像；

视频拼接合成服务器与视频抠图模块相连，将抠出的要展示的前景图像合成视频；

声音采集设备放置于图像采集设备附近，采集要展示的前景图像附近的声音，声音播放设备放置于棱锥分光镜附近；声音播放设备也同时将声音采集设备采集到的声音进行播放；

投影机与视频拼接合成服务器相连，投影机把合成视频信号，投影到投影幕上，在棱锥分光镜上形成全息投影。

2.根据权利要求1所述的投影装置，其特征在于：所述投影机、棱锥分光镜及投影幕共同构成全息投影系统。

3.根据权利要求1所述的投影装置，其特征在于：图像采集设备中包含四路摄像头，每路摄像头具有纯色背景。

4.根据权利要求1所述的投影装置，其特征在于：四路摄像头依次呈顺时针90度排列。

5.根据权利要求1所述的投影装置，其特征在于：所述图像采集设备实时采集4路视频，对应全息投影展示物体的前后左右4面；还可以实时采集1-3路视频中任意路视频的组合，对应全息投影展示物体1-3面中的任意面的组合。

6.根据权利要求1所述的投影装置，其特征在于：所述视频拼接合成服务器可根据需要只合成视频抠图模块抠出的图像，或在合成视频抠图模块抠出的图像的基础上加入一些背景，并合成最终的投影图像。

7.根据权利要求1所述的投影装置，其特征在于：所述视频拼接合成服务器具有梯形拼接和三角形拼接两种模式。

8.一种使用权利要求1-7所述基于纯色背景的实时全息投影装置的实时全息投影方法，其特征在于，该方法包括以下步骤：

A、使用摄像头采集具有纯色背景视频；

B、检测具有纯色背景的视频的路数；

C、分别剔除每路具有纯色背景视频中的纯色背景，并抠出前景图像；

D、拼接合成模块具有是否加入背景的选择开关，根据开关状态设置背景开关状态，如果是开则加入背景，否则不加入背景：

E、根据拼接合成模块具有不同的拼接方式选择开关状态选用对应拼接方式，将每路前景图像拼接，获得合成后前景图像；

F、根据背景开关状态，在合成的前景图像中加入背景或者不加入背景：

G、将合成前景图像进行全息投影，同时由声音播放设备播放声音。

9.根据权利要求8所述的方法，其特征在于，所述的视频抠图模块基于纯色背景抠图的步骤包括：

C1、根据背景颜色选择背景模型；

C2、分别对每路具有纯色背景的视频，逐个像素与背景模型进行对比，将纯色背景剔除，抠出前景图像；

C3、分别对每一路具有纯色背景的视频的前景图像的边缘进行优化。

10.根据权利要求9所述的方法，其特征在于，所述的拼接合成模块具有不同的拼接方式，并可以加入指定背景，其流程包括：

D1、判断拼接方式选择开关与加入背景开关的状态，并记录；

E1、拼接时，合成的前景图像为正方形，以正方形的对角线分出的四个三角形区域分别为每路前景图像的放置图像目标区域；如果为矩形拼接，则取每路图像的整张矩形图像进行缩放，以内接放置图像目标区域对应三角形区域的方式拼接，则执行F1；没有以内接放置图像目标区域对应三角形区域的方式拼接，则执行E2；

E2、每路前景图像进行梯形拼接，取每路前景图像的梯形或三角形，以前景图像的底边为梯形底边取底角为45度的等腰梯形或者以前景图像的底边为三角形直角边取等腰直角三角形，然后根据合成后前景图像目标区域大小进行图像的缩放，以内接目标区域的方式将四路图像拼接；

F1、如果加入背景开关打开，则将拼接合成后的前景图像与指定背景叠加，再将合成后的前景图像输出；如果加入背景开关未打开，则拼接合成后的前景图像与指定背景不叠加，就直接输出拼接合成后的前景图像。