CN109729324A - 分布式交互全息投影系统 - Google Patents

Abstract

本发明提出的分布式交互全息投影系统，涉及投影技术领域，包括一个总控结点和多个捕获渲染子结点，所述总控结点与多个捕获渲染子结点通过局域网络相互连接，所述总控结点用于对交互结果进行交互分析，所述子结点连接多台投影仪，利用多投影无缝拼接进行显示，同时安装多路相机，扩大视频捕获范围。本发明采用基于中央总控结点的分布式架构，子结点只完成视频捕获和视频预处理两个步骤，由中央总控结点接收汇总子结点视频处理结果后，进行全局交互分析，克服现有系统使用子结点的部分画面进行交互检测而引起的错误。

Description

分布式交互全息投影系统

技术领域

本发明涉及投影技术领域，尤其是一种分布式交互全息投影系统。

背景技术

近年来，以多点触控和互动投影为代表的交互显示系统和产品得到快速发展，成为了一种新兴的应用类型，具有重要的产业意义和商业价值。现有的交互显示系统通常采用一台驱动单台投影仪的架构，利用计算机视觉技术进行交互分析。这样的方式成本低廉、易于搭建，在工业界和学术界都得到了广泛的应用。但受处理能力和投影仪硬件设备的限制，系统视频处理能力有限、显示分辨率也不高，无法应用于超大尺寸显示系统中，难以表现复杂的多媒体内容，不满足新的应用要求。

发明内容

本发明提供的一种分布式交互全息投影系统，系统扩展性强、网络占用低，具有很强的实用性。

本发明具体采用如下技术方案实现：

本发明一方面提供一种分布式交互全息投影系统，包括一个总控结点和多个捕获渲染子结点，所述总控结点与多个捕获渲染子结点通过局域网络相互连接，所述总控结点用于对交互结果进行交互分析，所述子结点连接多台投影仪，利用多投影无缝拼接进行显示，同时安装多路相机，扩大视频捕获范围。

上述分布式交互全息投影系统的工作流程如下：

步骤1、子结点同步捕获多路视频信号和深度数据；

步骤2、标定视频捕获结果，校正深度数据，最后把处理结果拼接成完整捕获画面；

步骤3、对捕获画面进行预处理；

步骤4、发送子结点预处理结果到总控结点；

步骤5、中央总控结点在接收汇总各个子结点预处理结果后，拼接成完整视频处理结果后进行全局交互分析，生成交互事件；

步骤6、同步发送交互事件和播放控制时间戳到各个子结点；

步骤7、交互显示程序依据接收到交互事件和播放控制时间戳和其他开发工具包模块，生成完整显示画面；

步骤8、最后经显示区域控制和多投影拼接处理后显示出来。

本发明提供的分布式交互全息投影系统，其有益效果在于：采用基于中央总控结点的分布式架构，子结点只完成视频捕获和视频预处理两个步骤，由中央总控结点接收汇总子结点视频处理结果后，进行全局交互分析，克服现有系统使用子结点的部分画面进行交互检测而引起的错误。利用视频帧之间的连贯性，将画面分割为多个视频块，仅发送前后两帧之间变化的视频块内容，减少发送视频处理结果操作的网络带宽需求，大幅提高系统支持的子结点数量。

附图说明

图1为分布式交互全息投影系统的架构示意图。

具体实施方式

为进一步说明各实施例，可配合附图及说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现具体实施方式对本发明进一步说明。

本发明一方面提供一种分布式交互全息投影系统，包括一个总控结点和多个捕获渲染子结点，所述总控结点与多个捕获渲染子结点通过局域网络相互连接，所述总控结点用于对交互结果进行交互分析，所述子结点连接多台投影仪，利用多投影无缝拼接进行显示，同时安装多路相机，扩大视频捕获范围。

上述分布式交互全息投影系统的工作流程如下：

步骤1、子结点同步捕获多路视频信号和深度数据；

步骤2、标定视频捕获结果，校正深度数据，最后把处理结果拼接成完整捕获画面；

步骤3、对捕获画面进行预处理；

步骤4、发送子结点预处理结果到总控结点；

步骤5、中央总控结点在接收汇总各个子结点预处理结果后，拼接成完整视频处理结果后进行全局交互分析，生成交互事件；

步骤6、同步发送交互事件和播放控制时间戳到各个子结点；

步骤7、交互显示程序依据接收到交互事件和播放控制时间戳和其他开发工具包模块，生成完整显示画面；

步骤8、最后经显示区域控制和多投影拼接处理后显示出来。

本系统包含多个子结点，每个子结点外接多个相机，进行异步视频捕获。为保证视频捕获结果时序一致性，需要对相机进行视频捕获同步控制。根据视频捕获卡硬件特性，系统选择使用基于视频流回调方式的软件同步控制方法。在获得捕获信号后，首先对其编号，并存入各自缓冲队列，待四路信号全部捕获完成后从缓冲队列中取出相同帧号的视频捕获结果，拼接成完整视频内容，进行视频处理，保证时序一致性。

视频捕获标定结果与最终显示区域应尽量对齐。而在实际应用中，由于多投影拼接、投影仪镜头变形及安装角度的影响，首先需要对投影仪进行几何校正。在完成多投影几何校正后，系统按照相机安装方式，将画面分割为几个区域，每个相机处理对应的区域，并依照投影几何校正网格点设置相机标记点，完成相机标定，以保证相机标定结果与实际投影区域能够准确对齐。

系统将同步发送播放控制时间戳和交互事件到各个子结点，以保证各个子结点能够同步显示。为提高发送效率，系统使用广播的形式发送交互数据。为解决发送过程中丢包而引起的数据不一致问题，系统设计并使用“一次数据包两次反馈”的发送策略，提高系统响应速度、保证数据包的完整性。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims (2)

1.一种分布式交互全息投影系统，其特征在于，包括一个总控结点和多个捕获渲染子结点，所述总控结点与多个捕获渲染子结点通过局域网络相互连接，所述总控结点用于对交互结果进行交互分析，所述子结点连接多台投影仪，利用多投影无缝拼接进行显示，同时安装多路相机，扩大视频捕获范围。

2.一种分布式交互全息投影方法，其特征在于，具体步骤如下：

步骤1、子结点同步捕获多路视频信号和深度数据；

步骤2、标定视频捕获结果，校正深度数据，最后把处理结果拼接成完整捕获画面；

步骤3、对捕获画面进行预处理；

步骤4、发送子结点预处理结果到总控结点；

步骤5、中央总控结点在接收汇总各个子结点预处理结果后，拼接成完整视频处理结果后进行全局交互分析，生成交互事件；

步骤6、同步发送交互事件和播放控制时间戳到各个子结点；

步骤7、交互显示程序依据接收到交互事件和播放控制时间戳和其他开发工具包模块，生成完整显示画面；

步骤8、最后经显示区域控制和多投影拼接处理后显示出来。