CN100555403C - 一种拼墙多用户互动控制和拼墙显示信息回放装置及方法 - Google Patents

Abstract

本发明公开了一种拼接墙互动的控制和拼墙显示信息回放装置及方法。本发明可以在多个控制台/控制PC机上实现拼墙综合显示现场桌面信息的回放和互动控制操作。本发明还可以在多个控制台/控制PC机上实现拼墙综合显示现场单个或多个视频窗口和/或RGB显示窗口的信息回放。并且可以在多个控制台/控制PC的显示器上实现按照缩放比例显示拼墙全部或者部分区域信息，可以随时调整显示比例或者变化显示拼墙的任意区域。

Description

一种拼墙多用户互动控制和拼墙显示信息回放装置及方法

技术领域

本发明涉及一种拼接墙互动的控制和拼墙显示信息回放装置及方法。特别是涉及一种利用拼接墙系统的集中显示功能，整合计算机系统、网络、视频综合调度和决策指挥等多种应用处理功能的多用户互动控制和拼墙显示信息回放装置及方法。

背景技术

拼接墙系统是以电子计算机为主，集实时信息收集、传递、处理、显示于一体的高科技综合性系统工程。多种综合应用集中显示和海量信息处理是其最大特点，利用拼接墙系统的集中显示功能，整合计算机系统、网络、实时视频(如会议场景、远程监控)等多种应用处理和集成功能，完全满足信息集中显示、大数据量处理、实时准确显示的需要。但是在提供了专用于高清晰、高分辨的画面显示和窗口组合等等功能的同时，为迅速分析判断、综合调度和决策指挥等需求要求将所需的各类信息，实时迅速地汇集在同一综合画面，并且能在多个控制台/控制PC上实现拼墙综合显示现场信息的回放和实现拼墙综合显示现场多个窗口的视频回放或视频窗口的预浏览等功能。

现有技术应用中，控制人员只能通过直接观看来判断拼墙显示内容的正确与否，如视频窗口是否正常显示，RGB窗口的内容是否正确，避免信号切换错误或者切换失败等，但是有些控制台不在拼墙综合显示现场就无法完成对拼墙显示内容的判断；或者不在拼墙综合显示现场的领导需要分析判断、综合调度和决策指挥时就无法满足对拼墙综合显示现场的操作控制；或者不在拼墙综合显示现场的控制台要了解综合显示现场的大概信息内容，如视频窗口的播放内容或RGB窗口的显示信息等，如果利用大量的视频捕获卡和视频矩阵实现拼墙综合显示现场信息的回放和多个窗口的视频回放或视频窗口的预浏览等功能存在数据传输量大、所需系统资源巨大，占用计算机资源大、刷新速度慢、交互性能差等缺陷。

发明内容

本发明的目的是提供一种实现多个控制台/控制PC机与拼接墙综合显示现场之间互动控制和拼墙显示信息回放的装置及其方法。该装置可以在多个控制台/控制PC上实现拼墙综合显示现场桌面信息的回放和实现拼墙综合显示现场多个窗口的视频回放或视频窗口的预浏览等功能。为高速、快捷、准确的实现控制台/控制PC机与大型屏幕拼墙多用户互动控制和拼墙显示信息回放提供了物质条件和技术保障。

拼墙多用户互动控制和拼墙显示信息回放设备装置，包括摄像头、数据处理模块、一个或多个控制台/控制PC机、拼墙处理器、拼墙显示屏。摄像头与数据处理模块通过数据线相连，数据处理模块通过网络与控制台/控制PC机相连，控制台/控制PC机通过网络与拼墙处理器相连，拼墙处理器通过数据线与拼墙显示屏相连。

为了实现上述目的，本发明采用如下技术方案：

在拼接墙前方安装一个或多个摄像头，摄像头拍摄采集拼墙显示信息或者分区拍摄一个或多个拼墙区域，摄像头采集的图像数据/视频流按照标准或非标准的编码方法进行编码，根据需要将编码后的数据传送到一台或多台控制台/控制PC上，在本机进行相应解码并按照一定比例显示、播放或拼接播放出来，或不进行编码直接传送到一台或多台控制台/控制PC上并按照一定比例显示、播放或拼接播放出来。

根据控制台/控制PC要监测的内容将传送的视频数据流区分为桌面信息还是视频窗口信息和/或RGB显示窗口信息。

监测桌面信息的实现方法1：一个摄像头拍摄整个拼墙显示信息或多个摄像头分区拍摄拼墙综合显示现场的桌面信息，数据处理模块将摄像头采集的图像数据/视频流按照标准或非标准的编码方式进行编码，通过网络将编码数据传送到控制台/控制PC机上进行相应的解码并在控制台/控制PC上按照一定比例显示或拼接显示，或不进行编码直接传送到控制台/控制PC上并按照一定比例显示，这样就实现了在一个或多个控制台/控制PC上实现拼墙综合显示现场桌面信息的回放。

监测桌面信息的实现方法2：通过现有的基于Internet的桌面信息抓取软件来实现指定平台之间的桌面信息的抓取，实现在多用户自定义的规则下，多个控制台/控制PC机上自动从互联网上拼墙处理器(或其它应用服务器)上抓取指定信息的功能，从而快速实现了在多个控制台/控制PC上实现拼墙综合显示现场信息的的全面共享。此方法抓取的桌面信息更加清晰，更有利于控制台/控制PC机与拼墙之间的互动控制的实现。

控制台/控制PC机与拼墙之间的互动控制实现方法：当控制台/控制PC上看到全部或者部分拼墙现场显示图像时，可以实现鼠标或者触摸控制操作，将这种多用户互动控制即鼠标事件或者触摸事件，转换成拼墙的坐标，通知拼墙处理器或者应用服务器执行相关动作，这样就实现了多个控制台/控制PC机与大型屏幕拼接墙之间的多用户互动控制功能。

监测视频窗口和/或RGB显示窗口信息的实现方法：由于窗口位置的任意性和活动性，可以由一个摄像头拍摄一个或多个视频窗口和/或RGB显示窗口或者由多个摄像头分区拍摄多个视频窗口和/或RGB显示窗口，数据处理模块将摄像头拍摄的图像数据/视频流按照标准或非标准的编码方法进行编码，通过网络将编码的数据传送到控制台/控制PC机上进行相应的解码并按一定的比例播放或拼接播放出来，或不进行编码直接传送到控制台/控制PC上并按照一定比例播放或拼接播放出来；还可以在一个或者多个摄像机拍摄到的图像数据/视频流中将非视频窗口和非RGB显示窗口的区域24填充单一颜色值，以便提高视频编码速度，进而提高刷新频率，这样就实现了拼墙综合显示现场单个或多个视频窗口和/或RGB显示窗口的信息回放。

视频窗口预浏览功能的实现方法：我们还可以从视频矩阵输出端连接一条或多条视频输出到控制台/控制PC机上的视频采集口，通过矩阵切换在控制台/控制PC机的显示器上预览所需视频，确定信号源信号正常后再在拼墙上打开该窗口，这样就实现了在多个控制台/控制PC机上增加视频窗口的预浏览功能。

一种拼墙多用户互动控制和拼墙显示信息回放的方法，其原理示意图如图2所示，包括以下步骤：

(1)根据控制台/控制PC机要监测的内容设置一个摄像头拍摄拼墙显示信息或多个摄像头分区拍摄拼墙显示信息，所述显示信息可以只包括桌面信息(23)、视频窗口信息(22)、RGB显示窗口信息(21)其中之一种信息，或其中两种信息的组合，或全部三种信息；

(2)数据处理模块将上述步骤(1)中摄像头采集的图像数据或视频流通过网络传输给控制台/控制PC机；可以通过原端广播方式发送图像数据/视频流，或终端监听方式采集图像数据/视频流，以减轻网络负担；

(3)按照一定的比例在控制台/控制PC机上以全屏或非全屏的方式回放拼墙综合显示现场的全部或部分桌面信息、视频窗口信息和/或RGB显示窗口信息。

在进行以上所述步骤(2)之前，数据处理模块还可对图像数据/视频流进行标准或非标准的编码；相应地在进行以上所述步骤(3)之前，控制台/控制PC机对图像数据/视频流的编码流进行相应的解码。

以上所述步骤还可进一步包括，用户对控制台/控制PC机上所回放的拼墙信息进行互动控制即鼠标事件，然后根据函数关系，将这种多用户互动控制转换成拼墙的坐标，通知拼墙处理器或者应用服务器执行相关动作以实现多用户的互动控制操作。

为提高控制台/控制PC机上显示信息的清晰度可以把通过软件抓取的桌面信息与视频窗口显示和/或RGB显示窗口信息进行叠加。

为防止光学成像系统中非线性畸变带来的拍摄图像的变形问题，可以在系统启动时进行初始校准，包括多个摄像头的拼接校准。可采用由计算机处理的通用的校正方法对实际的非线性几何畸变图像进行校正。校正原理是利用拍摄的图像与光轴对称的径向畸变建立数学模型，并根据数学模型求出光学镜头的校正系数，对畸变图像进行校正。

多个控制台/控制PC机可以通过网络采集摄像头的图像数据/视频流，也可以直接把摄像头的视频接口插到单路或者多路视频采集卡上实现拼墙综合显示现场信息的回放和实现拼墙综合显示现场多个窗口的视频回放或视频窗口的预浏览等功能。

本发明可以在多个控制台/控制PC机上实现拼墙综合显示现场桌面信息的回放和互动控制操作。本发明还可以在多个控制台/控制PC机上实现拼墙综合显示现场单个或多个视频窗口和/或RGB显示窗口的信息回放。并且可以在多个控制台/控制PC的显示器上实现按照缩放比例显示拼墙全部或者部分区域信息，可以随时调整显示比例或者变化显示拼墙的任意区域。

本发明结构简单、操作方便，为高速、快捷、准确的实现控制台/控制PC机与大型屏幕拼墙多用户互动控制提供了物质条件和技术保障。

下面结合附图及具体实施方式对本发明作进一步的描述。

附图说明

图1为本发明大型拼墙多用户互动控制和拼墙显示信息回放装置的结构示意图；

图2为本发明大型拼墙多用户互动控制和拼墙显示信息回放装置原理示意图；

图3为本发明多个摄像头分区拍摄拼墙综合显示现场的整个桌面信息示意图；

图4为本发明要监测的视频窗口和RGB显示窗口在整个拼墙综合显示现场的位置信息示意图。

具体实施方式

实施例1

请参考图1，所述大型拼接墙多用户互动装置，包括摄像头4、数据处理模块5、多个控制台/控制PC机7、拼墙处理器2、拼墙显示屏1。所述摄像头4完成桌面信息23、视频窗口信息22和/或RGB显示窗口信息21的拍摄，可以是模拟摄像头或数字摄像头，可以根据不同应用选用不同分辨率的摄像头，可以选用自动调焦或者通过控制台/控制PC机7调焦；所述数据处理模块5完成摄像头4拍摄的视频流的压缩编码、传输，压缩编码可以由专用功能的压缩编码芯片实现或DSP、FPGA等实现，所述数据处理模块5带有网络收发器通过网络6完成压缩编码流和控制信息的传输；所述网络交换设备是指如交换机之类的网络设备；所述控制台/控制PC机7可以是具有显示功能和相对编码端的需要解码功能的处理器或PC机，其中有一台控制PC为运行拼墙管理系统软件的拼墙服务器；所述拼墙处理器2提供高分辨率的图形显示环境，使活动视频、RGB信号和来自网络6的计算机桌面或窗口等各种类型的图像信号均可以在显示拼墙上清晰显示；所述拼墙显示屏1为DLP、LCOS、LCD等大屏幕组合显示单元用来完成大屏幕拼接墙的综合显示。

一种实现大型拼墙多用户互动控制和拼墙显示信息回放的方法，包括以下步骤：

(1)可以根据实际应用如图1所示将一个摄像头4固定在能拍摄到整个拼墙显示屏1的前方或如图3所示将多个摄像头4固定在能够分区拍摄整个拼墙显示屏1的多个位置，还可以安置在特别要监测的显示单元的前方，摄像头4可以选用自动调焦或通过控制台/控制PC机7根据效果进行设置，根据控制台/控制PC机7要监测的区域选择一个或多个摄像头4工作，摄像头4拍摄拼墙综合显示现场的桌面信息23、视频窗口信息22和/或RGB显示窗口信息21；

(2)数据处理模块5可以根据需要选用多种：比如个别控制台/控制PC机7只需监测拼墙综合显示现场的桌面信息23和提取桌面显示图标的相对坐标数据来实现鼠标控制操作，所述数据处理模块5可以采用标准或非标准的静态图像编码方式压缩摄像头拍摄的图像数据；又如个别控制台/控制PC机7只需监测视频窗口信息22和/或RGB显示窗口信息21，所述数据处理模块5可以采用有运动补偿的标准或非标准动态图像编码方式压缩拍摄头拍摄的视频流数据；所述数据处理模块5带有以太网收发器通过网络6将编码流传输给控制台/控制PC机7，可以通过原端广播方式发送编码数据或终端监听方式采集编码数据，以减轻网络负担；

(3)控制台/控制PC7进行相应的解码，所述控制台/控制PC机7可以是具有显示功能和相对编码端的解码功能的处理器或PC机；控制台/控制PC机7按照一定的比例以全屏或非全屏的方式回放拼墙综合显示现场的全部或部分桌面信息23、视频窗口信息22和/或RGB显示窗口信息21；

(4)控制台/控制PC机7发送命令开启摄像头4实时的采集控制台/控制PC机7将要监测的区域，摄像头4拍摄的图像数据或视频流经数据处理模块5实时的编码和传输，再由控制台/控制PC机7作相应的解码和显示，实现了控制台/控制PC机7上显示的信息与拼墙综合显示现场所显示的信息同步；

(5)根据函数关系，将这种多用户互动控制即鼠标事件转换成拼墙的坐标，通知拼墙处理器2或者应用服务器执行相关动作以实现多用户的互动控制操作。

实施例2

本实施例将说明如何快速监测视频窗口信息22和/或RGB窗口信息21，如图4所示，要监测一个视频窗口22信息和一个RGB窗口21的信息，本实施例采用监测桌面信息23的实现方法2，通过现有的基于Internet的桌面信息抓取软件来实现指定平台之间的桌面信息23的抓取，用户在自定义的规则下，控制台/控制PC机7从互联网上的拼墙服务器上提取开窗位置坐标信息，确定开窗的坐标范围后将非视频窗口和非RGB显示窗口的区域24填充单一颜色值，以便提高视频编码速度，进而提高刷新频率，该方法包括以下步骤：

(1)桌面信息抓取软件抓取拼墙综合显示现场的桌面信息到要监测的控制台/控制PC机7，如图4所示，控制台/控制PC机7根据抓取桌面信息中RGB显示窗口信息21和视频窗口信息22开窗的位置信息确定适合的摄像头4，开启摄像头4并调焦进行拍摄；

(2)见图4，控制台/控制PC机7同时将抓取桌面信息23中开窗的位置信息传送给数据处理模块5，数据处理模块5将拍摄到的视频中非视频窗口和非RGB显示窗口的区域24填充单一颜色值，这样提高了数据处理模块5的编码速率，数据处理模块5通过网络6将编码流传输给控制台/控制PC机7，可以通过原端广播方式发送编码数据或终端监听方式采集编码数据，以减轻网络负担；

(3)控制台/控制PC机7进行相应的解码，按照一定的比例以全屏或非全屏的方式回放拼墙综合显示现场的视频窗口信息22和RGB显示窗口信息21：

(4)控制台/控制PC机7如果要对视频窗口和RGB显示窗口进行操作，可以将通过软件抓取的桌面信息和摄像头4拍摄的视频窗口信息22和RGB显示窗口信息23进行叠加，在控制台/控制PC机7上对窗口的鼠标操作和控制根据函数关系，转换成拼墙处理器2或者应用服务器执行相关动作，这样就实现了控制台/控制PC机7对视频窗口和RGB显示窗口的操作和控制功能。

以上所述仅为本发明的较佳实施例，本发明的保护范围并不局限于此。本领域中的技术人员任何基于本发明技术方案上非实质性变更均包括在本发明保护范围之内。

Claims (8)

1、一种拼墙多用户互动控制和拼墙显示信息回放装置，其特征在于：包括摄像头(4)、数据处理模块(5)、一个或多个控制台/控制PC机(7)、拼墙处理器(2)、拼墙显示屏(1)；摄像头(4)与数据处理模块(5)通过数据线(10)相连；数据处理模块(5)通过网络(6)与控制台/控制PC机(7)相连；控制台/控制PC机(7)通过网络(6)与拼墙处理器(2)相连；拼墙处理器(2)通过数据线(3)与拼墙显示屏(1)相连。

2、如权利要求1所述的拼墙多用户互动控制和拼墙显示信息回放装置，其特征在于：所述的摄像头(4)为两个以上。

3、一种拼墙多用户互动控制和拼墙显示信息回放的方法，其特征在于包括以下步骤：

(a)根据控制台/控制PC机(7)要监测的内容设置一个摄像头(4)拍摄拼墙显示信息或多个摄像头(4)分区拍摄拼墙显示信息，所述显示信息包括桌面信息(23)、视频窗口信息(22)、RGB显示窗口信息(21)其中之一种信息，或其中两种信息的组合，或全部三种信息；

(b)数据处理模块(5)将上述步骤(a)中摄像头(4)采集的图像数据或视频流通过网络(6)传输给控制台/控制PC机(7)；

(c)按照一定的比例在控制台/控制PC机(7)上以全屏或非全屏的方式回放拼墙综合显示现场的全部或部分桌面信息(23)、视频窗口信息(22)和/或RGB显示窗口信息(21)。

(d)用户对控制台/控制PC机(7)上所回放的拼墙信息进行互动控制即鼠标事件，然后根据函数关系，将这种多用户互动控制转换成拼墙的坐标，通知拼墙处理器(2)或者应用服务器执行相关动作以实现多用户的互动控制操作。

4、如权利要求3所述的拼墙多用户互动控制和拼墙显示信息回放的方法，其特征在于：在进行以上所述步骤(b)之前，数据处理模块对图像或视频进行标准或非标准的编码；在进行以上所述步骤(c)之前，控制台/控制PC机(7)对图像或视频的编码流进行相应的解码。

5、如权利要求3所述的拼墙多用户互动控制和拼墙显示信息回放的方法，其特征在于：在系统启动时进行初始校准，包括多个摄像头(4)的拼接校准；采用由计算机处理的通用的校正方法对实际的非线性几何畸变图像进行校正。

6、如权利要求3或4所述的拼墙多用户互动控制和拼墙显示信息回放的方法，其特征在于：所述步骤(b)通过原端广播方式发送编码数据或未经编码的图像数据/视频流，或终端监听方式采集编码数据或未经编码的图像数据/视频流。

7、如权利要求3所述的拼墙多用户互动控制和拼墙显示信息回放的方法，其特征在于：所述步骤(c)在控制台/控制PC机(7)上回放时，把通过软件抓取的桌面信息(23)与视频窗口信息(22)和/或RGB显示窗口信息(21)进行叠加。

8、如权利要求3所述的拼墙多用户互动控制和拼墙显示信息回放的方法，其特征在于：所述的控制台/控制PC机(7)在两个以上，且通过网络(6)采集图像/视频流数据，或直接把摄像头(4)的视频接口插到单路或者多路视频采集卡上代替通过网络采集图像/视频流数据来实现拼墙综合显示现场信息的回放和实现拼墙综合显示现场多个窗口的视频回放或视频窗口的预浏览功能。

Images