CN106951204B - 基于计算机集群可视化系统的图像同步方法 - Google Patents

Abstract

本发明公开了一种基于计算机集群可视化系统的图像同步方法，该方法先是对分割后的各个小块图像的图像数据插入标签数据，然后以数据标签为参考对各个计算机的图像渲染进程进行控制，使各个计算机趋于同步渲染；在以数据标签为参考，对发送至显示控制主机的图像数据进行检查，以判断各个小块图像的数据是否都完全传送至各自对应的显示控制主机，当完成数据接收后，显示控制主机才会开始将图像数据映射到显示屏上，这样能保证各个小显示屏能同时开始显示；另外，还以数据标签为参考，对各个显示控制主机的映射进行控制，使各个小显示屏上的图像数据同步映射。这样，大显示屏上的各个小块图像之间就不会出现跳变、过渡自然，观感良好。

Description

基于计算机集群可视化系统的图像同步方法

技术领域

本发明涉及拼接显示技术领域，更具体地说，它涉及一种基于计算机集群可视化系统的图像同步方法。

背景技术

随着科技的发展，在可视化领域，显示设备层出不穷，各种各样的技术将把显示设备做得更薄、更清晰、色彩更好、亮度更高、更节能，但可以肯定的是不会出现单体超大显示屏，即使技术上能做到，也会因为生产成本高、需求小而导致产品异常昂贵，这种产品难以面向市场推广。因此，现在的大屏显示技术，通常是将多个小屏幕拼接在一起形成超大显示屏，每个小显示屏负责显示超大图像的其中一个区域，所有的小屏幕显示出来的画面形成完整的图像。确切的说，拼接显示技术将会是大屏显示领域的绝对主流。

拼接显示技术的关键是要保证各个小显示屏显示的画面同步，否则大屏上显示的图像在各个小显示屏的衔接部位就会出现明显跳变、过渡不自然，严重影响图像的整体观感。

现有技术中，拼接显示技术是依靠计算机集群可视化系统实现的，计算机集群可视化系统一般包括多个计算机和多块小显示屏，将需要显示的大图像分割成若干小块图像，各台计算机负责处理不同区域的小块图像，处理好的图像再通过小显示屏显示出来。

由于各台计算机对于小块图像的处理(主要是渲染)是在独立的线程中处理的，所以可能会由于网络或节点速度的不同而失去同步。因此需要设计一种图像同步方法来解决上述问题。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于计算机集群可视化系统的图像同步方法，利用该方法能有效提升系统的同步性能。

为实现上述目的，本发明提供了如下技术方案：

一种基于计算机集群可视化系统的图像同步方法，包括如下步骤：

S1、从视频中提取图像帧；

S2、将提取到的图像进行分割，得到若干小块图像；

S3、向各组小块图像数据中均匀插入等量的数据标签；

S4、利用计算机集群中的各个计算机对各个小块图像进行一对一渲染，以一定的刷新速度扫描统计各个计算机识别到的数据标签；

S5、以各个计算机识别到的数据标签量为依据对各个计算机的渲染进程进行控制，使各个计算机趋于同步渲染；

S6、将各个小块图像经过渲染的图像数据发送至缓冲区，对缓冲区内的各组图像数据进行扫描以统计各组图像数据中的数据标签量；

S7、当统计到的各组图像数据中的数据标签量均为插入量时，将缓冲区内各个小块图像数据发送至显示控制器，显示控制器控制显示装置对图像予以显示。

作为优选方案，还包括显示控制步骤，所述显示控制步骤包括：

(a)、对传输至显示屏的图像数据流进行扫描，统计传输至各个小显示屏的图像数据流中的数据标签；

(b)、对统计结果进行分析，确定当前传输至各个小显示屏的图像数据流中数据标签数量最少的一组或多组数据流；

(c)、将当前接收到的数据标签数量最少的一个或多个小显示屏的图像信息显示量作为当前显示基准；

(d)、参照显示基准对当前图像信息显示量大于显示基准的小显示屏的显示进程进行控制，使各个小显示屏对各自的图像信息显示量靠近显示基准。

作为优选方案：所述数据标签与图像数据采用不同的编码、解码方式。

作为优选方案：对各个显示控制器的显示进程的控制是对显示控制器当前获取的图像数据与显示屏上对应的显示区块的映射进行控制。

作为优选方案：S1步骤中提取图像帧先是对视频解码得到视频图像，再利用纹理贴图方式对视频图像进行校正。

作为优选方案：S2步骤中对图像的分割是按一定的比例将图像分成小块图像。

作为优选方案，对于投影墙还包括几何校正步骤，所述几何校正步骤包括：

(1)、利用每台投影仪单独投影校正网格；

(2)、通过数码相机拍摄校正网格中的图像；

(3)、对拍摄的图像进行处理和矩阵变换计算，以获得每台投影在投影布上畸变后的投影区域；

(4)、计算出整个投影墙的外包围盒，并据此计算出每台投影仪的投影区域在这一外包围盒中的相对位置；

(5)、根据计算出的位置坐标，将显示图像映射到这一区域中，使得最后投影出来的图像能够正确拼接。

作为优选方案，还包括颜色校正步骤，所述颜色校正步骤包括：

(1)、通过数码相机获取每台投影仪对不同色彩的相应值；

(2)、通过图像处理获取每台投影仪计算不同的校正显示色彩区段，并保证在边缘处色彩呈现平滑地过渡；

(3)、为每台投影仪计算生成一个LAM的映射表；

(4)、在每台投影仪投影显示之前，将这一LAM映射到相应的图像上。

与现有技术相比，本发明的优点是：本发明提供的计算机集群可视化系统的图像同步方法，先是对分割后的各个小块图像的图像数据插入标签数据，然后以数据标签为参考对各个计算机的图像渲染进程进行控制，使各个计算机趋于同步渲染；在以数据标签为参考，对发送至显示控制主机的图像数据进行检查，以判断各个小块图像的数据是否都完全传送至各自对应的显示控制主机，当完成数据接收后，显示控制主机才会开始将图像数据映射到显示屏上，这样能保证各个小显示屏能同时开始显示；另外，还以数据标签为参考，对各个显示控制主机的映射进行控制，使各个小显示屏上的图像数据同步映射。这样，大显示屏上的各个小块图像之间就不会出现跳变、过渡自然，观感良好。

附图说明

图1为实施例一中计算机集群可视化系统的拓扑图；

图2为实施例一中的图像同步方法的原理图；

图3为实施例二中计算机集群可视化系统的拓扑图；

图4为实施例二中的图像同步方法的原理图；

图5为实施例二中几何校正的示意图。

附图说明：1、主计算机；2、副计算机；3、电子显示屏；4、投影仪；5、投影布。

具体实施方式

实施例一：

一种基于计算机集群可视化系统的图像同步方法，该方法适用于由多个电子显示屏构成的大屏显示器所在的计算机集群可视化系统。

参照图1，计算机集群可视化系统包括主计算机和与主计算机连接的从计算机，从计算机连接电子显示屏，主计算机连接显示服务器。本实施例中，8块小的电子显示屏构成4*2的大显示屏，从计算机与小块电子显示屏一对一连接，其数量也为8台。

主计算机对从显示服务器出获取的视频进行解码获得视频图像，再利用纹理贴图的方式对视频图像进行校正，这样就能实时取出每一帧视频图像来生成纹理。主计算机将校正后的视频图像以一定的比例分成4*2块，主计算机将分割好后的视频图像对应地发送给各个从计算机，这样各个从计算机就获得了小块视频图像。从计算机向其获得的小块图像数据中均匀插入N个数据标签，数据标签采用的是经过特殊编码的数据，其具有与图像数据不同的编码和解码方式，这样从计算机内的图像解码器就无法对数据标签进行解码，标签数据就不会扰乱图像数据的解码，图像就能正产显示。标签数据只能被从计算机内的内置专用解码程序的解码器进行解码后才能被从计算机识别。

从计算机获得小块图像后需要对小块图像进行渲染，各个从计算机在各自独立的进程中渲染小块图像，由于各个从计算机之间的性能差异，对于小块图像的渲染会出现各个从计算机的渲染进度不一的问题。而数据标签起到参考作用，小块图像数据先后经过图像解码器和专用的数据解码器，从计算机利用其图像解码器将接收自主计算机的图像数据进行解码，随后进行渲染，渲染后的数据通过专用的数据解码器，专用的数据解码器在通过其的数据中识别出数据标签，并对数据标签解码，专用的数据解码器每解码出一个数据标签，从计算机就加“1”，从计算机即极快的刷新速度(通常是毫秒级别的)扫描其数据标签的数量，各个从计算机统计的数据标签数量被实时反馈至主计算机，主计算机判断出统计到的数据标签数量最少的一台或多台从计算机，以当前最少的数据标签量为基准，并依据其他各个从计算机的统计到的标签数量，向其他从计算机发送渲染控制指令，通过对其他从计算机的硬件主频进行限制，或是短暂地控制其他从计算机的渲染进程停止，使各个从计算机的渲染进度基本一致。

经过渲染的图像数据被传输至各个从计算机的缓冲区内的存储空间，从计算机再次对存储空间内的数据进行扫描，通过专用的数据解码器对数据中的数据标签进行解码，从计算机识别解码后的数据标签并统计标签数量，再将在缓冲区内识别到的数据标签数量发送至主计算机，主计算机统计各个从计算机识别到的各自的缓冲区内的数据标签量，直至所有的从计算机识别到的数据标签的数量均为N个时——此时说明各个从计算机均完成了对小块图像的渲染，主计算机向各个从计算机发送数据传输指令，各个从计算机接收到数据传输指令后，将各自的缓冲区内的数据传输给显示控制器。这样，就能实现各个从计算机同时开始输送数据，有效保证各个从计算机之间的同步。

显示控制器负责将接收到的图像数据进行处理，使像素对应地映射到电子显示屏上的各个显示区块。

在实际的运行中，受从计算机的性能以及数据传输的速率的影响，不同的从计算机将其缓冲区内的数据发送至显示控制器的速度也有微小差异。这个微小差异显然以后影响到各个小显示屏的同步显示。

因此，在显示控制器内也集成了专用的数据解码器，经过显示控制器处理后的数据依次经过专用的数据解码器，结果专用的数据解码器的图像数据被映射到其对应的显示区块，这样小显示屏上会向拼图一样逐渐显示图像，图像逐渐完整、清晰。在此过程中，专用的数据解码器识别数据中的数据标签并对其解码，解码后的数据标签被从计算机识别并统计，各个从计算机将此过程中统计到的数据标签数量反馈至主计算机，主计算机确定数据标签量的最小值，以此为基准并结合其他各个从计算机识别到的数据标签生成对应于其他各个从计算机的显示控制指令，其他各个从计算机接收到各自的显示控制指令后对其显示控制器的映射进程进行控制，使各个从计算机的映射进程基本一致，这样，就能解决因数据传输的差异对后面显示的影响，使各个小显示屏上显示的图像同步、过渡自然。

该同步方法对系统的各个关键环节进行把控，实现了同步渲染、同步传输以及同步显示的功能，使大屏显示效果十分出众。

实施例二：

一种基于计算机集群可视化系统的图像同步方法，该方法适用于由多个投影仪和投影布构成的投影墙所在的计算机集群可视化系统。

参照图3，计算机集群可视化系统包括主计算机、与主计算机连接的从计算机、与从计算机连接的投影仪以及假设在投影仪前方的投影布。本实施例中，8台投影仪和1块投影布构成投影墙。8台从计算机与8台投影仪一对一连接。该系统还包括与主计算机连接的数码相机。

由于投影仪的安装角度和方位的误差，各个投影仪投射到投影布上的画面多多少少会出现衔接不上、跳变的问题。

因此对于采用投影墙的计算机集群可视化系统，需要对各个投射仪投射到的投影布上图像进行校正。这也是本实施例中的图像同步方法与实施例一中的图像同步方法的区别之处。

从计算机的显示控制器将图像数据映射到其视频输出模块后，图像通过视频输出接口传输至投影仪，投影仪对图像进行投射。

图像的方位、角度的校正采用的是几何校正的方法。

(1)、利用每台投影仪单独投影校正网格；

(2)、通过数码相机拍摄校正网格中的图像；

(3)、对拍摄的图像进行处理和矩阵变换计算，以获得每台投影在投影布上畸变后的投影区域；

(4)、计算出整个投影墙的外包围盒，并据此计算出每台投影仪的投影区域在这一外包围盒中的相对位置；

(5)、根据计算出的位置坐标，将显示图像映射到这一区域中，使得最后投影出来的图像能够正确拼接。

具体的操作过程是：把几何校正的数据写入配置文件里，配置文件里面是读取到的各个投影仪的配置信息。先根据配置信息计算出该投影仪所要显示的纹理占整个大屏幕视屏图像的比例，按照这个比例对整个视频图像进行分割，把分割好的子图像生成1024*1024大小的纹理。

几何校正配置文件提供了形状校正所需要的数据，包括每个解码播放显示服务器终端所要显示的视频图片区域，以及每个解码播放显示服务器终端所显示出来的有效区域的形状。几何校正要实现的目的是要使每个显示服务器终端的有效显示区域最终能在投影布上显示出一个矩形区域，每个显示服务器的有效区域实际上是一个大的多边形。这个多边形是由许多小四边形拼凑而成的一个貌似四边形的区域。有效区域既然是一个框架，就需要知道往这个框架的内容显示在其近四边形的有效区域中。事实上，有效区域的每个小四边形就对应了图片的一个矩形区域的内容。

现在我们考虑的是投影墙显示出图片的最终效果时，每个显示端所显示出来的图片矩形区域，这个信息可以细化到组成显示端有效区域的每个小四边形所对应的图片矩形区域。事实上，当显示端所显示的图片区域是矩形R时，假设有效区域有N*M个小四边形，那么每个小四边形对应的矩形图片区域就是对R进行N*M均分后的小四边形。在校正过程中(纹理贴图过程)，先根据配置文件的数据计算出每个小四边形的4个顶点的纹理坐标，然后对各个小四边形进行一次纹理映射，这样一个显示端有效区域就要进行N*M次纹理映射，整个大屏投影墙就要进行N*M×8次纹理映射才能完成整个几何校正过程。

几何校正的示意图如图5所示。在图5中，如在标有颜色的那个小四边形中，先要计算出该四边形的四个顶点的纹理坐标，然后进行纹理映射，这个过程一直进行下去直到把整个大屏幕上的所有四边形都进行了纹理映射，这个过程就进行了一帧图像的几何校正。

由于各台投影仪的色谱有所差别，会造成整个投影墙颜色不均匀，因此需要进行颜色校正，颜色校正步骤包括：

(1)、通过数码相机获取每台投影仪对不同色彩的相应值；

(2)、通过图像处理获取每台投影仪计算不同的校正显示色彩区段，并保证在边缘处色彩呈现平滑地过渡；

(3)、为每台投影仪计算生成一个LAM的映射表；

(4)、在每台投影仪投影显示之前，将这一LAM映射到相应的图像上。

具体做法为：把衍射校正的数据写到配置文件里，从该配置文件里读取各个投影仪的投影区域四边的颜色配置信息。利用这些RGB颜色配置信息对视频的每一帧图像进行颜色校正，从而使得整个8台投影仪投出来的视频图像以颜色均匀的大屏幕高分辨率方式播放显示。

颜色校正配置文件提供了各个投影仪四边的颜色ALphaMask校正信息，对每个解码播放显示服务器终端所要显示的视频图片区域的重叠部分进行ALphaMask，从而使得两边投影仪投影出来的视频图像能够在重叠区域有颜色的过渡效果，不至于相邻投影仪投影出来发生颜色变化。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于计算机集群可视化系统的图像同步方法，其特征是，包括如下步骤：

S1、从视频中提取图像帧；

S2、将提取到的图像进行分割，得到若干小块图像；

S3、向各组小块图像数据中均匀插入等量的数据标签；

S4、利用计算机集群中的各个计算机对各个小块图像进行一对一渲染，以一定的刷新速度扫描统计各个计算机识别到的数据标签；

S5、以各个计算机识别到的数据标签量为依据对各个计算机的渲染进程进行控制，使各个计算机趋于同步渲染；

S6、将各个小块图像经过渲染的图像数据发送至缓冲区，对缓冲区内的各组图像数据进行扫描以统计各组图像数据中的数据标签量；

S7、当统计到的各组图像数据中的数据标签量均为插入量时，将缓冲区内各个小块图像数据发送至显示控制器，显示控制器控制显示装置对图像予以显示。

2.根据权利要求1所述的基于计算机集群可视化系统的图像同步方法，其特征是，还包括显示控制步骤，所述显示控制步骤包括：

（a）、对传输至显示控制器的图像数据流进行扫描，统计传输至各个显示控制器的图像数据中的数据标签；

（b）、对统计结果进行分析，确定当前传输至各个显示控制器的图像数据流中数据标签数量最少的一组或多组数据流；

（c）、将当前接收到的数据标签数量最少的一个或多个显示控制器的数据标签量作为当前显示控制基准值；

（d）、参照当前显示控制基准对当前接受到的数据标签的数量大于显示控制基准值的显示控制器的显示进程控制，使各个显示控制器的映射进程趋于一致。

3.根据权利要求2所述的基于计算机集群可视化系统的图像同步方法，其特征是：所述数据标签与图像数据采用不同的编码、解码方式。

4.根据权利要求2所述的基于计算机集群可视化系统的图像同步方法，其特征是：对各个显示控制器的显示进程的控制是对显示控制器当前获取的图像数据与显示屏上对应的显示区块的映射进行控制。

5.根据权利要求1所述的基于计算机集群可视化系统的图像同步方法，其特征是：S1步骤中提取图像帧先是对视频解码得到视频图像，再利用纹理贴图方式对视频图像进行校正。

6.根据权利要求1所述的基于计算机集群可视化系统的图像同步方法，其特征是：S2步骤中对图像的分割是按一定的比例将图像分成小块图像。

7.根据权利要求2所述的基于计算机集群可视化系统的图像同步方法，其特征是，对于投影墙还包括几何校正步骤，所述几何校正步骤包括：

（1）、利用每台投影仪单独投影校正网格；

（2）、通过数码相机拍摄校正网格中的图像；

（3）、对拍摄的图像进行处理和矩阵变换计算，以获得每台投影在投影布上畸变后的投影区域；

（4）、计算出整个投影墙的外包围盒，并据此计算出每台投影仪的投影区域在这一外包围盒中的相对位置；

（5）、根据计算出的位置坐标，将显示图像映射到这一区域中，使得最后投影出来的图像能够正确拼接。

8.根据权利要求7所述的基于计算机集群可视化系统的图像同步方法，其特征是，还包括颜色校正步骤，所述颜色校正步骤包括：

（1）、通过数码相机获取每台投影仪对不同色彩的相应值；

（2）、通过图像处理获取每台投影仪计算不同的校正显示色彩区段，并保证在边缘处色彩呈现平滑地过渡；

（3）、为每台投影仪计算生成一个LAM的映射表；

（4）、在每台投影仪投影显示之前，将这一LAM映射到相应的图像。

Images