CN101256762A - 多屏拼接方法及装置 - Google Patents

Abstract

本发明提供一种多屏拼接方法及装置，该多屏拼接方法根据拼接后的总分辨率与GPU的图像输出口的带宽标准调整GPU的输出刷新率，让GPU的输出分辨率符合拼接总分辨率的要求；再对输出的视频数据进行分割，以及在对应的标准像素时钟的作用下进行标准的拼接输出。该多屏拼接装置包括成像模块、控制模块和图像分割拼接模块，控制模块用于根据拼接后的总分辨率与GPU的图像输出口的带宽标准调整GPU的输出刷新率，让GPU的输出分辨率符合拼接总分辨率的要求，图像分割拼接模块分割视频数据以及在控制模块的标准像素时钟的同步下实现标准的拼接输出。实施本发明，能够提高GPU的输出分辨率，实现高分辨率的多屏拼接，成本较低。

Description

多屏拼接方法及装置

技术领域

本发明涉及多屏显示领域，更具体地，涉及一种高分辨率的多屏拼接方法及装置。

背景技术

多屏技术分为两种类型：一种是让多个屏幕(例如LCD显示器)显示相同的内容，这种类型一般称为“多屏”；另一种是让多个屏幕显示不同的内容，而显示不同内容的多个屏幕可组合/拼接成一个大屏幕，这种类型一般称为“多屏拼接”。在多屏技术领域，多屏拼接的应用更广，市场需求更大。

目前，在多屏拼接显示领域，有采用单颗图像处理单元(简称GPU)和多颗GPU两种方案。单颗GPU能够生成3D图像，能够实现多屏拼接3D显示，但是由于GPU的运算能力、图像输出口数量及其接口标准的限制，导致单颗GPU的多屏拼接方案不能满足高分辨率多屏拼接的要求。例如，通用的GPU一般只有两个图像输出口，以该图像输出口采用DVI接口标准为例，DVI单链标准带宽165M象素最大只能支持1600×1200/60Hz的标准格式，而按目前拼接显示领域的显示单元分辨率最大为1400×1050计算，拼接成4×2的显示墙后的总分辨率为5600×2100，每个图像输出口需要支持的分辨率是2800×2100，该分辨率远大于DVI标准的1600×1200。因此，现有的单颗GPU的方案难以满足高分辨率多屏拼接要求以及高分辨率的多屏拼接3D显示要求。

采用多颗GPU的方案通常由分布在多张显卡中的多颗通用GPU产生高分辨率多屏信号，这种方案能实现高分辨率的多屏拼接，但由于多颗通用GPU很难协同运算生成完整的3D图像，因此无法实现高分辨率的多屏拼接3D显示。另外，多颗GPU的方案成本也较高。

目前，多屏拼接显示领域对高分辨率以及高分辨率3D显示的需求越来越迫切。

发明内容

针对现有技术中单颗GPU的方案不能满足高分辨率多屏拼接的要求的缺陷，提供一种支持高分辨率的多屏拼接方法及装置，本发明的多屏拼接方法及装置的硬件成本低于现有的多颗GPU的方案的硬件成本。

为实现发明目的，一方面，本发明提供一种多屏拼接方法，包括以下步骤：根据拼接单元的数目以及每个拼接单元的分辨率计算拼接后的总分辨率；根据所述拼接后的总分辨率与图像处理单元的图像输出口数目的比值计算所述GPU的每个图像输出口的输出分辨率；根据所述GPU的图像输出口的带宽与所述图像输出口的输出分辨率计算所述图像输出口的输出刷新率；所述GPU以所述输出刷新率输出视频数据；接收所述GPU输出的视频数据；分割所接收的视频数据，分割得到的视频数据块数目与拼接单元的数目相同；生成与所述拼接单元的分辨率对应的标准像素时钟；根据每个拼接单元的分辨率在所述标准像素时钟的同步下生成同步信号；根据所述标准像素时钟、同步信号，通过所述拼接单元输出分割后的视频数据块。

优选地，所述GPU以所述输出刷新率输出视频数据的过程具体包括：所述GPU先将视频数据等分为若干部分，每一部分视频数据与所述GPU的一个图像输出口对应；再通过每个图像输出口以所述输出刷新率输出对应的视频数据。

优选地，所述计算所述图像输出口的输出刷新率步骤具体包括：根据所述GPU的图像输出口的输出分辨率确定所述图像输出口的扫描总像素；根据所述GPU的图像输出口的带宽与所述图像输出口的扫描总像素的比值，计算所述图像输出口的输出刷新率。

优选地，所述GPU以所述输出刷新率输出视频数据之前还包括减少扫描时序中的空白区域。

优选地，所述视频数据为3D视频数据或者2D视频数据。

另一方面，本发明提供一种多屏拼接装置，包括成像模块，所述成像模块包括GPU及用于存储所述GPU产生的视频数据的显存，所述GPU具有至少一个图像输出口，所述多屏拼接装置还包括控制模块和图像分割拼接模块，所述控制模块包括分辨率计算模块、刷新率计算模块以及像素时钟源，所述图像分割拼接模块包括接收单元、分割单元、拼接单元，其中：所述分辨率计算模块用于根据所述拼接单元的数目以及每个拼接单元的分辨率计算拼接后的总分辨率，以及根据所述拼接后的总分辨率与所述GPU的图像输出口数目的比值计算所述GPU的每个图像输出口的输出分辨率；所述刷新率计算模块用于根据所述GPU的图像输出口的带宽与所述图像输出口的输出分辨率计算所述图像输出口的输出刷新率；所述像素时钟源用于生成与所述拼接单元的分辨率对应的标准像素时钟；所述接收单元用于接收所述GPU以所述输出刷新率输出的视频数据；所述分割单元与所述接收单元连接，用于分割所述接收单元接收的视频数据，分割得到的视频数据块数目与所述拼接单元的拼接单元的数目相同，以及用于在所述标准像素时钟的同步下生成同步信号；所述拼接单元与所述分割单元连接，根据所述标准像素时钟、同步信号输出分割后的视频数据块。

优选地，所述控制模块还包括与所述GPU连接的视频数据分割单元，所述视频数据分割单元用于将视频数据等分为若干部分，每一部分视频数据与所述GPU的一个图像输出口对应，再通过每个图像输出口以所述输出刷新率输出对应的视频数据。

优选地，所述输出刷新率计算模块根据所述GPU的图像输出口的输出分辨率确定所述图像输出口的扫描总像素，以及根据所述GPU的图像输出口的带宽与所述图像输出口的扫描总像素的比值计算所述图像输出口的输出刷新率。

优选地，所述成像模块还包括用于减少扫描时序中的空白区域的功能模块。

优选地，所述GPU为具有3D运算能力的GPU。

与现有技术相比，本发明提供的多屏拼接方法根据拼接后的总分辨率与GPU的图像输出口的带宽标准调整GPU的输出刷新率，使GPU的输出分辨率符合拼接总分辨率的要求；再对所输出的视频数据进行分割，以及在对应的标准像素时钟的作用下进行标准的拼接输出，实现高分辨率的多屏拼接。本发明提供的多屏拼接装置具有控制模块和图像分割拼接模块，控制模块用于根据拼接后的总分辨率与GPU的图像输出口的带宽标准调整GPU的输出刷新率，让GPU的输出分辨率符合拼接总分辨率的要求，而图像分割拼接用于分割视频数据以及在控制模块的标准像素时钟的同步下实现标准的拼接输出，从而实现高分辨率的多屏拼接。实施本发明，能够提高GPU的图像输出口的输出分辨率，满足高分辨率多屏拼接的要求，实现高分辨率的多屏拼接，硬件成本低于现有的高分辨率多屏拼接方案的硬件成本。

附图说明

图1是本发明多屏拼接装置的系统架构图；

图2是本发明的一个实施例的多屏拼接装置的示意图；

图3是本发明的第二实施例的多屏拼接装置的示意图；

图4是本发明的第三实施例的多屏拼接装置的示意图。

具体实施方式

实施例一

图1是本发明的多屏拼接装置的系统架构图，图2是根据图1的系统架构实现的多屏拼接装置的示意图。

如图1所示，多屏拼接装置包括成像模块1、控制模块2和图像分割拼接模块3。成像模块1包括GPU 10和显存11，GPU 10具有至少一个图像输出口。GPU 10可以是具有两个图像输出口的、具备3D处理能力的GPU，而显存11优选高速的大容量存储器。成像模块1与计算机连接，计算机带有与成像模块1匹配的接口，例如PCI-E或AGP接口。

控制模块2包括分辨率计算模块20、刷新率计算模块21以及像素时钟源22。图像分割拼接模块3包括接收单元30、分割单元31、拼接单元32。分辨率计算模块20根据拼接单元32的数目以及每个拼接单元的分辨率计算拼接后的总分辨率，根据拼接后的总分辨率(例如5600×2100)与GPU 10的图像输出口数目(例如图2所示的GPU 10具有两个图像输出口)的比值计算GPU 10的每个图像输出口的输出分辨率，而刷新率计算模块21根据GPU 10的图像输出口的带宽与上述输出分辨率计算所述图像输出口的输出刷新率。计算出输出刷新率之后，GPU 10就按照该刷出刷新率输出视频数据。像素时钟源22用于生成与拼接单元32的分辨率对应的标准像素时钟，即满足一定显示标准的像素时钟。

接收单元30与GPU 10的图像输出口连接，用于接收GPU 10以上述输出刷新率输出的视频数据，或者接收并存储该视频数据。分割单元31与接收单元30连接，用于分割接收单元30接收的视频数据，分割得到的视频数据块数目与拼接单元32的数目相同；分割单元31还用于在标准像素时钟的同步下生成同步信号。现有的多屏拼接系统中，每个拼接单元负责的拼接分辨率是相同的，所以分割视频数据块时采用等分的方式。例如，如果图像分割拼接模块3包括8个类型相同的拼接单元，每个拼接单元负责的拼接分辨率相同，分割单元31就将所接收的视频数据分割为8部分。拼接单元32与分割单元31连接，在标准像素时钟、同步信号作用下以标准的信号格式输出分割后的视频数据块。

图2是根据图1的系统架构实现的多屏拼接装置的示意图。在该实施例中，采用FPGA(现场可编程门阵列)实现图1所示的分割单元31的功能，同时将分辨率计算模块20、刷新率计算模块21的功能集成到计算机中，通过计算机计算、调整GPU 10的输出分辨率和输出刷新率，并通过控制接口配置像素时钟源22的参数以及FPGA 33和34的参数。例如，像素时钟源22可由晶振和锁相环以及配套外围电路组成，可通过GPU 10与像素时钟源22之间的控制接口配置锁相环的参数从而生成所需频率的标准像素时钟；再例如，可通过GPU 10与FPGA之间的控制接口配置FPGA的参数让其在像素时钟源22的驱动下生成对应分辨率的同步信号。

如图2所示，成像模块1与计算机连接，成像模块1的GPU 10具有两个图像输出口，第一图像输出口与第一FPGA 33连接，如果GPU 10与FPGA 33距离较远，可通过第一传输接口13串接GPU 10的第一图像输出口与第一FPGA 33。同样，可通过附加的第二传输接口14串接GPU 10的第二图像输出口与第二FPGA 34。即，附加的传输接口13和传输接口14用于进行信号格式的转换和传输，这类传输接口通常有VGA、DVI和HDMI等，这些传输接口均附带有I2C接口，所以可以方便地实现控制。

FPGA 33和FPGA34接收到视频数据后，分别将视频数据暂存在显存35和显存36。在本实施例中，FPGA 33连接4个拼接单元41、42、43和44，所以FPGA 33将视频数据等分为4个数据块，这4个数据块分别与这4个拼接单元对应，每个拼接单元传输一个数据块。同理，FPGA 34将接收到的视频数据等分为4个数据块，并通过拼接单元45、46、47及48输出对应的数据块。在上述同步信号、标准像素时钟产生的扫描时序的作用下，图像分割拼接模块3最终通过拼接单元41～48以标准格式输出视频信号，完成拼接过程。

下面结合本实施例的多屏拼接装置的结构，阐述实现高分辨率的多屏拼接的处理过程。

假设本实施例的多屏拼接装置的8个拼接单元采用4×2的拼接方式，即，拼接后有4×2个显示单元。那么，这4×2个拼接单元、4×2个显示单元与分割所得的8个数据块的对应关系可以是表1所示的形式：

数据块1拼接单元41显示单元1	数据块2拼接单元42显示单元2	数据块5拼接单元45显示单元5	数据块6拼接单元46显示单元6
				数据块3拼接单元43显示单元3	数据块4拼接单元44显示单元4	数据块7拼接单元47显示单元7	数据块8拼接单元48显示单元8

表1：拼接单元、显示单元与数据块的对应关系表

在运行时，GPU 10接收计算机CPU的指令运算生成视频数据并填充到显存11中，假设显存11中的数据分布与最终输出到拼接显示单元拼在一起后的一致。那么，GPU 10将视频数据等分为两部分，其中一部分通过第一传输接口13传送给第一FPGA 33，FPGA 33接收该部分视频数据并将其等分为数据块1～4，然后再将数据块1送到拼接单元41、数据块2送到拼接单元42、数据块3送到拼接单元43、数据块4送到拼接单元44；而另一部分的数据通过第二传输接口14传送给第二FPGA 34，FPGA 34将这部分视频数据等分为数据块5～8，再将数据块5送到拼接单元45、数据块6送到拼接单元46、数据块7送到拼接单元47、数据块8送到拼接单元48，由此完成视频数据的分割与拼接。

因为GPU的运算能力和图像输出口的带宽都比较有限，图像输出口按照DVI单链标准带宽165M象素计算最大只能支持1600×1200/60Hz的标准格式，而按现在拼接显示领域的显示单元分辨率最大为1400×1050计算，拼接成4×2的显示墙后的总分辨率为5600×2100，GPU 10的每个图像输出口需要支持的分辨率是2800×2100，为了在165M象素带宽下传输2800×2100的图像，需要做如下处理：

确定拼接后的总分辨率，在本实施例中为：(1400×4)×(1050×2)＝5600×2100；

计算GPU 10的每个图像输出口需要支持的输出分辨率，即拼接后的总分辨率/GPU的图像输出口数目，在本实施例中为5600×2100/2＝2800×2100；

计算GPU的图像输出口的输出刷新率，即图像输出口的带宽/输出分辨率，在本实施例中为165×10⁶/(2800×2100)≈28.06；优选地，考虑到上述的输出分辨率(2800×2100)仅仅是数据有限区域，所以根据该输出分辨率确定一个扫描总像素。对于标准分辨率，有效分辨率对应的扫描总像素是已知的，例如分辨率2800×2100的扫描总像素为3000×2150(其有效的区域为2800×2100)；对于非标准的分辨率，只要满足扫描总像素大于有效分辨率与同步宽度(以像素时钟个数为计数单位)即可。确定扫描总像素之后，再根据“图像输出口的带宽/扫描总像素”计算输出刷新率，即165×10⁶/(3000×2150)≈25.58。

接着，像素时钟源22在GPU 10的控制接口的控制下产生与拼接单元的分辨率对应的标准像素时钟，FPGA 33和FPGA 34在标准像素时钟的同步下产生所需的标准同步信号和扫描时序，最后标准像素时钟、同步信号及视频数据信号同时送到拼接单元41～48，视频数据将以标准的信号格式送给对应的显示单元实现拼接显示。

以上结合一个实施例对本发明进行了阐述，但是本发明不局限于GPU具有两个图像输出口的情况，例如，本发明可应用到GPU具有1个图像输出口或者多个图像输出口的情况。

同样，本发明也可以应用到一个或多个FPGA的情况，而每个FPGA的拼接单元也不局限于4个。可见，实施本发明，可以让具有2D/3D运算能力的一颗通用GPU实现高分辨率的2D/3D多屏拼接，降低多屏拼接的成本。

类似地，虽然该实施例是通过控制接口进行参数配置的，但是本发明不局限于这种方案。例如，可以采用单片机(MCU)取代控制接口，由单片机实现参数的控制等。

为了在GPU有限的图像输出口带宽的条件下实现更高的分辨率，或者满足多屏拼接分辨率要求的基础上降低GPU的图像输出口的压力，还可以让GPU减少扫描时序中空白区域。即，GPU减少扫描时序中空白区域以增加有效数据的比率，再以调整后的输出刷新率输出视频数据。而用于减少扫描时序中的空白区域的功能模块可以设置在成像模块1中，也可以设置在控制模块2中。

优选地，还可以控制模块2中增加了一个比较所计算的输出刷新率与预定帧率的比较模块。例如，上文计算得到的刷新输出率25.58略大于PAL制式的视频信号的帧率(例如，PAL制式中要求电视帧率大于等于24，电影帧率大于等于25，那么，预定帧率可以是24或者25)，可以满足应用的需求。因此，该比较模块让GPU 10以该输出刷新率输出视频数据。不过，要运算生成5600×2100分辨率的图像，GPU外挂显存内的刷新帧率能否能达到25帧取决于生成图像的精度和GPU的运算能力。

若上文计算得到的刷新率小于预定帧率，则可以自动地或者让用户手动更改拼接的总分辨率，然后重新计算输出刷新率；或者，允许用户坚持以该小于预定帧率的输出刷新率输出视频数据，这同样能实现预期的高分辨率的多屏拼接，但由于GPU的输出刷新率高，可能会导致GPU输出的视频数据被拼接单元连续两次输出，或者导致视频内容不够连贯。

在本实施例中，对显存11、35和36的要求如下。显存35或36对应的总象素是2800×2100＝5880000，每象素需要4字节(Byte)显存(其中3字节对应红绿蓝三色信号)，则一帧数据需要5880000×4＝23520000字节显存，在实际应用中为了避免图像出现撕裂现象，通常取3到4个帧缓存进行帧率转换，如果取4个帧缓存，则需要94080000字节的显存，实际需要取128MB的显存，对于显存11，它所对应的总象素是5600×2100＝11760000，一帧数据需要11760000×4＝47040000字节显存。因为显存11可能涉及到3D运算中的渲染等处理需要较多的帧缓存，所以需取尽可能大的显存，目前GPU通常可以支持512MB的显存，可以按最大显存选取。

实施例二

图3是本发明的第二实施例的多屏拼接装置的示意图。该实施例中成像模块1由一块标准的双通道输出显卡构成，显卡插在标准的计算机中，硬件上是一台标准的计算机。控制模块2的部分功能模块采用软件来实现。图像分割拼接模块3为一块独立的电路板，控制接口采用I2C接口，直接附带在传输接口上传递，传输接口采用VGA、DVI和HDMI均可，目前这已是业界成熟的技术，不进行详述。像素时钟源22可以选择ICS1523加普通的晶振。

为提供足够的数据吞吐量，显存11、35和36选择速度较快的DDR2类型的器件，选择支持高速DDR2存储接口的FPGA。显卡的输出接口采用DVI接口，接口芯片可选择Sii1160CTU。即，该实施例采用的方案结构更紧凑，成本较低。

实施例三

图4是本发明的第三实施例的多屏拼接装置的示意图。该实施例中，成像模块1和图像分割拼接模块3集成在一块电路板上，这样可以省掉传输接口(例如图2所示的附加的第一传输接口13和第二传输接口14)。GPU 10的输出直接传递给FPGA 33和FPGA 34。其它部分与图2所示的实施例是一致的。集成了成像模块1和图像分割拼接模块3的电路板可安装在计算机合适的地方，例如通过扩展插槽及软性PCB连接到计算机的PCI-E插槽。本实施例的这种方案可以使结构非常紧凑，可以节省成本。

另外也可以将集成了成像模块1和图像分割拼接模块3的电路板做成显卡的形态直接插在计算机插槽中。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。

Claims (10)

1、一种多屏拼接方法，其特征在于，包括以下步骤：

根据拼接单元的数目以及每个拼接单元的分辨率计算拼接后的总分辨率；

根据所述拼接后的总分辨率与图像处理单元的图像输出口数目的比值计算所述图像处理单元的每个图像输出口的输出分辨率；

根据所述图像处理单元的图像输出口的带宽与所述图像输出口的输出分辨率计算所述图像输出口的输出刷新率；

所述图像处理单元以所述输出刷新率输出视频数据；

接收所述图像处理单元输出的视频数据；

分割所接收的视频数据，分割得到的视频数据块数目与拼接单元的数目相同；

生成与所述拼接单元的分辨率对应的标准像素时钟；

根据每个拼接单元的分辨率在所述标准像素时钟的同步下生成同步信号；

根据所述标准像素时钟、同步信号，通过所述拼接单元输出分割后的视频数据块。

2、根据权利要求1所述的多屏拼接方法，其特征在于，所述图像处理单元以所述输出刷新率输出视频数据的过程具体包括：

所述图像处理单元先将视频数据等分为若干部分，每一部分视频数据与所述图像处理单元的一个图像输出口对应；

再通过每个图像输出口以所述输出刷新率输出对应的视频数据。

3、根据权利要求2所述的多屏拼接方法，其特征在于，所述计算所述图像输出口的输出刷新率步骤具体包括：

根据所述图像处理单元的图像输出口的输出分辨率确定所述图像输出口的扫描总像素；

根据所述图像处理单元的图像输出口的带宽与所述图像输出口的扫描总像素的比值，计算所述图像输出口的输出刷新率。

4、根据权利要求3所述的多屏拼接方法，其特征在于，所述图像处理单元以所述输出刷新率输出视频数据之前还包括减少扫描时序中的空白区域。

5、根据权利要求1至4中任意一项所述的多屏拼接方法，其特征在于，所述视频数据为3D视频数据或2D视频数据。

6、一种多屏拼接装置，包括成像模块(1)，所述成像模块(1)包括图像处理单元(10)及用于存储所述图像处理单元产生的视频数据的显存(11)，所述图像处理单元(10)具有至少一个图像输出口，其特征在于，所述多屏拼接装置还包括控制模块(2)和图像分割拼接模块(3)，所述控制模块(2)包括分辨率计算模块(20)、刷新率计算模块(21)以及像素时钟源(22)，所述图像分割拼接模块(3)包括接收单元(30)、分割单元(31)、拼接单元(32)，其中：

所述分辨率计算模块(20)用于根据所述拼接单元(32)的数目以及每个拼接单元的分辨率计算拼接后的总分辨率，以及根据所述拼接后的总分辨率与所述图像处理单元(10)的图像输出口数目的比值计算所述图像处理单元(10)的每个图像输出口的输出分辨率；

所述刷新率计算模块(21)用于根据所述图像处理单元(10)的图像输出口的带宽与所述图像输出口的输出分辨率计算所述图像输出口的输出刷新率；

所述像素时钟源(22)用于生成与所述拼接单元(32)的分辨率对应的标准像素时钟；

所述接收单元(30)用于接收所述图像处理单元(10)以所述输出刷新率输出的视频数据；

所述分割单元(31)与所述接收单元(30)连接，用于分割所述接收单元(30)接收的视频数据，分割得到的视频数据块数目与拼接单元的数目相同，所述分割单元(31)还用于在所述标准像素时钟的同步下生成同步信号；

所述拼接单元(32)与所述分割单元(31)连接，根据所述标准像素时钟、同步信号输出分割后的视频数据块。

7、根据权利要求6所述的多屏拼接装置，其特征在于，所述控制模块(2)还包括与所述图像处理单元(10)连接的视频数据分割单元，所述视频数据分割单元用于将视频数据等分为若干部分，每一部分视频数据与所述图像处理单元(10)的一个图像输出口对应，再通过每个图像输出口以所述输出刷新率输出对应的视频数据。

8、根据权利要求7所述的多屏拼接装置，其特征在于，所述刷新率计算模块(21)根据所述图像处理单元的图像输出口的输出分辨率确定所述图像输出口的扫描总像素，以及根据所述图像处理单元的图像输出口的带宽与所述图像输出口的扫描总像素的比值计算所述图像输出口的输出刷新率。

9、根据权利要求8所述的多屏拼接装置，其特征在于，所述成像模块还包括用于减少扫描时序中的空白区域的功能模块。

10、根据权利要求6至9中任意一项所述的多屏拼接装置，其特征在于，所述图像处理单元为具有3D运算能力的图像处理单元。

Images