CN102843522A - 基于pcie的视频拼接处理卡、其控制系统及控制方法 - Google Patents

Abstract

本发明涉及一种基于PCIE的视频拼接处理卡、其控制系统及控制方法，其中：FPGA分别与视频输入单元、输入视频处理单元、卡上存储管理单元、控制状态寄存器及DMA处理单元、PCIE协议编解码单元、输出视频处理单元、视频输出单元连接，所述PCIE协议编解码单元与控制状态寄存器及DMA处理单元连接，控制状态寄存器及DMA处理单元分别与卡上存储管理单元、输出视频处理单元、输入视频处理单元连接，输入视频处理单元与视频输入单元连接，输出视频处理单元与视频输出单元连接。本发明能够解决现有视频拼接处理设备低分辨率和图像清晰度不高的缺陷。

Description

基于PCIE的视频拼接处理卡、其控制系统及控制方法

技术领域

本发明涉及视频处理技术和通信技术，，具体涉及一种基于PCIE的视频拼接处理卡，还涉及一种用于PCIE的视频拼接处理卡的控制系统，还涉及一种基于PCIE的视频拼接处理卡的控制方法。 

背景技术

PCI Express(Peripheral Component Interconnect Express)，简称PCIE，是电脑总线PCI的一种，它沿用了现有的PCI的编程概念及通讯标准，但建基于更快的串行通信系统。英特尔是该接口的主要倡导者。PCIe仅应用于内部互连。由于PCIe是基于现有的PCI系统，只需修改物理层而无须修改软件就可将现有PCI系统转换为PCIE。PCIE拥有更快的速率，以取代几乎全部现有的内部总线(包括AGP和PCI)。随着PCIE规范的发布，一些厂家已经推出了基于PCIE的交换器。使得以高带宽传输的瓶颈得以消除。 

为了满足用户追求亮丽的超大画面、纯真的色彩、高分辨率的显示效果，此发明利用大规模FPGA(Field Progremmable Gate Array，现场可编程门阵列)开发的PCIE的视频拼接处理卡可以完全满足用户的需求。现在社会上大到指挥监控中心、网管中心的建立，小到视频会议、学术报告、技术讲座和多功能会议的进行，对大画面、多色彩、高亮度、高分辨率显示效果的渴望越来越强烈，争相应用DLP、DID、LCD大屏幕拼接来满足其需求。 

传统的视频拼接处理器大都采用软件进行视频处理，在帧速和分辨率上都无法满足用户的需求，如果用户强行增大分辨率，传统视频拼接处理器输出的图像会出现折断和图像噪点过多，并且市场出现的视频处理器最大合成的画面最大支持4路图像合成。 

发明内容

本发明的目的是提供一种基于PCIE的视频拼接处理卡，能够解决现有视频拼接处理设备低分辨率和图像清晰度不高的缺陷。本发明的目的还提供用于PCIE的视频拼接处理卡的控制系统和一种基于PCIE的视频拼接处理卡的控制方法。 

为了达到上述目的，本发明采用如下技术方案： 

本发明的一种基于PCIE的视频拼接处理卡，其中：FPGA分别与视频输入单元、输入视频处理单元、卡上存储管理单元、控制状态寄存器及DMA处理单元、PCIE协议编解码单元、输出视频处理单元、视频输出单元连接，用于实现视频输入单元、输入视频处理单元、卡上存储管理单元、控制状态寄存器及DMA处理单元、PCIE协议编解码单元、输出视频处理单元、视频输出单元的功能，所述PCIE协议编解码单元与控制状态寄存器及DMA处理单元连接，控制状态寄存器及DMA处理单元分别与卡上存储管理单元、输出视频处理单元、输入视频处理单元连接，输入视频处理单元与视频输入单元连接，输出视频处理单元与视频输出单元连接，其中： 

所述视频输入单元，用于采集视频信号中的有效屏幕数据；根据每种不同的输入视频格式建立一个查找表，查找表里包含每种格式的行前隙、行同步、行后隙、行起始像素、行终止像素、行总像素、场前隙、场同步、场后隙、场起始行、场终止行、场总行数、像素时钟数等参数值，此信息作为状态信息反馈给服务器进行协处理； 

所述输入视频处理单元，用于对采集后的有效屏幕数据进行处理，包括视频色度重采样、隔行转逐行、视频缩放、灰度亮度处理； 

所述卡上存储管理单元，用于输入视频和输出视频的存储调度管理，其存储器选择用96BIT的DDR3实现； 

所述控制状态寄存器及DMA处理单元，用于板卡各端口状态上传服务器、下传服务器的DMA指令调度高清实时数据非编码存储和播放； 

所述PCIE协议编解码单元，用于将所述视频帧、状态寄存器、控制器寄存器封装为相应的PCIE报文； 

所述输出视频处理单元，用于视频的后期处理； 

所述视频输出单元，用于根据所述控制寄存器子单元接收到的控制指令，通过查找表里包含每种格式的行前隙、行同步、行后隙、行起始像素、行终止像素、行总像素、场前隙、场同步、场后隙、场起始行、场终止行、场总行数、像素时钟数等参数值，重新生成一个新的屏幕数据输出。 

其中，所述输入视频处理单元具体包括： 

色度重采样子单元，将8bit/10bit/16bit/20bit/24bit的其他视频色域空间信号要变成24bitRGB信号色域空间； 

隔行转逐行子单元，硬件卷积算法实现实时无差别扩行转换，以降低视频梳齿现象； 

视频缩放子单元，利用牛顿插值法实现增强型插值处理，实现视频流实时整体或部分图像实时平滑放大或缩小，以改善边缘锯齿现象； 

灰度亮度处理子单元，利用灰度直方图统计方法来实现图像灰度拉伸、自动对比度、动态伽马调整等操作； 

其中，色度重采样子单元与隔行转逐行子单元连通，隔行转逐行子单元与视频缩放子单元连通，视频缩放子单元与灰度亮度处理子单元连通。 

其中，所述控制状态寄存器及DMA处理单元具体包括： 

状态寄存器子单元，将所述视频输入单元获得的端口状态信息以报文的方式传给主控卡或服务器； 

DMA处理子单元，公用实时非编视频数据通道，以高带宽无损地对输入和输出视频进行交互，； 

控制寄存器子单元，主控卡或服务器表达用户意愿的数据通道， 同样以报文的方式下传给FPGA。 

其中，所述PCIE协议编解码单元具体包括： 

解码端PCIE报文标示分析子单元，用提取PCIE报文头标示，以区分所述报文是控制寄存器报文或视频帧报文； 

解码端报文净荷缓存子单元，用于存储接收到的报文净荷，包括控制寄存器报文净荷或视频帧报文净荷； 

编码端净荷子单元，用于缓存从DDR3读出的经过处理后的并准备通过PCIE总线发送的视频帧净荷和状态信息净荷； 

编码端地址缓存子单元，用于缓存发送端的PCIE报文头标示； 

编码端组帧子单元，分别与编码端净荷子单元和编码端地址缓存子单元连接，用于描述所述PCIE发送报文。 

其中，所述视频输出处理单元具体包括： 

GAMMA校正子单元，用于减小视频流输出的失真程度； 

ALPHA融合子单元，实现包括视频流实时输出无缝切换，淡入淡出、画中画的图像效果。 

本发明的一种用于PCIE的视频拼接处理卡的控制系统，包括主控卡或服务器、PCIE交换卡、PCIE的视频拼接处理卡，其中，PCIE交换卡分别与主控卡或服务器、PCIE的视频拼接处理卡连接，所述主控卡或服务器与PCIE的视频拼接处理卡通过PCIE交换板卡进行通信。 

本发明的一种基于PCIE的视频拼接处理卡的控制方法，包括具体实施步骤如下： 

1)主控卡广播查询在PCIE交换卡上所插入的PCIE的视频拼接处理卡数量，并为各PCIE的视频拼接处理卡排列序号，以确定各自独立存在； 

2)接收所述各PCIE的视频拼接处理卡的状态信息，根据接收到的状态信息，制定各PCIE的视频拼接处理卡间的视频调度关系； 

3)所述主控卡向各PCIE的视频拼接处理卡发送相应的控制指令，控制视频处理的执行。 

其中，所述步骤1)还包括以下步骤： 

(1)所述PCIE的视频拼接处理卡在出厂之前要添加特定的标示信息，保证每个卡的标示在独立的系统中都是独一无二的并且事实存在的； 

(2)所述主控卡在发送控制单元报文之前，要在控制报文中添加目标PCIE的视频拼接处理卡对应特定的标示信息，所述特定标示信息还包括PCIE头地址、PCIE头地址类型、报文长度； 

(3)向主控卡发送的状态信息报文，同理也要在报文中添加各目标PCIE的视频拼接处理卡对应特定的标示信息； 

(4)所述各目标PCIE的视频拼接处理卡之间交互的视频帧报文，同理也要在报文中添加各目标PCIE的视频拼接处理卡对应特定的标示信息。 

由于采取了以上技术方案，本发明的优点在于： 

1本发明能够解决现有视频拼接处理设备低分辨率和图像清晰度不高的缺陷。 

2本发明采用高速串行的PCIE总线来作为高清视频的传输通道可以达到实时融合8路高清图像，帧速减半后可以支持最大32路高清图像融合，可以实现窗口漫游，窗口叠加，缩放，画外画平铺，画中画，窗口透视等功能，并且预设多种模式，用户还可以自行定义预存模式。 

3本发明由于使用纯硬件连接，可以全屏动态实时显示VGA至UXGA逐行超高分辨率纯硬件图像的高速处理，非常适合要求长期连续稳定工作的场合，上电快速启动，免维护。 

附图说明

图1为本发明涉及到以屏幕像素1024*768为例的VESA标准屏 幕数据结构示意图； 

图2是本发明中涉及到的一种基于PCIE的视频拼接处理卡的控制系统示意图； 

图3是本发明中一种基于PCIE的视频拼接处理卡的结构示意图； 

图4是本发明中涉及到的输入视频处理算法结构示意图； 

图5是本发明中涉及到的DDR3读写调度指令实现的示意图； 

图6是本发明中视频处理卡视频流输出前的视频处理算法结构图； 

图7是本发明中基于PCIE视频处理卡的特殊标示部分的示意图。 

图中：101、102、103、104、视频输入单元；105、106、107、108、视频输出单元；109、输入视频处理单元；110、输出视频处理单元；111、卡上存储管理单元；112、状态寄存器；113、MDA处理单元；114、控制寄存器；201、MDA方式DDR3读写管理模块；202～209、缓存器FIFO；210、控制状态寄存器及MDA处理单元。 

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。 

如图2所示，本发明提供了一种用于PCIE的视频拼接处理卡的控制系统，包括主控卡或服务器、PCIE交换卡、PCIE的视频拼接处理卡，其中，PCIE交换卡分别与主控卡或服务器、PCIE的视频拼接处理卡连接，所述主控卡或服务器与PCIE的视频拼接处理卡通过PCIE交换板卡进行通信。 

如图3所示，本发明的基于PCIE的视频拼接处理卡中，视频输入单元101～104为板卡的4个独立的视频输入单元，用采集4路独立的外接视频的屏幕数据和视频色域空间，并且将这些状态信息以报文的形式发送给主控卡，报文的结构见图7。图7中包括PCIE头文件和净荷文件两部分，在净荷文件中添加各卡的特殊标示以确定个卡独 立存在，它包含板卡标示、输入输出标示及端口号标示。其中板卡标示的作用是为了确定PICE交换卡上存在基于PCIE视频处理卡的存在；输入输出标示的作用是表明报文是作用于输入状态或是输出状态；端口号标示的作用是表明报文时装在的信息是作用于那个端口的，其中端口包括视频输入端口、视频输出端口、PCIE输入端口、PCIE输出端口等；去除特殊标示的其他净荷文件做状态信息、控制指令或视频帧通道，报文长度要凑足128bytes或64bytes的整数倍，不足部分以“0”填充。 

当所述状态信息报文上传给主控卡后，主控卡确定PCIE交换板卡上的视频卡情况后，向各视频拼接处理卡发送用户意愿的控制命令报文，报文格式见表1，在净荷文件中添加各视频拼接处理卡的特殊标示和控制指令，报文长度要凑足128bytes或64bytes的整数倍，不足部分以“0”填充。空指令经过解码端PCIE报文标示分析子单元，将报文分解成各自视频拼接处理卡的控制寄存器，连接接进入控制寄存器子单元，以此来控制视频输入处理单元，见图4。 

图4是本发明中涉及到的输入视频处理算法结构示意图，根据视频输入单元获得的屏幕数据信息、视频色域空间信息和控制寄存器子单元的控制信息共同作用下视频流接入输入视频处理单元109，待处理的视频流在输入视频处理单元中的流向及实时处理过程如下： 

首先根据视频流经过所述见图3所示视频输入单元101～104获得 的视频色域空间信息，如视频色域空间不是RGB色域空间，通过色度重采样(去交织)子单元，将8bit/10bit/16bit/20bit/24bit的其他视频流色域空间信号要变成24bitRGB空间信号，如果输入视频流本身就是24bitRGB空间信号，视频流信号不经过色度重采样(去交织)子单元，直接进入隔行转逐行子单元； 

在隔行转逐行子单元中，根据视频流经过所述见图3所示视频输入单元101～104获得屏幕数据信息来判断输入视频流是否是隔行输入的，如果是隔行输入通过本发明涉及到的硬件卷积插值算法实现实时无差别扩行转换，将隔行视频转换成为装行视频，否则视频流流不进隔行转逐行子单元而直接进入视频缩放子单元； 

在视频缩放子单元中，根据视频输入单元获得的屏幕数据信息和控制寄存器子单元的控制信息共同作用下，利用牛顿插值法实现增强型插值处理，实现视频图像实时平滑放大或缩小，视频图像实时平滑放大或缩小包括对一帧完整的视频整体进行缩放处理和对一帧完整的视频中的一部分视频分割后进行缩放处理；然而在一些特殊场合只做到视频流实时平滑放大或缩小是远远不够的，同时还强烈需求对视频画面效果进行自定优化，所以为了满足一些特殊场合的应用，本发明在视频缩放子单元后加入了灰度亮度处理子单元，用户可以通过控制指令来选择是否要对视频图像的画面进行处理，如果特殊的场合下，需要灰度亮度处理，利用灰度直方图统计方法来实现灰度拉伸、自动对比度、动态伽马调整等操作，就将视频缩放子单元和灰度亮度处理子单元连接，实现特殊场合的的视频画面效果输出； 

视频流经过图3所示中的输入视频处理单元109后，进入图3所示的卡上存储管理单元111，这里需要调度的视频流分别来自视频拼接处理卡本身的4路视频流输入、PCIE交换板卡上其它基于PCIE视频拼接处理板卡的4路视频流，视频流向及调度处理见图5。8路视频流通过FIFO乒乓操作的方式进行DDR3读写调度，在卡上存储管 理单元中需要图3中、控制状态寄存器114及DMA处理单元113协同工作；所述FIFO乒乓操作是通过串并转换，同时还分析了数据在两个缓存之间的切换技术来实现数据的无缝缓冲和处理。有些数据经过串并转化后，其数据的顺序也是不能改变的，所以串转并后数据的控制也很重要；在本发明中利用FIFO乒乓操作的方式可以有效地解决多路视频流在DDR3中交互调用时由于DDR3物理带宽限制所导致的视频流丢失或视频流处理顺序混乱等现象； 

图5中异步FIFO模块：DMA方式DDR3读写模块201、缓存器202、203、204、205分别用来缓存来自PCIE视频处理板卡本身经输入视频处理单元处理后的视频流和PCIE交换板卡上其它基于PCIE视频处理板卡的视频流，异步缓存器FIFO模块206、207、208、209用来缓存从DDR3中读出待输出处理的视频流。其中异步缓存器FIFO模块206、207、208、209缓存从DDR3读出来自PCIE视频处理板卡本身经输入视频处理单元处理后的4路视频流，异步缓存器FIFO模块202、203、204、205从DDR3中读出来自PCIE交换板卡上其它基于PCIE视频处理板卡的视频流；本发明中的乒乓操作原理按照DDR3读操作优先级高进行调度，采取以FIFO的“空”、“满”标志来切换异步FIFO模块对DDR3的读写顺序； 

用户在主控卡上通过控制报文可以自定义DDR3读出的视频流向，从DDR3读出的视频流向有两个方向，一个方向是直接输出到PCIE视频处理板卡上的图3中所示输出视频处理单元110及视频输出单元105、106、107、108，进处理后输出到监视器上显示，另一个方向是输出到PCIE总线上，作为PCIE交换板卡上其它视频处理卡的输入来调用； 

当用户选择直接输出到PCIE视频处理板卡上的图3中所示输出视频处理单元110及视频输出单元105、106、107、108，进行处理后输出到监视器上显示这个视频流流向时，视频流实时处理过程见图 6；用户通过控制寄存器报文向每个PCIE视频处理板卡发送输出控制指令及ALPHA融合比例系数和GAMMA校正系数，视频输出处理单元根据相关指令及参数对异步缓存器FIFO模块206、207、208、209、211、212、213、214中的8路视频流进行ALPHA融合，ALPHA融合目的是可以使最大8路视频流在一个监视器上实现画中画、淡入淡出、无缝切换等功能；融合后的视频流通过GAMMA校正以保证视频流在最大程度上减小视频输出的失真程度，ALPHA融合比例系数和GAMMA校正系数可以实时调整，已达到视频以最优的图像质量输出。 

完成上述步骤后，视频流接入图6所示的视频输出单元，根据用户自定义的屏幕大小建立视频帧输出到监视器上显示。 

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。 

Claims (8)

1.一种基于PCIE的视频拼接处理卡，其特征在于：FPGA分别与视频输入单元、输入视频处理单元、卡上存储管理单元、控制状态寄存器及DMA处理单元、PCIE协议编解码单元、输出视频处理单元、视频输出单元连接，用于实现视频输入单元、输入视频处理单元、卡上存储管理单元、控制状态寄存器及DMA处理单元、PCIE协议编解码单元、输出视频处理单元、视频输出单元的功能，所述PCIE协议编解码单元与控制状态寄存器及DMA处理单元连接，控制状态寄存器及DMA处理单元分别与卡上存储管理单元、输出视频处理单元、输入视频处理单元连接，输入视频处理单元与视频输入单元连接，输出视频处理单元与视频输出单元连接，其中：

所述视频输入单元，用于采集视频信号中的有效屏幕数据；根据每种不同的输入视频格式建立一个查找表，查找表里包含每种格式的行前隙、行同步、行后隙、行起始像素、行终止像素、行总像素、场前隙、场同步、场后隙、场起始行、场终止行、场总行数、像素时钟数等参数值，此信息作为状态信息反馈给服务器进行协处理；

所述输入视频处理单元，用于对采集后的有效屏幕数据进行处理，包括视频色度重采样、隔行转逐行、视频缩放、灰度亮度处理；

所述卡上存储管理单元，用于输入视频和输出视频的存储调度管理，其存储器选择用96BIT的DDR3实现；

所述控制状态寄存器及DMA处理单元，用于板卡各端口状态上传服务器、下传服务器的DMA指令调度高清实时数据非编码存储和播放；

所述PCIE协议编解码单元，用于将所述视频帧、状态寄存器、控制器寄存器封装为相应的PCIE报文；

所述输出视频处理单元，用于视频的后期处理；

所述视频输出单元，用于根据所述控制寄存器子单元接收到的控制指令，通过查找表里包含每种格式的行前隙、行同步、行后隙、行起始像素、行终止像素、行总像素、场前隙、场同步、场后隙、场起始行、场终止行、场总行数、像素时钟数等参数值，重新生成一个新的屏幕数据输出。

2.根据权利要求1所述的一种基于PCIE的视频拼接处理卡，其特征在于：所述输入视频处理单元具体包括：

色度重采样子单元，将8bit/10bit/16bit/20bit/24bit的其他视频色域空间信号要变成24bitRGB信号色域空间；

隔行转逐行子单元，硬件卷积算法实现实时无差别扩行转换，以降低视频梳齿现象；

视频缩放子单元，利用牛顿插值法实现增强型插值处理，实现视频流实时整体或部分图像实时平滑放大或缩小，以改善边缘锯齿现象；

灰度亮度处理子单元，利用灰度直方图统计方法来实现图像灰度拉伸、自动对比度、动态伽马调整等操作；

其中，色度重采样子单元与隔行转逐行子单元连通，隔行转逐行子单元与视频缩放子单元连通，视频缩放子单元与灰度亮度处理子单元连通。

3.根据权利要求1所述的一种基于PCIE的视频拼接处理卡，其特征在于：所述控制状态寄存器及DMA处理单元具体包括：

状态寄存器子单元，将所述视频输入单元获得的端口状态信息以报文的方式传给主控卡或服务器；

DMA处理子单元，公用实时非编视频数据通道，以高带宽无损地对输入和输出视频进行交互，；

控制寄存器子单元，主控卡或服务器表达用户意愿的数据通道，同样以报文的方式下传给FPGA。

4.根据权利要求1所述的一种基于PCIE的视频拼接处理卡，其特征在于：所述PCIE协议编解码单元具体包括：

解码端PCIE报文标示分析子单元，用提取PCIE报文头标示，以区分所述报文是控制寄存器报文或视频帧报文；

解码端报文净荷缓存子单元，用于存储接收到的报文净荷，包括控制寄存器报文净荷或视频帧报文净荷；

编码端净荷子单元，用于缓存从DDR3读出的经过处理后的并准备通过PCIE总线发送的视频帧净荷和状态信息净荷；

编码端地址缓存子单元，用于缓存发送端的PCIE报文头标示；

编码端组帧子单元，分别与编码端净荷子单元和编码端地址缓存子单元连接，用于描述所述PCIE发送报文。

5.根据权利要求1所述的一种基于PCIE的视频拼接处理卡，其特征在于：所述视频输出处理单元具体包括：

GAMMA校正子单元，用于减小视频流输出的失真程度；

ALPHA融合子单元，实现包括视频流实时输出无缝切换，淡入淡出、画中画的图像效果。

6.一种用于PCIE的视频拼接处理卡的控制系统，其特征在于：包括主控卡或服务器、PCIE交换卡、PCIE的视频拼接处理卡，其中，PCIE交换卡分别与主控卡或服务器、PCIE的视频拼接处理卡连接，所述主控卡或服务器与PCIE的视频拼接处理卡通过PCIE交换板卡进行通信。

7.一种基于PCIE的视频拼接处理卡的控制方法，其特征在于包括具体实施步骤如下：

1)主控卡广播查询在PCIE交换卡上所插入的PCIE的视频拼接处理卡数量，并为各PCIE的视频拼接处理卡排列序号，以确定各自独立存在；

2)接收所述各PCIE的视频拼接处理卡的状态信息，根据接收到的状态信息，制定各PCIE的视频拼接处理卡间的视频调度关系；

3)所述主控卡向各PCIE的视频拼接处理卡发送相应的控制指令，控制视频处理的执行。

8.根据权利要求7所述的一种基于PCIE的视频拼接处理卡的控制方法，其特征在于：所述步骤1)还包括以下步骤：

(1)所述PCIE的视频拼接处理卡在出厂之前要添加特定的标示信息，保证每个卡的标示在独立的系统中都是独一无二的并且事实存在的；

(2)所述主控卡在发送控制单元报文之前，要在控制报文中添加目标PCIE的视频拼接处理卡对应特定的标示信息，所述特定标示信息还包括PCIE头地址、PCIE头地址类型、报文长度；

(3)向主控卡发送的状态信息报文，同理也要在报文中添加各目标PCIE的视频拼接处理卡对应特定的标示信息；

(4)所述各目标PCIE的视频拼接处理卡之间交互的视频帧报文，同理也要在报文中添加各目标PCIE的视频拼接处理卡对应特定的标示信息。

Images