CN103475825A - 一种用于频道包装背景处理的系统和方法 - Google Patents

Abstract

本发明涉及一种用于频道包装背景处理的系统和方法，所述的方法的步骤如下：获取渲染延迟图像单元数，设置I/O延时采集卡采集延迟缓冲；加载图文素材；节目信号进入；延迟处理；判断；图文字幕渲染;背景视频DVE渲染；输出。本发明所述的系统和方法根据图文渲染播出服务器实时渲染延迟时间，在I/O延时采集卡内部设置采集延迟，对输入的信号源视频进行缓冲处理，当需要在背景视频上叠加图文字幕情况下，将每一个背景视频图像单元在I/O延时采集卡内进行延时缓冲控制后与GPU渲染结果叠加后直接输出，而当需要DVE处理的情况下，将每一个背景视频图像单元在进入I/O延时采集卡延时处理的同时立刻采集到内存，再经过GPU渲染后返回I/O延时采集卡，从而实现无缝衔接。

Description

一种用于频道包装背景处理的系统和方法

技术领域

本发明涉及本发明涉及一种用于频道包装背景处理的系统和方法,是一种视频图像处理的系统和方法，是一种用于电视台播出的视频信号进行处理的系统和方法。

背景技术

随着高清电视的普及，电视节目越来越多的使用高清前期制作、高清播出、高清现场直播等高清节目的制造和播出。高清节目在画面质量上的提高得益于画面像素的成倍增加。像素的增加使视频数字运算量也成倍增加，这就为数字高清的制作和播出提出了新的课题。如果还沿用标清时代的设备，只是简单的增加设备的硬件容量和运算速度，是一种十分笨拙的办法。如果不计成本的上高清节目播出，这个办法只能使设备的成本成倍增加。

频道包装和资讯播出在现代电视台中是一个完整而独特的系统。这个系统根据频道的特点和观众需求对播出的中心节目内容进行附加编排和美化，以达到突出频道特色和风格的目的。频道包装和资讯播出通常有三种播出形式：包装为独立信号形式，这种播出方式下的输出内容是全屏信号（frame）输出，即全屏都是包装内容。作为独立信号源有还一种特殊方式，是包装播内容与中心内容分别占用屏幕的一部分或全部，组成播出全画面，例如：开出一两个窗口，播出主要新闻内容，画面的其他部分为包装和资讯画面（DVE包装）。第三种则是资讯方式，这种方式下资讯不占用独立的播出时间窗口，也不作为独立的信号源使用，图文字幕仅叠加到中心内容上播出，例如在中心内容的下方或上方成条的滚动播出简短新闻或股票等信息。

传统的频道包括和资讯播出方式会占用大量系统资源，随着目前高清，4K超高清视频的普遍应用，将每帧视频采集到内存中，并进行GPU渲染处理，会占用渲染播出服务器大量的系统资源，在占用大量系统内存资源以及GPU资源的同时，会极大的影响播出服务器的渲染能力。频道包装系统对于背景视频做DVE包装的播出方式仅仅是一小部分应用，而大部分情况下的播出只需要将图文叠加到背景视频上去，将每帧背景视频都采集到内存中，通过GPU进行渲染后返回IO卡再进行播出的方式，降低了整个播出系统的稳定性和可靠性。

发明内容

为解决现有技术的问题，本发明提出一种用于频道包装背景处理的系统和方法。所述的系统设和方法根据GPU渲染延迟时间设置I/O延时采集卡背景视频延迟帧数，I/O延时采集卡对背景视频（未渲染的主要节目内容，或称PGM信号）做指定帧（场）数的延迟缓存后不采集到内存而是直接输出，此时可同时叠加一般图文字幕。而当需要对背景视频做DVE包装时，每一帧背景视频进入I/O延时采集卡排队缓存的同时立即采集到内存，再经过GPU渲染后返送回I/O延时采集卡，如果这个渲染过程所需时间正好是背景视频排队缓存的时间，就可以实现整屏背景视频和背景视频DVE之间的无缝衔接。本发明通过I/O延时采集卡对背景视频进行延时，同时提供采集能力，使频道包装通道内串接图文渲染设备可以仅在需要对背景视频DVE时再采集到内存，平时只通过I/O延时采集卡延时处理后直接输出，降低了图文渲染播出设备系统资源的占用率，提高了频道包装图文播出系统的渲染播出能力和可靠性。

本发明的目的是这样实现的：一种用于频道包装背景处理的系统，包括: 设置在图文渲染服务器中的GPU，所述的图文渲染播出服务器中还设有I/O延时采集卡，所述的I/O延时采集卡上设置依此连接的用于接收包装前PGM信号的入卡缓存装置、延时装置、用于输出包装后PGM信号的出卡缓存装置；所述的图文渲染服务器中设有接收图文字幕包装素材的图文素材存储装置，所述的图文素材包装装置与所述的GPU连接，所述图文素材存储装置还与包装素材判断装置连接，所述的包装素材判断装置与所述的入卡缓存装置连接，所述入卡缓存装置还与背景存储装置连接，所述的背景视频存储装置与GPU连接，所述的GPU与渲染结果保存装置连接，所述的渲染结果保存装置与所述的出卡缓存装置连接。

一种使用上述系统的频道包装背景处理的方法，所述的方法的步骤如下：

获取渲染延迟图像单元数的步骤：用于根据图文渲染播出服务器渲染控制流程得到实时渲染延迟的图像单元数；

设置I/O延时采集卡采集延迟缓冲的步骤：用于根据实时渲染延迟图像单元数设置I/O延时采集卡的采集延时缓冲；

加载图文素材的步骤：用于打开频道包装播出执行单，根据频道包装播出执行单的内容加载图文字幕素材到图文素材存储装置中； 

节目信号进入的步骤：用于包装前PGM信号接入到图文渲染播出服务器，进入I/O延时采集卡的入卡缓存装置；

延迟处理的步骤：用于从入卡缓存装置中取出一个背景视频的图像单元，按照设定的延迟时间对背景视频图像进行延时处理；

判断的步骤：用于图文渲染播出服务器对加载的图文素材进行判断，如果播出节目信号是简单叠加图文字幕播出方式则进入“图文字幕渲染的步骤”，如果播出节目信号是背景视频DVE处理播出方式则进入“背景视频DVE渲染步骤”；

图文字幕渲染的步骤：用于将加载到渲染服务器中的图文字幕素材，经由GPU渲染后返回I/O延时采集卡，并与I/O延时采集卡内出卡缓冲装置内PGM图像进行叠加后输出，得到包装后PGM信号;

背景视频DVE渲染步骤: 用于将背景视频图像在进入I/O延时采集卡排队缓冲处理的同时，立刻将视频图像采集到渲染播出服务器内存中，与内存中的图文字幕素材一起由GPU进行渲染处理后返回I/O延时采集卡，并与I/O延时采集卡内出卡缓冲装置内PGM图像进行叠加后输出，得到包装后PGM信号；

输出的步骤：用于输出装置输出包装后的PGM信号。

本发明产生的有益效果是：本发明所述的系统和方法通过设置I/O延时采集卡背景视频采集延迟，在IO卡内对于背景视频做指定时间的延迟缓冲后不采集到内存而是直接输出，此时可以同时叠加一般的图文字幕。而当需要对背景视频做DVE包装时，每一帧背景视频进入IO卡排队缓存的同时立即采集到内存，再经过GPU渲染后返送回IO卡，如果这个渲染过程所需时间正好是背景视频排队缓存的时间，就可以实现整屏背景视频和背景视频DVE之间的无缝衔接。本发明所述方法的原理是根据图文渲染播出服务器实时渲染延迟时间，在I/O延时采集卡内部设置采集延迟，人为的对输入的信号源视频进行缓冲处理，当仅需要在背景视频上叠加图文字幕的情况下，背景视频无需通过GPU处理，而是在I/O延时采集卡内进行延时缓冲控制后与GPU渲染得到的图文内容以Mix方式叠加后直接输出，而当需要对背景视频进行DVE处理的情况下，则将每一个背景视频图像单元在进入I/O延时采集卡延时处理的同时立刻采集到内存，再经过GPU渲染后返回I/O延时采集卡，由于I/O延时采集卡内部的延时与渲染服务器的渲染延迟一致，因此原始的那一个视频图像单元应该正好位于缓冲队列的末尾，此时I/O延时采集卡将渲染结果叠加到缓冲队列末尾的一个图像单元上进行输出，从而实现整屏背景视频和背景视频DVE之间的无缝衔接。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是发明实施例一所述系统的系统示意图；

图2是发明实施例二所述方法的流程图。

具体实施方式

实施例一：

本实施例是一种用于频道包装背景处理的系统，如图1所示。本实施例包括: 设置在图文渲染服务器中的GPU，所述的图文渲染播出服务器中还设有I/O延时采集卡，所述的I/O延时采集卡上设置依此连接的用于接收包装前PGM信号的入卡缓存装置、延时装置、用于输出包装后PGM信号的出卡缓存装置。所述的图文渲染服务器中设有接收图文字幕包装素材的图文素材存储装置，所述的图文素材包装装置与所述的GPU连接，所述图文素材存储装置还与包装素材判断装置连接，所述的包装素材判断装置与所述的入卡缓存装置连接，所述入卡缓存装置还与背景存储装置连接，所述的背景视频存储装置与GPU连接，所述的GPU与渲染结果保存装置连接，所述的渲染结果保存装置与所述的出卡缓存装置连接。

GPU（Graphic Processing Unit）可以直接安装在服务器主板上，也可以安装显卡上，与服务器形成完整的系统硬件。

所述的I/O延时采集卡是一个单独的硬件，插接在服务器的扩展槽上，主要由三个部分组成：入卡缓存装置、延时装置、出卡缓存装置。主要将存储包装前的PGM信号和包装后的PGM信号，以及对发出信号的延时进行控制的延时装置。

包装素材判断装置的作用是对包括素材的内容进行判断，判定是只需要简单渲染的图文字幕还复杂的全屏渲染。这是一种十分关键的装置，主要通过对频道包装播出执行单的分析，辨别渲染工作的多少，并确定如何处理。

图文素材储存装置是为了存储频道包装播出执行单中的包装素材。频道包装播出执行单一旦确定，就要搜集执行单中所需要的素材，然后存储中图文素材储存装置，一旦需要，就可以取出使用。

背景视频存储装置是存储需要渲染的PGM图像信号。

渲染结果存储装置是存储经包装后的PGM图像信号，以等待发送。

实施例二：

本实施例是一种使用实施例一所述系统的频道包装背景处理的方法，流程如图1所示。本实施例所述的方法的步骤如下：

获取渲染延迟图像单元数的步骤：用于根据图文渲染播出服务器渲染控制流程得到实时渲染延迟的图像单元数。本实施例所述的图像单元是指图像的帧或场，即图像的一帧或一场统称为一图像单元。在采集方式上可以采取帧的方式，也可以采取场的方式，两者统称为图像单元采集方式。本步骤是为了得到一个比较准确的延时时间长度。延时时间长度通常情况下根据渲染流程而定，渲染流程如果比较简单，则延时时间长度可以短一些，反之，如果渲染流程比较复杂，则延时时间长度要定的长一些。渲染流程的复杂程度与被渲染的节目内容有关，本身应当是一个变数，但在通常情况下，可以根据设备的性能，确定一个相对较长的时间，而涵盖多数渲染过程。延时时间根据采集的方式不同而不同，使用帧采集时，按照帧数确定延长时间，使用场采集时，按照场数确定延长时间。

设置I/O延时采集卡采集延迟缓冲的步骤：用于根据实时渲染延迟图像单元数设置I/O延时采集卡的采集延时缓冲。I/O延时采集卡采集延迟缓冲的设置是在I/O延时采集卡的缓冲中设置采集图像单元的数量。采集延时缓冲的数量一般等于延时图像单元数加1。例如，如果采集方式采用帧采集，渲染延迟帧数为2帧，则设置I/O延时采集卡内采集延时缓冲为3帧。同样，如果采集方式采用场采集，渲染延迟帧数为2场，则设置I/O延时采集卡内采集延时缓冲为3场。加载图文素材的步骤：用于打开频道包装播出执行单，根据频道包装播出执行单的内容加载图文字幕素材到图文素材存储装置中。频道包装播出执行单是根据频道的特点和特色事先编辑好。频道包装有时需要特定的视频素材，例如：背景视频、特色框等。

节目信号进入的步骤：用于包装前PGM信号接入到图文渲染播出服务器，进入I/O延时采集卡的入卡缓存装置。PGM信号（节目信号）是指频道播出的主要节目内容，例如：新闻节目中播音员的图像或相关的新闻视频。

延迟处理的步骤：用于从入卡缓存装置中取出一个背景视频的图像单元，按照设定的延迟时间对背景视频图像进行延时处理。延时处理包括如下三种方式：计时法、计数法、队列法。

判断的步骤：用于图文渲染播出服务器对加载的图文素材进行判断，如果播出节目信号是简单叠加图文字幕播出方式则进入“图文字幕渲染的步骤”，如果播出节目信号是背景视频DVE处理播出方式则进入“背景视频DVE渲染步骤”。简单叠加图文字幕播出方式是指在播出PGM信号上附加图文字幕，如果将图文字幕附加到PGM信号上之后再进行渲染，则需要大量的硬件资源。在标清播出中这样的渲染还是可以接受的，但在高清播出过程中，渲染需要大量硬件资源，而实际处理的仅仅是字幕，占用整个画面不到十分之一，全屏渲染造成极大浪费。背景视频DVE播出方式由于要对背景的效果进行渲染，背景往往占整个屏幕的一半以上，因此，则需要较多的渲染资源。将这两种渲染类型分开可以很好的节省资源，特别是高清播出时，可以节约大约一半的资源。

图文字幕渲染的步骤：用于将加载到渲染服务器中的图文字幕素材，经由GPU渲染后返回I/O延时采集卡，并与I/O延时采集卡内出卡缓冲装置内PGM图像进行叠加后输出，得到包装后PGM信号。

背景视频DVE渲染步骤: 用于将背景视频图像在进入I/O延时采集卡排队缓冲处理的同时，立刻将视频图像采集到渲染播出服务器内存中，与内存中的图文字幕素材一起由GPU进行渲染处理后返回I/O延时采集卡，并与I/O延时采集卡内出卡缓冲装置内PGM图像进行叠加后输出，得到包装后PGM信号。

输出的步骤：用于输出装置输出包装后的PGM信号。

在实际渲染过程中，由于图文字幕的渲染比较简单，因此，渲染的时间比较短，而背景视频DVE渲染比较复杂，渲染的时间比较长，在实时播出时两者在衔接时如果不进行处理，图像就会出现跳变，因此，本实施例采取了延时的方式，将I/O延时采集卡内的延时装置的时间设置与渲染服务器GPU渲染延迟时间保持一致，因此在实时渲染情况下，以上两种包装播出方式之间能够实现帧精度或场精度的无缝衔接。本实施例的优点在于：

高精度采集延时控制，本实施例中的I/O延时采集卡支持帧方式与场方式两种采集延时控制模式，即可以根据图文渲染服务器GPU的渲染延迟，对I/O延时采集卡设置帧精度或场精度的延时控制，保证了渲染服务器GPU渲染过程与I/O延时采集卡视频缓冲处理的高精度同步，从而实现整屏背景视频和背景视频DVE之间的无缝链接。

合理的系统资源使用，本实施例所述的I/O延时采集卡延迟采集控制方法，渲染服务器会根据背景视频的播出方式选择是否将视频图像采集到内存通过GPU进行渲染。针对大部分情况下图文素材仅需要叠加到背景视频的情况，每帧背景视频只在IO卡内部进行延时控制，而无需将背景视频采集到图文渲染服务器的内存后经过GPU渲染后输出，与传统方式下，每帧图像都采集到内存经由GPU渲染处理的方式相比，本发明所采用的方式对系统资源的使用更为合理，减少了对于渲染服务器系统资源的占用情况，提高了播出服务器的渲染能力。

提高系统播出的稳定性与安全性，本实施例所述的频道包装系统对于背景视频处理方式，对于大部分情况下图文素材仅需要叠加到背景视频的情况，去掉了背景视频转存到渲染播出服务器内存，后再经GPU渲染后输出的过程，而是仅在I/O延时采集卡内进行延时后输出，与传统方式比，提高了播出系统的稳定性和安全性。

实施例三：

本实施例是实施例一的改进，是实施例一关于采集方式的细化，本实施例所述采集方式是场采集方式和帧采集方式中的一种。

帧方式采集是指I/O卡对于背景视频的处理以帧为单位，即I/O卡内的入卡缓存装置，延时处理装置以及出卡缓存装置均以一帧图像作为一个处理单元。

场方式采集是指I/O卡对于背景视频的处理以场为单位，即I/O卡内的入卡缓存装置，延时处理装置以及出卡缓存装置均以一场图像作为一个处理单元。

I/O卡采集方式的选择与输入的背景视频格式有关，如果输入的背景视频为逐行扫描，每次扫描一帧图像，则I/O卡应选择帧方式采集；如果输入的背景视频为隔行扫描，每次扫描一场图像，I/O卡可以选择帧方式或者场方式采集，帧方式采集模式下，I/O卡会将连续的两场图像合成为一帧图像作为一个处理单元，而场方式采集则以一场图像作为一个处理单元直接进行处理。

在根据背景视频格式选择I/O卡采集方式的同时，图文包装渲染服务器也相应的选择帧渲染方式或者场渲染方式，与I/O卡采集方式保持一致。

实施例四：

本实施例是上述实施例的改进，是上述实施例关于延时处理方法的细化，本实施例所述的延迟处理的方式是计时法，所述计时法包括如下子步骤：

按照设定的延迟图像单元数，根据当前制式信息，将延迟图像单元数换算为时间长度；

按计算出的时间长度为每一个图像单元设置毫秒级精度的定时器；

当定时器到时后，将该图像单元放入出卡缓存装置，等待输出。

计时法：按照设定的延迟图像单元数，根据I/O延时采集卡当前设定的制式信息，将图像单元数换算为时间长度，单位为ms，并按此时间为每一帧图像设置毫秒级精度的定时器（在延时装置中），当定时器到时后，将该图像单元放入出卡缓存装置，等待输出。由于各种制式中图像单元的时间不同，也就是一帧或一场的时间不同，所以I/O延时采集卡应当事先设定制式，并根据制式计算一个图像单元的时间长度，即帧或场的时间长度。

实施例五：

本实施例是上述实施例的改进，是上述实施例关于延时处理方法的细化，本实施例所述的延迟处理的方式是计数法，所述计数法包括如下子步骤：

按照设定的延迟图像单元数，在针对延时装置的每个图像单元设置延时等待单元数；

根据I/O延时采集卡中断，对延时装置内每个图像单元记录的延时等待单元数减1；

当记录的延时等待单元数为0，则将该图像单元放入出卡缓存装置，等待输出。

计数法：按照设定的延迟等待单元数（帧数或场数），在针对延时装置的每个图像单元设置延时等待单元数，并根据I/O延时采集卡中断（场中断或帧中断），对延时装置内每个图像单元记录的延时等待单元数减1，当图像单元上记录的延时等待单元数为0，则将该图像单元放入出卡缓存装置，等待输出。

实施例六：

本实施例是上述实施例的改进，是上述实施例关于延时处理方法的细化，本实施例所述的延迟处理的方式是队列法，所述队列法包括如下子步骤：

按照设定的延迟单元数，在I/O延时采集卡内设置延时图像队列；

根据I/O延时采集卡的中断，对延时装置内的图像进行队列内的复制操作；

排在队列尾部的一个图像单元则进入I/O延时采集卡出卡缓存装置，等待输出。

队列法：按照设定的延迟单元数，在I/O延时采集卡内设置延时图像队列，并根据I/O延时采集卡的中断（帧中断或场中断），对延时装置内的图像进行队列内的复制操作，排在队列尾部的一个图像单元则进入I/O延时采集卡出卡缓存装置，等待输出。

最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案（比如装置的设置及其联接关系，步骤的先后顺序等）进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。本发明所述的方法可编制为应用于计算机系统的程序，并运行于本发明所述的计算机网络系统中。

Claims (6)

1.一种用于频道包装背景处理的系统，包括: 设置在图文渲染服务器中的GPU，其特征在于，所述的图文渲染播出服务器中还设有I/O延时采集卡，所述的I/O延时采集卡上设置依此连接的用于接收包装前PGM信号的入卡缓存装置、延时装置、用于输出包装后PGM信号的出卡缓存装置；所述的图文渲染服务器中设有接收图文字幕包装素材的图文素材存储装置，所述的图文素材包装装置与所述的GPU连接，所述图文素材存储装置还与包装素材判断装置连接，所述的包装素材判断装置与所述的入卡缓存装置连接，所述入卡缓存装置还与背景存储装置连接，所述的背景视频存储装置与GPU连接，所述的GPU与渲染结果保存装置连接，所述的渲染结果保存装置与所述的出卡缓存装置连接。

2.一种使用权利要求1所述系统的频道包装背景处理的方法，其特征在于，所述的方法的步骤如下：

获取渲染延迟图像单元数的步骤：用于根据图文渲染播出服务器渲染控制流程得到实时渲染延迟的图像单元数；

设置I/O延时采集卡采集延迟缓冲的步骤：用于根据实时渲染延迟图像单元数设置I/O延时采集卡的采集延时缓冲；

加载图文素材的步骤：用于打开频道包装播出执行单，根据频道包装播出执行单的内容加载图文字幕素材到图文素材存储装置中； 

节目信号进入的步骤：用于包装前PGM信号接入到图文渲染播出服务器，进入I/O延时采集卡的入卡缓存装置；

延迟处理的步骤：用于从入卡缓存装置中取出一个背景视频的图像单元，按照设定的延迟时间对背景视频图像进行延时处理；

判断的步骤：用于图文渲染播出服务器对加载的图文素材进行判断，如果播出节目信号是简单叠加图文字幕播出方式则进入“图文字幕渲染的步骤”，如果播出节目信号是背景视频DVE处理播出方式则进入“背景视频DVE渲染步骤”；

图文字幕渲染的步骤：用于将加载到渲染服务器中的图文字幕素材，经由GPU渲染后返回I/O延时采集卡，并与I/O延时采集卡内出卡缓冲装置内PGM图像进行叠加后输出，得到包装后PGM信号;

背景视频DVE渲染步骤: 用于将背景视频图像在进入I/O延时采集卡排队缓冲处理的同时，立刻将视频图像采集到渲染播出服务器内存中，与内存中的图文字幕素材一起由GPU进行渲染处理后返回I/O延时采集卡，并与I/O延时采集卡内出卡缓冲装置内PGM图像进行叠加后输出，得到包装后PGM信号；

输出的步骤：用于输出装置输出包装后的PGM信号。

3.根据权利要求2所述的方法，其特征在于，所述的方法的采集方式是场采集方式或帧采集方式中的一种。

4.根据权利要求2或3所述的方法，其特征在于，所述的延迟处理的方式是计时法，所述计时法包括如下子步骤：

按照设定的延迟图像单元数，根据当前制式信息，将延迟图像单元数换算为时间长度；

按计算出的时间长度为每一个图像单元设置毫秒级精度的定时器；

当定时器到时后，将该图像单元放入出卡缓存装置，等待输出。

5.根据权利要求2或3所述的方法，其特征在于，所述的延迟处理的方式是计数法，所述计数法包括如下子步骤：

按照设定的延迟图像单元数，在针对延时装置的每个图像单元设置延时等待单元数；

根据I/O延时采集卡中断，对延时装置内每个图像单元记录的延时等待单元数减1；

当记录的延时等待单元数为0，则将该图像单元放入出卡缓存装置，等待输出。

6.根据权利要求2或3所述的方法，其特征在于，所述的延迟处理的方式是队列法，所述队列法包括如下子步骤：

按照设定的延迟单元数，在I/O延时采集卡内设置延时图像队列；

根据I/O延时采集卡的中断，对延时装置内的图像进行队列内的复制操作；

排在队列尾部的一个图像单元则进入I/O延时采集卡出卡缓存装置，等待输出。

Images