CN103841359A - 一种视频多画面合成方法、装置和系统 - Google Patents

Abstract

本发明公开了一种视频多画面合成方法、装置和系统，其中，所述方法包括：视频处理现场可编程门阵列(FPGA)通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。本发明能够节省系统资源，而且提高数据传输速度和图像质量。

Description

一种视频多画面合成方法、装置和系统

技术领域

本发明涉及视频会议技术，尤其涉及一种视频多画面合成方法、装置和系统。

背景技术

高清会议电视终端通常采用如图1所示的硬件架构，高清会议电视终端的工作原理为：网络通讯模块110接收远端会议电视终端传送过来的网络包，送给主控处理器109进行拆包，得到远端的压缩视频码流，然后通过与解码模块之间的系统总线108将压缩视频数据传给解码模块105，解码模块解压缩视频数据之后，得到原始RAW格式的数据，之后通过解码模块的视频接口(VideoPort，VP)106封装成标准BT.1120格式视频数据，送给视频处理现场可编程门阵列(Field Programmable Gate Array，FPGA)，即107。同时本地视频通过视频输入接口模块101，输入送给视频切换矩阵103，切换矩阵103根据系统配置将视频数据也送给视频处理FPGA 107。视频处理FPGA 107将得到的远端和本地视频按照系统配置进行视频缩放和多画面合成，然后再通过视频切换矩阵103，从视频输出接口模块102输出显示。编码模块104从视频处理FPGA 107得到本地输入的视频后对原始图像进行压缩编码，降低图像码率，之后通过系统总线108将压缩码流传给主控处理器109进行网络打包，然后通过网络通讯模块110传送到远端。这样就完成两个会议电视终端点对点互通的流程。

目前，编、解码模块和视频处理FPGA之间都是使用并行的VP接口进行数据传输。VP接口为16位数据总线，带宽非常小，能够传输的数据量很小，最多只能传输一路1080P60制式的视频数据。随着高清会议电视终端能够实现内置多点控制单元(Multipoint Control Unit，MCU)的功能，编、解码模块和视频处理FPGA之间需要传输的数据大量增加，并行的VP接口已经不能满足数据传输的需要。当有多路高分辨率高帧频制式的解码视频需要传输时，解码模块需要将多路视频进行缩放，降低数据流带宽，然后通过VP接口传送给视频处理FPGA，视频处理FPGA需要对视频进行二次缩放和画面提取，之后再进行多画面合成，增加了系统复杂度，不仅浪费系统资源，也降低了图像质量。此外，并行的VP接口会占用很多的印制电路板(Printed Circuit Board，PCB)布线空间；视频时钟频率较高的时候，特别是视频为1080P60制式时，总线时序很难控制。

发明内容

有鉴于此，本发明的主要目的在于提供一种视频多画面合成方法、装置和系统，能够节省系统资源，而且提高数据传输速度和图像质量。

为达到上述目的，本发明的技术方案是这样实现的：

本发明提供了一种视频多画面合成方法，所述方法包括：

视频处理FPGA通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。

较佳地，所述将收到的多路视频进行缩放之前，所述方法还包括：

将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

较佳地，所述将收到的多路视频进行缩放，为：

根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。

较佳地，所述根据修正后的地址将各路视频分别存进相应的内存空间之前，所述方法还包括：

通过轮询(round-robin)机制从缓存的多路视频中依次选取要存进内存空间的视频；

相应的，所述将各路视频分别存进相应的内存空间，为：

将选取的视频依次存进相应的内存空间。

本发明提供了一种视频处理FPGA，所述视频处理FPGA包括：

高速串行总线控制器，用于通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

缩放模块，用于将高速串行总线控制器收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

帧缓存模块，用于缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

内存控制器，用于根据帧缓存模块修正后的地址将缩放后的各路视频分别存进相应的内存空间。

较佳地，所述高速串行总线控制器，还用于将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

较佳地，所述缩放模块，具有用于根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。

较佳地，所述视频处理FPGA还包括：仲裁模块；

所述仲裁模块，用于通过round-robin机制从所述帧缓存模块缓存的多路视频中依次选取要存进内存空间的视频；

相应的，所述内存控制器，具体用于将所述仲裁模块选取的视频依次存进相应的内存空间。

较佳地，所述帧缓存模块由一个one-hot状态机构成，每个状态对应一帧数据。

本发明提供了一种视频多画面合成系统，所述系统包括：解码模块和视频处理FPGA，其中，

所述解码模块，用于按照多画面布局的要求，确定自身解码的多路视频各自对应的地址，并将解码得到的多路视频和确定的多路视频各自对应的地址，通过高速串行总线发给视频处理FPGA；

所述视频处理FPGA，用于通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。

由上可知，本发明的技术方案包括：视频处理现场可编程门阵列(FPGA)通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；根据修正后的地址将缩放后的各路视频分别存进相应的内存空间，由此，通过高速串行总线传输数据，能够节省系统资源，而且提高数据传输速度和图像质量。

附图说明

图1为现有高清会议电视终端的硬件架构示意图；

图2为本发明视频多画面合成方法的第一实施例的实现流程示意图；

图3为本发明视频处理FPGA的实施例的结构示意图；

图4为本发明解码模块的实施例的结构示意图；

图5为本发明视频多画面合成系统的实施例的结构示意图；

图6为本发明视频多画面合成方法的第二实施例的实现流程示意图；

图7为本发明三路子画面合成结构示意图。

具体实施方式

本发明提供的一种视频多画面合成方法的第一实施例，如图2所示，所述方法包括：

步骤201、视频处理FPGA通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

步骤202、将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

步骤203、缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

步骤204、根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。

优选地，所述将收到的多路视频进行缩放之前，所述方法还包括：

将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

优选地，所述将收到的多路视频进行缩放，为：

根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。

优选地，所述根据修正后的地址将各路视频分别存进相应的内存空间之前，所述方法还包括：

通过轮询(round-robin)机制从缓存的多路视频中依次选取要存进内存空间的视频；

相应的，所述将各路视频分别存进相应的内存空间，为：

将选取的视频依次存进相应的内存空间。

本发明提供的一种视频处理FPGA的实施例，如图3所示，所述视频处理FPGA包括：

高速串行总线控制器，用于通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

缩放模块，用于将高速串行总线控制器收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

帧缓存模块，用于缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

内存控制器，用于根据帧缓存模块修正后的地址将缩放后的各路视频分别存进相应的内存空间。

优选地，所述高速串行总线控制器，还用于将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

优选地，所述缩放模块，具有用于根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。

优选地，所述视频处理FPGA还包括：仲裁模块；

所述仲裁模块，用于通过轮询(round-robin)机制从所述帧缓存模块缓存的多路视频中依次选取要存进内存空间的视频；

这里，由于内存同一时刻只能进行一路读或者写的操作，而同时会有多路对内存发出读或者写请求，因此就需要对多路读写请求进行仲裁，以决定当前授权哪一路的请求。仲裁模块采用独热(one-hot)编码状态机，每个状态代表一路请求，仲裁采用轮询机制，以保证各路请求得到公平和及时的响应。

相应的，所述内存控制器，具体用于将所述仲裁模块选取的视频依次存进相应的内存空间。

优选地，所述帧缓存模块由一个one-hot状态机构成，每个状态对应一帧数据。

这里，由于各路视频制式有可能不同，编解码的制式也有可能不同，因此在对视频进行缓存的时候开辟三帧的缓存空间，并对三帧的状态进行标记。假定当前第一帧状态为空(empty)，当高速串行总线控制器往帧缓存模块写入视频数据，同时帧缓存模块发现第一帧状态为empty时，跳转进入第一帧的状态，写满第一帧之后，第一帧就被标记为满(full)，表示该帧已经写满视频数据，可以被读取了。这个时候帧缓存模块判断下一帧的状态是否为empty，如果为empty，在解码模块发送数据的时候跳转到第二帧开始写。如果第二帧的状态为full，说明第二帧数据也是满的，正在被帧读取模块读取，那么帧缓存模块继续保持在第一帧的状态，当解码模块通过高速串行总线控制器写入视频数据的时候，帧缓存模块就会把原来第一帧的数据覆盖掉；帧缓存模块是和帧读取模块配合一起完成了丢帧的帧频转换功能。

帧读取模块用于从内存中读取合成之后的视频多画面，帧读取模块的基本架构和帧缓存模块相同，也是由one-hot状态机构成的。当编码模块通过高速串行总线控制器来读取相应地址的视频多画面时，帧读取模块在状态机的控制下从其缓存的三帧数据中选择一帧进行读取。只有被标记为full的帧才能被读取，而读取完之后把这一帧的状态置为empty。假如当前刚刚读取完成第一帧数据，编码模块又发送了读取的命令，这个时候帧读取模块判断下一帧数据的状态是否为full，如果为full，说明里面有一帧刚刚写好的数据可以读取，那么帧读取模块跳到下一帧的状态，并读取数据。如果为empty，说明这一帧数据还没有准备好，那么帧读取模块保持当前状态，并把刚刚读取过的这一帧数据再读一遍，这样就完成了一次帧拷贝的帧频转换功能。

本发明提供的一种解码模块的实施例，如图4所示，所述解码模块包括：地址确定单元，用于按照多画面布局的要求，确定解码后的多路视频各自对应的地址；

发送单元，用于将解码后的多路视频和确定的多路视频各自对应的地址，通过高速串行总线发给视频处理FPGA。

本发明提供的一种视频多画面合成系统的实施例，如图5所示，所述系统包括：解码模块和视频处理FPGA，其中，

所述解码模块，用于按照多画面布局的要求，确定自身解码的多路视频各自对应的地址，并将解码得到的多路视频和确定的多路视频各自对应的地址，通过高速串行总线发给视频处理FPGA；

所述视频处理FPGA，用于通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。

下面结合图6对本发明提供的一种视频多画面合成方法的第二实施例进行介绍。本实施例中，编、解码模块使用数字信号处理器(Digital Signal Processor，DSP)TMS320TCI6608，所述TMS320TCI6608是多核定点/浮点DSP，主频达到1.25G，可以同时编码或者解码两路1080P60制式的视频，支持rapioIO高速串行总线；视频处理FPGA使用EP4S110GXF1120，所述EP4S110GXF1120内嵌32个串行收发器，可以实现PCIe、rapidIO等多个高速串行协议。本实施例中，DSP和视频处理FPGA之间使用rapidIO互联，传输视频数据，高速串行总线控制器为RapidIO控制器。视频处理FPGA的rapidIO在4x配置情况下可以支持到3.125G，这样总带宽是12.5G，除去协议开销，有效带宽10G。一路1080P60制式的视频的有效数据带宽2G，所以足够传输五路1080P60原始有效数据。视频处理FPGA外挂四片双倍速率同步动态随机存储器3(Double DataRate，DDR3)，每片DDR3内存16位2Gbits，速率为800Mbps，这样总内存带宽为51.2Gbps。假定要实现一个品字形的三画面图像合成，编解码是视频制式都是1080P30。

步骤601、视频处理FPGA通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

这里，使用高速串行总线可以有效的节省PCB的布线空间，而且高速串行总线的带宽远大于VP接口。目前中端的视频处理FPGA的高速串行总线接口可以实现4x 3.125G＝12.5Gbps的传输速率，可以传输四路1080P60制式的有效视频，而VP接口最高只能传输一路1080P60制式的有效视频。

步骤602、将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

步骤603、将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

具体的，根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。如果对图像质量要求不高，选择临近域插值算法；如果对图像质量要求较高，选择双线性内插算法；如果对图像质量要求很高，多相位插值算法；

这里，为了平衡性能和复杂度，可以采用双线性算法，双线性算法虽然会使图像产生一定的振铃效果，但是在会议电视应用场景下其图像质量已经能够满足要求了。而且双线性算法只需要使用原始图像中的4个像素就可以产生目标图像中的一个像素，运算量和复杂度都相对较小。本例中由于输出都是1080P30制式的视频，多画面为品字形的三画面叠加，所以每路子画面的行列都是原始图像行列的一半，所以缩放比例为1/2。

步骤604、缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

这里，由于缩放之后图像点数发生了变化，因此地址也需要重新进行映射。本例中缩放比例为1/2，所以行列地址各只有原始图像的一半，根据缩放之后子画面的大小和在多画面中起始位置重新计算每个像素的存放地址，从而把三路子画面准确存放到图7中远端1、远端2和远端3的位置；

由于DSP传送视频的速率和DDR3内存的速率不一致，为了提高DDR3内存的存储效率，使用乒乓缓存(Ping Qong Buffer)方法对视频进行缓存，即在视频处理FPGA内部开辟两个行缓存的随机存储器(Random Access Memory，RAM)，当解码DSP传送来的视频写完第一个行RAM的时候，就转而写第二个行RAM，同时产生一个写请求信号给仲裁模块，得到仲裁的授权响应之后，就把第一个行RAM存储的数据写入DDR3内存中。当第二个行RAM写满数据之后又切换到第一行RAM来写，这样就实现了PINGPONG的操作方式，能够提高DDR3内存的存储效率，当三路子画面全部存储到相应的位置之后就实现了多画面的合成过程。

当三路子画面都存储完一帧之后，跳转到下一帧执行相同的操作。这时如果编码DSP需要新的一帧多画面进行编码，通过RapidIO控制器下发读命令，帧读取模块判断到已经有一帧完整的多画面存储完成之后，读取这一帧数据，帧读取模块内部也采用PINGPONG buffer方法来同步DDR3内存和RapidIO控制器的速率，提高DDR3内存的读取效率；当写满一个行RAM的数据之后就通过RapidIO控制器送给编码DSP，当一整帧数据都读取完成之后，又等待编码DSP新的读取命令。

步骤605、通过轮询(round-robin)机制从缓存的多路视频中依次选取要存进内存空间的视频。

步骤606、根据修正后的地址，将选取的视频依次存进相应的内存空间。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (11)

1.一种视频多画面合成方法，其特征在于，所述方法包括：

视频处理现场可编程门阵列(FPGA)通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。

2.根据权利要求1所述的方法，其特征在于，所述将收到的多路视频进行缩放之前，所述方法还包括：

将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

3.根据权利要求1所述的方法，其特征在于，所述将收到的多路视频进行缩放，为：

根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。

4.根据权利要求1所述的方法，其特征在于，所述根据修正后的地址将各路视频分别存进相应的内存空间之前，所述方法还包括：

通过轮询(round-robin)机制从缓存的多路视频中依次选取要存进内存空间的视频；

相应的，所述将各路视频分别存进相应的内存空间，为：

将选取的视频依次存进相应的内存空间。

5.一种视频处理现场可编程门阵列(FPGA)，其特征在于，所述视频处理FPGA包括：

高速串行总线控制器，用于通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

缩放模块，用于将高速串行总线控制器收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

帧缓存模块，用于缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

内存控制器，用于根据帧缓存模块修正后的地址将缩放后的各路视频分别存进相应的内存空间。

6.根据权利要求5所述的视频处理FPGA，其特征在于，所述高速串行总线控制器，还用于将解码模块通过高速串行总线发来的数据进行解串处理，解析出有效数据，并对所述有效数据进行并行处理，得到并行数据。

7.根据权利要求5所述的视频处理FPGA，其特征在于，所述缩放模块，具有用于根据对图像质量的要求选择临近域插值算法、双线性内插算法或多相位插值算法，将收到的多路视频进行缩放。

8.根据权利要求5所述的视频处理FPGA，其特征在于，所述视频处理FPGA还包括：仲裁模块；

所述仲裁模块，用于通过轮询(round-robin)机制从所述帧缓存模块缓存的多路视频中依次选取要存进内存空间的视频；

相应的，所述内存控制器，具体用于将所述仲裁模块选取的视频依次存进相应的内存空间。

9.根据权利要求8所述的视频处理FPGA，其特征在于，所述帧缓存模块由一个one-hot状态机构成，每个状态对应一帧数据。

10.一种解码模块，其特征在于，所述解码模块包括：

地址确定单元，用于按照多画面布局的要求，确定解码后的多路视频各自对应的地址；

发送单元，用于将解码后的多路视频和确定的多路视频各自对应的地址，通过高速串行总线发给视频处理现场可编程门阵列(FPGA)。

11.一种视频多画面合成系统，其特征在于，所述系统包括：解码模块和视频处理现场可编程门阵列(FPGA)，其中，

所述解码模块，用于按照多画面布局的要求，确定自身解码的多路视频各自对应的地址，并将解码得到的多路视频和确定的多路视频各自对应的地址，通过高速串行总线发给视频处理FPGA；

所述视频处理FPGA，用于通过高速串行总线，接收解码模块发来的多路视频和各自对应的地址，各路视频的地址为解码模块按照多画面布局的要求确定的；

将收到的多路视频进行缩放，缩放后的各路视频的大小分别与多画面中相应子画面的大小相同；

缓存缩放后的各路视频，并分别对缓存的各路视频对应的地址进行修正；

根据修正后的地址将缩放后的各路视频分别存进相应的内存空间。

Images