CN102802039A - 多路视频混合解码输出方法及装置 - Google Patents

Abstract

本发明适用于数字视频处理技术领域，提供一种多路视频混合解码输出方法及装置，所述方法包括：接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；对所述视频帧进行数据解码，生成原始视频数据并缓存；对所述原始视频数据进行复接，生成一输出帧；从所述输出帧中提取出各路视频数据，并拆分成视频数据帧；向所述各个视频数据帧中插入同步信息并分时输出。本发明将多路视频编码数据复接成一个视频帧，一片普通性能的解码芯片即可完成对所有的频编码数据进行解码，得到各路原始视频数据，再复接、拆分、插入同步信息，即可得到符合格式要求的各路视频数据帧，完成了对多路视频数据解码输出，同时也降低了投入成本。

Description

多路视频混合解码输出方法及装置

技术领域

本发明属于数字视频处理技术领域，尤其涉及一种多路视频混合解码输出方法及装置。

背景技术

随着视频监控的数字化，网络化时代的到来，越来越多的模拟监控系统被数字网络监控系统所取代，同时监控点的数量越来越多并且越来越密，这不仅要求在监控前端部署网络视频服务器，而且要求在大型视频监控中心或指挥中心部署网络视频解码器，所述网络视频解码器能够通过自身的网络接口从网络上接收一路或多路的数字视频码流，将这些数字视频码流进行解码，并且转换成视频模拟信号，然后输出给监视器或电视墙显示。

目前，在视频监控领域中已经有了各式各样的网络视频解码器，对于能够实现同时解码多路视频数据的网络视频解码器，通常采用多块单板集成的方法，首先采用一个普通性能的中央处理器作为核心器件制作单板，实现单路视频解码，然后按所需求的解码路数，将多块单板组合成一个多路视频解码器，但是这种视频解码其支持的图像分辨率较低，而且随着监控路数增加，硬件尺寸会不断增大，成本不断提高。此外，也可以采用高性能芯片来实现多路视频同时解码和输出，例如德州仪器公司的DSP6000系列及以上芯片，这也是当前最流行的多路视频解码、输出解决方案，这种解决方案成本过高，而且随着监控规模增加，投入的费用增长也更快，不适合于经费、预算紧张的中小用户。

发明内容

鉴于上述问题，本发明提供一种多路视频混合解码输出方法，旨在解决现有的多路视频解码输出方案中，对视频解码芯片的性能要求过高、需要投入大量成本的技术问题。

本发明是这样实现的，一种多路视频混合解码输出方法，所述方法包括下述步骤：

接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；

对原始视频数据进行复接，生成一输出帧；

从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧；

向所述各个视频数据帧中插入同步信息并分时输出。

本发明的另一目的在于提供一种多路视频混合解码输出装置，包括：

数据成帧单元，用于接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

解码缓存单元，用于对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；

数据复接单元，用于对至少两路原始视频数据进行复接，生成一输出帧；

帧拆分单元，用于从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧；

帧输出单元，用于向所述各个视频数据帧中插入同步信息并分时输出。。

在本发明实施例中，首先将多路视频编码数据复接成一个视频帧，能够完成一路视频解码的普通性能芯片即可对所述视频帧进行解码，还原成与原多路视频编码数据路数相同的原始视频数据并缓存，再对所述多路原始视频数据复接生成输出帧，从所述输出帧中提取出各路视频数据，相应组成多路视频数据帧，在每个视频数据帧中插入同步信息并按照时间顺序输出，此时输出的视频数据帧转换成模拟信号后即可在监视器或其他显示设备上输出，因此可以看出，本发明技术方案中，由于将多路视频编码数据复接成一个视频帧，一片普通性能的解码芯片即可完成对所有的频编码数据进行解码，得到各路原始视频数据，再复接、拆分、插入同步信息，即可得到符合格式要求的各路视频数据帧，完成了对多路视频数据解码输出，同时也降低了投入成本。

附图说明

图1是本发明第一实施例提供的一种多路视频混合解码输出方法的流程图；

图2是本发明第二实施例提供的一种多路视频混合解码输出方法的流程图；

图3是本发明第二实施例中输出帧的前1250行的示意图；

图4是本发明第二实施例中输出帧的后625行的示意图；

图5是本发明第二实施例中输出帧的行结构示意图；

图6是本发明第二实施例中输出帧除去填充行后的帧结构示意图；

图7是本发明第三实施例提供的一种多路视频混合解码输出装置的结构方框图；

图8是本发明第四实施例提供的一种多路视频混合解码输出装置的结构方框图；

图9是本发明第五实施例提供的一种多路视频混合解码输出系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

图1示出了本发明第一实施例提供的一种多路视频混合解码输出方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

本实例提供的多路视频混合解码输出方法包括：

步骤S101、接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧。

本步骤中所述视频编码数据来自于网络视频服务器，远端的多路摄像头采集到多路视频数据后，网络视频服务器对所述视频数据进行压缩编码，得到视频编码数据，再通过网络进行传输或交换，本实施例通过网络接口从网络中获取到所述多路视频编码数据，由于单个普通性能芯片无法对多路视频编码数据同时解码，因此在本步骤中，将所述多路视频编码数据复接成完整的视频帧。

步骤S102、对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存。

由于步骤S101中，已经将所述多路视频编码数据复接成完整的视频帧，本步骤中将所述视频帧视为一路数据，通过单个普通性能芯片即可解析所述一路数据，因此本步骤中可以将所述视频帧解析成与原视频编码数据相同路数的原始视频数据，将所述多路原始视频数据写入存储器中进行缓存，以便可以取出各路原始视频数据。

步骤S103、对所述原始视频数据进行复接，生成一输出帧。

从缓存存储器中读取出各路原始视频数据，并复接成一输出帧，具体的复接方法在本步骤中不作限定，只要能够满足帧格式要求，后续能够在输出帧中的对应位置找出对应的原始视频数据即可。

步骤S104、从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧。

本实施例中，事先已经知晓输出帧的组帧方法，此处拆分所述输出帧，从输出帧中获取出各路视频数据，并将同路的视频数据组成一视频数据帧，

步骤S105、向所述各个视频数据帧中插入同步信息并分时输出。

再根据格式要求，在每路视频数据帧中插入对应的同步信息，使之符合输出要求，由于帧输出接口只有一个，因此本步骤中需要将各路插入同步信息的视频数据帧按照顺序分时输出，后续通过数模转换成模拟信号，即可在对应的监控器中显示出，最终实现实时视频监控。

本发明实施例通过将多路视频编码数据复接成一视频帧，将所述视频帧按视为一路视频数据进行解码，得到各路原始视频数据，再将所述各路原始视频数据复接成一输出帧，然后拆分所述输出帧得到各路视频数据帧，在视频数据帧中插入同步信息即可满足输出要求并分时输出。因此本发明实施例通过一普通性能的解码芯片即可实现多路视频解码，降低了生产成本。

实施例二：

图2示出了本发明第二实施例提供的一种多路视频混合解码输出方法的流程，为了便于说明仅示出了与本发明实施例相关的部分。

本实例提供的多路视频混合解码输出方法包括：

步骤S201、接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

步骤S202、对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存。

上述步骤S201-S202与实施例一中步骤S101-S102相同，这里所解码出的各路原始视频数据的格式要求，包括RGB格式或YUV格式，优选为YUV格式。

步骤S203、对所述原始视频数据按照帧格式要求进行复接，包括亮度分量行、色差分量行和填充行，生成一传输帧；

步骤S204、将所述输出帧转换成符合格式要求的输出帧。

所述输出帧的格式要求应包含需要复接的多路原始视频数据，输出帧结构的大小，即列数和行数，所述输出帧结构的大小应根据实际的视频路数和视频分辨率确定。为了使得后续能够识别出输出帧中具体的各路视频数据的数据内容，如果所述生成的输出帧不是预定格式要求，此时需要将其按照格式要求进行转换。比如若预定的输出帧的格式要求是YUV422，那么解码后生成的各路原始数据为其他格式，比如YUV420、YUV411等等，那么就需要将由这些格式原始数据生成的输出帧转换为YUV422格式的输出帧，对于YUV422格式转换操作、输出帧的组帧要求很低，可以使用任何方法实现，只要确保输出帧包含有效、完整的YUV422格式的原始视频数据即可。

为了使得更为清楚了解本实施例中的原始视频数据的复接组帧方式，下面通过一具体实例描述所述复接方式。

假设需要解码四路视频压编码数据，视频图像分辨率为704x576，经解码后生成四路YUV420格式的原始视频数据，再对所述原始视频数据按照帧格式要求进行复接成输出帧，复接结果如图3和图4所示，包含亮度分量行、色差分量行和填充行，共1875大行，前1250行如图3所示，主要存放四路视频的亮度分量数据；后625行如图4所示，主要存放四路视频的色差分量数据。输出帧结构中的亮度分量行、色差分量行和填充行的行格式均如图5所示，长度为1728个字节，包括两个720个字节的有效数据段和两个144字节的填充字段，因此输出帧中，每一整行包括3456他字节，填充字段可以任意填充，另外，对于亮度分量行，数据段存放的是视频亮度分量；对于色差分量行，数据段存放的是视频色差分量；对于填充行，数据段的内容可以任意填充。特别的是，对于各行的行消隐填充数据，内容也可以任意填充。按照以上的说明，就可以组织生成一个输出帧结构。

具体的，对于前1250行：第0行到第43行，共44行，为四路视频第一个填充行块的复接；第44行到第619行，共576行，为四路视频第一场视频数据的亮度分量的复接；第620行到第668行、第670行，共50行，为四路视频第二个填充行块的复接；第669行、第671行到第1244行和第1246行，共576行，为四路视频第二场视频数据的亮度分量的复接；第1245行、第1247行到第1249行，共4行，为四路视频第三个填充行块的复接。对于后625行：第0行到第21行，共22行，为四路视频第一个填充行块的复接；第22行到第309行，共288行，为四路视频第一场视频数据的色差分量的复接；第310行到第333行，共24行，为四路视频第二个填充行块的复接；第334行到第621行，共288行，为四路视频第二场视频数据的色差分量的复接；第622行到第624行，共3行，为四路视频第三个填充行块的复接。

由于原始视频数据格式为YUV420，所以在输出前，需要完成YUV420格式到YUV422格式的转换，以满足后续收到的有效视频格式为YUV422的要求。

步骤S205、根据所述输出帧的格式定义，对应选出各路视频数据；

步骤S206、将同路的视频数据组成一视频数据帧，得到与视频编码数据路数相同的视频数据帧。

由于输出帧的格式是一定的，比如上述的YUV422格式，因此本实施例中在接收到输出帧后，可以知晓输出帧中各路视频数据的具体位置，除去其中的填充行后，还剩下1250大行视频数据，其中每大行视频数据包括两路视频数据，前1728个字节为一路，后1728个字节为一路，具体如图6所示，再将同路的视频数据取出组成一视频数据帧，因此可以得到四路视频数据帧，每路视频数据帧为625行、1728列。

步骤S207、向所述各个视频数据帧中插入同步信息并分时输出。

得到各路的视频输出帧后，在每路视频输出帧中插入同步信息，生成的视频帧就是国际电信联盟无线电通信部门601/656号建议书（The digital VideoStandard according to ITU-R BT.601/656）所描述的帧，将这个帧传送给外接的显示设备经数模转换后就可以看到各路视频。

本发明实施例在实施例一的基础上，给出了各步骤的具体优选的实施方式，并通过一原始视频数据的复接组帧实例，详细描述了本实施例中所述的组帧方法，需要说明的是，上述的组帧方法只是一种实例列举，不对本发明构成限定，亦可改变其中任意行数据的位置，只要后续拆帧过程中能够知晓这种输出帧结构定义即可。

实施例三：

图7示出了本发明第三实施例提供的一种多路视频混合解码输出装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的多路视频混合解码输出装置包括：

数据成帧单元701，用于接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

解码缓存单元702，用于对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；

数据复接单元703，用于对至少两路原始视频数据进行复接，生成一输出帧；

帧拆分单元704，用于从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧；

帧输出单元705，用于向所述各个视频数据帧中插入同步信息并分时输出。

本实施例提供的各个功能单元701-705，对应实现了实施例一中所述的步骤S101-S105。在具体实现时，所述数据成帧单元701可由接收模块实现，接收模块包括一网路接口，从网络中获取多路视频压缩数据，并复接成完整的视频帧；所述解码缓存单元702可由与所述接收模块连接的解码模块实现，所述解码模块将所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；所述数据复接单元703可由中央处理器实现，从解码模块的缓存中读取出数据，并对所述多路原始视频数据进行复接输出复接帧，由于所述中央处理器只需解码一路视频帧，因此用普查性能的解码处理芯片接口完成任务，比如可以采用TMS320DM36x芯片；所述帧拆分单元704和帧输出单元705可由与所述中央处理连接的FPGA实现，所述FPGA从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧，再插入同步信息后将视频数据帧分时输出，所述FPGA与显示设备连接，经数模转换后即可在显示设备中显示对应图像。至此实现了多路视频数据解码输出过程。

实施例四：

图8示出了本发明第四实施例提供的一种多路视频混合解码输出装置的结构，为了便于说明仅示出了与本发明实施例相关的部分。

本实施例提供的多路视频混合解码输出装置包括：

数据成帧单元801，用于接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

解码缓存单元802，用于对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；

数据复接单元803，用于对至少两路原始视频数据进行复接，生成一输出帧；

帧拆分单元804，用于从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧；

帧输出单元805，用于向所述各个视频数据帧中插入同步信息并分时输出。

其中，所述数据复接单元803包括：

复接成帧模块8031，用于对所述原始视频数据按照帧格式要求进行复接，包括亮度分量行、色差分量行和填充行，生成一输出帧；

帧转换输出模块8032，用于将所述输出帧转换成符合格式要求的输出帧。

其中，所述帧拆分单元804包括：

数据获取模块8041，用于根据所述输出帧的格式定义，对应选出各路视频数据；

数据组帧模块8042，用于将同路的视频数据组成一视频数据帧，得到与视频编码数据路数相同的视频数据帧。

本实施例提供的数据成帧单元801、解码缓存单元802、复接成帧模块8031、帧转换输出模块8032、数据获取模块8041、数据组帧模块8042以及帧输出单元805对应实现了实施例二中对应步骤S201-S207。本实施例在实施例三的基础上给出了数据复接单元和帧拆分单元的具体优选结构，具体实现时，本发明实施例同样可由接收模块、解码模块、中央处理器和FPGA对应实现，与实施例三相比，本实施例中的中央处理器在复接得到的输出帧不满足格式要求时，还需将其转换为预定的帧格式，再输出给FPGA，这样使得FPGA能够正确识别出其中各路视频数据的位置，才能组成正确的视频数据帧。

实施例五：

图9示出了本发明第五实施例提供的一种多路视频混合解码输出系统的结构图，为了便于说明仅示出了与本发明实施例相关的部分。

所述系统包括顺次连接的接收模块91、解码模块92、CPU中央处理器93以及FPGA现场可编程门阵列94，其中CPU和FPGA之间的数据通信采用16位宽数据格式，通信时钟速率为54MHz进行传输数据，所述CPU为普通性能处理器，比如TMS320DM36x芯片。

所述接收模块91从网络视频服务器端接收经过压缩编码的视频编码数据，并且将之复接成完整的视频帧，所述解码模块92对已复接成帧的压缩编码视频数据解码，最终生成所述视频编码数据路数相同的原始视频数据并缓存，CPU对所述多路原始视频数据复接，再转换成规定格式的输出帧后发送到FPGA，FPGA拆分所述输出帧，将同路视频数据组成视频数据帧，并插入相应的同步信息后，向与FPGA外接显示设备发送所述经插入同步信息的视频数据帧。最终可以实现多路视频数据的实时接收、处理和输出，最终实现实时视频监控。

需要特别指出的是，上述帧复接操作以及帧转换操作要求很低，可以使用任何方法实现，只要确保从CPU输出到FPGA的数据包含有效、完整的要求格式的原始视频数据即可。另外，中CPU和FPGA之间的通信参数，包括通信时钟、数据带宽以及CPU型号只是本实施例的一种实例列举，不对本发明的保护范围进行限定。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多路视频混合解码输出方法，其特征在于，所述方法包括：

接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；

对所述原始视频数据进行复接，生成一输出帧；

从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧；

向所述各个视频数据帧中插入同步信息并分时输出。

2.如权利要求1所述方法，其特征在于，所述对所述原始视频数据进行复接，生成一输出帧步骤，具体包括：

对所述原始视频数据按照帧格式要求进行复接，包括亮度分量行、色差分量行和填充行，生成一输出帧；

将所述输出帧转换成符合格式要求的输出帧。

3.如权利要求2所述方法，其特征在于，所述亮度分量行、色差分量行和填充行每行包括两个有效数据段和两个填充字段。

4.如权利要求2所述方法，其特征在于，所述输出帧的格式要求为YUV422，即亮度分量与红色色差分量和蓝色色差分量的比值为4:2:2。

5.如权利要求2所述方法，其特征在于，所述从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧步骤，具体包括：

根据所述输出帧的格式定义，对应选出各路视频数据；

将同路的视频数据组成一视频数据帧，得到与视频编码数据路数相同的视频数据帧。

6.一种多路视频混合解码输出装置，其特征在于，所述装置包括：

数据成帧单元，用于接收至少两路经过压缩编码的视频编码数据，并复接成完整的视频帧；

解码缓存单元，用于对所述视频帧进行数据解码，生成与所述视频编码数据路数相同的原始视频数据并缓存；

数据复接单元，用于对至少两路原始视频数据进行复接，生成一输出帧；

帧拆分单元，用于从所述输出帧中提取出各路视频数据，并拆分成与所述视频编码数据路数相同的视频数据帧；

帧输出单元，用于向所述各个视频数据帧中插入同步信息并分时输出。

7.如权利要求6所述装置，其特征在于，所述数据复接单元包括：

复接成帧模块，用于对所述原始视频数据按照帧格式要求进行复接，包括亮度分量行、色差分量行和填充行，生成一输出帧；

帧转换输出模块，用于将所述输出帧转换成符合格式要求的输出帧。

8.如权利要求7所述装置，其特征在于，所述亮度分量行、色差分量行和填充行每行包括两个有效数据段和两个填充字段。

9.如权利要求8所述装置，其特征在于，所述帧拆分单元包括：

数据获取模块，用于根据所述输出帧的格式定义，对应选出各路视频数据；

数据组帧模块，用于将同路的视频数据组成一视频数据帧，得到与视频编码数据路数相同的视频数据帧。

Images