CN105227955A - 超高清低延时视频编码系统及超高清低延时码率控制方法 - Google Patents

Abstract

本发明公开了超高清低延时视频编码系统及超高清低延时码率控制方法，该超高清低延时视频编码系统包括至少一个高清视频采集模块，用于采集超高清视频数据；至少一个超高清视频编码模块，与所述高清视频采集模块连接，用于接收超高清视频数据，将所述超高清视频数据拆分为多组1080p高清视频图像，并行计算每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以形成超高清的视频码流数据；高速通讯模块，与所述超高清视频编码模块连接，用于将编码后的超高清视频码流数据传输至解码端或远端存储设备；以及电源模块，分别与所述高清视频采集模块、所述超高清视频编码模块和所述高速通讯模块连接。

Description

超高清低延时视频编码系统及超高清低延时码率控制方法

技术领域

本发明涉及视频技术领域，具体涉及超高清低延时视频编码系统及超高清低延时码率控制方法。

背景技术

随着视频技术的发展，人们对视频清晰度的要求越来越高，4K(3840*2160)或分辨率更高的超高清视频的应用已是视频技术发展的必然趋势。而超高清视频的应用，首先需要解决超高清视频的编码问题。目前用于编解码超高清视频的方法主要有两种，一种方法是使用高性能的x86计算机，利用其强大的CPU性能进行超高清视频的编解码，但是存在实时性和稳定性较差，且功耗很高的问题。另一种方法是使用专用的超高清视频编解码芯片，但是目前能够处理超高清视频编解码的芯片仅能支持到4K(3840*2160或4096*2160)分辨率，且均为商业级产品，由于选择性不多，其经济性较差。

发明内容

针对现有技术中的上述不足，本发明提供的超高清低延时视频编码系统及超高清低延时码率控制方法通过并行计算每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数，提高了编码速率。

为了达到上述发明目的，本发明采用的技术方案为：

一方面，提供一种超高清低延时视频编码系统，其包括：

至少一个高清视频采集模块，用于采集超高清视频数据；

至少一个超高清视频编码模块，与高清视频采集模块连接，用于接收超高清视频数据，将超高清视频数据拆分为多组1080p高清视频图像，并行计算每一组1080p高清视频图像中每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以形成超高清的视频码流数据；

高速通讯模块，与超高清视频编码模块连接，用于将编码后的超高清视频码流数据传输至解码端或远端存储设备；以及

电源模块，分别与高清视频采集模块、超高清视频编码模块和高速通讯模块连接。

另一方面，提供一种超高清低延时码率控制方法，其包括以下步骤：

计算每路1080p高清视频中每帧图像的目标比特数：B_F＝B/R；其中，B_F为每帧的目标比特数，B为目标码率，R为帧率；

根据目标比特数计算每帧图像的实际比特数：计算上一帧实际编码比特数与目标比特数的差值ΔB：若ΔB大于预设阈值T₁，则跳帧，使ΔB＝ΔB-B_F；如果ΔB小于预设阈值T₂，则添加冗余包，冗余包的大小为512Byte，使ΔB＝ΔB+512；其中，ΔB的初始值为0，B_F为每帧的目标比特数；

计算每一组1080p高清视频图像的目标比特数：为每一组1080p高清视频图像分配一定的比特数B_G，B_G＝ΔB_G+G_NB_F；其中，ΔB_G为前一组1080p高清视频图像编码结束后预分配比特数与实际编码比特数的差值，其初始值为0；G_N为一组1080p高清视频图像中的帧数。

本发明的有益效果为：超高清视频编码模块对拆分为多路的1080p高清视频采用并行计算每一组1080p高清视频图像中每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以完成各子视频码流数据的编码，采用并行计算大大提高了编码速度，降低了系统时延。

本方案不需要由高性能CPU或高性能专用芯片完成超高清视频，降低了成本和功耗，同时由于各模块均选用了工业级器件，其具有实时性好、可靠性高、组态灵活等优点。

附图说明

图1为超高清低延时视频编码系统一个实施例的原理框图；

图2为超高清低延时视频编码系统另一个实施例的原理框图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

参考图1，图1示出了超高清低延时视频编码系统一个实施例的原理框图；如图1所示，该超高清低延时视频编码系统包括至少一个高清视频采集模块、至少一个超高清视频编码模块、高速通讯模块和电源模块；高清视频采集模块、超高清视频编码模块和高速通讯模块依次连接在一起，电源模块分别与高清视频采集模块、超高清视频编码模块和高速通讯模块连接。

使用时，当高清视频采集模块和超高清视频编码模块的个数都大于1时，一个超高清视频编码模块对应于一个高清视频采集模块。

其中，高清视频采集模块用于采集超高清视频数据；高清视频采集模块可以包括CameraLink接口或千兆网络接口、超高清摄像机、视频采集FPGA模块、第一电源单元等电路单元。此处的第一电源单元主要用于将电源模块提供的电压进一步降低。

具体的，超高清视频采集模块支持高分辨率的超高清摄像机(超高清摄像机可以为超高清CameraLink相机)，视频采集FPGA模块将超高清摄像机采集的视频数据从Bayer格式数据转换为YUV格式数据，再通过CameraLink接口或千兆网络接口发送给超高清视频编码模块；同时超高清视频采集模块还可以支持高分辨率的超高清网络摄像机，若视频编码系统需要，可在视频采集FPGA模块中将数据转换为YUV格式。

超高清视频编码模块与高清视频采集模块连接，用于接收超高清视频数据，将超高清视频数据拆分为多组1080p高清视频图像(在拆分时，会给每组1080p高清视频图像分配一个目标地址)，并行计算(多个1080p高清视频图像同时计算)每一组1080p高清视频图像中每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以形成超高清的视频码流数据；

具体的，超高清视频编码模块可以包括用于将超高清视频数据拆分为多组1080p高清视频图像的视频编解码FPGA模块、并行计算每一组1080p高清视频图像中每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以形成超高清的视频码流数据的多DSP阵列模块(多DSP阵列模块同时对多组1080p高清视频图像进行计算，也即每个DSP阵列模块计算一组1080p高清视频图像)和用于将电源模块提供的电压进一步降压之后，供给视频编解码FPGA模块和多DSP阵列模块的第二电源单元。

高速通讯模块与超高清视频编码模块连接，用于将将编码后的超高清视频码流数据传输至解码端或远端存储设备。

参考图2，图2示出了超高清低延时视频编码系统另一个实施例的原理框图；如图2所示，该视频编码系统还可以包括超高清视频解码模块和CPCI或VPX高速通讯背板。

其中，超高清视频解码模块与高速通讯模块连接，用于接收解码端发送的视频码流数据，根据视频码流数据中携带的目标地址对多路1080p高清视频图像进行解码，并将解码后的子视频数据进行拼接形成超高清视频。

CPCI或VPX高速通讯背板用于为超高清视频采集模块、显示模块、高速通讯模块、超高清视频编码模块和超高清视频解码模块之间提供高速通信通道。

具体地为，超高清视频采集模块、显示模块、高速通讯模块、超高清视频编码模块和超高清视频解码模块均通过RapidIO高速串行总线与CPCI或VPX高速通讯背板连接，所有的信号通过CPCI或VPX高速通讯背板进行转接。

为了便于实时查看超高清视频解码模块解码后的超高清视频，本视频编码系统还可以包括利用CPCI或VPX高速通讯背板与超高清视频解码模块连接，用于对解码后的超高清视频进行显示的显示模块。

进一步地，显示模块包括显示FPGA模块、显示接口、第三电源单元等电路单元。其中，显示模块可以支持的显示接口包括HDMI、DVI、VGA、DisplayPort等，支持单屏或多屏拼接显示。

高速通讯模块利用背板与超高清视频编码模块和超高清视频解码模块连接，其主要包括通讯FPGA模块、千兆网、万兆网、光纤、第四电源单元等电路单元。

编码时，用于将编码后的超高清视频码流数据传输到解码端或远端存储设备；解码时，用于将接收来自于解码端或远端存储设备的超高清视频码流数据。高速通讯模块可以支持的通讯接口包括千兆网、万兆网、光纤、高速串行总线等接口。

电源模块通过CPCI或VPX接口插入CPCI或VPX高速通讯背板，其包括多个DC-DC模块，为其它板卡(显示模块、高速通讯模块、超高清视频编码模块和超高清视频解码模块)提供工作电源，输出12V、5V、3.3V电源。

至此，已完成对超高清低延时视频编码系统的描述，下面进一步对超高清视频编码模块中编码的超高清低延时码率控制方法控进行详细地说明：

该超高清低延时码率控制方法包括以下步骤：

计算每路(组)1080p高清视频每帧图像的目标比特数：本发明实例的每路1080p高清视频为IPPP结构。设定每一组1080p高清视频每帧图像的帧数为G_N，每一帧图像的宏块数为M_N，则每帧的目标比特数为B_F＝B/R；其中，B为目标码率，R为帧率。

根据目标比特数计算每帧图像的实际比特数；该步骤中主要是为防止发送缓冲区的上溢或下溢，实现每帧图像的实际比特数的均衡，其通过在每帧编码开始前根据缓冲区容量反馈判断是否跳帧或添加冗余来实现。

具体实现过程是通过计算上一帧实际编码比特数与目标比特数的差值ΔB：若ΔB大于预设阈值T₁，则跳帧，使ΔB＝ΔB-B_F；若ΔB小于预设阈值T₂，则添加冗余包，冗余包的大小为512Byte，使ΔB＝ΔB+512；其中，ΔB的初始值为0，B_F为每帧的目标比特数。

在每一组1080p高清视频图像编码之前计算每一组1080p高清视频图像的目标比特数，具体实现方法为：

为每一组1080p高清视频图像分配一定的比特数B_G，B_G＝ΔB_G+G_NB_F；其中，ΔB_G为前一组1080p高清视频图像编码结束后预分配比特数与实际编码比特数的差值，其初始值为0；G_N为一组1080p高清视频图像中的帧数。

由于I帧是后继P帧的参考帧，其质量直接影响后续帧。所以为I帧分配较多的比特数，而对P帧则分配相对较少的比特数。目标比特数的预分配可细化为两步：计算目标缓冲水平和分配目标比特。第一步考虑缓冲容量限制；第二步考虑目标码率、帧率以及每一组1080p高清视频中剩余可分配的比特等限制。这样可预防缓冲区出现上溢或下溢的问题。在帧层对QP进行粗调，根据缓冲区的充盈度以及ΔB确定一个全帧初始的QP值。

根据帧编码类型I帧或P帧计算帧层的码率控参数QP的具体实现方法为：

若当前帧为当前1080p高清视频图像中的第1个I帧，且当前1080p高清视频图像为超高清视频数据中的第1个1080p高清视频图像时，QP设置为30。

若当前帧为当前1080p高清视频图像中的第1个I帧，且当前1080p高清视频图像的序号大于等于2时，则QP根据ΔB_G的正负以及已编码完的上一个1080p高清视频图像的平均码率控制参数确定：

$QP=\left\{\begin{array}{cc}{\stackrel{\&OverBar;}{QP}}_{GL}-a& {\mathrm{\&Delta;B}}_G>0\\ {\stackrel{\&OverBar;}{QP}}_{GL}& {\mathrm{\&Delta;B}}_G=0\\ {\stackrel{\&OverBar;}{QP}}_{GL}+a& {\mathrm{\&Delta;B}}_G<0\end{array}\right.$

其中，为保证图像质量的连续性，a的减小量和增大量不宜过大，实际使用中a的取值范围可设为[-3，+3]。

若当前帧为第1个I帧后的第1个P帧，则QP根据P帧前的第1个I帧的QP_I确定，计算公式为：

$QP=\left\{\begin{array}{cc}{\mathrm{QP}}_I-t& \mathrm{\&Delta;}B\&GreaterEqual;{\mathrm{\&Delta;B}}_{\max }\\ {\mathrm{QP}}_I& {\mathrm{\&Delta;B}}_{\min }<\mathrm{\&Delta;}B<{\mathrm{\&Delta;B}}_{\max }\\ {\mathrm{QP}}_I+1& {\mathrm{\&Delta;B}}_G\&le;{\mathrm{\&Delta;B}}_{\min }\end{array}\right.$

其中，t的取值范围为[-3，+3]，ΔB_max和ΔB_min为期望控制的缓冲区可容忍的码率波动的最大值和最小值；

若当前帧为除第1个P帧外的其余P帧，其QP由前一P帧的skip宏块数目确定：

其中，QP_L为前一个P帧的初始码率控制参数，QP_skip为由前一P帧skip宏块S_N预测得到的量化参数，其计算公式为：

其中，符号“”表示向上取整操作，G_N为一个1080p高清视频图像，M_N为一帧图像的宏块数目。

每帧图像中的宏块层的码率控制方式为：

对于I帧，其宏块预分配比特数B_Mi由宏块数M_N和当前帧的目标比特数B_F决定：B_Mi＝B_F/M_N。

对于P帧，为提高码率控制算法的编码性能，本发明在P帧宏块层根据图像内容复杂度分配目标比特数，此处使用预测残差的SAD值来表征宏块的复杂度。

先计算复杂度因子其中SAD_i表示宏块i的复杂度，其值为对应当前宏块的前一帧当前位置宏块的原始值与最佳预测值的SAD值，j表示当前宏块i所在帧的上一帧中的宏块。

根据复杂度因子c和当前帧的目标比特B_F确定当前宏块i的预分配目标比特数B_Mi＝cB_F。

对于宏块层的QP调整，则要结合缓冲区的充盈度以及ΔB来确定量化值调节因子q，其采用以下公式获取：

$q=\frac{{\mathrm{\&Delta;B\&Sigma;B}}_{MI}-{\mathrm{\&Sigma;B}}_{mi}}{B_F}$

其中，ΣB_mi为已编码完宏块的实际比特数之和，ΣB_MI为已编码完宏块的目标比特之和。

根据量化值调节因子调整宏块量化值，调节方式可利用非线性控制理论中的bang-bang最优控制原理，具体方法如下：第i个宏块的量化值QP_Mi为：

QP_Mi＝QP_F+ΔQP(q)

其中，QP_F为宏块所在帧的全帧初始QP，ΔQP(q)为利用q值确定此量化调整值ΔQP的函数，其曲线方程为：

$\mathrm{\&Delta;}QP\left(q\right)=\left\{\begin{array}{cc}20& q>0.18\\ 125q-2.5& 0.1<q\&le;0.18\\ 100q& 0<q\&le;0.1\\ 75q& -0.08\&le;q<0\\ \frac{1100q+46}{7}& -0.15\&le;q<-00.8\\ -17& q<-0.15\end{array}\right.$

综上所述，该超高清视频编码模块通过超高清低延时码率控制方法综合了基于图像复杂度分析的前向码率控制技术和基于缓冲区容量反馈的后向码率控制技术，在分层编码过程中进行分层的精细化码率控制(宏块层、帧层和图像组层)，大大提高了编码速度，降低了系统时延；同时使码率波动最小化，减少跳帧次数，同时较好地保持了图像质量。

Claims (7)

1.超高清低延时视频编码系统，其特征在于，包括：

至少一个高清视频采集模块，用于采集超高清视频数据；

至少一个超高清视频编码模块，与所述高清视频采集模块连接，用于接收超高清视频数据，将所述超高清视频数据拆分为多组1080p高清视频图像，并行计算每一组1080p高清视频图像中每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以形成超高清的视频码流数据；

高速通讯模块，与所述超高清视频编码模块连接，用于将编码后的超高清视频码流数据传输至解码端或远端存储设备；以及

电源模块，分别与所述高清视频采集模块、所述超高清视频编码模块和所述高速通讯模块连接。

2.根据权利要求1所述的超高清低延时视频编码系统，其特征在于，所述超高清视频编码模块包括用于将所述超高清视频数据拆分为多组1080p高清视频图像的视频编解码FPGA模块和并行计算每帧图像的实际比特数和每一组1080p高清视频图像的目标比特数以形成超高清的视频码流数据的多DSP阵列模块。

3.根据权利要求1或2所述的超高清低延时视频编码系统，其特征在于，还包括：

超高清视频解码模块，与所述高速通讯模块连接，用于接收所述解码端发送的视频码流数据，根据视频码流数据中携带的目标地址对多路1080p高清视频图像进行解码，并将解码后的子视频数据进行拼接形成超高清视频。

4.根据权利要求3所述的超高清低延时视频编码系统，其特征在于，还包括与所述超高清视频解码模块连接，用于对解码后的超高清视频进行显示的显示模块。

5.根据权利要求1、2或4所述的超高清低延时视频编码系统，其特征在于，还包括CPCI或VPX高速通讯背板，用于为超高清视频采集模块、显示模块、高速通讯模块、超高清视频编码模块和超高清视频解码模块之间提供高速通信通道。

6.超高清低延时码率控制方法，其特征在于，包括以下步骤：

计算每路1080p高清视频中每帧图像的目标比特数：B_F＝B/R；其中，B_F为每帧的目标比特数，B为目标码率，R为帧率；

根据所述目标比特数计算每帧图像的实际比特数：计算上一帧实际编码比特数与目标比特数的差值ΔB：若ΔB大于预设阈值T₁，则跳帧，使ΔB＝ΔB-B_F；若ΔB小于预设阈值T₂，则添加冗余包，冗余包的大小为512Byte，使ΔB＝ΔB+512；其中，ΔB的初始值为0，B_F为每帧的目标比特数；

计算每一组1080p高清视频图像的目标比特数：为每一组1080p高清视频图像分配一定的比特数B_G，B_G＝ΔB_G+G_NB_F；其中，ΔB_G为前一组1080p高清视频图像编码结束后预分配比特数与实际编码比特数的差值，其初始值为0；G_N为一组1080p高清视频图像中的帧数。

7.根据权利要求6所述的超高清低延时码率控制方法，其特征在于，还包括：根据帧编码类型I帧或P帧计算帧层的码率控参数QP：

若当前帧为当前1080p高清视频图像中的第1个I帧，且当前1080p高清视频图像为超高清视频数据中的第1个1080p高清视频图像时，QP设置为30。

若当前帧为当前1080p高清视频图像中的第1个I帧，且当前1080p高清视频图像的序号大于等于2时，则QP根据ΔB_G的正负以及已编码完的上一个1080p高清视频图像的平均码率控制参数确定：

$QP=\left\{\begin{array}{cc}{\stackrel{\&OverBar;}{QP}}_{GL}-a& {\mathrm{\&Delta;B}}_G>0\\ {\stackrel{\&OverBar;}{QP}}_{GL}& {\mathrm{\&Delta;B}}_G=0\\ {\stackrel{\&OverBar;}{QP}}_{GL}+a& {\mathrm{\&Delta;B}}_G<0\end{array}\right.$

其中，a的取值范围可设为[-3，+3]；

若当前帧为第1个I帧后的第1个P帧，则QP根据P帧前的第1个I帧的QP_I确定，计算公式为：

$QP=\left\{\begin{array}{cc}{\mathrm{QP}}_I-t& \mathrm{\&Delta;}B\&GreaterEqual;{\mathrm{\&Delta;B}}_{max}\\ {\mathrm{QP}}_I& {\mathrm{\&Delta;B}}_{\min }<\mathrm{\&Delta;}B<{\mathrm{\&Delta;B}}_{max}\\ {\mathrm{QP}}_I+1& {\mathrm{\&Delta;B}}_G\&le;{\mathrm{\&Delta;B}}_{\min }\end{array}\right.$

其中，t的取值范围为[-3，+3]，ΔB_max和ΔB_min为期望控制的缓冲区可容忍的码率波动的最大值和最小值；

若当前帧为除第1个P帧外的其余P帧，其QP由前一P帧的skip宏块数目确定：

其中，QP_L为前一个P帧的初始码率控制参数，QP_skip为由前一P帧skip宏块S_N预测得到的量化参数，其计算公式为：

${\mathrm{QP}}_{skip}=\left\{\begin{array}{cc}\&lsqb;(M_N-S_N)/25\&rsqb;+12& S_N\&GreaterEqual;(M_N/5)\\ \&lsqb;\left(\right(M_N/5)-S_N)/10\&rsqb;\&times;2+26& S_N\&le;(M_N/5)\end{array}\right.$

其中，符号表示向上取整操作，M_N为一帧图像的宏块数目。