CN103475878A - 一种视频编码方法和编码器 - Google Patents

Abstract

本发明公开一种视频编码方法和编码器。一种视频编码方法，包括步骤：将未编码的原始视频的帧图像建立起至少两层的依赖关系，上一层依赖关系囊括的帧图像数量少于下一层依赖关系囊括的帧图像数量；对原始视频的帧图像进行编码，每层依赖关系对应生成一种码流。本发明能匹配多种带宽的网络、提供高压缩率的码流，具有良好的容错性能。

Description

一种视频编码方法和编码器

技术领域

本发明涉及多媒体信号传输领域，更具体的说，涉及一种视频编码方法和编码器。

背景技术

视音频编解码技术是数字视频监控系统的核心技术，其中视频编解码算法实现的优劣直接决定了图像的清晰度、网络传输的带宽的高低、所占存储空间的大小而成为技术实现的关键。

H.264编码标准相较于以前的编码标准有着一些新特性，如多参考帧的运动补偿、变块尺寸运动补偿、帧内预测编码等，通过利用这些新特性，H.264比其他编码标准有着更高的视频质量和更低的码率，也因此受到了人们的认可。

H.265/HEVC的编码架构大致上和H.264/AVC的架构相似，主要也包含：帧内预测(intra prediction)、帧间预测(inter prediction)、转换(transform)、量化(quantization)、去区块滤波器(deblocking filter)、熵编码(entropy coding)等模块。但在HEVC编码架构中，整体被分为了三个基本单位，分別是：编码单位(coding unit,CU)、预测单位(predict unit,PU)和转换单位(transformunit,TU)。

比起H.264/AVC，H.265/HEVC提供了更多不同的工具来降低码率，以编码单位来说，H.264中每个宏块(marcoblock,MB)大小都是固定的16x16像素，而H.265的编码单位可以选择从最小的8x8到最大的64x64。以下图为例，信息量不多的区域（颜色变化不明显，比如车体的红色部分和地面的灰色部分）划分的宏块较大，编码后的码字较少，而细节多的地方（轮胎）划分的宏块就相应的小和多一些，编码后的码字较多，这样就相当于对图像进行了有重点的编码，从而降低了整体的码率，编码效率就相应提高了。同时，H.265的帧内预测模式支持33种方向（H.264只支持8种）,并且提供了更好的运动补偿处理和矢量预测方法。

不论H.264还是H.265,所有的MPEG视频标准均采用如图1所示的编码过程。即当前帧F_n帧间预测（ME）是用上一时刻点编码重建帧（F’_(n-1)）做参考帧，帧间预测模式编码过程产生的码流只是包括帧间预测（ME）产生的残差，其对应的运动矢量，模式和对应的参考帧信息。

由于网络服务器中的视频媒体信息越来越丰富，因此促进了视频流传输技术的应用。同时伴随着移动通信和无线网络的迅猛发展，如3G、WIMAX、LTE（长期演进，即3.9G无线通信标准）、4G等新的技术应用之后，无线网络为视频应用和信息的交互提供了新的场景和可能。通过这些应用，人们可以使用移动设备直接浏览最新视频，查询和检索资料，拨打可视电话，甚至进行远程的视频会议等等。总之，随着多媒体通信技术的发展，视频应用的领域越来越广泛。

然而，Internet是一个异构性网络,对于视频服务而言,它体现在网络中通信网络的异构性和接收方的异构性。由于各子网的网络资源(如处理能力、传输带宽、存储能力等)分布不均匀,以及服务器的传输吞吐量、延时、丢包率等各不相同,从而造成了通讯子网的异构性。而接收方的异构性则体现在用户不同的使用偏好,以及接收和播放设备的不同的分辨率和处理器的能力上。网络终端的异构性造成了视频形式的多样性。因此用户可能通过高速的以太网(Ethernet)，WIMAX、LTE等服务的接入，也可能通过中等速度的调制解调器获取视频（如个域网，WIFI），还有一些用户通过低速的无线网络(如3G，EDGE,GPRS)进行视频传输。这些众多因素导致用户通过不同的网络所能得到的带宽不尽相同，甚至同一个用户所能得到的带宽也因时而变（它可能会受到多径衰落和快衰落等影响）。因此恒定速率的视频流难以在带宽波动比较大的网络环境下进行高效传输，网络终端视频的重构质量也就受到了一些影响。

网络的异构性、信道带宽的波动和信道的误码等因素的存在，使得原来面向存储的压缩算法已经很难满足实时传输的要求。

发明内容

本发明所要解决的技术问题是提供一种能适应多种带宽视频编码方法和编码器。

本发明的目的是通过以下技术方案来实现的：

一种视频编码方法，包括步骤：

将未编码的原始视频的帧图像建立起至少两层的依赖关系，上一层依赖关系囊括的帧图像数量少于下一层依赖关系囊括的帧图像数量；

对原始视频的帧图像进行编码，每层依赖关系对应生成一种码流。

进一步的，根据人类视觉敏感区域来建立帧图像的依赖关系，在同一层依赖关系的情况下，处于敏感区域时间段的相邻两个帧图像之间的间隔时间小于非敏感区域时间段的相邻两个帧图像之间的间隔时间。人类视觉系统对匀速运动比对加速运动更敏感，人类视觉系统对前景运动物体比对背景运动物体敏感，人类视觉系统对平缓运动比对快速运动更敏感。本领域技术人员可以根据视频帧与帧之间的全局运动模型得出匀速运动和加速运动的帧图像；由视频处理的物体分割背景建模等方法得出帧图像的前景和背景物体。根据这些原理，我们可以在人类视觉敏感区域时间段可伸缩运动补偿依赖关系更密集，而在非敏感域时间段依赖关系更稀疏。这样解码显示的视觉损失最小。

进一步的，不同依赖关系对应码流的数据量之间呈线性关系。依赖运功补偿原理的视频编码技术，随着参考帧时间间隔越长，其编码效率越差，每一帧的码流数据越大。为了精准适应带宽变化（如网络带宽以25%的带宽大小降低或增加），以线性关系方式来调节帧间依赖关系，达到层与层码流按比例递增，从而更好地适应带宽的变化。

进一步的，第n层的依赖关系中，帧图像的序号可以被2的n次幂整除，n为正整数。保留在基准码流中可以被2的n次幂整除的序号的帧为一种等间距的抽帧策略，每两个保留帧之间抽离的帧数相等，保障了画面的连续性。

进一步的，最下层的依赖关系为基本依赖关系，基本依赖关系囊括所有的帧图像，所述编码器根据基本依赖关系对每个帧图像进行一次编码，形成基本码流；

直接从基本码流中提取出跟它依赖关系一一对应的的码流。如果每一层的帧图像都需要重复编码，无疑会大幅增加编码器的运算量，实质上每一层之间都有帧图像是重复的，因此只需对基本依赖关系中的帧图像（即所有的帧图像）进行一次编码，然后根据一次编码结果来抽取帧图像数据进行二次编码，形成其它层依赖关系对应的码流。这样能减少重复劳动，减轻编码器负担。

进一步的，最下层的依赖关系为基本依赖关系，基本依赖关系囊括所有的帧图像，以最下层编码数据量最小为依据确定基本依赖关系。此为一种)最优编码效率的方式，通过自由建立可伸缩帧间依赖关系来选择基本码流最小的路径，使可伸缩码流与传统视频编码效率差距缩短到最小。

进一步的，最上层的依赖关系仅囊括采用帧内编码的关键帧图像。此为一种仅传递关键帧的技术方案，所有的关键帧都只采用帧内编码模式而不采用帧间编码模式；而其它非关键帧都是采用前一个关键帧或非关键帧作为运动补偿预测的参考，因此可伸缩编码的最低限度就是仅传关键帧，低于这个限度，解码后的视频基本无法观看。

进一步的，所述编码器将每一层对应的帧图像间的依赖关系和其对应的码流一起发送到外部网络。随着时间、视频内容不停变换的时间轴上帧间依赖关系不停变化。码流经过一次可伸缩编码后，这种帧间依赖关系和在网络传输过程中的分层码流必须要传递到下一个网络中转站（如路由器）。如编码器到网络中转服务器A，码流为第4层码流，则第4层帧间依赖关系要以某种形式传到A。网络中转服务器A到B，码流为第3层码流，则第3层帧间依赖关系以某种形式传到B，以此类推。这样每个网络节点都可以按照下一级网络的带宽状况来自动选择相应层级对应的码流来发送，能自适应网络带宽的变化，确保大部分网络都能流畅地观看视频。

进一步的，所述依赖关系通过私有协议的方式跟随码流发出；或者所述依赖关系嵌套在标准化的码流当中。此为具体依赖关系的传递关系，解码器可以根据接收到的码流及其对应的依赖关系来正确解码帧数据。

一种编码器，包括：

将未编码的原始视频的帧图像建立起至少两层的依赖关系的帧计算模块；

与帧计算模块耦合的、对原始视频的帧图像进行编码，并根据每层依赖关系对应生成一种码流的编码模块。

经研究，现有视频数据在网络传输过程中，如果带宽波动，丢掉任一帧图像数据，则无法在解码器端重建此帧，其后续的帧也都无法重建，直到接收到下一个关键帧图像，才能重新解码，这样就造成了客户端画面出现卡顿和跳跃，严重影响观看体验。本发明由于将原始视频的帧图像建立了不同层级的依赖关系，每一层级依赖关系囊括的帧图像数据都不一样，因此对应产生的码流的数据量大小也不一样，这样就能匹配多种带宽的网络。依赖关系可以人为定义，可以建立起帧数量很少的依赖关系，提供高压缩率的码流。另外，虽然不同层级的依赖关系中一般需要丢弃部分的原始帧图像，但保留的帧图像之间存在依赖关系，客户端的解码器可以根据依赖关系按正确的顺序和方式解读帧图像，仍然可以保障客户端画面的连续性，因此具有良好的容错性能。

附图说明

图1是MPEG视频标准采用的编码过程；

图2是本发明视频编码方法的示意图；

图3是本发明编码器的示意图；

图4是本发明实施例以2的n次幂建立各层依赖关系的示意图；

图5是本发明实施例以码流数据量呈线性变化建立各层依赖关系的示意图。

具体实施方式

如图2所示，本发明公开一种视频编码方法，包括步骤：

将未编码的原始视频的帧图像建立起至少两层的依赖关系，上一层依赖关系囊括的帧图像数量少于下一层依赖关系囊括的帧图像数量；

对原始视频的帧图像进行编码，每层依赖关系对应生成一种码流。

如图3所示，本发明还公开一种编码器，编码器包括：将未编码的原始视频的帧图像建立起至少两层的依赖关系的帧计算模块；与帧计算模块耦合的、对原始视频的帧图像进行编码，并根据每层依赖关系对应生成一种码流的编码模块。

经研究，现有视频数据在网络传输过程中，如果带宽波动，丢掉任一帧图像数据，则无法在解码器端重建此帧，其后续的帧也都无法重建，直到接收到下一个关键帧图像，才能重新解码，这样就造成了客户端画面出现卡顿和跳跃，严重影响观看体验。本发明由于将原始视频的帧图像建立了不同层级的依赖关系，每一层级依赖关系囊括的帧图像数据都不一样，因此对应产生的码流的数据量大小也不一样，这样就能匹配多种带宽的网络。依赖关系可以人为定义，可以建立起帧数量很少的依赖关系，提供高压缩率的码流。另外，虽然不同层级的依赖关系中一般需要丢弃部分的原始帧图像，但保留的帧图像之间存在依赖关系，客户端的解码器可以根据依赖关系按正确的顺序和方式解读帧图像，仍然可以保障客户端画面的连续性，因此具有良好的容错性能。

下面结合附图和较佳的实施例对本发明作进一步说明。

本发明公开一种视频编码方法，包括步骤：将未编码的原始视频的帧图像建立起至少两层的依赖关系，上一层依赖关系囊括的帧图像数量少于下一层依赖关系囊括的帧图像数量；对原始视频的帧图像进行编码，每层依赖关系对应生成一种码流。

本发明采用时间可伸缩编码技术，固定了时间轴上帧与帧之间运动补偿的相互依赖关系。固定的依赖模式使编码器设计及时间轴分层更容易及有效。以图4为例进行说明，采用固定跳二的运动补偿依赖关系，使传统编码变成可以分为4层的时间可伸缩码流。如在这9帧视频数据中，第一层只有2帧码流数据，在解码端可以完整解码显示。第二层码流有3帧视频数据，第三层码流有5帧视频数据；第4层有9帧视频数据。

网络带宽好的情况下，传输第4层视频码流。带宽条件变差的情况下，可以根据带宽传输第3层，第2层码流等。

在多用户同时登陆观看同一视频时，按照相似的带宽适应原理，为每个客户提供其带宽条件容许情况下最佳观看体验的视频码流。

本发明在这种时间段可伸缩技术基础之上，可以动态调整时间轴上的运动补偿依赖关系，提高视频编码效率，提高视频观看主观效果，及更好适应网络带宽变化，当然，本发明的依赖关系的层次不局限于4层，可根据不同的应用场合适当增加或减少层次。

在视频编码过程中，通过前处理，多帧运动预测，帧内预测，频域变化（如DCT变化），残差编码等步骤，我们可以得出视频内容的各种信息，如运动物体特征，运动平缓与否，编码数据大小等。

依赖关系可以人为定义，同样的视频数据可以依据不同的参考依据来建立不同的依赖关系，下面仅以三种参考依据为例进行说明，不代表本发明构思下的所有技术方案。

1）根据人类视觉敏感区域来建立帧图像的依赖关系。在同一层依赖关系的情况下，处于敏感区域时间段的相邻两个帧图像之间的间隔时间小于非敏感区域时间段的相邻两个帧图像之间的间隔时间。人类视觉系统对匀速运动比对加速运动更敏感，人类视觉系统对前景运动物体比对背景运动物体敏感，人类视觉系统对平缓运动比对快速运动更敏感。本领域技术人员可以根据视频帧与帧之间的全局运动模型得出匀速运动和加速运动的帧图像；由视频处理的物体分割背景建模等方法得出帧图像的前景和背景物体。根据这些原理，我们可以在人类视觉敏感区域时间段可伸缩运动补偿依赖关系更密集，而在非敏感域时间段依赖关系更稀疏。这样解码显示的视觉损失最小。

敏感区域时间段和非敏感区域时间段可以通过二次编码来判断，第一次快速编码可以得到运动前景物体，后景物体；物体运动的方向，速度，加速度等，根据这些信息，判断敏感，非敏感时间段，然后做二次编码。

2）不同依赖关系对应码流的数据量之间呈线性关系。如图5所示，第4层有9帧数据，第3层有5帧数据。从第4层切换到第3层时，帧数据0，4，8保持不变，丢掉帧数据6，7，每一层的帧图像形成码流后，基本呈线性关系变化。依赖运功补偿原理的视频编码技术，随着参考帧时间间隔越长，其编码效率越差，每一帧的码流数据越大。为了精准适应带宽变化（如网络带宽以25%的带宽大小降低或增加），以线性关系方式来调节帧间依赖关系，达到层与层码流按比例递增，从而更好地适应带宽的变化，实现网络带宽精准自适应。

当然，为了简化操作，还可以采用固定间隔进行抽帧的方式，比如在第n层的依赖关系中，帧图像的序号可以被2的n次幂整除（参见图4），n为正整数。

3）最优编码效率方式。最下层的依赖关系为基本依赖关系，基本依赖关系囊括所有的帧图像，以最下层编码数据量最小为依据确定基本依赖关系。通过自由建立可伸缩帧间依赖关系来选择基本码流最小的路径，使可伸缩码流与传统视频编码效率差距缩短到最小。

本发明将原始帧图像建立多层依赖关系，每一层依赖关系的帧图像都对应产生一种码流，如果每一层的帧图像都需要重新编码，无疑会大幅增加编码器的运算量，实质上每一层之间都有帧图像是重复的，因此只需对基本依赖关系中的帧图像（即所有的帧图像）进行一次编码，形成基本码流；直接从基本码流中提取出跟它依赖关系一一对应的的增强码流。这样能减少重复劳动，减轻编码器负担。

最上层的依赖关系仅囊括采用帧内编码的关键帧图像。所有的关键帧都采用帧内编码，而其它帧都是采用前一个关键帧作为运动补偿预测的参考，因此可伸缩编码的最低限度就是仅传关键帧，低于这个限度，解码后的视频基本无法观看，没有什么实用价值。

编码器将每一层对应的帧图像间的依赖关系和其对应的码流一起发送到外部网络，依赖关系可以通过私有协议的方式跟随码流发出；也可以嵌套在标准化的码流当中。随着时间、视频内容不停变换的时间轴上帧间依赖关系不停变，码流经过一次可伸缩编码后，这种帧间依赖关系和在网络传输过程中的分层码流必须要传递到下一个网络中转站（如路由器）。如编码器到网络中转服务器A，码流为第4层码流，则第4层帧间依赖关系要以某种形式传到A。网络中转服务器A到B，码流为第3层码流，则第3层帧间依赖关系以某种形式传到B，以此类推。这样每个网络节点都可以按照下一级网络的带宽状况来自动选择相应层级对应的码流来发送，能自适应网络带宽的变化，确保大部分网络都能流畅地观看视频。

标准解码器会根据每个接收到帧数据包头信息，维护一个解码帧缓存（如H.264中的DPB buffer）,保留正确的参考帧和显示顺序。如果中间缺少了1，3，5，7帧数据。由于不是所有解码器会错，取决与解码器容错能力有的解码器的解码帧缓存顺序会错，使时间顺序后的解码帧产生错误。

为了适应所有标准解码器，我们提出一种产生标准码流的方式。即在抽掉的帧图像数据位置处（如以上的1，3，5，7）填入一个替换帧，每个替换帧写入NAL数据，这个很小的数据包包含准确的解码帧缓存操作指令，保证所有标准解码器可解。如在H.264标准中，整个替换帧只有几个到30几个字节。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种视频编码方法，包括步骤：

将未编码的原始视频的帧图像建立起至少两层的依赖关系，上一层依赖关系囊括的帧图像数量少于下一层依赖关系囊括的帧图像数量；

对原始视频的帧图像进行编码，每层依赖关系对应生成一种码流。

2.如权利要求1所述的一种视频编码方法，其特征在于，根据人类视觉敏感区域来建立帧图像的依赖关系，在同一层依赖关系的情况下，处于敏感区域时间段的相邻两个帧图像之间的间隔时间小于非敏感区域时间段的相邻两个帧图像之间的间隔时间。

3.如权利要求1所述的一种视频编码方法，其特征在于，不同依赖关系对应码流的数据量之间呈线性关系。

4.如权利要求1所述的一种视频编码方法，其特征在于，第n层的依赖关系中，帧图像的序号可以被2的n次幂整除，n为正整数。

5.如权利要求1所述的一种视频编码方法，其特征在于，最下层的依赖关系为基本依赖关系，基本依赖关系囊括所有的帧图像，以最下层编码数据量最小为依据确定基本依赖关系。

6.如权利要求1所述的一种视频编码方法，其特征在于，最下层的依赖关系为基本依赖关系，基本依赖关系囊括所有的帧图像，所述编码器根据基本依赖关系对每个帧图像进行一次编码，形成基本码流；

直接从基本码流中提取出跟它依赖关系一一对应的的码流。

7.如权利要求1所述的一种视频编码方法，其特征在于，最上层的依赖关系仅囊括采用帧内编码的关键帧图像。

8.如权利要求1所述的一种视频编码方法，其特征在于，所述编码器将每一层对应的帧图像间的依赖关系和其对应的码流一起发送到外部网络。

9.如权利要求8所述的一种视频编码方法，其特征在于，所述依赖关系通过私有协议的方式跟随码流发出；或者所述依赖关系嵌套在标准化的码流当中。

10.一种编码器，其特征在于，包括：

将未编码的原始视频的帧图像建立起至少两层的依赖关系的帧计算模块；

与帧计算模块耦合的、对原始视频的帧图像进行编码，并根据每层依赖关系对应生成一种码流的编码模块。

Images