CN106454355A - 一种视频编码方法及装置 - Google Patents

Abstract

本发明实施例提供一种视频编码方法及装置，属于视频图像处理技术领域。具体地，该方法实现的步骤为，对获取到的视频图像信号进行降采样得到待编码的图像序列，将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片，以及对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧。这种视频编码方法及装置，在不改变基本视频编码算法框架及满足带宽恒定需求的前提下，利用图像上下文的相关性，对待编码图像序列中的每一帧图像分别进行分片编码，将帧内编码方式分布在每帧图像的一个小图像片中，减小压缩图像的数据流在时间维上的抖动，有效的改善了传输效率并节约了带宽，保证了视频传输的实时性和可靠性。

Description

一种视频编码方法及装置

技术领域

本发明涉及视频图像处理技术领域，具体而言，涉及一种视频编码方法及装置。

背景技术

在视频图像的传输过程中，对其实时性和可靠性都有较高要求。在短的传输时间内，接收端接收到的视频必须清晰，且能够流畅播放。但是由于清晰的视频数据量太大，在实际使用时，网络带宽无法保证，因此视频传输无法达到理想的实时性与可靠性，经常出现延时过大、甚至由于网络拥塞而瘫痪等情况。如今无线窄带信道的通信传输在军事通信、应急通信领域有重要的作用，如何在带宽极其有限、同时质量不稳定的信道下进行实时的视频图像传输是目前业界亟待解决的技术难题。

发明内容

有鉴于此，本发明的目的在于提供一种视频编码方法及装置，以改善上述问题。

本发明较佳实施例提供一种视频编码方法，该方法包括：

对获取到的视频图像信号进行降采样得到待编码的图像序列；

将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片；及

对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧，其中，每一所述编码帧中包括一个帧内编码的图像片，且相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为所述预设数目。

本发明另一较佳实施例提供一种视频编码装置，该装置包括：

降采样模块，用于对获取到的视频图像信号进行降采样得到待编码的图像序列；

图像片划分模块，用于将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片；及

视频编码模块，用于对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧，其中，每一所述编码帧中包括一个帧内编码的图像片，且相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为所述预设数目。

本发明提供的视频编码方法及装置，在不改变基本视频编码算法框架及满足带宽恒定需求的前提下，利用图像上下文的相关性，对待编码图像序列中的每一帧图像分别进行分片编码，将帧内编码方式分布在每帧图像的一个小图像片中，减小压缩图像的数据流在时间维上的抖动，有效的改善了传输效率并节约了带宽，保证了视频传输的实时性和可靠性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的发送端与接收端进行交互的示意图；

图2为本发明实施例提供的图1所示的发送端的方框示意图；

图3为本发明实施例提供的图1所示的接收端的方框示意图；

图4为本发明实施例提供的一种应用于图2所示的发送端的视频编码方法的流程图；

图5为本发明实施例提供的一种图像片编码流程示意图；

图6为本发明实施例提供的当每帧待编码图像划分为6个图像片时的编码模式示意图；

图7为本发明实施例提供的当每帧待编码图像划分为6个图像片时的编码流程示意图；

图8为本发明实施例提供的对某一视频序列进行传统的视频编码后得到的码流变化曲线示意图；

图9为采用本发明实施例提供的视频编码方法对上述同一视频序列进行编码后得到的码流变化曲线示意图；

图10为本发明实施例提供的视频编码装置的功能模块框图。

图标：100-发送端；200-接收端；110-编码器；120-存储单元；130-视频图像输入单元；140-视频编码装置；210-解码器；220-显示单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，是本发明较佳实施例提供的发送端100与接收端200进行交互的示意图。所述发送端100通过恒定带宽的窄带无线信道与所述接收端200之间进行无线通信连接，以实现视频图像的传输。所述发送端100可以是具有无线通信功能的视频采集设备，如无线监控摄像头、军用无线针孔摄像机等。所述接收端200可以是，但不限于，服务器(如网络服务器、数据库服务器等)或者个人移动终端(如个人电脑、平板电脑、智能手机等)。

如图2所示，是本发明实施例提供的所述发送端100的方框示意图。所述发送端100包括编码器110、存储单元120、视频图像输入单元130以及视频编码装置140。

所述编码器110、存储单元120以及视频图像输入单元130之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述视频编码装置140包括至少一个可以软件或固件(firmware)的形式存储于所述存储单元120中或固化在所述发送端100的操作系统中的软件功能模块。所述编码器110用于执行所述存储单元120中存储的可执行模块，例如所述视频编码装置140包括的软件功能模块或计算机程序，以对所述视频图像输入单元130获取到的视频图像信号进行编码处理。

如图3所示，是本发明实施例提供的所述接收端200的方框示意图。所述接收端200包括解码器210以及与所述解码器210电性连接的显示单元220。该解码器210用于对所述接收端200接收到的编码数据流进行解码。所述显示单元220用于显示解码后的视频图像。

请参阅图4，是本发明实施例提供的一种应用于图2所示的发送端100的视频编码方法的流程图。所应说的是，本发明提供的方法不以图4及以下所述的顺序为限制。下面将对图4所示的具体流程进行详细阐述。

步骤S101，对获取到的视频图像信号进行降采样得到待编码的图像序列。

本实施例中，在满足空间尺度不变性的条件下，对获取到的视频图像信号进行隔行隔列的降采样得到待编码的图像序列。

由于恒定窄带宽无线信道的窄带特性，在进行实时视频传输时，需要尽可能的降低视频码流的大小。所以，本实施例中对获取到的信源信号进行隔行隔列的的降采样以显著降低待编码的图像数量，而后再在接收端200采用预定倍数的超分辨率图像重构技术重构出高分辨率的逼近原始图像的解码图像。

步骤S103，将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片。

不失一般性地，本实施例中，假设将待编码图像序列中的每一帧图像划分为相同大小的N个图像片。

步骤S105，对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧。其中，每一所述编码帧中包括一个帧内编码的图像片，且相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为所述预设数目。

请参阅图5，是本实施例提供的一种图像片编码流程示意图。图5中所示的I(i,j)表示对第i帧图像的第j个图像片进行帧内编码，即该图像片的编码模式为I帧模式；P(i,j)表示对第i帧图像的第j个图像片进行前向预测编码，即该图像片的编码模式为P帧模式，其中i∈[1,∞)表示图像帧序号，j∈[1,N]表示图像片序号。所述I帧又称帧内编码帧(IntraPicture)，是GOP(Group of Picture，图像组)中的基础帧，每一个GOP中只包含一个I帧。所述P帧又称前向预测编码帧(Predictive-frame)，其表示的是当前帧与之前的一个I帧或P帧的差别，解码时需要用之前缓存的图像叠加上本帧定义的差别，生成最终图像。上述两种编码方式与传统的编码方式相同，支持利用基于上下文自适应的变长编码进行的熵编码。其中，帧内编码又包括帧内空间预测、直流分量及预测残差的DCT变换、量化；前向预测编码又包括运动估计、运动补偿、残差的DCT变换、量化。

下面参照图5对图像片的编码过程进行详细阐述：

以前三帧图像为例，对于第一帧图像，将其第一个图像片进行帧内编码得到I(1,1)，其余图像片不进行编码；对于第二帧图像，将其第一个图像片参照第一帧图像中与该待编码图像片位于相同位置的已编码图像片(即参照I(1,1))进行前向预测编码得到P(2,1)，将其第二个图像片进行帧内编码得到I(2,2)，其余图像片不进行编码；对于第三帧图像，将其第一个图像片参照第二帧图像中与该待编码图像片位于相同位置的已编码图像片(即参照P(2,1))进行前向预测编码得到P(3,1)，将其第二个图像片参照第二帧图像中与该待编码图像片位于相同位置的已编码图像片(即参照I(2,2))进行前向预测编码得到P(3,2)，将其第三个图像片进行帧内编码得到I(3,3)，其余图像片不进行编码。如此继续下去，直到得到第一个所包含的图像片全部为已编码的编码帧之前，也就是在编码至第N帧图像之前(包括第N帧)，所述待编码图像序列中，相邻两帧图像中的后一帧图像的待编码图像片需要根据前一帧图像中与该待编码图像片位于相同位置的已编码图像片进行前向预测编码，若所述前一帧图像中与该待编码图像片位于相同位置的图像片未编码，则该待编码图像片进行帧内编码。此外，在编码结果中，需要保证每一所述编码帧中仅包括一个帧内编码的图像片，且相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为N个。

由图5可以看出，第N帧图像的全部图像片均为已编码模式，即至此，图像帧已实现了全部的片编码。自第N帧图像开始，后续的每一帧图像进行视频编码后得到的编码帧中，均包括1个帧内编码模式的图像片和N-1前向预测编码模式的图像片。例如，第N+1帧图像的编码帧为{I(N+1,1),P(N+1,2),...,P(N+1,N-1),P(N+1,N)}，第N+2帧的编码帧为{P(N+2,1),I(N+2,2),...,P(N+2,N-1),P(N+2,N)}，第N+3帧的编码帧为{P(N+3,1),P(N+3,2),I(N+3,3),...,P(N+3,N-1),P(N+3,N)}，如此依次类推。

需要说明的是，自第N帧图像开始，从前至后以每N帧编码帧为一组，在同一组中，相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数仍为N个。

分析图5所提供的编码方式可知，在已编码图像序列中，对于任意的j∈[1,N]，相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为N个，即GOP的大小为N。这与传统的GOP大小是完全相同的，即同一位置的图像片序列构成了传统意义上的视频序列编码。此外，同一帧图像中的各个图像片之间没有任何联系，是独立的通道编码，因此N个图像片又可称为N个通道。并且自第N帧开始，每一个编码帧中均包含了一个帧内编码的图像片，N-1个前向预测编码的图像片，如此可以使不同帧图像的编码后的码流基本保持持平，不会出现码流忽高忽低的情况，剔除了传统视频编码中I帧图像的码流抖动问题。

在发送端100经过步骤S105完成编码后，可以通过无线信道将编码后的视频传输至接收端200进行解码及显示。接收端200的解码器210对接收到的每一帧码流做解码，并且第1帧至第N-1帧的解码图像不送显，待第N帧图像解码后，将第1至第N帧图像拼接成一帧完整图像并进行预定倍数(如2倍)的超分辨率图像重构后，再送入显示单元220进行显示。

为了更进一步地对本发明实施例提供的视频编码方法进行说明，下面将以N等于6为例，对编码过程进行阐述。

在发送端100，对获取到的视频图像信号进行2倍的降采样(从金字塔的底层向上层的取样)得到待编码的图像序列。在满足窄带带宽的要求下，将所述待编码图像序列中的每一帧图像划分为均等的6个图像片，即3行2列式分片，见图6所示。对每帧图像中的图像片进行视频编码，具体的编码结果如图7所示。

将编码后的码流经过无线传输方式发送至接收端200。接收端200的解码器210对码流进行解码及显示。特别地，对于第1帧至第5帧解码后的图像先进行存储，待第6帧解码后，再将第1至第6的解码图像拼接成一帧完成图像，然后进行2被的超分辨率图像重构，最后送到显示单元220进行显示。

如图8所示，是本发明实施例提供的对某一视频序列进行传统的视频编码后得到的码流变化曲线示意图。图中的码流尖峰对应的是I帧图像，其大小通常为12000字节，个别I帧接近20000字节。而P帧图像的大小一般在6000字节。为了将每秒的数据传输完成，信道带宽不能低于码流的最高值，这种码流大小突变的编解码不适于恒定窄带宽的无线信道传输。

传统编解码方法采用整帧的I/P编码方式，每帧所占的数据量变化极大。I帧图像编码后数据量较大，P帧图像编码后数据量较小，在恒定窄带宽的限制下，I帧无法及时的完成传输，从而引起视频传输过程中的拥堵、时延等问题，不能满足用户实时传输的需求。

如图9所示，是采用本发明实施例提供的编码方法对上述同一视频序列进行编码后得到的码流变化曲线示意图。图9中，每帧图像的码流基本恒定，平均为6000字节，最高在8000字节左右，这种较为恒定的码流非常适于恒定窄带宽的无线信道传输。

如图10所示，是本发明较佳实施例提供的所述视频编码装置140的功能模块框图。该视频编码装置140包括降采样模块1402、图像片划分模块1404、视频编码模块1406以及发送模块1408。下面将对图10所示的功能模块进行具体的阐述。

所述降采样模块1402，用于对获取到的视频图像信号进行降采样得到待编码的图像序列。具体地，该降采样模块1402可用于执行图4中所示的步骤S101，具体的操作方法请参照上述对步骤S101的详细描述。

所述图像片划分模块1404，用于将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片。具体地，该图像片划分模块1404可用于执行图4中所示的步骤S103，具体的操作方法请参照上述对步骤S103的详细描述。

所述视频编码模块1406，用于对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧。具体地，该视频编码模块1406可用于执行图4中所示的步骤S105，具体的操作方法请参照上述对步骤S105的详细描述。

所述发送模块1408，用于将视频编码后得到的编码帧通过无线通信方式发送至接收端200以使所述接收端200对接收到的编码帧进行解码及显示。

与现有技术相比，本发明实施例提供的视频编码方法及装置，在不改变基本视频编码算法框架的条件下，对待编码图像序列中的每一帧图像进行图像片划分，并对划分得到的图像片进行视频编码，使得每帧图像经过编码后得到的编码帧的大小基本恒定，显著降低了码流的抖动，提高了视频传输的实时性和可靠性。此外，每一帧图像中的各个图像片为独立编码，便于系统并行执行，提高了编码效率。编码前的降采样和解码后的超分辨率重构策略，保证了图像细节分辨率的同时，有效降低了数据流的大小，进一步保证了视频传输的实时性与可靠性。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种视频编码方法，其特征在于，该方法包括：

对获取到的视频图像信号进行降采样得到待编码的图像序列；

将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片；及

对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧，其中，每一所述编码帧中包括一个帧内编码的图像片，且相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为所述预设数目。

2.根据权利要求1所述的视频编码方法，其特征在于，对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧的步骤包括：

在得到第一个所包含的图像片全部为已编码的编码帧之前，所述待编码图像序列中，相邻两帧图像中的后一帧图像的待编码图像片根据前一帧图像中与该待编码图像片位于相同位置的已编码图像片进行前向预测编码，若所述前一帧图像中与该待编码图像片位于相同位置的图像片未编码，则该待编码图像片进行帧内编码。

3.根据权利要求2所述的视频编码方法，其特征在于，对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧的步骤还包括：

对于位于所述第一个所包含的图像片全部为已编码的编码帧之后的每一帧待编码图像，将其所包含的所有图像片中的一个图像片进行帧内编码，其余图像片分别根据前一帧图像中位于相同位置的已编码图像片进行前向预测编码。

4.根据权利要求3所述的视频编码方法，其特征在于，该方法还包括：

将视频编码后得到的编码帧通过无线通信方式发送至接收端以使所述接收端对接收到的编码帧进行解码及显示。

5.根据权利要求4所述的视频编码方法，其特征在于，所述接收端对接收到的编码帧进行解码及显示的步骤包括：

对首次接收到的所述预设数目个编码帧进行解码并拼接成一帧完整图像后，进行预定倍数的超分辨率图像重构，再输入显示端进行显示。

6.一种视频编码装置，其特征在于，该装置包括：

降采样模块，用于对获取到的视频图像信号进行降采样得到待编码的图像序列；

图像片划分模块，用于将所述待编码的图像序列中的每一帧图像都划分成预设数目个图像片；及

视频编码模块，用于对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧，其中，每一所述编码帧中包括一个帧内编码的图像片，且相邻两个编码帧中进行所述帧内编码的图像片之间间隔的图像片个数为所述预设数目。

7.根据权利要求6所述的视频编码装置，其特征在于，所述视频编码模块对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧的方式包括：

在得到第一个所包含的图像片全部为已编码的编码帧之前，所述待编码图像序列中，相邻两帧图像中的后一帧图像的待编码图像片根据前一帧图像中与该待编码图像片位于相同位置的已编码图像片进行前向预测编码，若所述前一帧图像中与该待编码图像片位于相同位置的图像片未编码，则该待编码图像片进行帧内编码。

8.根据权利要求7所述的视频编码装置，其特征在于，所述视频编码模块对划分得到的每帧图像中的至少一个图像片进行视频编码，得到该帧图像相对应的编码帧的方式还包括：

对于位于所述第一个所包含的图像片全部为已编码的编码帧之后的每一帧待编码图像，将其所包含的所有图像片中的一个图像片进行帧内编码，其余图像片分别根据前一帧图像中位于相同位置的已编码图像片进行前向预测编码。

9.根据权利要求8所述的视频编码装置，其特征在于，该装置还包括：

发送模块，用于将视频编码后得到的编码帧通过无线通信方式发送至接收端以使所述接收端对接收到的编码帧进行解码及显示。

10.根据权利要求9所述的视频编码装置，其特征在于，所述接收端对接收到的编码帧进行解码及显示的方式包括：

对首次接收到的所述预设数目个编码帧进行解码并拼接成一帧完整图像后，进行预定倍数的超分辨率图像重构，再输入显示端进行显示。