CN102300087A - 一种svc编码方法和编码器 - Google Patents

Abstract

本发明公开了一种SVC编码方法和编码器，涉及多媒体技术，在获取视频文件后判断所述视频文件中各帧的类型，并根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧，以及使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码。由于通过划分时间层的方式使用多线程对可以同时进行编码的帧同时编码，所以使编码速度得到了很大的提高，并进一步由于编码速度得到了提高，扩展了SVC编码的应用场合。

Description

一种SVC编码方法和编码器

技术领域

本发明涉及多媒体技术，尤其涉及一种SVC编码方法和编码器。

背景技术

随着视频编码技术的发展，用户需求也越来越多样化，不仅要求高效率的视频编码的压缩，同时还要求编码结果可以满足多种应用场合。

通常，若想要编码一个视频用于多种用途，最简单的方法采用的方法是将一个视频按照不同的码率、帧率、分辨率来分别编码三次，形成一个可以满足多种需求的视频文件，但这样如果要编码一个视频就需要做三个视频的备份，针对不同的应用分别使用不同的应用程序。使用这种方式进行编码不仅需要很大的存储空间，而且还需要浪费很多的时间。

所以，目前采用SVC(Scalable Video Coding，可伸缩视频编码)方式来进行编码，采用这种编码方式可以解决上述问题，SVC编码方法分别从时间、空间和质量三个方面来进行了扩展。只需要对视频进行一次编码即可形成满足多种需求的视频文件，在应对不同的应用的时候就可以根据三个方面的扩展来对生成的压缩文件进行提取，使得一次编码的结果能够满足各种情况下的应用。例如：如果要适应带宽比较低的环境就可以只传基本层的数据，如果要满足高清等应用的话就可以将增强层的数据一起用来解码得到质量高的视频。

本申请发明人发现，SVC这种能够适应多种应用场合的编码方法在编码的时候不仅需要考虑通常情况下帧间的相关分析，而且还要考虑多层间的相关性，这样就使得编码复杂度非常高，而逐帧进行编码又进一步限制了SVC的编码速度，从而使得SVC的应用受到了很大的限制。

发明内容

本发明实施例提供一种SVC编码方法和编码器，以实现提高SVC编码的速度。

一种SVC编码方法，包括：

获取视频文件；

判断所述视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且所述前向预测编码帧位于该图像序列的最后一帧；

根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；

使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码；

输出所述编码后的视频文件。

一种编码器，包括：

输入单元，用于获取视频文件；

编码单元，用于判断所述输入单元获取的视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且所述前向预测编码帧位于该图像序列的最后一帧；根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码；

输出单元，用于输出所述编码单元编码后的视频文件。

本发明实施例提供一种SVC编码方法和编码器，采用多线程来同时对可以进行编码的帧进行编码，由于将处于同一时间层的多帧使用多线程进行了同时编码，所以使编码速度得到了很大的提高，并进一步由于编码速度得到了提高，扩展了SVC编码的应用场合。

附图说明

图1为本发明实施例提供的单个GOP时间层划分编码示意图；

图2为本发明实施例提供的对两个GOP划分时间层编码示意图；

图3为本发明实施例提供的对三个GOP划分时间层编码示意图；

图4为本发明实施例提供的SVC编码方法流程图；

图5为本发明实施例提供的编码器结构示意图之一；

图6为本发明实施例提供的编码器结构示意图之二。

具体实施方式

本发明实施例提供一种SVC编码方法和编码器，采用多线程同时对可以进行编码的帧进行编码，由于将处于同一时间层的多帧使用多线程进行了同时编码，所以使编码速度得到了很大的提高，并进一步由于编码速度得到了提高，扩展了SVC编码的应用场合。

在一个GOP(Group of Pictures，图像序列)中，通常存在多个B帧(Bi-predictive picture，双向预测编码帧)和一个P帧(Predicted picture，前向预测编码帧)，P帧通常为一个GOP的最后一帧，并仅参考前一个GOP的P帧或者仅参考I帧(Intra-coded picture，帧内编码帧)进行编码。

如图1所示，该GOP共包括8帧，其中，第1-7帧为B帧，第8帧为P帧，一个GOP加上该GOP中P帧所参考的那一帧，可以称为一个伪GOP，在一个伪GOP中，各帧之间的参考关系如图1中的箭头所示，第8帧仅参考第0帧，即I帧或者前一个GOP中的P帧，第4帧参考第0帧和第8帧编码，第2帧参考第0帧和第4帧编码，第6帧参考第4帧和第8帧编码，第1帧参考第0帧和第2帧编码，第3帧参考第2帧和第4帧编码，第5帧参考第4帧和第6帧编码，第7帧参考第6帧和第8帧编码。从图中很容易看出各帧的参考关系并根据这个参考关系确定编码顺序。

其实，当第4帧编码完成后，就可以开始进行第2帧和第6帧的编码，在第2帧编码完成后，就可以进行第1帧和第3帧的编码，在第6帧编码完成后，就可以进行第5帧和第7帧的编码。

那么就可以直观的将该GOP中的8帧分为4个时间层，第一个时间层包括第8帧，第二个时间层包括第4帧，第三个时间层包括第2帧和第6帧，第四个时间层包括第1、3、5、7帧，这样划分后，每一帧都参考的所在时间层之前的时间层中的帧进行的编码，从而使得每个时间层中各帧的编码都能够顺利进行。

如果有4个线程可供使用，那么仅考虑该GOP的编码，若每帧编码时间平均为一个时间单位的话，编码该GOP仅需要4个时间单位即可，而如果使用现有技术中的方式逐帧编码的话，则需要使用8个时间单位，由此可见，使用本发明实施例中划分时间层并通过多线程来对每个时间层中的帧进行编码的方式，会大大提高编码效率，节省编码时间。

如图2所示，当考虑多个GOP时，由于后一个GOP中的P帧是参考前一个GOP中的P帧进行编码的，所以后一个GOP中的时间层分布和前一个GOP中的时间层分布错后一个时间单位，即同时考虑这两个GOP，那么第一时间层中包括第8帧，第二时间层中包括第4帧和第16帧，第三时间层中包括第2、6、12帧，第四时间层中包括第1、3、5、7、10、14帧，第五时间层中包括第9、11、13、15帧，这样如果可用线程数足够的话，仅需要5个时间单位即可完成这两个GOP的编码。

进一步，依旧以两个GOP为例，由于B帧是参考其它帧的最高层进行编码而P帧通常仅参考I帧的基本层或前一GOP中的P帧的基本层，所以可以在I帧的基本层或者前一GOP的P帧的基本层编码完成后，就开始由另一线程进行当前GOP中P帧的编码，从而可以减少延时，实现进一步节省编码时间，提高编码效率。

如图3所示，若每个帧有一个基本层、增强层和最高层共三层，那么时间层的划分可以按照图3中所示，第一时间层包括第8帧的基本层，第二时间层包括第8帧的增强层和第16帧的基本层，第三时间层包括第8帧的最高层、第16帧的增强层和第24帧的基本层，第四时间层包括第16帧的最高层、第24帧的增强层和第4帧的基本层，第五时间层包括第24帧的最高层、第4帧的增强层和第12帧的基本层，第六时间层包括第4帧的最高层、第12帧的增强层和第20帧的基本层，第七时间层包括第12帧的最高层、第20帧的增强层和第2、6帧的基本层，第八时间层包括第20帧的最高层、第2、6帧的增强层和第10、14帧的基本层，第九时间层包括第2、6帧的最高层、第10、14帧的增强层和第18、22帧的基本层，第十时间层包括第10、14帧的最高层、第18、22帧的增强层和第1、3、5、7帧的基本层，第十一时间层包括第18、22帧的最高层、第1、3、5、7帧的增强层和第9、11、13、15帧的基本层，第十二时间层包括第1、3、5、7帧的最高层、第9、11、13、15帧的增强层和第17、19、21、23帧的基本层，第十三时间层包括第9、11、13、15帧的最高层、第17、19、21、23帧的增强层，第十四时间层包括第17、19、21、23帧的最高层。

通过这14个时间层，即可实现这3个GOP的编码，当然在这三个GOP之后的三个GOP占用的时间层则为第4时间层-第17时间层，需要注意的是，本实施例中时间层的长度不同于前两个实施例，在前两个实施例中，一个时间层可容纳一整个帧，一个时间层的长度即为一个时间单位，而在本实施例中，一个时间层容纳1/3个帧，一个时间层的长度为1/3个时间单位，也就是说，如果可用线程数足够，进行这3个GOP的编码仅需要14/3个时间单位即可，还不到5个时间单位，大大的节约了编码时间，提高了编码效率。

当然，如果一个帧包括1个基本层和5个增强层共6层的话，当然可以每个时间层包括1/6个帧，划分出26个长度为1/6时间单位的时间层，也可以当前一GOP中的P帧的第二层编码完毕后再进行当前GOP中P帧的编码，此时像上个实施例中一样，每个时间层包括1/3个帧，划分出14个长度为1/3时间单位的时间层，还可以当前一GOP中的P帧的第三层编码完毕后再进行当前GOP中P帧的编码，此时每个时间层包括1/2个帧，划分出10个长度为1/2时间单位的时间层，还可以当前一GOP中的P帧的全部编码完毕后再进行当前GOP中P帧的编码，此时每个时间层包括1个帧，共划分出6个长度为一个时间单位的时间层，当然，如果在前一GOP中的P帧的第四层或第五层编码完毕后再进行当前GOP中P帧的编码也是可以的，具体的时间层数以及每个时间层的长度可以根据实际需要以及可用线程数来设定，本领域技术人员可以根据前面的实施例以及实际的需要推出所需要的时间层数和时间层的长度，在此就不再赘述。

对于每个时间层里的部分帧，如果在前一时间层中也有该帧的一部分，则继续沿用前一时间层中处理该帧的线程对该帧进行编码较佳，如果在当前时间层中才开始编码该帧，则为该帧新分配一个线程。

上面几个实施例是以每个GOP中包括8帧的情况来讨论的，当然，每个GOP中也可能包括16帧、32帧等其它帧数，本领域技术人员可以方便的根据本发明实施例所提供的方法来划分时间层并使用多线程方式进行编码，从而提高编码效率。

本发明实施例所提供的SVC编码方法如图4所示，包括：

步骤S401、获取视频文件；

步骤S402、判断视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且前向预测编码帧位于该图像序列的最后一帧；

步骤S403、根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；

步骤S404、使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码；

步骤S405、输出编码后的视频文件。

当然，为更好的进行SVC编码，更加规范的进行GOP的划分，那么在获取视频文件后，还包括：将获取的视频文件转换成统一的视频格式。

每个前向预测编码帧事实上仅参考I帧的基本层或者前一GOP的P帧的基本层进行编码。这样，当I帧的基本层或者前一GOP的P帧的基本层编码完毕后，即可开始当前的GOP的P帧的编码。

在划分时间层后，每个时间层中的帧都是可以同时进行编码的，使用多线程同时对一个图像序列中同一时间层中的各个帧进行编码。如果在每个时间层中都仅为一个帧的一个或多个层，并非整个帧，也同样可以使用多线程同时对同一时间层中各个帧在该时间层中的部分进行编码。

进一步的，还可以根据该视频文件的实时程度来确定编码策略，编码后的视频文件可能是用来进行实时播放的，这样实时性就较高，也可能只是存储起来等待后续的播放，这样实时性就较低。如果计算机的线程数足够的话，理想情况下当然同时编码越多的GOP编码速度越高，编码后面的GOP也不会对前面的GOP编码产生影响，但是，由于内存空间，计算机中其它系统程序和应用程序的影响，可能同时同时编码太多的GOP时，编码后面的GOP就会对前面的GOP编码产生影响，所以当对视频的实时性要求较高时，可以根据实际情况确定所使用的线程数量和同时编码的GOP数量。

本发明实施例还提供一种编码器，如图5所示，包括输入单元501、编码单元502和输出单元503，其中：

输入单元501，用于获取视频文件，所获取的视频文件可能为AVI、WMV、YUV、RMVB等各种类型的视频文件；

编码单元502，用于判断输入单元501获取的视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且前向预测编码帧位于该图像序列的最后一帧；根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码；

输出单元503，用于输出编码单元502编码后的视频文件。具体的，根据用户的需要，输出编码后的视频文件可以具体为播放编码后的视频文件或者存储编码后的视频文件。

进一步，为便于编码单元502的进一步处理，输入单元501还用于：

将获取的视频文件转换成统一的视频格式。

进一步，如图6所示，编码单元502具体包括：

判断划分子单元5021，用于判断输入单元501获取的视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且前向预测编码帧位于该图像序列的最后一帧；

时间层划分子单元5022，用于根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；

多线程编码子单元5023，用于使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码。

进一步的，若当前GOP中的P帧仅参考I帧的基本层或者前一GOP中P帧的基本层，那么多线程编码子单元5023具体用于：

使用多线程同时对一个图像序列中同一时间层的各个帧在该时间层中的部分进行编码。

本发明实施例提供一种SVC编码方法和编码器，采用多线程来同时对可以进行编码的帧进行编码，由于将处于同一时间层的多帧使用多线程进行了同时编码，所以使编码速度得到了很大的提高，并进一步由于编码速度得到了提高，扩展了SVC编码的应用场合。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种SVC编码方法，其特征在于，包括：

获取视频文件；

判断所述视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且所述前向预测编码帧位于该图像序列的最后一帧；

根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；

使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码；

输出所述编码后的视频文件。

2.如权利要求1所述的方法，其特征在于，所述获取视频文件后，还包括：

将获取的视频文件转换成统一的视频格式。

3.如权利要求1所述的方法，其特征在于，所述每个前向预测编码帧都参考前一图像序列的前向预测编码帧或者帧内编码帧进行编码，具体为：

每个前向预测编码帧都参考前一图像序列的前向预测编码帧的基本层或者帧内编码帧的基本层进行编码。

4.如权利要求3所述的方法，其特征在于，所述使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码，具体为：

使用多线程同时对一个图像序列中同一时间层的各个帧在所述时间层中的至少一层进行编码。

5.如权利要求1所述的方法，其特征在于，所述输出所述编码后的视频文件，具体包括：

播放所述编码后的视频文件或者存储所述编码后的视频文件。

6.一种编码器，其特征在于，包括：

输入单元，用于获取视频文件；

编码单元，用于判断所述输入单元获取的视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且所述前向预测编码帧位于该图像序列的最后一帧；根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码；

输出单元，用于输出所述编码单元编码后的视频文件。

7.如权利要求6所述的编码器，其特征在于，所述输入单元还用于：

将获取的视频文件转换成统一的视频格式。

8.如权利要求6所述的编码器，其特征在于，所述编码单元具体包括：

判断划分子单元，用于判断所述输入单元获取的视频文件中各帧的类型，并根据帧类型划分图像序列，每个图像序列仅包括一个前向预测编码帧且所述前向预测编码帧位于该图像序列的最后一帧；

时间层划分子单元，用于根据每个图像序列中各帧编码时的参考顺序对双向预测编码帧和前向预测编码帧划分时间层，使得每个双向预测编码帧在编码时都参考该双向预测编码帧所在时间层以前的时间层中的帧，每个前向预测编码帧在编码时都参考前一图像序列的前向预测编码帧或者帧内编码帧；

多线程编码子单元，用于使用多线程同时对至少一个图像序列中同一时间层中的各个帧进行编码。

9.如权利要求8所述的编码器，其特征在于，所述多线程编码子单元具体用于：

使用多线程同时对一个图像序列中同一时间层的各个帧在所述时间层中的至少一层进行编码。

10.如权利要求6所述的编码器，其特征在于，所述输出单元具体用于：播放所述编码后的视频文件或者存储所述编码后的视频文件。

Images