CN105516729A

CN105516729A - 视频编解码方法、装置及生成的视频码流

Info

Publication number: CN105516729A
Application number: CN201410491226.6A
Authority: CN
Inventors: 虞露; 何至初
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2014-09-23
Filing date: 2014-09-23
Publication date: 2016-04-20
Anticipated expiration: 2034-09-23
Also published as: CN105516729B

Abstract

本发明提出了一种标识随机访问点之后解码的图像是否可以正确解码的方法，其中一个图像是否可以正确解码指的是该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点，并根据此标识判断是否需要解码某一图像以及是否需要输出某一图像的重建样本。采用本发明的方法，解码端能跳过无法正确解码的图像的解码，从而节省解码时间，同时在显示的过程中，也能迅速判断哪些图像可以正确解码，从而可以快速找到可以显示的图像。相比于已有的标识方法，本发明的标识方法更为灵活。

Description

视频编解码方法、装置及生成的视频码流

技术领域

本发明属于视频编解码技术领域，特别涉及一种视频编解码方法、装置及生成的视频码流。

背景技术

随机访问能力是视频的编码序列必须具备的能力，用户可以从视频的随机访问点切入进行观看，从而增强了视频流使用的灵活性。一个合理的视频码流应满足丢弃了随机访问点之前的数据，之后的视频流仍能从某一个时间点开始正确播放。

随着视频编码技术的不断改进，帧间预测技术不断加强，视频中的大量冗余信息已经可以很好地去除了。但是由于灵活地参考关系，随机访问点之后解码的图像可能会参考到随机访问点之前的数据。如果约束这种参考关系不发生，则会导致该随机访问点不发生随机访问时，整个视频的编码效率大大降低。如果允许这种参考关系发生，在该随机访问点进行随机访问时，会存在一些无法正确解码的图像。为了方便叙述，本专利中无法正确解码的图像指的是在该图像对应的随机访问点发生随机访问时，无法正确解码的图像，其中该图像对应的随机访问点指的是码流中在该图像之前的最近的一个随机访问点。在随机访问点进行随机访问时，那些参考到随机访问点之前数据的图像以及参考到无法正确解码的图像都是无法正确解码的。

在解码端，我们需要知道在随机访问点发生随机访问时，哪些图像能正确解码，哪些图像无法正确解码。知道了这些信息，一方面，解码端能跳过无法正确解码的图像的解码，从而节省解码时间。同时在显示的过程中，也能迅速判断哪些图像可以正确解码，从而可以快速找到可以显示的图像。

在最新的国际视频编码标准HEVC\H.265，利用NAL_UNIT_TYPE来标识随机访问点之后解码的图像在该随机访问点发生随机访问时是否可以正确解码。首先，该标准将随机访问点之后的图像分成两类，其中一类为后置图像(TRAILINGPICTURE)，指的是输出顺序在随机访问点对应的图像之后的图像；另一类为前置图像(LEADINGPICTURE)，指的是输出顺序在随机访问点对应的图像之前的图像。其中后置图像都为可以正确解码的图像，前置图像分成两种，一种是可以正确解码的图像，它们的NAL_UNIT_TYPE为RADL，另一种是不可以正确解码的图像，它们的NAL_UNIT_TYPE为RASL。RADL和RASL都不能作为后置图像的参考图像。图1为HEVC\H.265中的一种编码结构和对应的NAL_UNIT_TYPE(图中的箭头为参考关系)：

但是该方法有一个问题，即前置图像不能作为后置图像的参考图像，而前置图像中的RADL图像是能正确解码的图像。在图1所示的例子中，由于随机访问的关系，P16只能参考I8，即只有一个参考图像，如果P16能参考B4～B7中的图像，即P16能参考RADL的图像，则P16的参考图像个数将会增加，编码效率将进一步提高。

在正在制定的AVS2标准中，并没有对随机访问点发生随机访问时，随机访问点之后解码的图像是否可以正确解码进行标识。在AVS2中，对于随机访问点有如下描述：

序列头可在位流中重复出现，称为重复序列头。使用重复序列头的主要目的是支持对视频序列的随机访问。

即，序列头(包括重复序列头)为序列的随机访问点。

在AVS2的参考软件RD软件的通测条件下。根据AVS2-CD标准6.1.3中对于参考关系的约束，可以判断出，在显示顺序序列头之后的第一个I图像之后的图像都是能正确解码输出的(见图2)。如图2所示，重复序列头在I8之前，I8及显示顺序在I8之后的图像(I8～P16)都是能正确解码的。因为他们的参考图像都能找到，并且参考图像都是能正确解码的图像。然而对于B1-B7,是无法在解码完B1-B7所有图像之前判断B1-B7中哪些是可以正确解码的。例如，B4参考列表中有P0，P0属于丢失的信息，如果B4中没有一个预测块用到了P0，则B4可以正确解码，解码器需要解码B4～B7，同时显示也可以从B4开始。反之，B4无法正确解码,解码器不需要解码B1～B7,显示是从I8开始。

如前所述，在AVS2标准中，我们需要有一个信息来标识知道当发生随机访问时，之后解码图像是否可以正确解码。同时，在HEVC的标识方法中，RADL图像是无法被后置图像所参考的，这对编码效率有所约束，需要有一种新的标识方案来去除这种约束。

发明内容

本发明目的在于提供一种标识随机访问点之后解码的图像是否可以正确解码的方法，所述的一个图像是否可以正确解码指的是该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点。利用该方法所标识的信息，一方面，解码端能跳过无法正确解码的图像的解码，从而节省解码时间。同时在显示的过程中，也能迅速判断哪些图像可以正确解码，从而可以快速找到可以显示的图像。

本发明的目的是通过以下技术方案来实现的：

(待权书内容确定后，再完善此部分内容)

本发明的有益效果在于：

本发明方法相比于现有的H.265/HEVC的方法更为灵活，体现在以下几点上：

1.在HEVC的方案中，后置图像都为可以正确解码的图像，而在本专利所提出的方案中，不论前置图像还是后置图像都可以成为非正确解码图像；

2.在HEVC的方案中，前置图像不能作为后置图像的参考图像，而在本专利所提出的方案中，前置图像中可以正确解码的图像可以作为后置图像的参考图像，从而提高编码效率。

同时，由于AVS2标准中没有信息指示随机访问点之后解码的图像是否可以正确解码，从而解码端解码需要花费许多无用开销，该专利中的技术能很好地解决这个问题。

附图说明

图1为HEVC\H.265中的一种编码结构和对应的NAL_UNIT_TYPE；

图2为AVS2中的一种编码结构及其参考关系；

图3为本发明的一种视频编码方法实施例的流程示意图；

图4为本发明的一种视频编码方法实施例的流程示意图；

图5为本发明的一种视频解码方法实施例的流程示意图；

图6为本发明的一种视频编码装置实施例的组成结构示意图；

图7为本发明的一种视频编码装置实施例的组成结构示意图；

图8为本发明的一种视频解码装置实施例的组成结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图及实施例，对本发明作进一步详细说明。

本发明的主要思想在于提供一种标识随机访问点之后解码的图像是否可以正确解码的方法，其中一个图像是否可以正确解码指的是该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点。

实施例1：

如图3所示，本实施例一种视频的编码方法，包括以下步骤：

步骤101：确定码流中紧随着随机访问点之后的某一段图像中的每个图像是否可以正确解码；

具体而言，某一段图像指的是：如果该随机访问点与紧随的序列结束码之间没有其他的随机访问点，该随机访问点与紧随的序列结束码之间的所有图像；否则，该随机访问点与紧随的下一个随机访问点之间的所有图像；本实施例中所述的一个图像是否可以正确解码指的是在该随机访问点发生随机访问时该图像是否可以正确解码。随机访问点可以是序列头，也可以是一种特殊的图像类型；

步骤102：对于每个可以正确解码的图像，约束其每个图像间预测单元的每个参考图像可以选择的范围；

具体而言，对于每个可以正确解码的图像，约束其每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在编码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考，b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点，c.该参考图像是可以正确解码的图像。

步骤103：将图像是否可以正确解码的信息写入码流；

具体而言，将图像是否可以正确解码的信息写入码流的方法包括：将每个图像是否可以正确解码的信息写入对应的图像头；或者仅将帧间预测图像否可以正确解码的信息写入对应的图像头。

更具体而言，该信息可以用如下语法表示：

randomaccess_decodable_flag

u(1)

随机访问正确解码标志randomaccess_decodable_flag

标志。值为‘1’表示，当前图像每个图像间预测单元的每个参考图像必须同时满足以下三个条件：1.该参考图像存在解码图像缓冲区中且标记为“被参考”；2.在码流中的位置上，该参考图像与当前图像之间没有序列头；3.该参考图像的RandomaccessDecodableFlag的值为‘1’。值为‘0’表示当前图像存在某个预测单元的某个参考图像不同时满足上述三个条件的参考图像。RandomaccessDecodableFlag的值等于random_decodable_flag的值。如果当前图像的图像头中没有random_decodable_flag，则当前图像的RandomaccessDecodableFlag的值为‘1’。

每个图像的RandomaccessDecodableFlag值可以设置成任何值，为了方便应用，标准还可以对每个图像的RandomaccessDecodableFlag的值进行如下约束：

序列头后的第一个解码图像应是I、G或GB图像。如果序列头后的第一个解码图像是GB图像，则该序列头后的第二个解码图像应是S图像。符合标准的码流应满足显示顺序在该I、G或S图像之后的图像且解码顺序在下个重复序列头或者序列结束码之前的图像的RandomaccessDecodableFlag的值都应为‘1’。

实施例2：

如图4所示，本实施例一种视频的编码方法，包括以下步骤：

步骤201：判断当前图像是否可以正确解码；

具体而言，本实施例中所述的一个图像是否可以正确解码指的是该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点；判断方法为如果当前图像的每个图像间预测单元的每个参考图像都依次满足以下三个条件：a.在编码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考，b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点，c.该参考图像是可以正确解码的图像，则当前图像是可以正确解码的图像；否则当前图像是不可以正确解码的图像；

步骤202：将图像是否可以正确解码的信息写入码流。

具体而言，同步骤102。

实施例3：

如图5所示，本实施例一种视频的解码方法，该方法包括以下步骤：

步骤301：从码流中的图像头中解码信息；

具体而言，该信息指示该图像头对应的图像是否可以正确解码，本实施例中所述的一个图像是否可以正确解码指的是该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点，如果该信息指示该图像可正确解码，则该图像可以作为之后解码图像的参考图像，并且该图像的每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在解码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考，b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点，c.参考图像是可以正确解码的图像；

解码该信息的方法可以为：从每个图像的图像头中解码该信息；或者，如果图像为帧间预测图像，则从图像头中解码该信息，如果图像为帧内预测图像，则该帧内图像对应的信息为可以正确解码。

更具体而言，该信息可以用如下语法表示：

randomaccess_decodable_flag

u(1)

随机访问正确解码标志randomaccess_decodable_flag

每个帧间预测图像的RandomaccessDecodableFlag值可以设置成任何值，每个图像的RandomaccessDecodableFlag值可以设置成任何值，为了方便应用，标准还可以对每个图像的RandomaccessDecodableFlag的值进行如下约束：

步骤302：判断当前图像是否需要解码；

具体而言，如果在码流中当前图像之前只有一个随机访问点，并且当前图像不可正确解码，则跳过当前图像解码并构成重建样本的步骤，该图像的重建样本为一个不确定的值，将该重建样本标记为“非正确解码图像”；否则，当前图像仍需要解码并构成重建样本，将该重建样本标记为“正确解码图像”；

步骤303：判断重建样本是否应该输出；

具体而言，如果需要重建样本为“非正确解码图像”，则不输出该重建样本；否则，如果重建样本为“正确解码图像”，则应该输出该重建样本。

实施例4：

如图6所示，本实施例一种视频的装置，包括确定随机访问设置单元401，随机访问编码控制单元402和信息写入单元403，其中：

确定随机访问设置单元401：确定码流中紧随着随机访问点之后的某一段图像中的每个图像是否可以正确解码；

具体而言，同步骤101；

随机访问编码控制单元402：对于每个可以正确解码的图像，约束其每个图像间预测单元的每个参考图像可以选择的范围；

具体而言，同步骤102；

信息写入单元403：将图像是否可以正确解码的信息写入码流；

具体而言：同步骤103。

实施例5：

如图7所示，本实施例一种视频的编码编码装置，包括确定正确解码判断单元501和信息写入单元502，其中：

确定正确解码判断单元501：判断当前图像是否可以正确解码。

具体而言，同步骤201；

信息写入单元502：将图像是否可以正确解码的信息写入码流；

具体而言，同步骤202。

实施例6：

如图8所示，本实施例一种视频的解码装置，包括解码信息单元601、判断图像是否需要解码单元602和判断重建样本是否需要输出单元603：

解码信息单元601：从码流中的图像头中解码信息；

具体而言：同步骤301；

判断图像是否需要解码单元602：判断当前图像是否需要解码；

具体而言，同步骤302；

判断重建样本是否需要输出单元603：判断重建样本是否应该输出；

具体而言，同步骤303。

实施例7：

本实施例一种视频码流，传输了图像正确解码的信息，本实施例中所述的一个图像是否可以正确解码指的是该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点，如果该信息指示该图像可正确解码，则该图像可以作为之后解码图像的参考图像，并且该图像的每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在解码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考，b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点，c.参考图像是可以正确解码的图像；其中该信息在码流中的位置包括：在每个图像的图像头中，或者仅在帧间预测图像的图像头中。

更具体而言，该信息可以用如下语法表示：

randomaccess_decodable_flag

u(1)

随机访问正确解码标志randomaccess_decodable_flag

标志。值为‘1’表示，当前图像每个图像间预测单元的每个参考图像必须同时满足以下三个条件：1.该参考图像存在解码图像缓冲区中且标记为“被参考”2.在码流中的位置上，该参考图像与当前图像之间没有序列头。3.该参考图像的RandomaccessDecodableFlag的值为‘1’。值为‘0’表示当前图像存在某个预测单元的某个参考图像不同时满足上述三个条件的参考图像。RandomaccessDecodableFlag的值等于random_decodable_flag的值。如果当前图像的图像头中没有random_decodable_flag，则当前图像的RandomaccessDecodableFlag的值为‘1’。

Claims

1.一种视频的编码方法，其特征在于，至少包括以下步骤：

(1)确定码流中紧随着随机访问点之后的某一段图像中的每个图像是否可以正确解码；其中，

某一段图像指的是：如果该随机访问点与紧随的序列结束码之间没有其他的随机访问点，该随机访问点与紧随的序列结束码之间的所有图像；否则，该随机访问点与紧随的下一个随机访问点之间的所有图像；

所述正确解码指的是在该随机访问点发生随机访问时该图像是否可以正确解码；

(2)对于每个可以正确解码的图像，约束其每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在编码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.该参考图像是可以正确解码的图像；

(3)将图像是否可以正确解码的信息写入码流。

2.根据权利要求1所述视频的编码方法，其特征在于，将图像是否可以正确解码的信息写入码流的方法包括：将每个图像是否可以正确解码的信息写入对应的图像头；或者仅将帧间预测图像否可以正确解码的信息写入对应的图像头。

3.一种视频的编码方法，其特征在于，至少包括以下步骤：

(1)判断当前图像是否可以正确解码，具体指该图像对应的随机访问点发生随机访问时该图像是否可以正确解码；

所述对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点；

所述判断方法为如果当前图像的每个图像间预测单元的每个参考图像都依次满足以下三个条件：a.在编码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.该参考图像是可以正确解码的图像，则当前图像是可以正确解码的图像；否则，当前图像是不可以正确解码的图像；

(2)将图像是否可以正确解码的信息写入码流。

4.根据权利要求3所述视频的编码方法，其特征在于，将图像是否可以正确解码的信息写入码流的方法包括：将每个图像是否可以正确解码的信息写入对应的图像头；或者仅将帧间预测图像否可以正确解码的信息写入对应的图像头。

5.一种视频的解码方法，其特征在于，至少包括以下步骤：

(1)从码流中的图像头中解码信息，该信息指示该图像头对应的图像是否可以正确解码，具体指该图像对应的随机访问点发生随机访问时该图像是否可以正确解码，所述对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点；

如果该信息指示该图像可正确解码，则该图像可以作为之后解码图像的参考图像，并且该图像的每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在解码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.参考图像是可以正确解码的图像；

(2)判断当前图像是否需要解码；如果在码流中当前图像之前只有一个随机访问点，并且当前图像不可正确解码，则跳过当前图像解码并构成重建样本的步骤，该图像的重建样本为一个不确定的值，将该重建样本标记为“非正确解码图像”；否则，当前图像仍需要解码并构成重建样本，将该重建样本标记为“正确解码图像”。

(3)判断重建样本是否应该输出：如果需要重建样本为“非正确解码图像”，则不输出该重建样本；否则，如果重建样本为“正确解码图像”，则输出该重建样本。

6.根据权利要求5所述视频的解码方法，其特征在于，所述从码流中的图像头中解码信息的方法包括：从每个图像的图像头中解码该信息；或者，如果图像为帧间预测图像，则从图像头中解码该信息，如果图像为帧内预测图像，则该帧内图像对应的信息为可以正确解码。

7.一种视频编码装置，其特征在于，包括确定随机访问设置单元，随机访问编码控制单元和信息写入单元，其中：

(1)随机访问设置单元用于确定码流中紧随着随机访问点之后的某一段图像中的每个图像是否可以正确解码；所述某一段图像指：如果该随机访问点与紧随的序列结束码之间没有其他的随机访问点，该随机访问点与紧随的序列结束码之间的所有图像；否则，该随机访问点与紧随的下一个随机访问点之间的所有图像；所述的一个图像是否可以正确解码指：在该随机访问点发生随机访问时该图像是否可以正确解码；

(2)随机访问编码控制单元用于约束每个可以正确解码的图像的每个图像间预测单元的每个参考图像依次满足以下三个条件：a.在编码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.该参考图像是可以正确解码的图像；

(3)信息写入单元用于将图像是否可以正确解码的信息写入码流。

8.根据权利要求7所述视频的编码装置中，其特征在于，所述信息写入单元将图像是否可以正确解码的信息写入码流包括将每个图像是否可以正确解码的信息写入对应的图像头或仅将帧间预测图像否可以正确解码的信息写入对应的图像头。

9.一种视频编码装置，其特征在于，包括正确解码判断单元和信息写入单元，其中：

(1)正确解码判断单元用于判断当前图像是否可以正确解码，即指该图像对应的随机访问点发生随机访问时该图像是否可以正确解码；所述对应的随机访问点指码流中当前图像之前最近的一个随机访问点；所述判断方法为如果当前图像的每个图像间预测单元的每个参考图像都依次满足以下三个条件：a.在编码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.该参考图像是可以正确解码的图像，则当前图像是可以正确解码的图像；否则当前图像是不可以正确解码的图像；

(2)信息写入单元用于将图像是否可以正确解码的信息写入码流。

10.根据权利要求9所述视频的编码装置，其特征在于，所述信息写入单元将图像是否可以正确解码的信息写入码流包括将每个图像是否可以正确解码的信息写入对应的图像头或仅将帧间预测图像否可以正确解码的信息写入对应的图像头。

11.一种视频解码装置，其特征在于，包括解码信息单元、判断图像是否需要解码单元和判断重建样本是否需要输出单元，其中：

(1)解码信息单元用于：从码流中的图像头中解码信息，该信息指示该图像头对应的图像是否可以正确解码，即指该图像对应的随机访问点发生随机访问时该图像是否可以正确解码；所述对应的随机访问点指码流中当前图像之前最近的一个随机访问点，如果该信息指示该图像可正确解码，则该图像可以作为之后解码图像的参考图像，并且该图像的每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在解码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.参考图像是可以正确解码的图像；

(2)判断图像是否需要解码单元用于判断当前图像是否需要解码；如果在码流中当前图像之前只有一个随机访问点，并且当前图像不可正确解码，则跳过当前图像解码并构成重建样本的步骤，该图像的重建样本为一个不确定的值，将该重建样本标记为“非正确解码图像”；否则，当前图像仍需要解码并构成重建样本，将该重建样本标记为“正确解码图像”。

(3)判断重建样本是否需要输出单元用于判断重建样本是否应该输出：如果重建样本为“非正确解码图像”，则不输出该重建样本；否则，如果重建样本为“正确解码图像”，则应该输出该重建样本。

12.根据权利要求11所述视频的解码装置，其特征在于：所述解码信息单元从码流中的图像头中解码信息包括：从每个图像的图像头中解码该信息；或者，如果图像为帧间预测图像，则从图像头中解码该信息，如果图像为帧内预测图像，则该帧内图像对应的信息为可以正确解码。

13.一种视频码流，其特征在于传输了图像正确解码的信息，所述一个图像是否可以正确解码指该图像对应的随机访问点发生随机访问时该图像是否可以正确解码；所述对应的随机访问点指的是码流中当前图像之前最近的一个随机访问点，如果该信息指示该图像可正确解码，则该图像可以作为之后解码图像的参考图像，并且该图像的每个图像间预测单元的每个参考图像必须依次满足以下三个条件：a.在解码该图像时，该参考图像存在解码图像缓冲区中，且可以被参考；b.在码流中的位置上，该参考图像与当前图像之间没有随机访问点；c.参考图像是可以正确解码的图像；其中该信息在码流中的位置包括：在每个图像的图像头中，或者仅在帧间预测图像的图像头中。