CN116614636A - 视频解码方法和装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了视频解码方法和装置、电子设备和存储介质。该方法包括：从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中，累积概率分布信息包括存储模式以及根据存储模式排列合在一起的累积概率表和计数数值；根据随机存取存储器中的累积概率表对视频的待解码区域编码格式进行解码，并将与累积概率表相对应的计数数值加一；若在解码过程中下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回随机存取存储器；当视频的待解码区域编码格式解码结束后，将写回随机存取存储器中的累积概率表写入内存中，并将与所有累积概率表相对应的计数数值清零，以更新累积概率分布信息。

Description

视频解码方法和装置、电子设备和存储介质

技术领域

本发明涉及视频解码技术领域，特别涉及视频解码方法和装置、电子设备和存储介质。

背景技术

视频编码格式AV1的基于上下文的自适应二进制算术编码(cabac)需要用到累积概率表cdf(15bit)，但是cdf在解码前要事先存放在随机存取存储器中，由于不同语法的元素个数不一样，给cdf的存储带来很大的不便。

若每个语法的每一组cdf都各存放在一个单元，那么资源消耗大。

若把所有的语法无缝拼接存储，则会出现计算存储地址比较麻烦，要动用到乘法器来计算地址，且会大部分出现跨单元的情况。

此外，与cdf配套的计数数值count(6bit)独立存储，还需要一套额外的读写控制。

发明内容

本发明所要解决的技术问题是提供视频解码方法和装置、电子设备和存储介质，不需要额外对累积概率表设置一套读写控制单元，节省随机存取存储器的资源。

在本发明的一个方面，提供一种视频解码方法。该方法包括步骤：从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中，所述累积概率分布信息包括存储模式以及根据所述存储模式排列合在一起的所述累积概率表和所述计数数值；根据所述随机存取存储器中的累积概率表对视频的待解码区域编码格式进行解码，并将与所述累积概率表相对应的计数数值加一；若在解码过程中下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回所述随机存取存储器；以及当所述视频的待解码区域编码格式解码结束后，将写回所述随机存取存储器中的所有累积概率表写入所述内存中，并将与所有所述累积概率表相对应的计数数值清零，以更新累积概率分布信息。

在本发明的另一方面，提供一种视频解码装置。该装置包括存储器，被配置为存储视频；以及一个或多个处理器，被配置为执行上述的视频解码方法。

在本发明的又一方面，提供一种电子设备。该电子设备包括存储器，被配置为存储处理器可执行程序；以及处理器，被配置为执行所述程序使得所述电子设备执行上述的视频解码方法。

在本发明的再一方面，提供一种计算机可读介质。该介质上存储有计算机程序，所述计算机程序被处理器执行以实现上述的视频解码方法。

根据本发明，从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中，由于累积概率分布信息包括存储模式以及根据存储模式排列合在一起的累积概率表和计数数值，因此能够将累积概率表及其计数数值合在一起存储，减少了额外对计数数值的读写控制单元，所用的随机存取存储器也合为一个，节省随机存取存储器的资源，并且按照存储模式对应存储，能够提高快速定位数据位置。使用随机存取存储器中的累积概率表对视频的待解码区域编码格式进行解码，并将累积概率表对应的计数数值加一，在解码过程中，若下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回随机存取存储器，以此方式，在随机存取存储器中能够存储下每个语法所使用过的累积概率表，当解码结束后，将使用过的所有累积概率表再写回内存中，将计数数值清零，以便于后续区域解码时直接使用。

附图说明

图1为根据本发明实施例的视频解码方法的流程图；

图2为本发明实施例的视频解码方法的模块图；

图3为本发明实施例的累积概率分布信息中的累积概率表及其计数数值的存储示意图；

图4为本发明实施例的累积概率分布信息中的累积概率表及其计数数值的存储示意图；

图5为本发明实施例的视频解码装置的示意图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

在已有技术中，累积概率表和与其配套的计数数值在存储上因各语法的元素个数不同，存储过程中存在很大的不便。

为了解决至少上述技术问题，本公开提供了视频解码方法。根据本公开，将视频编码格式的累积概率表及其计数数值，根据对应的存储模式合在一起存储，在解码过程中将使用过的累积概率表及其计数数值存在随机存取存储器中，每次对待解码区域解码结束后都会将其使用过的累积概率表写回内存。以此方式，根据本公开的实施例能够减少额外对计数数值的读写控制单元，也便于后续区域解码时直接使用已解码使用过的累积概率表，提高解码效率。

下文中，将参考具体实施例并且结合附图描述根据本公开的技术方案。

图1是示出根据本公开的实施例的视频解码方法100的流程图。参照图1，该方法100包括以下步骤102至步骤108。

在步骤102，从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中，所述累积概率分布信息包括存储模式以及根据所述存储模式排列合在一起的所述累积概率表和所述计数数值。

在一些实施例中，根据累积概率分布信息的每个单元中最高的四个比特确定存储模式。存储模式包括可存储的累积概率表及其计数数值的组数，以及每组累积概率表最多存储的元素数量，累积概率表及其计数数值的组数合并存储。根据待解码区域的存储模式，选择与待解码区域的存储模式对应的单元，存储待解码区域的累积概率表及其计数数值。

以此方式，根据存储模式进行累积概率表及其计数数值的存储，通过合理的数据存储，空间利用率高，节约存储器资源。

在一些实施例中，根据每个单元中最高的四个比特确定累积概率表及其计数数值的位置。以此方式，提高数据的定位效率，并且相较于现有的无缝拼接存储方法，本实施例不需要使用乘法器计算存储地址。

在一些实施例中，将累积概率表及其对应的计数数值作为第一数据组合，将第一数据组合连续存储在一个单元中；或者，将需要存储在一个单元中的所有累积概率表和所有计数数值分开存储。以此方式，提高存储的空间利用率，同时利于查找。

在一些实施例中，获取待解码区域当前语法的累积概率表数量和累积概率表的元素个数，将元素个数减一后结合累积概率表数量匹配随机存取存储器中的存储模式，存储累积概率表及其计数数值。以此方式，由于累积概率表中的最后一个元素为所有元素的累积总概率，这一数值是相同的，因此可以不用存储该数据，从而减少存储数据量，并且多个语法只要元素个数相同的，就可以采用同一种存储模式，避免每一组累积概率表都各存放在一个单元的情况。

在步骤104，根据所述随机存取存储器中的所述累积概率表对视频的待解码区域编码格式进行解码，并将与所述累积概率表相对应的所述计数数值加一。

在步骤106，若在解码过程中下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回所述随机存取存储器。

在步骤108，当所述视频的待解码区域编码格式解码结束后，将写回所述随机存取存储器中的所有累积概率表写入所述内存中，并将与所有所述累积概率表相对应的所述计数数值清零，以更新所述累积概率分布信息。

在一些实施例中，从内存中获取更新后的累积概率表，根据更新后的累积概率表对视频的下一个待解码区域进行解码，直至将视频一帧中的所有待解码区域均解码完成；在视频一帧中所有待解码区域中选择一个待解码区域的解码情况更新所述累积概率表，并进行下一帧的解码。

以此方式，在每帧要更新到内存时，可以根据存储模式，把相应的计数数值清0，这样后续帧使用时，就可以直接用。

下文中，将通过示例描述根据本发明实施例的视频解码方法及设备的应用场景。

图2是示出根据本发明实施例的视频解码方法的模块图200。

首先，从双倍速率内存(DDR)中装载累积概率表的信息，存放在随机存取存储器中。

其次，将视频的每一帧划分为多个区域，在解码过程中，从随机存取存储器读出相应的累积概率表给视频编码格式AV1的基于上下文的自适应二进制算术编码(AV1_CABAC_DEC)使用。

若下一个语法与当前语法不一样，则要把当前语法的累积概率表回写到随机存取存储器中。

在当前区域解码结束后，需要更新当前区域的累积概率表，则要将随机存取存储器中的所有累积概率表再回写到DDR内存中，回写时顺便把累积概率表相应的计数数值清零。

待解码区域是一个矩形区域，即将一帧图像划分为多个矩形区域，每个区域是独立编码和独立解码的。对于累积概率表的应用，各矩形区域之间是互不干扰的，一帧的所有矩形区域用的累积概率表初始值是一样的，而矩形区域内部则根据各个矩形区域的解码情况去更新迭代累积概率表。

码流中会事先指定哪个矩形区域的累积概率表需要存储给下一帧使用，当解码到相应的矩形区域时，解码完后就把对应的累积概率表写到DDR内存中。

因每个矩形区域开始时，语法的解码计数是要重新开始计的，所以可以选择开始进行矩形区域解码时将累积概率表对应的计数数值清零，也可以解码结束后将计数数值位置清零。而选择回写时将计数数值相应位置清零是可以根据整体硬件设计来定的。

图3是示出根据本发明实施例的累积概率分布信息中的累积概率表及其计数数值的存储示意图。

cdf是指累积分布函数(cumulative distribution function)，是指累积概率表，是概率密度函数的积分，能完整描述一个随机变量的概率分布。count用于计算变量或符号被解码的次数，解码次数最多为32次。一个变量或符号被解码后，若其相应的count小于32，则会将count加1，再通过更新公式得到新的cdf值。count的作用就是为了更新cdf，且一个变量就需要一个count来计数。

本实施例是将AV1的cdf与count的排列合在一起，cdf的每个元素为15bit，元素最多的cdf有一组15个，对应一个count(6bit)，再加上放在最高的Nbit，用来表示count的位置，这里的N目前可以分成多档，如cdf_reg[255]为1时，该单元有5个count，每个语法最多3个元素；

当cdf_reg[255]值为0时，则要判断cdf_reg[254:252]的值，目前总共列出五种，剩下的为以后扩展用。

参照图3，图3中的“b”表示“bit”，cdf_reg[255:0]对应着每个单元的内容，最高4bit cdf_reg[255:252]为存储模式cdf_count_mode，用来标记count的位置，图3中的斜线部分为备用空间reserve，即表示暂时没用到。

当cdf_count_mode＝＝0时，表示该单元只有1个count，每个语法最多15个元素，count的位置在cdf_reg[15*15+5:15*15]。

当cdf_count_mode＝＝1时，表示该单元有2个count，每个语法最多8个元素，count的位置分别在：

cdf_reg[15*16+6+5:15*16+6]；

cdf_reg[15*8+5:15*8]。

当cdf_count_mode＝＝2时，表示该单元有4个count，每个语法有4个或者3个元素，count的位置分别在：

cdf_reg[15*15+6*3+5:15*15+6*3]；

cdf_reg[15*12+6*2+5:15*12+6*2]；

cdf_reg[15*8+6*1+5:15*8+6*1]；

cdf_reg[15*4+5:15*4]。

当cdf_count_mode＝＝3时，表示该单元有12个count，每个语法最多1个元素，count的位置分别在：

cdf_reg[15*12+6*11+5:15*12+6*11]；

cdf_reg[15*11+6*10+5:15*11+6*10]；

cdf_reg[15*10+6*9+5:15*10+6*9]；

cdf_reg[15*9+6*8+5:15*9+6*8]；

cdf_reg[15*8+6*7+5:15*8+6*7]；

cdf_reg[15*7+6*6+5:15*7+6*6]；

cdf_reg[15*6+6*5+5:15*6+6*5]；

cdf_reg[15*5+6*4+5:15*5+6*4]；

cdf_reg[15*4+6*3+5:15*4+6*3]；

cdf_reg[15*3+6*2+5:15*3+6*2]；

cdf_reg[15*2+6*1+5:15*2+6*1]；

cdf_reg[15*1+5:15*1]。

若遇到有的语法里有多组概率表，则就当作多个语法来存储的。

例如，Default_Partition_W8_Cdf有4组，每一组的元素有4个，因为最后一个元素是固定为32768，所以只要存3个元素，每一组存有的count不需要存储；可见，Default_Partition_W8_Cdf就可以用cdf_count_mode＝＝2的存放方法进行存放。

若干个cdf与count排列在一起，且count的存放位置不一样，是因为AV1的语法变量的值大部分都是不相同的。例如：Default_Segment_Id_Cdf范围是0～7，表示segment_id这个语法解码出来的值是在0～7范围内的，只要解码segment_id一次，count就会累加1，直到segment_id的count等于32后才保持count为32。假设当前解码出来的segment_id为4，则4～7的元素的cdf值会累加一定概率值，而0～3的元素的cdf会减去相应的概率值。

图4为本发明实施例的累积概率分布信息中的累积概率表及其计数数值的存储示意图。

在一些实施例中，参照图4，图4中的“b”表示“bit”，把语法都紧凑存放，而语法相应的count也紧凑存放。这里存放的元素个数，实际上是表示语法的范围，如segment_id的语法范围是0～7，则是按cdf_count_mode＝＝1来存放。

可知，多个语法只要元素个数相同的，就可以采用同一种cdf_count_mode。例如，mv_bit的cdf有10组概率表，每组有2个元素，说明mv_bit的值有两个，为0和1，第一列是0出现的概率，第二列是0和1出现的总概率，为32768，因第二列的值是固定的，所以不需要存储，第三列是count的初始值。对于mv_bit的cdf，就将10组的cdf，总共为10个元素，存放在cdf_count_mode＝＝3对应的存储方式中，而该存储方式中最多可以存放12个，则存放在低10个位置，高2个位置空闲着不存放。

又如，cfl_sign的cdf只有1组概率表，有8个元素，说明cfl_sign的值有8个，为0到7，第一列是0出现的概率，第二列是0和1出现的总概率，以此类推，因第八列的值是固定的，所以不需要存储，第九列是count的初始值。对于cfl_sign的cdf，要存放7个元素，存放在cdf_count_mode＝＝1对应的存储方式中，再找一个同样不大于8个元素的cdf，拼凑存储。

根据本发明的另一方面，图5是示出根据本发明实施例的视频解码装置500的示意图。参照图5，该视频解码装置500包括存储器502和处理器504。

所述存储器502被配置为存储视频等。

所述处理器504被配置为从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中，所述累积概率分布信息包括存储模式以及根据所述存储模式排列合在一起的所述累积概率表和所述计数数值。所述处理器504被配置为根据所述随机存取存储器中的所述累积概率表对视频的待解码区域编码格式进行解码，并将与所述累积概率表相对应的所述计数数值加一。所述处理器504被配置为若在解码过程中下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回所述随机存取存储器。此外，所述处理器504被配置为当所述视频的待解码区域编码格式解码结束后，将写回所述随机存取存储器中的所有累积概率表写入所述内存中，并将与所有所述累积概率表相对应的所述计数数值清零，以更新所述累积概率分布信息。

在一些实施例中，所述处理器504被配置为执行如上面描述的视频解码方法的各个步骤，在此不再赘述。

在一些实施例中，该视频解码装置500为芯片。

根据本发明的又一方面，提供了一种计算机可读介质。该计算机可读介质上存储有计算机程序，该计算机程序被处理器执行以实现如上面描述的视频解码方法。

根据本发明的又一方面，提供了一种电子设备。该电子设备包括存储器和处理器。存储器存储有处理器可执行程序。处理器执行该程序使得所述电子设备实现如上面描述的视频解码方法。

综上所述，本发明提供的视频解码方法和装置、电子设备及存储介质，从内存中将视频编码格式的累积概率表及其计数数值根据对应的存储模式合并存放至随机存取存储器中，能够将累积概率表及其计数数值合在一起存储，减少了额外对计数数值的读写控制单元，所用的随机存取存储器也合为一个，节省随机存取存储器的资源，并且按照存储模式对应存储，能够提高快速定位数据位置。并且本发明中的存储方法属于半紧密排序，将计数数值信息插入对应的累积概率表，提高了存储空间的利用率，且累积概率表及其计数数值的定位效率高，不需要乘法器计算其地址，且累积概率表及其计数数值的更新是同步的，读写控制单元只需用一套。同时，累积概率表及其计数数值的存储方法中，一个单元为256bit，能够与总线位宽128bit对应。

使用随机存取存储器中的累积概率表对视频的待解码区域编码格式进行解码，并将累积概率表对应的计数数值加一，在解码过程中，若下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回随机存取存储器，以此方式，在随机存取存储器中能够存储下每个语法所使用过的累积概率表，当解码结束后，将使用过的所有累积概率表再写回内存中，将计数数值清零，以便于后续区域以及后续帧解码时直接使用。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种视频解码方法，其特征在于，包括：

从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中，所述累积概率分布信息包括存储模式以及根据所述存储模式排列合在一起的所述累积概率表和所述计数数值；

根据所述随机存取存储器中的所述累积概率表对视频的待解码区域编码格式进行解码，并将与所述累积概率表相对应的所述计数数值加一；

若在解码过程中下一个语法与当前解码的语法不同，则将当前解码的语法的累积概率表写回所述随机存取存储器；以及

当所述视频的待解码区域编码格式解码结束后，将写回所述随机存取存储器中的所有累积概率表写入所述内存中，并将与所有所述累积概率表相对应的所述计数数值清零，以更新所述累积概率分布信息。

2.根据权利要求1所述的视频解码方法，其特征在于，从内存中存储的累积概率分布信息获取视频编码格式的累积概率表及其计数数值以存放至随机存取存储器中包括：

根据所述累积概率分布信息的每个单元中最高的四个比特确定存储模式，所述存储模式包括可存储的累积概率表及其计数数值的组数、以及每组累积概率表最多存储的元素数量，所述累积概率表及其计数数值的组数合并存储；

根据待解码区域的存储模式，选择与待解码区域的存储模式对应的单元，存储待解码区域的累积概率表及其计数数值。

3.根据权利要求2所述的视频解码方法，其特征在于，所述累积概率表及其计数数值的组数合并存储包括：

将所述累积概率表及其对应的计数数值作为第一数据组合，将所述第一数据组合连续存储在一个单元中；或者

将需要存储在一个单元中的所有累积概率表和所有计数数值分开存储。

4.根据权利要求2所述的视频解码方法，其特征在于，根据所述累积概率分布信息的每个单元中最高的四个比特确定存储模式包括：

判断每个单元中最高比特是否为1；

若是，则所述单元的存储模式为存储5组累积概率表及其计数数值，每组累积概率表最多存储3个元素；

否则，根据每个单元中最高的四个比特的取值确定可存储的累积概率表及其计数数值的组数、以及每组累积概率表最多存储的元素数量。

5.根据权利要求4所述的视频解码方法，其特征在于，根据每个单元中最高的四个比特的取值确定可存储的累积概率表及其计数数值的组数、以及每组累积概率表最多存储的元素数量包括：

若每个单元中最高的四个比特的取值为0，则存储模式为存储1组累积概率表及其计数数值，每组累积概率表最多存储15个元素；

若每个单元中最高的四个比特的取值为1，则存储模式为存储2组累积概率表及其计数数值，每组累积概率表最多存储8个元素；

若每个单元中最高的四个比特的取值为2，则存储模式为存储4组累积概率表及其计数数值，每组累积概率表最多存储4个元素；

若每个单元中最高的四个比特的取值为3，则存储模式为存储12组累积概率表及其计数数值，每组累积概率表最多存储1个元素。

6.根据权利要求2所述的视频解码方法，其特征在于，根据所述累积概率分布信息的每个单元中最高的四个比特确定存储模式还包括：

根据每个单元中最高的四个比特确定累积概率表及其计数数值的位置。

7.根据权利要求2所述的视频解码方法，其特征在于，根据待解码区域的存储模式，选择与待解码区域的存储模式对应的单元，存储待解码区域的累积概率表及其计数数值包括：

获取所述待解码区域当前语法的累积概率表数量和累积概率表的元素个数，将所述元素个数减一后结合累积概率表数量匹配随机存取存储器中的存储模式，存储累积概率表及其计数数值。

8.根据权利要求1所述的视频解码方法，其特征在于，在将与所有所述累积概率表相对应的所述计数数值清零之后，还包括：

从内存中获取更新后的累积概率表，根据更新后的累积概率表对视频的下一个待解码区域进行解码，直至将视频一帧中的所有待解码区域均解码完成。

9.根据权利要求8所述的视频解码方法，其特征在于，在将视频一帧中的所有待解码区域均解码完成之后，还包括：

在视频一帧中所有待解码区域中选择一个待解码区域的解码情况更新所述累积概率表，并进行下一帧的解码。

10.一种视频解码装置，包括：

存储器，被配置为存储视频；以及

一个或多个处理器，被配置为执行根据权利要求1至9中任意一项所述的视频解码方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现根据权利要求1至9中任意一项所述的视频解码方法。

12.一种电子设备，包括：

存储器，被配置为存储处理器可执行程序；以及

处理器，被配置为执行所述程序使得所述电子设备执行根据权利要求1至9中任意一项所述的视频解码方法。