CN111757119A - 一种软硬件协同工作实现vp9 prob更新的方法和存储设备 - Google Patents

Abstract

本发明涉及解码技术领域，特别涉及一种软硬件协同工作实现vp9 prob更新的方法和存储设备。所述一种软硬件协同工作实现vp9 prob更新的方法，包括步骤：在compressed_header解析过程中，解析得prob更新参数，判断prob更新参数是否为1，若prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。通过该方式，当硬件在进行当前图像解码时，软件在compressed_header解析过程中，解析得prob更新参数，若prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。即在硬件进行当前图像解码时，软件并不是单纯地在等待，而是在并行解码后续解码帧的prob，达到软硬件并行处理，加快解码速度。

Description

一种软硬件协同工作实现vp9 prob更新的方法和存储设备

技术领域

本发明涉及解码技术领域，特别涉及一种软硬件协同工作实现vp9 prob更新的方法和存储设备。

背景技术

在现有的技术vp9的解码过程中，如图1所示，uncompressed_header、load_prob/load_prob2、compressed_header目前都是由软件负责解析(即基于通用处理器cpu进行计算)；其他解码流程(decode_tiles、refresh_prob)是由硬件负责解析(基于视频解码芯片解析)。

所以，经过软件处理后，所有的压缩prob语法，都已经完成解码过程，得到了其真实的、没有压缩的语法值，再输入到硬件，硬件再完成后续的解码过程；而硬件的refresh_prob输出的prob语法，是当前帧完成解码后，更新的prob，供后续帧解码使用的。

软件在实现compressed_header的解析过程中，需要使用到之前解码输出prob(由语法frame_context_idx决定选择的之前哪一帧的输出prob)，所以也可能存在当前帧的解码输出的prob，用于更新下一帧compressed_head的prob输出解析，所以目前的处理方式中，软件的compressed_head需要等硬件完成当前帧的prob输出后，软件再读取当前帧prob，启动下一帧compressed_head解析，输出下一帧的prob后，再提供给硬件，启动硬件的下一帧图像解码；

其造成的问题在于，此种方式，软件解码compressed_head和硬件解码图像数据是串行解析，单帧的解码时长是软件解码compressed_head的时长加上硬件解码图像，从而可能导致实际产品视频播放过程中，单帧解码时长较长，解码帧率下降的问题出现。

发明内容

为此，需要提供一种软硬件协同工作实现vp9 prob更新的方法，用以解决现有vp9解码时长较长的问题，具体技术方案如下：

一种软硬件协同工作实现vp9 prob更新的方法，包括步骤：

在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。

进一步的，还包括步骤：

若prob类别为coef_probs，则在compressed_header解析过程中，解析得update_probs的值，判断所述update_probs的值是否为1，若所述update_probs的值为1，则通过软件计算delta_prob的值，通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值。

进一步的，还包括步骤：

若prob类别为mv_prob,则在compressed_header解析过程中，解析得update_mv_prob的值，判断所述update_mv_prob的值是否为1，若所述update_mv_prob的值为1，则通过软件计算mv_prob的值，通过硬件根据所述mv_prob的值计算得更新后的prob值。

进一步的，所述“通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值”，还包括步骤：

使用函数inv_remap_prob(delta_prob，pre_prob)作为更新后的prob值输出，所述pre_prob即所述之前帧的prob值。

进一步的，所述“通过硬件根据所述mv_prob的值计算得更新后的prob值”，还包括步骤：

使用mv_prob*2+1作为更新后的prob值输出。

为解决上述技术问题，还提供了一种存储设备，具体技术方案如下：

一种存储设备，其中存储有指令集，所述指令集用于执行：

在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。

进一步的，所述指令集还用于执行：

若prob类别为coef_probs，则在compressed_header解析过程中，解析得update_probs的值，判断所述update_probs的值是否为1，若所述update_probs的值为1，则通过软件计算delta_prob的值，通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值。

进一步的，所述指令集还用于执行：

若prob类别为mv_prob,则在compressed_header解析过程中，解析得update_mv_prob的值，判断所述update_mv_prob的值是否为1，若所述update_mv_prob的值为1，则通过软件计算mv_prob的值，通过硬件根据所述mv_prob的值计算得更新后的prob值。

进一步的，所述指令集还用于执行：

所述“通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值”，还包括步骤：

使用函数inv_remap_prob(delta_prob，pre_prob)作为更新后的prob值输出，所述pre_prob即所述之前帧的prob值。

进一步的，所述指令集还用于执行：

所述“通过硬件根据所述mv_prob的值计算得更新后的prob值”，还包括步骤：

使用mv_prob*2+1作为更新后的prob值输出。

有益效果：现有技术中，对于获取更新后的prob值均只能由硬件进行操作，软件必须等待硬件计算出更新后的prob值后才可以进行软件解码。而在本方案中，当硬件在进行当前图像解码时，软件在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。即在硬件进行当前图像解码时，软件并不是单纯地在等待，而是在并行解码后续解码帧的prob，(在现有技术中，当硬件在进行当前图像解码时，软件是无法并行处理解码后续解码帧的prob的，本发明中对代码做了改进，使得软件和硬件可以并行处理工作)用于后续硬件计算更新后的prob值，降低了实际解码时长，且硬件只需处理影响软件并行处理的部分，硬件设计复杂度低、资源开销小和解码速度快。

附图说明

图1为背景技术所述现有技术中vp9的解码过程示意图；

图2为具体实施方式所述一种软硬件协同工作实现vp9 prob更新的方法的流程图；

图3为具体实施方式所述prob类别为coef_probs时软硬件协同工作实现vp9 prob更新的方法的流程图；

图4为具体实施方式所述prob类别为mv_prob时软硬件协同工作实现vp9 prob更新的方法的流程图；

图5为具体实施方式所述一种软硬件协同工作实现vp9 prob更新的方法的软硬件解码分工架构图；

图6为具体实施方式所述硬件解码流程示意图；

图7为具体实施方式所述Compressed header()函数解析流程示意图；

图8为具体实施方式所述coef_probs示意图；

图9为具体实施方式所述一种存储设备的模块示意图。

附图标记说明：

900、存储设备。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

请参阅图2至图6，为更好地说明本发明的技术方案，首先对vp9协议中的Compressed_header()函数进行解析理解说明

如图7所示，为compressed_header解析流程，在上面所述的tx_mode_prob、coef_prob......mv_prob等语法的解析过程中，大致可以分成两大类，mv_prob自成一类，其他prob的解析为一类。

接下去，在本实施方式中，主要对mv_prob进行说明，其它prob中以coef_probs进行说明。

请参阅图2，在本实施方式中，一种软硬件协同工作实现vp9 prob更新的方法具体如下：

步骤S201：在compressed_header解析过程中，解析得prob更新参数。

步骤S202：所述prob更新参数是否为1？若所述prob更新参数为1，则执行步骤S203：通过软件计算第一prob值。

计算得第一prob值后，执行步骤S204：通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。

现有技术中，对于获取更新后的prob值均只能由硬件进行操作，软件必须等待硬件计算出更新后的prob值后才可以进行软件解码。而在本方案中，当硬件在进行当前图像解码时，软件在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。即在硬件进行当前图像解码时，软件并不是单纯地在等待，而是在并行解码后续解码帧的prob，(在现有技术中，当硬件在进行当前图像解码时，软件是无法并行处理解码后续解码帧的prob的，本发明中对代码做了改进，使得软件和硬件可以并行处理工作)用于后续硬件计算更新后的prob值，降低了实际解码时长，且硬件只需处理影响软件并行处理的部分，硬件设计复杂度低、资源开销小和解码速度快。

请参阅图3，若prob类别为coef_probs，具体如下：

如图8所示，coef_probs是非常多的系数prob的集合，通过码流，解析得到update_probs的值，如果update_probs＝1，那么代表当前帧使用的所有coef prob，有可能进行压缩，需要更新后使用，否则代表之前帧读取到的coef_probs可以直接使用。若需要更新，如图3所示：

步骤S301：若prob类别为coef_probs，则在compressed_header解析过程中，解析得update_probs的值。

步骤S302：所述update_probs的值是否为1？

若所述update_probs的值为1，则执行步骤S303：通过软件计算delta_prob的值。

计算好delta_prob的值后，执行步骤S304：通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值。

其中对于上述的更新操作，在vp9协议中具体的体现为调用diff_update_prob()函数，除了接下去会另外介绍的mv_prob以外，其他prob的计算，都是调用diff_update_prob()函数进行更新prob值的。

进一步的，在本实施方式中，所述“通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值”，还包括步骤：

使用函数inv_remap_prob(delta_prob，pre_prob)作为更新后的prob值输出，所述pre_prob即所述之前帧的prob值。

请参阅图4，若prob类别为mv_prob,其具体实施方式如下：

步骤S401：若prob类别为mv_prob,则在compressed_header解析过程中，解析得update_mv_prob的值。

步骤S402：所述update_mv_prob的值是否为1？

若所述update_mv_prob的值为1，则执行步骤S403：通过软件计算mv_prob的值。

计算好mv_prob的值后，执行步骤S404：通过硬件根据所述mv_prob的值计算得更新后的prob值。

进一步的，在本实施方式中，所述“通过硬件根据所述mv_prob的值计算得更新后的prob值”，还包括步骤：

使用mv_prob*2+1作为更新后的prob值输出。

在上述整个实施过程中，软件主要负责以下语法值的解析：

mv相关prob：软件在硬件解码当前帧图像数据时，可以预先解码后续帧的update_mv_prob语法值和mv_prob语法值；

其他prob语法：软件在硬件解码当前帧图像数据时，预先解码下一帧update_prob语法值和delta_prob语法值。

在本实施方式中，我们定义已经解码帧输出的prob为pre_prob，那么在上述软件计算过程中，不需要使用到pre_prob，所以如图5所示，软件处理部分，可以基于视频码流，就可以超前硬件，完成每一帧(Frame0～FrameN)需要使用的update_mv_prob、mv_prob、update_prob、delta_prob这四类语法值。

如图6所示，在上述整个实施过程中，硬件主要负责以下流程计算：

硬件在解码下一帧图像数据时，需要使用的已解码图像帧输出的prob(暂定义为pre_prob)，已经存放在DDR中，即当前帧解码，可以获取到pre_prob的值，完成compressed_header中的所有prob语法的解析，具体运算流程，

步骤S601：读取所有prob语法，获取pre_prob(之前解码帧输出)、mv_prob或delta_prob、update_mv_prob或update_prob(软件解码输出)；步骤S602:判断当前语法是否为mv相关prob(我们约定按照一定顺序存放prob，通过其所在的位置，即可以知道是否为mv相关prob语法)，是的话，进入步骤S603，否则进入步骤S604；

步骤S603：判断update_mv_prob语法是否为1，如果为1，那么执行步骤S605：Prob＝mv_prob*2+1，即当前使用的当前帧解码的mv_prob*2+1作为输出，否则执行步骤S606：Prob＝pre_prob，即使用pre_prob作为最终输出。

步骤S604：判断update_prob语法值是否为1，如果为1，则执行步骤S607：Prob＝inv_remap_prob(delta_prob，pre_prob)，即当前使用inv_remap_prob(delta_prob，pre_prob)作为最终输出，否则执行步骤S608：Prob＝pre_prob，即使用pre_prob作为最终输出。

所以，如图5虚线下半部分所述，硬件获取到之前已经解码输出的prob，以及软件解析输出的mv_prob、delta_prob、update_mv_prob、update_prob，按照图6所述的判断与计算流程，记得计算得到当前帧compressed_header函数中涉及到的所有prob语法值，拿到compressed_prob后，即可继续完成当前帧的图像解码。

通过本技术方案中的软硬件处理分工方式，可解决软硬件需要串行解析的问题，实现软硬件并行处理，提供vp9视频解码效率。

请参阅图9，在本实施方式中，所述存储设备900包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端等。其具体实施方式如下：

请参阅图3至图9，为更好地说明本发明的技术方案，首先对vp9协议中的Compressed_header()函数进行解析理解说明

如图7所示，为compressed_header解析流程，在上面所述的tx_mode_prob、coef_prob......mv_prob等语法的解析过程中，大致可以分成两大类，mv_prob自成一类，其他prob的解析为一类。

接下去，在本实施方式中，主要对mv_prob进行说明，其它prob中以coef_probs进行说明。

如图9所示，一种存储设备900，其中存储有指令集，所述指令集用于执行：

在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。

请参阅图3，若prob类别为coef_probs，具体如下：

如图8所示，coef_probs是非常多的系数prob的集合，通过码流，解析得到update_probs的值，如果update_probs＝1，那么代表当前帧使用的所有coef prob，有可能进行压缩，需要更新后使用，否则代表之前帧读取到的coef_probs可以直接使用。若需要更新，

进一步的，所述指令集还用于执行：

若prob类别为coef_probs，则在compressed_header解析过程中，解析得update_probs的值，判断所述update_probs的值是否为1，若所述update_probs的值为1，则通过软件计算delta_prob的值，通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值。

其中对于上述的更新操作，在vp9协议中具体的体现为调用diff_update_prob()函数，除了接下去会另外介绍的mv_prob以外，其他prob的计算，都是调用diff_update_prob()函数进行更新prob值的。

若prob类别为mv_prob,进一步的，所述指令集还用于执行：

若prob类别为mv_prob,则在compressed_header解析过程中，解析得update_mv_prob的值，判断所述update_mv_prob的值是否为1，若所述update_mv_prob的值为1，则通过软件计算mv_prob的值，通过硬件根据所述mv_prob的值计算得更新后的prob值。

进一步的，所述指令集还用于执行：

所述“通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值”，还包括步骤：

使用函数inv_remap_prob(delta_prob，pre_prob)作为更新后的prob值输出，所述pre_prob即所述之前帧的prob值。

进一步的，所述指令集还用于执行：

所述“通过硬件根据所述mv_prob的值计算得更新后的prob值”，还包括步骤：

使用mv_prob*2+1作为更新后的prob值输出。

在上述整个实施过程中，软件主要负责以下语法值的解析：

mv相关prob：软件在硬件解码当前帧图像数据时，可以预先解码后续帧的update_mv_prob语法值和mv_prob语法值；

其他prob语法：软件在硬件解码当前帧图像数据时，预先解码下一帧update_prob语法值和delta_prob语法值。

在本实施方式中，我们定义已经解码帧输出的prob为pre_prob，那么在上述软件计算过程中，不需要使用到pre_prob，所以如图5所示，软件处理部分，可以基于视频码流，就可以超前硬件，完成每一帧(Frame0～FrameN)需要使用的update_mv_prob、mv_prob、update_prob、delta_prob这四类语法值。

如图6所示，在上述整个实施过程中，硬件主要负责以下流程计算：

硬件在解码下一帧图像数据时，需要使用的已解码图像帧输出的prob(暂定义为pre_prob)，已经存放在DDR中，即当前帧解码，可以获取到pre_prob的值，完成compressed_header中的所有prob语法的解析，具体运算流程，

步骤S601：读取所有prob语法，获取pre_prob(之前解码帧输出)、mv_prob或delta_prob、update_mv_prob或update_prob(软件解码输出)；步骤S602:判断当前语法是否为mv相关prob(我们约定按照一定顺序存放prob，通过其所在的位置，即可以知道是否为mv相关prob语法)，是的话，进入步骤S603，否则进入步骤S604；

步骤S603：判断update_mv_prob语法是否为1，如果为1，那么执行步骤S605：Prob＝mv_prob*2+1，即当前使用的当前帧解码的mv_prob*2+1作为输出，否则执行步骤S606：Prob＝pre_prob，即使用pre_prob作为最终输出。

步骤S604：判断update_prob语法值是否为1，如果为1，则执行步骤S607：Prob＝inv_remap_prob(delta_prob，pre_prob)，即当前使用inv_remap_prob(delta_prob，pre_prob)作为最终输出，否则执行步骤S608：Prob＝pre_prob，即使用pre_prob作为最终输出。

所以，如图5虚线下半部分所述，硬件获取到之前已经解码输出的prob，以及软件解析输出的mv_prob、delta_prob、update_mv_prob、update_prob，按照图6所述的判断与计算流程，记得计算得到当前帧compressed_header函数中涉及到的所有prob语法值，拿到compressed_prob后，即可继续完成当前帧的图像解码。

通过本技术方案中的软硬件处理分工方式，可解决软硬件需要串行解析的问题，实现软硬件并行处理，提供vp9视频解码效率。

现有技术中，对于获取更新后的prob值均只能由硬件进行操作，软件必须等待硬件计算出更新后的prob值后才可以进行软件解码。而在本方案中，在该存储设备900中，当硬件在进行当前图像解码时，软件在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。即在硬件进行当前图像解码时，软件并不是单纯地在等待，而是在并行解码后续解码帧的prob，(在现有技术中，当硬件在进行当前图像解码时，软件是无法并行处理解码后续解码帧的prob的，本发明中对代码做了改进，使得软件和硬件可以并行处理工作)用于后续硬件计算更新后的prob值，降低了实际解码时长，且硬件只需处理影响软件并行处理的部分，硬件设计复杂度低、资源开销小和解码速度快。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。

Claims (10)

1.一种软硬件协同工作实现vp9 prob更新的方法，其特征在于，包括步骤：

在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。

2.根据权利要求1所述的一种软硬件协同工作实现vp9 prob更新的方法，其特征在于，还包括步骤：

若prob类别为coef_probs，则在compressed_header解析过程中，解析得update_probs的值，判断所述update_probs的值是否为1，若所述update_probs的值为1，则通过软件计算delta_prob的值，通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值。

3.根据权利要求1所述的一种软硬件协同工作实现vp9 prob更新的方法，其特征在于，还包括步骤：

若prob类别为mv_prob,则在compressed_header解析过程中，解析得update_mv_prob的值，判断所述update_mv_prob的值是否为1，若所述update_mv_prob的值为1，则通过软件计算mv_prob的值，通过硬件根据所述mv_prob的值计算得更新后的prob值。

4.根据权利要求2所述的一种软硬件协同工作实现vp9 prob更新的方法，其特征在于，

所述“通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值”，还包括步骤：

使用函数inv_remap_prob(delta_prob，pre_prob)作为更新后的prob值输出，所述pre_prob即所述之前帧的prob值。

5.根据权利要求3所述的一种软硬件协同工作实现vp9 prob更新的方法，其特征在于，

所述“通过硬件根据所述mv_prob的值计算得更新后的prob值”，还包括步骤：

使用mv_prob*2+1作为更新后的prob值输出。

6.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：

在compressed_header解析过程中，解析得prob更新参数，判断所述prob更新参数是否为1，若所述prob更新参数为1，则通过软件计算第一prob值，通过硬件根据第一prob值与之前帧的prob值计算得更新后的prob值。

7.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：

若prob类别为coef_probs，则在compressed_header解析过程中，解析得update_probs的值，判断所述update_probs的值是否为1，若所述update_probs的值为1，则通过软件计算delta_prob的值，通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值。

8.根据权利要求6所述的一种存储设备，其特征在于，所述指令集还用于执行：

若prob类别为mv_prob,则在compressed_header解析过程中，解析得update_mv_prob的值，判断所述update_mv_prob的值是否为1，若所述update_mv_prob的值为1，则通过软件计算mv_prob的值，通过硬件根据所述mv_prob的值计算得更新后的prob值。

9.根据权利要求7所述的一种存储设备，其特征在于，所述指令集还用于执行：

所述“通过硬件根据所述delta_prob的值与之前帧的prob值计算得更新后的prob值”，还包括步骤：

使用函数inv_remap_prob(delta_prob，pre_prob)作为更新后的prob值输出，所述pre_prob即所述之前帧的prob值。

10.根据权利要求8所述的一种存储设备，其特征在于，所述指令集还用于执行：

所述“通过硬件根据所述mv_prob的值计算得更新后的prob值”，还包括步骤：

使用mv_prob*2+1作为更新后的prob值输出。

Images