CN103067703A - 减小传输带宽的网络视频通信系统和方法 - Google Patents

Abstract

本发明提供减小传输带宽的网络视频通信系统的编码方法和系统，对于每一个编码图像，先判断其是否是必需显示的图像；如果不是，正常编码；如果是，除了选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，分别针对不同的参考帧进行运动估计和残差块计算，并分别对不同的参考帧的运动向量和残差块进行编码，并分别存储在不同的地址中。这样在解码出错时可以只恢复必需显示的图像，能够在不影响图像显示的流畅性的基础上，避免跳过重要情节而影响收看，使得用户体验更佳。

Description

减小传输带宽的网络视频通信系统和方法

 

技术领域

本发明涉及网络视频传输领域，尤其涉及一种用于减小传输带宽、提高容错能力的网络视频通信系统及其上的编码方法。

 

背景技术

现在是视频媒体网络化的时代，有很多网站能够为移动终端、电视、个人计算机提供着丰富多彩的视频节目。然而视频中的信息量极大，如高清视频，720P（1280*720）单幅图像的数据量为1280*720*24/8/1024=21600Kbit,如果每秒钟传输24帧图像，则每秒钟要传输的数据达到518.4Mb，即带宽是518M。因此，视频数据需要压缩，很多视频网站，如Youbute将高清视频压缩，甚至到800Kbps。

视频的压缩方法有很多种，但一般都采取图像间压缩方法，它是基于许多动态图像连续前后两幅图像之间具有时间相关性，即前后两幅画面之间图像变化很小的特点。图像间变化小说明连续的动态图像的相邻图像之间具有冗余信息，根据这一特性，压缩相邻图像之间的冗余量就可以进一步提高压缩量，减小压缩比。图像压缩也称为时间压缩（Temporal compression）。

时间压缩，如图1A所示，正常情况下，即没有出现解码错误图像的情况下，视频解码过程的相邻图像之间进行信息参考的关系,参考的关系使用箭头表示,箭头起点图像表示依赖其他图像的解码图像,而箭头终点图像表示解码图像所依赖的被依赖图像。只有被依赖图像得到正确解码，才能正确地解码依赖它的解码图像，如图1A中，第2帧的解码依赖第1帧是否被正确解码，第3帧的解码依赖第2帧是否被正确解码，第4帧的解码依赖第3帧是否被正确解码，第5帧的解码依赖第4帧是否被正确解码。

之所以当前解码图像会依赖前面的解码图像，原因是图像间编码的机制。编码时，当前图像被分为多个块，每个块在前面一个被称为参考图像（即依赖的解码图像）的图像中寻找相似的图像块，从而，用这个找到的图像块预测当前编码图像块，即得到当前块图像与相似图像块的差值。并将差值以及相似图像块相对于当前编码块的位置关系编码后传送给解码端，解码端解码时，解码得到图像块之间的差值之后还需要得到对应的相似图像块。通过解码得到的相似图像块相对于当前编码块的位置关系，从之前解码得到的依赖图像中找到对应相似图像块。将相似图像块与差值相加得到解码后的图像。

如果在解码中间有一帧的码流数据出现错误，如图1B所示，第3帧的码流数据由于传输过程中的问题，解码端未能正确解码该帧，结果由于第4帧解码时需要参考第3帧的数据，因此，导致第4帧也不能被正确解码，而第5帧由于依赖第4帧的正确解码，因此也不能被正确解码。

另一方面，由于网络中数据传输的不可靠性，数据传输存在一定的丢包率，并且数据包传输的时延也不稳定。为此，移动终端、电视和个人计算机等设备为用户提供高质量的视频服务时，必需要缓存一定时间长度的视频数据，以减小波动性。

然而，用户的网络带宽有时有限，如移动设备通过无线连接，数据传输的问题会更突出，在解码并观看视频时，常常因为数据接续不上而停顿。如果网络丢包率高的话，常常需要请求视频网站服务器重新发送丢送的数据包，使视频传输的问题变得更加突出。为此，本发明提出一种能够减少视频数据传输量，使网络视频播放更流畅的方法和系统。

 

发明内容

针对现有技术中存在的上述问题，本发明的目的在于提供一种用于减小传输带宽的网络视频通信系统及其上的编码方法，其能够在解码出错时可以只恢复必需显示的图像，在不影响图像显示的流畅性的基础上，避免跳过重要情节而影响收看，使得用户体验更佳。

为了实现上述目的，本发明提供一种减小传输带宽的网络视频通信系统的编码方法，其特征在于:视频图像包括多个图像，对于每一个图像在编码时，需要首先判断其是否是重要图像，重要图像必需显示。

当判断当前编码图像不是必需要显示的重要图像时，选择一个最优的参考帧作为第一参考帧进行编码；将当前编码图像划分成多个编码块；选择第一参考帧作为运动估计的参考帧对每一个编码块作第一运动估计；根据第一运动估计得到的第一运动向量计算出第一残差图像块；编码第一差残差图像块和第一运动向量；将第一残差图像块和第一运动向量的编码信息存储在第一地址。

当判断当前编码图像是必需要显示的重要图像时，选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，在运动估计之前，先将当前编码图像分隔成多个编码块，选择第二参考帧作为运动估计的参考帧对每一个编码块作第二运动估计，选择第三参考帧作为运动估计的参考帧对每一个编码块作第三运动估计；根据第二运动估计得到的第二运动向量计算出第二残差图像块，根据第三运动估计得到的第三运动向量计算出第三残差图像块；编码第二差残差图像块和第二运动向量，编码第三差残差图像块和第三运动向量；将第二残差图像块和第二运动向量的编码信息存储在第一地址，将第三残差图像块和第三运动向量的编码信息存储在第二地址，第二地址是不同于第一地址的网站视频服务器地址。

对于必需显示的重要图像，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中。

无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。

本发明还提供了一种减小传输带宽的网络视频通信系统，其特征在于：该系统包括判断模块、参考帧选择模块、运动估计模块、残差计算模块、编码模块、必需显示图像存储模块、编码数据存储模块和标识加入模块。

其中判断模块，其判断当前编码图像是否是必需显示的重要图像。

参考帧选择模块，对于当前编码图像是必需显示图像时，则选择两个参考帧，第一个参考帧是最优参考图像，第二参考帧是前一个必需显示的图像；对于当前编码图像不是必需显示图像时，则只选择最优参考图像作为第三参考图像。

运动估计模块，对于当前编码图像是必需显示图像时，在第一个参考帧和第二参考帧中分别对当前编码图像块进行运动估计，分别得到第一运动向量和第二运动向量；对于当前编码图像不是必需显示图像时，在第三参考图像中对当前编码图像块进行运动估计得到第三运动向量。

残差计算模块，对于当前编码图像是必需显示图像时，根据第一参考图像中的第一运动向量计算出第一残差图像块, 根据第二参考图像中的第二运动向量计算出第二残差图像块；对于当前编码图像不是必需显示图像时，根据第三参考图像中的第三运动向量计算出第三残差图像块。

编码模块, 对于当前编码图像是必需显示图像时，对第一运动向量和第一残差图像块编码并由编码数据存储模块将它们存储在第一地址中, 对第二运动向量和第二残差图像块编码并由编码数据存储模块将它们存储在第二地址中；对于当前编码图像不是必需显示图像时，对第三运动向量和第三残差图像块编码并由编码数据存储模块将它们存储在第一地址中。

必需显示图像存储模块, 对于当前编码图像是必需显示图像时，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中。

标识加入模块, 无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。

本发明通过跳过不必需显示的出错图像，从而减轻网络视频传输的带宽，同时让用户终端的播放更加流畅，也不会影响收看，使得用户体验更佳。

 

附图说明

图1A是没有出现差错图像时的视频解码过程示意图。

图1B是现有技术中视频解码过程中出现差错图像后造成的图像解码问题示意图。

图1C是本发明针对视频解码过程中出现差错图像造成的图像解码问题所采取的改进技术示意图。

图2是本发明减小传输带宽的网络视频通信系统的编码流程示意图。

图3是本发明减小传输带宽的网络视频通信系统的解码流程示意图。

图4是本发明减小传输带宽的网络视频通信系统的系统结构示意图。

图5是本发明判断是否是必需显示图像的判断模块示意图。

 

具体实施方式

为了使发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施方式，对本发明进一步详细说明。应当理解所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

图1C示出了本发明针对视频解码过程中出现差错图像造成的图像解码问题所采取的改进技术示意图。和图1B中示出的情况相同，第3帧图像由于网络传输的问题，第4帧无法参考第3帧的数据，而无法从第4帧到第3帧的参考路线中获得解码。而图1C中显示第4帧还可以参考第1帧而获取。由于第1帧被正确解码，因此，第4帧可以参考第1帧得到正确解码，而第5帧参考第4帧，也可以得到正确解码。

图2示出了本发明减小传输带宽的网络视频通信系统的编码流程示意图。动态图像包括多个图像，对于每一个图像在编码时，需要首先判断其是否是重要图像，重要图像必需显示。判断必需显示图像的方法包括以下一种或多种：1）场景切换时的第一幅图像（如图1A中的第1帧）认定为必需显示图像；2）当前编码图像是帧内编码图像时认定为必需显示图像；3）图像对应有音频的播放认定为必需显示图像；4）图像中两个重要目标对象位置发生变化时的图像（如图1A中第4帧，运动员与球到达接触的位置关系）认定必需显示图像。其中场景切换时的第一幅图像和当前编码图像是帧内编码图像两种情况下，一般认定为必需显示图像。

当判断当前编码图像不是必需要显示的重要图像时，就可以选择一个最优的参考帧作为第一参考帧进行编码，选择参考帧可以采用分别选择多个帧作为参考帧进行运动估计、预测和编码，对这些编码的码流进行率失真比较，选择率失真最小的参考帧作为最优参考帧，当然也不限于此，任何选择最优参考帧的方法都可以运用在本发明中。编码的具体过程是：将当前编码图像划分成多个编码块。可以将图像分隔成16*16、16*8、8*16、8*8、8*4、4*8、4*4等多种方式，甚至可以采用可变大小，即不同位置的图像块大小不同；选择第一参考帧作为运动估计的参考帧对每一个编码块作第一运动估计；根据第一运动估计得到的第一运动向量计算出第一残差图像块，即当前编码图像块逐像素减去参考帧中第一运动向量对应的图像块得到的差值图像块；编码第一差残差图像和第一运动向量，可以使用熵编码、算术编码来编码，H.264、H.263、MPEG4等编码标准提供的编码方式；将第一残差图像和第一运动向量的编码信息存储在第一地址，第一地址可以是一个某个站点的单独的文件。

当判断当前编码图像是必需要显示的重要图像时，首先，选择参考帧，根据图1C显示的方法，对于重要图像可以选择两个参考图像，分别使用它们进行运动估计和残差图像块计算，并分别编码运动估计秘得的运动向量和残差图像，最后将它们存储在不同的地方，这样一旦解码端没有得到最优参考图像，它还可以通过上一个必需编码的编码帧作为参考图像来解码得到当前图像,增强了错误恢复的能力。

编码端默认传递给解码端的是最优参考帧的运动向量和相应的残差块编码数据，当解码过程中由于网络丢包等情况的影响导致某一帧无法解码时，其后续的直接或间接参考该帧的图像也无法正确解码。这时需要重传图像进行图像解码的恢复。

对于后续图像中非必需显示的图像，不要求重传数据，直接跳过显示，从而使网络视频播放更加顺畅。而对于其中涉及重要情节的必需显示的图像，需要重传数据，但因为该重要的必需显示的图像所需要的参考图像有可能也没有传递过来，所以重传直接要求重传对应于该必需显示图像的另一个参考图像——上一个必需显示图像的运动向量及残差图像块编码信息，这样就可以通过它们进行当前必需显示编码图像的解码和显示，从而即不影响图像显示的流畅性，也不至于跳过了重要情节而影响收看。

因此具体编码过程如下：选择最优参考帧作为第二参考帧，选择方法可以和第一参考帧的方法一样；另外选择上一个必需显示的图像作为第三参考帧。在运动估计之前，先将当前编码图像分隔成多个编码块。选择第二参考帧作为运动估计的参考帧对每一个编码块作第二运动估计，选择第三参考帧作为运动估计的参考帧对每一个编码块作第三运动估计；根据第二运动估计得到的第二运动向量计算出第二残差图像块，根据第三运动估计得到的第三运动向量计算出第三残差图像块；编码第二差残差图像块和第二运动向量，编码第三差残差图像块和第三运动向量；将第二残差图像块和第二运动向量的编码信息存储在第一地址，将第三残差图像块和第三运动向量的编码信息存储在第二地址，第二地址是不同于第一地址的网站视频服务器地址，甚至可以是与第一地址不同服务器上的地址。

在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中，当前编码图像的像素值最好是编码端对编码后的信息进行解码得到的重构图像，也可以是当前编码图像的原始像素值。必需显示图像存储装置的空间大小可以是只允许存储一帧图像，因此在存储时，替换之前存储的必需显示图像。

无论当前编码图像是不是必需要显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。第三地址可以是第一地址，也可以是不同于第一地址的网站视频服务器地址，甚至可以是与第一地址不同服务器上的地址。

图3示出了本发明减小传输带宽的网络视频通信系统的解码流程示意图。可以看出，在按照图2所示的流程编码视频数据之后,还可以包括在用户电子设备（如个人计算机，移动终端、电视机）上的解码步骤：首先确定最优参考帧，通过帧号来确定最优参考帧，最优参考帧的帧号可以通过码流传递到解码端，也可以按照编码端和解码端预设的设定准则确定最优参考帧的帧号；判断最优参考帧是否被正确解码；如果是，就正常解码当前图像（即解码运动向量、残差图像块、并加和残差图像块和运动向量所指图像块形成重构图像块，组合重构图像块形成解码图像），完成当前帧解码过程；如果否，判断当前解码图像是否是必需显示的图像，判断是通过编码端传递过来的标识（该标识指示了当前图像是否是必需显示的图像）；如果不是必需显示的图像，跳过当前图像的解码和显示，完成当前帧解码过程；如果是必需显示的图像，请求网络服务器重传当前解码图像的、对应于上一个必需显示图像作为参考图像时的运动向量编码数据和残差图像块编码数据；使用重传的编码数据解码当前图像；为了以后参考需要，将当前解码的必需显示图像的像素值存储在必需显示图像存储装置中，必需显示图像存储装置的空间大小可以是只允许存储一帧图像，因此，在存储时，替换之前存储的必需显示图像。

图4示出了本发明减小传输带宽的网络视频通信系统的系统结构示意图(该系统是与图2所示的编码流程相对应的)。可以看出，减小传输带宽的网络视频通信系统的系统，该系统包括判断模块、参考帧选择模块、运动估计模块、残差计算模块、编码模块、必需显示图像存储模块、编码数据存储模块和标识加入模块。

其中判断模块，其判断当前编码图像是否是必需显示的重要图像。

参考帧选择模块，对于当前编码图像是必需显示图像时，则选择两个参考帧，第一个参考帧是最优参考图像（可以使用如编码流程中相同的方式获取），第二参考帧是前一个必需显示的图像；对于当前编码图像不是必需显示图像时，则只选择最优参考图像作为第三参考图像。

运动估计模块，对于当前编码图像是必需显示图像时，在第一个参考帧和第二参考帧中分别对当前编码图像块进行运动估计分别得到第一运动向量和第二运动向量；对于当前编码图像不是必需显示图像时，在第三参考图像中对当前编码图像块进行运动估计得到第三运动向量。

残差计算模块，对于当前编码图像是必需显示图像时，根据第一参考图像中的第一运动向量计算出第一残差图像块, 根据第二参考图像中的第二运动向量计算出第二残差图像块；对于当前编码图像不是必需显示图像时，根据第三参考图像中的第三运动向量计算出第三残差图像块。

编码模块, 对于当前编码图像是必需显示图像时，对第一运动向量和第一残差图像块编码并由编码数据存储模块将它们存储在第一地址中, 对第二运动向量和第二残差图像块编码并由编码数据存储模块将它们存储在第二地址中；对于当前编码图像不是必需显示图像时，对第三运动向量和第三残差图像块编码并由编码数据存储模块将它们存储在第一地址中。第二地址可以是不同于第一地址的网站视频服务器地址，甚至可以是与第一地址不同服务器上的地址。

必需显示图像存储模块, 对于当前编码图像是必需显示图像时，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中。当前编码图像的像素值最好是编码端对编码后的信息进行解码得到的重构图像，也可以是当前编码图像的原始像素值。必需显示图像存储装置的空间大小可以是只允许存储一帧图像，因此在存储时，替换之前存储的必需显示图像。

标识加入模块, 无论当前编码图像是不是必需要显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。第三地址可以是第一地址，也可以是不同于第一地址的网站视频服务器地址，甚至可以是与第一地址不同服务器上的地址。

图5示出了本发明判断是否是必需显示图像的判断模块示意图。可以看出，判断模块还可以包括如下子模块：帧内编码图像判断子模块、转场判断子模块、对话判断子模块、对象位置判断子模块。

帧内编码图像判断子模块，当前编码图像是帧内编码图像时认定为必需显示图像；

转场判断子模块，场景切换时的第一幅图像（如图1A中的第1帧）认定为必需显示图像；

音频判断子模块，图像对应有音频的播放认定为必需显示图像；

对象位置判断子模块，图像中两个重要目标对象位置发生变化时的图像（如图1A中第4帧，运动员与球到达接触的位置关系）认定必需显示图像。其中场景切换时的第一幅图像和当前编码图像是帧内编码图像两种情况下，一般认定为必需显示图像。

本发明中所公开的方法可作为设备可读指令集或软件执行，也可以作为电路硬件来实现。而且，可以理解的是，在公开的方法中，特定的顺序或层次步骤均是示范性方法的实施方式。基于优先设计，可以理解的是，在属于公开主题的范围内，方法中特定的顺序或层次步骤可以重新安排。如实施方式中所示的顺序，所附方法权利要求呈现出各种步骤的组成，但不仅限于方法中所示的特定的顺序或层次。如实施方式中所示的顺序，所附装置权利要求呈现出各种模块的组成，但不仅限于装置中所示的特定的组成或层次。

可以认为，本发明和许多其呈现出的优势能够通过上述的说明书得以理解，在不偏离公开的主题或没有失去其所有物质优势的前提下，实现组件在形式上、结构上和排列上的各种变化是显而易见的。本发明的说明形式仅仅是示例性的，所附权利要求的目的包括保护这些变化。

Claims (8)

1.一种减小传输带宽的网络视频通信系统的编码方法，视频图像包括多个图像，其特征在于:对于每一个图像在编码时，需要首先判断其是否是重要图像，重要图像必需显示；

当判断当前编码图像不是必需要显示的重要图像时，选择一个最优的参考帧作为第一参考帧进行编码；将当前编码图像划分成多个编码块；选择第一参考帧作为运动估计的参考帧对每一个编码块作第一运动估计；根据第一运动估计得到的第一运动向量计算出第一残差图像块；编码第一差残差图像块和第一运动向量；将第一残差图像块和第一运动向量的编码信息存储在第一地址；

当判断当前编码图像是必需要显示的重要图像时，选择最优参考帧作为第二参考帧；另外选择上一个必需显示的图像作为第三参考帧，在运动估计之前，先将当前编码图像分隔成多个编码块，选择第二参考帧作为运动估计的参考帧对每一个编码块作第二运动估计，选择第三参考帧作为运动估计的参考帧对每一个编码块作第三运动估计；根据第二运动估计得到的第二运动向量计算出第二残差图像块，根据第三运动估计得到的第三运动向量计算出第三残差图像块；编码第二差残差图像块和第二运动向量，编码第三差残差图像块和第三运动向量；将第二残差图像块和第二运动向量的编码信息存储在第一地址，将第三残差图像块和第三运动向量的编码信息存储在第二地址，第二地址是不同于第一地址的网站视频服务器地址；

对于必需显示的重要图像，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中；

无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。

2.根据权利要求1所述的方法，在编码完图像数据之后，还包括如下的解码步骤：

首先确定最优参考帧，通过帧号来确定最优参考帧；

判断最优参考帧是否被正确解码；

如果是，就正常解码当前图像，即完成当前帧解码过程；

如果否，通过编码端传递过来的标识判断当前解码图像是否是必需显示的图像；

如果不是必需显示的图像，跳过当前图像的解码和显示，即完成当前帧解码过程；

如果是必需显示的图像，请求网络服务器重传当前解码图像的、对应于上一个必需显示图像作为参考图像时的运动向量编码数据和残差图像块编码数据；

使用重传的编码数据解码当前图像；

为了以后参考需要，将当前解码的必需显示图像的像素值存储在必需显示图像存储装置中,即完成当前帧解码过程。

3.根据权利要求1-2中任一项所述的方法，判断当前编码图像是否是必需要显示的重要图像的方式是以下一种或多种： 

1）场景切换时的第一幅图像认定为必需显示图像；

2）当前编码图像是帧内编码图像时认定为必需显示图像；

3）图像对应有音频的播放则认定为必需显示图像；

4）图像中两个重要目标对象位置发生变化时的图像认定为必需显示图像。

4.根据权利要求1-3中任一项所述的方法，判断当前编码图像是否是必需要显示的重要图像时使用第1)种和第2）种方式。

5.一种减小传输带宽的网络视频通信系统，其特征在于:该系统包括判断模块、参考帧选择模块、运动估计模块、残差计算模块、编码模块、必需显示图像存储模块、编码数据存储模块和标识加入模块；

其中判断模块，其判断当前编码图像是否是必需显示的重要图像；

参考帧选择模块，对于当前编码图像是必需显示图像时，则选择两个参考帧，第一个参考帧是最优参考图像，第二参考帧是前一个必需显示的图像；对于当前编码图像不是必需显示图像时，则只选择最优参考图像作为第三参考图像；

运动估计模块，对于当前编码图像是必需显示图像时，在第一个参考帧和第二参考帧中分别对当前编码图像块进行运动估计，分别得到第一运动向量和第二运动向量；对于当前编码图像不是必需显示图像时，在第三参考图像中对当前编码图像块进行运动估计得到第三运动向量；

残差计算模块，对于当前编码图像是必需显示图像时，根据第一参考图像中的第一运动向量计算出第一残差图像块, 根据第二参考图像中的第二运动向量计算出第二残差图像块；对于当前编码图像不是必需显示图像时，根据第三参考图像中的第三运动向量计算出第三残差图像块；

编码模块, 对于当前编码图像是必需显示图像时，对第一运动向量和第一残差图像块编码并由编码数据存储模块将它们存储在第一地址中, 对第二运动向量和第二残差图像块编码并由编码数据存储模块将它们存储在第二地址中；对于当前编码图像不是必需显示图像时，对第三运动向量和第三残差图像块编码并由编码数据存储模块将它们存储在第一地址中；

必需显示图像存储模块, 对于当前编码图像是必需显示图像时，在编码视频数据之后，将当前编码图像的像素值存储在必需显示图像存储装置中；

标识加入模块, 无论当前编码图像是不是必需显示的重要图像，都需要将是否是必需显示图像的标识存储在第三地址上。

6.根据权利要求5所述的系统，在解码端还包括如下几个解码模块：

确定模块，通过帧号来确定最优参考帧；

解码判断模块，判断最优参考帧是否被正确解码；

解码处理模块，如果是，就正常解码当前图像，即完成当前帧解码过程；如果否，通过编码端传递过来的标识判断当前解码图像是否是必需显示的图像；如果不是必需显示的图像，跳过当前图像的解码和显示，即完成当前帧解码过程；如果是必需显示的图像，请求网络服务器重传当前解码图像的、对应于上一个必需显示图像作为参考图像时的运动向量编码数据和残差图像块编码数据；使用重传的编码数据解码当前图像；为了以后参考需要，将当前解码的必需显示图像的像素值存储在必需显示图像存储装置中,即完成当前帧解码过程。

7.根据权利要求5-6中任一项所述的系统，判断模块包括如下子模块中的一个或多个：帧内编码图像判断子模块、转场判断子模块、音频判断子模块、对象位置判断子模块；

帧内编码图像判断子模块，当前编码图像是帧内编码图像时认定为必需显示图像；

转场判断子模块，场景切换时的第一幅图像认定为必需显示图像；

音频判断子模块，图像对应有音频的播放时认定为必需显示图像；

对象位置判断子模块，图像中两个重要目标对象位置发生变化时的图像认定为必需显示图像。

8.根据权利要求5-7中任一项所述的系统，判断模块包括帧内编码图像判断子模块和转场判断子模块。

Images