CN111447442B - 帧内编码方法、帧内解码方法、设备以及介质 - Google Patents

Abstract

本申请公开了一种帧内编码方法、帧内解码方法、设备以及介质。包括：对原始关键帧进行下采样，得到下采样关键帧；其中，原始关键帧的分辨率大于下采样关键帧的分辨率；对下采样关键帧进行编码，得到第一编码关键帧；基于下采样关键帧进行上采样，得到上采样关键帧；其中，上采样关键帧的分辨率等于原始关键帧的分辨率；将原始关键帧与上采样关键帧相减，得到残差关键帧；对残差关键帧进行有损编码，得到第二编码关键帧；利用第一传输通道将第一编码关键帧输送到解码设备，利用第二传输通道将第二编码关键帧输送到解码设备，以使得解码设备能够并行处理第一编码关键帧和第二编码关键帧。通过上述方式，本申请能够提高视频的编解码及传输速度。

Description

帧内编码方法、帧内解码方法、设备以及介质

技术领域

本申请涉及视频编码技术领域，特别是涉及一种帧内编码方法、帧内解码方法、编码设备、解码设备以及计算机存储介质。

背景技术

视频是由许多静止的图像连续播放形成的，每一幅静止的图像都可看作一帧。为了便于视频的传输和存储，视频需要经过编码。

视频编码分为帧内编码和帧间编码。帧间编码可以压缩关联度高的连续帧之间的时间冗余数据。帧内编码通过帧内预测、残差变换、量化、熵编码等步骤实现压缩关键帧的空间冗余数据。

相关技术中，帧内编码虽然对关键帧进行了压缩，但压缩后的数据仍然较大，不利于视频的实时传输。

发明内容

本申请提供一种帧内编码方法、帧内解码方法、编码设备、解码设备以及计算机存储介质，以解决相关技术中压缩后的关键帧数据大、不利于实时传输的问题。

为解决上述技术问题，本申请提供一种帧内编码方法。该方法包括：对原始关键帧进行下采样，得到下采样关键帧；其中，原始关键帧的分辨率大于下采样关键帧的分辨率；对下采样关键帧进行编码，得到第一编码关键帧；基于下采样关键帧进行上采样，得到上采样关键帧；其中，上采样关键帧的分辨率等于原始关键帧的分辨率；将原始关键帧与上采样关键帧相减，得到残差关键帧；对残差关键帧进行有损编码，得到第二编码关键帧；利用第一传输通道将第一编码关键帧输送到解码设备，利用第二传输通道将第二编码关键帧输送到解码设备，以使得解码设备能够并行处理第一编码关键帧和第二编码关键帧。

为解决上述技术问题，本申请提供一种帧内解码方法。该方法包括：接收编码设备利用第一传输通道发送的第一编码关键帧；其中，第一编码关键帧是编码设备对原始关键帧进行下采样得到下采样关键帧，并对下采样关键帧进行编码得到的，原始关键帧的分辨率大于下采样关键帧的分辨率；接收编码设备利用第二传输通道发送的第二编码关键帧；其中，第二编码关键帧是编码设备基于下采样关键帧进行上采样，得到与原始关键帧的分辨率相同的上采样关键帧，并对原始关键帧与上采样关键帧之间的残差关键帧进行有损编码得到的；并行处理第一编码关键帧和第二编码关键帧，得到解码上采样关键帧和解码残差关键帧；融合解码上采样关键帧和解码残差关键帧，得到显示关键帧。

为解决上述技术问题，本申请提供一种编码设备。编码设备包括通讯电路、处理器和存储器；处理器耦接存储器和通讯电路，在工作时执行指令，以配合存储器和通讯电路实现如上述的帧内编码方法。

为解决上述技术问题，本申请提供一种解码设备。解码设备包括通讯电路、处理器和存储器；处理器耦接存储器和通讯电路，在工作时执行指令，以配合存储器和通讯电路实现如上述的帧内解码方法。

为解决上述技术问题，本申请提供一种计算机存储介质。计算机存储介质存储有计算机程序，计算机程序被执行以实现如上述帧内编码方法，或如上述的帧内解码方法的步骤。

本申请通过对原始关键帧进行下采样，得到下采样关键帧，如此能够降低关键帧的比特数，提高关键帧的编解码速度。对下采样关键帧进行编码得到第一编码关键帧，从第一传输通道输出至解码设备；基于下采样关键帧进行上采样得到上采样关键帧，上采样关键帧与原始关键帧相减得到残差关键帧，将残差关键帧编码从第二传输通道传输至解码设备，分为两个传输通道传输能够降低对传输通道的带宽要求，使得对视频的传输更加迅速及时，解码设备也能够并行处理关键帧，进一步提高了解码设备的解码速度，能够保证关键帧编解码和传输的实时性。

附图说明

图1是本申请提供的视频编解码系统的结构示意图；

图2是本申请提供的帧内编码方法第一实施例的流程示意图；

图3是本申请提供的下采样关键帧的结构示意图；

图4是本申请提供的上采样关键帧的结构示意图；

图5是本申请提供的帧内编码方法第二实施例的流程示意图；

图6是本申请提供的帧内解码方法第一实施例的流程示意图；

图7是本申请提供的编码设备一实施例的结构示意图；

图8是本申请提供的解码设备一实施例的结构示意图；

图9是本申请提供的计算机存储介质一实施例的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本申请所提供的帧内编码方法、帧内解码方法、编码设备、解码设备以及计算机存储介质做进一步详细描述。

一个视频序列可以分为若干图像序列(Group of Pictures，GOP)。其中，每个图像序列的第一帧称为I帧，其它帧称为P/B帧。一个图像序列以I帧开始，到下一个I帧结束。

具体地，I帧是视频序列中的关键帧，被称为帧内编码帧，即它是靠尽可能去除图像空间冗余信息来压缩传输数据量的帧内编码图像；而P帧被称为前向预测帧，是通过尽可能去除图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像；B帧被称为双向预测帧，是既考虑与源图像序列前面已编码帧，也顾及源图像序列后面已编码帧之间的时间冗余信息来压缩传输数据量的编码图像。

相关技术中，对I帧进行帧内编码总体分为帧内预测、残差变换、量化、编码共4个步骤，能够在一定程度上压缩I帧的比特数。但与P帧和B帧比起来，由于P/B帧通过帧间编码，所以编码后数据量较小，有时I帧编码后的数据量甚至能达到P/B帧编码后数据量的几倍。

基于I帧完整的数据进行编解码，数据量大，导致编解码速度较慢。此外，帧内编码过程中I帧的图像尺寸大小没有变化，需要传输的数据量仍然较大。尤其是在视频监控、视频直播等应用场景中，相关技术中对I帧的压缩和传输方式不利于视频的及时传输，不能够保证视频的实时性。

为提高I帧(即关键帧/帧内编码帧)的编解码速度及传输速度，本申请提供如下实施例。

请参阅图1，图1是本申请提供的视频编解码系统的结构示意图。

本实施例中，视频编解码系统100包括编码设备101和解码设备102。编码设备101和解码设备102通过传输通道建立通信连接，以实现视频数据包括关键帧数据的传输。

其中，编码设备101可以是网络摄像机、智能手机、平板电脑或手提电脑等，也可以是与摄像机连接的视频编码器。解码设备102可以是监视器、智能手机、平板电脑或手提电脑等，也可以是与显示器连接的视频解码器。

编码设备101从摄像头获取连续的图像，对每组图像序列进行编码时，以其中的第一帧作为原始关键帧，其他帧作为前向预测帧/双向预测帧。对于原始关键帧，进行帧内编码；对于前向预测帧/双向预测帧，采用帧间编码。由于本申请是对帧内编码的改进，帧间编码与现有技术相同，故在此不再赘述。

本实施例中，编码设备101对原始关键帧进行下采样，得到下采样关键帧，进而对下采样关键帧进行编码，得到第一编码关键帧。其中，原始关键帧的分辨率大于下采样关键帧的分辨率，因此下采样关键帧的比特数更小，基于下采样关键帧进行编码，能够提高编码速度。

在一些实施方式中，对下采样关键帧编码进行无损编码得到第一编码关键帧。也就是下采样关键帧不经过预测、变换和量化过程，解码后的第一编码关键帧不会失真，具有较高的显示质量。得到第一编码关键帧后，利用第一传输通道将第一编码关键帧传输到解码设备102。在对下采样关键帧进行无损编码时，可以并行计算残差关键帧以及对残差关键帧编码，如此可以加快编码速度。具体而言，对下采样关键帧进行上采样，得到与原始关键帧的分辨率相同的上采样关键帧。将上采样关键帧与原始关键帧相减，得到残差关键帧。对残差关键帧进行变换、量化和熵编码等过程，得到第二编码关键帧。得到第二编码关键帧后，利用第二传输通道将第二编码关键帧传输到解码设备102。将下采样关键帧分为两路编码，并利用两个传输通道分别传输至解码设备102，能够降低对传输通道的带宽要求，使得对视频的传输更加迅速及时，保证关键帧编解码和传输的实时性。

在另一些实施方式中，对下采样关键帧编码进行有损编码得到第一编码关键帧。如此能够进一步减少下采样关键帧的比特数，以加快关键帧的传输速度。得到第一编码关键帧后，一方面利用第一传输通道将第一编码关键帧传输到解码设备102，另一方面解码第一编码关键帧得到重构关键帧。进而对重构关键帧进行上采样，得到与原始关键帧的分辨率相同的上采样关键帧。将上采样关键帧与原始关键帧相减，得到残差关键帧。对残差关键帧进行变换、量化和熵编码等过程，得到第二编码关键帧。得到第二编码关键帧后，利用第二传输通道将第二编码关键帧传输到解码设备102。将编码后的下采样关键帧利用两个传输通道传输至解码设备102，能够降低对传输通道的带宽要求，使得对视频的传输更加迅速及时，保证关键帧编码和传输的实时性。

其中，第一传输通道和第二传输通道可以是有线传输通道也可以是无线传输通道。

解码设备102分别从第一传输通道和第二传输通道接收到来自编码设备101发送的第一编码关键帧和第二编码关键帧，并行处理第一编码关键帧和第二编码关键帧，得到解码上采样关键帧和解码残差关键帧。具体地，解码设备102解码第一编码关键帧，得到解码关键帧。对解码关键帧进行上采样，得到解码上采样关键帧。解码设备102解码第二编码关键帧，得到解码残差关键帧。

解码设备102融合解码上采样关键帧和解码残差关键帧，得到显示关键帧。

解码设备102并行处理第一编码关键帧和第二编码关键帧，能够进一步提高关键帧解码速度，保证显示关键帧能够及时在显示器上显示，保证了视频播放的流畅度和实时性。

请参阅图2，图2是本申请提供的帧内编码方法第一实施例的流程示意图。本实施例包括如下步骤：

S201：对原始关键帧进行下采样，得到下采样关键帧。

对原始关键帧进行下采样，得到分辨率低于原始关键帧的分辨率的下采样关键帧，以降低关键帧的比特数，后续编码操作基于下采样关键帧，使得编码的数据较少，从而提高关键帧编码的效率。

对原始关键帧进行多少倍下采样，可根据传输通道的带宽或原始关键帧的分辨率大小进行设置。一般来说，传输通道带宽越小、原始关键帧的分辨率越大，下采样的倍数相对越大；反之下采样的倍数相对越小。

下采样的方法有多种，例如可以从原始关键帧中一次性抽取预设比例的像素作为采样像素，组合采样像素形成下采样关键帧。如此可以快速地得到下采样关键帧。

具体地，将原始关键帧划分成目标数量的块。其中，目标数量为预设比例与原始关键帧中像素数量的积。分别从目标数量的块中提取一个像素作为采样像素。将采样像素按照其所在的块在原始关键帧排列的相对位置进行排列组合，得到下采样关键帧。

举例说明，原始关键帧的分辨率为8*8，对原始关键帧进行4倍下采样，得到分辨率为2*2的下采样关键帧。具体地，把原始关键帧划分为4个4*4的块，然后取每个4*4块中最右下角的像素，最终组成一个2*2的下采样关键帧。当然，可以取每个块中任一位置的像素作为采样像素，本实施例不作限制。

还例如，还可以通过下采样滤波器对原始关键帧进行下采样。例如高斯金字塔下采样等，也可以根据实际需求设计滤波器。如此使得下采样关键帧画面更加平滑。

举例说明，设计一个滤波器为

的四抽头滤波器，对分辨率为8*8的原始关键帧进行下采样，可以下采样出一个分辨率为4*4的下采样关键帧。具体地，将原始关键帧划分为16个2*2的块，例如其中一个块左上角像素、右上角像素、左下角像素和右下角像素的像素值分别为3、4、5和6，利用滤波器计算该块在下采样关键帧中的像素值为：(1*3+2*3+2*5+1*6)/6＝4.5，像素值为非整数可向下取整得到该块在下采样关键帧中的像素值为4。以此类推得到下采样关键帧中每一像素的像素值。

使用下采样滤波器进行下采样可能不能一次得到目标分辨率的下采样关键帧，此时可多次使用下采样滤波器进行多次下采样，直至得到目标分辨率的关键帧作为下采样关键帧。

当然，下采样的方式还可以结合上述的下采样方法。例如从原始关键帧中提取预设比例的像素作为采样像素，组合采样像素组合形成第一下采样关键帧。使用下采样滤波器对第一下采样关键帧进行下采样，得到第二下采样关键帧。对第二下采样关键帧执行提取采样像素和使用下采样滤波器的操作，直至得到目标分辨率的下采样关键帧作为下采样关键帧。还例如，使用下采样滤波器对原始关键帧进行下采样，得到第一下采样关键帧，从第一下采样关键帧中提取预设比例的像素作为采样像素，组合采样像素组合形成第二下采样关键帧。对第二下采样关键帧执行使用下采样滤波器和提取采样像素进行下采样的操作，直至得到目标分辨率的关键帧作为下采样关键帧。

S202：对下采样关键帧进行无损编码，得到第一编码关键帧。

对下采样关键帧使用哈夫曼(Huffman)编码、香农编码、RLC(Run Length Code，行程编码)或LZW(Lenpel-Ziv&Welch)编码等无损编码技术进行编码，得到第一编码关键帧。

S203：利用第一传输通道将第一编码关键帧输送到解码设备。

得到第一编码关键帧后，利用第一传输通道将第一编码关键帧输送到解码设备。

传输第一编码关键帧时，还需将编码相关的句法元素与第一编码关键帧一同传输至解码设备，使得解码设备能够根据句法元素选择对应的解码方式。

S204：对下采样关键帧进行上采样，得到上采样关键帧。

对下采样关键帧进行上采样，得到与原始关键帧的分辨率相同的上采样关键帧，以在后续利用上采样关键帧计算与原始关键帧之间的残差。

上采样的方法有多种，例如可以使用下采样关键帧中像素的像素值进行复制填充，得到上采样关键帧。

还例如，可以使用插值算法对下采样关键帧进行插值运算，得到上采样关键帧。插值算法例如可以是最近邻插值、双线性插值或双三次插值等。

以线性插值对下采样关键帧进行上采样进行说明，请参阅图3和图4，图3是本申请提供的下采样关键帧的结构示意图，图4是本申请提供的上采样关键帧的结构示意图。

下采样关键帧为一个2*2的块，即图3中ABCD四个像素组成的块。图4中其余像素都是由ABCD四个像素进行加权平均插值出来的。如E和F是由A和B加权平均得到；G和H由A和C加权平均得到；I和J由B和D加权平均得到；K和L由C和D加权平均得到；中间的M、N、O、P由ABCD四个像素加权平均得到。一般来说权重分配上当前所需要插值的像素位置离ABCD哪个像素近，哪个像素的权重就大。

对下采样图像进行上采样可能不能一次得到与原始关键帧的分辨率相同的上采样关键帧，此时可以使用插值算法对上一次上采样得到的关键帧再次进行上采样，如此循环，直至得到与原始关键帧的分辨率相同的关键帧作为上采样关键帧。

当然，上采样的方式还可以结合上述的上采样方法。

本实施例为方便说明和理解，原始关键帧、下采样关键帧、块的分辨率仅作为举例，实际应用中以实际分辨率为准，本申请对此不作限制。

S205：将原始关键帧与上采样关键帧相减，得到残差关键帧。

将原始关键帧与上采样关键帧相减，会得到残差关键帧。残差关键帧表示原始关键帧与上采样关键帧之间差异。

S206：对残差关键帧进行有损编码，得到第二编码关键帧。

对残差关键帧进行变换、量化和熵编码等操作，得到第二编码关键帧。残差关键帧经过变换可以去除空间冗余，变换后的残差关键帧的变换系数具有较大的取值范围，量化可以有效减小变换系数的取值范围，进而获得更好的压缩效果。

变换、量化和熵编码等为现有技术，本申请不再赘述。

S207：利用第二传输通道将第二编码关键帧输送到解码设备。

得到第二编码关键帧后，利用第二传输通道将第二编码关键帧传输到解码设备。第一编码关键帧和第二编码关键帧可以通过第一传输通道和第二传输通道同时发送至解码设备，也可以是第一编码关键帧和第二编码关键帧中哪个先计算出来，哪个先向解码设备发送。

传输第二编码关键帧时，还需将编码相关的句法元素与第二编码关键帧一同传输至解码设备，使得解码设备能够根据句法元素选择对应的解码方式。

可以使用句法元素Plan1代表本实施例的帧内编码方案，当Plan1＝1时表示启用本实施例的方案。句法元素可以放在SPS级，将本实施例的方案作为单独的帧内编码模式，和传统的帧内编码模式相区分，即用本实施例的方案则不会再进入传统帧内编码过程。也可把上述句法元素放入传统帧内编码过程中，作为一个预测模式，和其余帧内预测模式并列。

解码设备分别从第一传输通道和第二传输通道接收到来自编码设备发送的第一编码关键帧和第二编码关键帧，可以并行处理第一编码关键帧和第二编码关键帧，从而能够提高解码效率。

本实施例通过对原始关键帧进行下采样，得到下采样关键帧，如此能够降低关键帧的比特数，提高关键帧的编解码速度。对下采样关键帧进行无损编码得到第一编码关键帧，从第一传输通道输出至解码设备；对下采样关键帧进行上采样得到上采样关键帧，上采样关键帧与原始关键帧相减得到残差关键帧，将残差关键帧编码从第二传输通道传输至解码设备，分为两个传输通道传输能够降低对传输通道的带宽要求，使得对视频的传输更加迅速及时，解码设备也能够并行处理关键帧，进一步提高了解码设备的解码速度，能够保证关键帧编解码和传输的实时性。

请参阅图5，图5是本申请提供的帧内编码方法第二实施例的流程示意图。本实施例包括如下步骤：

S501：对原始关键帧进行下采样，得到下采样关键帧。

本步骤与S201类似，故在此不再赘述。

S502：对下采样关键帧进行有损编码，得到第一编码关键帧。

编码设备对下采样关键帧进行帧内预测、变换、量化和熵编码等步骤，能够进一步降低第一编码关键帧的比特数。

由于有损编码能够压缩下采样关键帧的比特数，因此下采样关键帧的分辨率可相对大一些，如此能够提高解码后的关键帧的显示质量。

S503：利用第一传输通道将第一编码关键帧输送到解码设备。

本步骤与S203类似，故在此不再赘述。

S504：解码第一编码关键帧，得到重构关键帧。

编码设备进一步基于第一编码关键帧计算残差关键帧。

编码设备解码第一编码关键帧，将数据流形式的关键帧还原为图像形式的重构关键帧。

解码过程与编码过程相反，例如编码设备对下采样关键帧进行帧内预测、变换、量化和熵编码等步骤得到第一编码关键帧，在解码第一编码关键帧时，需要经过熵解码、反量化、反变换及预测等步骤得到重构关键帧。

S505：对重构关键帧进行上采样，得到上采样关键帧。

本步骤与S204类似，上采样对象为重构关键帧，使用的方法一致，故在此不再赘述。

S506：将原始关键帧与上采样关键帧相减，得到残差关键帧。

本步骤与S205类似，故在此不再赘述。

S507：对残差关键帧进行有损编码，得到第二编码关键帧。

本步骤与S206类似，故在此不再赘述。

可以使用句法元素Plan2代表本实施例的帧内编码方案，当Plan2＝1时表示启用本实施例的方案。句法元素可以放在SPS级，将本实施例的方案作为单独的帧内编码模式，和传统的帧内编码模式相区分，即用本实施例的方案则不会再进入传统帧内编码过程。也可把上述句法元素放入传统帧内编码过程中，作为一个预测模式，和其余帧内预测模式并列。

S508：利用第二传输通道将第二编码关键帧输送到解码设备。

本步骤与S207类似，故在此不再赘述。

本实施例通过对原始关键帧进行下采样，得到下采样关键帧，如此能够降低关键帧的比特数，提高关键帧的编解码速度。对下采样关键帧进行有损编码得到第一编码关键帧，从第一传输通道输出至解码设备；对第一编码关键帧进行上采样得到上采样关键帧，上采样关键帧与原始关键帧相减得到残差关键帧，将残差关键帧编码从第二传输通道传输至解码设备，分为两个传输通道传输能够降低对传输通道的带宽要求，使得对视频的传输更加迅速及时，解码设备也能够并行处理关键帧，进一步提高了解码设备的解码速度，能够保证关键帧编解码和传输的实时性。此外，由于有损编码能够压缩下采样关键帧的比特数，因此下采样关键帧的分辨率可相对大一些，如此能够提高解码后的关键帧的显示质量。

请参阅图6，图6是本申请提供的帧内解码方法第一实施例的流程示意图。本实施例包括如下步骤：

S601：接收编码设备利用第一传输通道发送的第一编码关键帧。

解码设备接收编码设备利用第一传输通道发送的第一编码关键帧后，执行S603。

其中，第一编码关键帧是S202或S502中计算得到的，在此不再赘述。

S602：接收编码设备利用第二传输通道发送的第二编码关键帧。

解码设备接收编码设备利用第二传输通道发送的第二编码关键帧后，执行S605。

其中，第一编码关键帧是S205或S506中计算得到的，在此不再赘述。

S603：解码第一编码关键帧，得到解码下采样关键帧。

根据第一编码关键帧携带的句法元素，可以确定第一编码关键帧是有损编码还是无损编码。

若Plan1＝1，则第一编码关键帧为无损编码得到的，对第一编码关键帧进行与无损编码相关的解码方法进行解码，得到解码下采样关键帧。

若Plan2＝1，则第一编码关键帧为有损编码得到的，对第一编码关键帧进行熵解码、反量化、反变换和预测等操作进行解码，得到解码下采样关键帧。

S604：对解码下采样关键帧进行上采样，得到解码上采样关键帧。

对解码下采样关键帧进行上采样的方法以及上采样中所使用的参数与S204或S505相同，使得解码上采样关键帧与解码残差关键帧能够匹配融合。

例如编码设备对下采样关键帧或重构关键帧进行上采样所使用的方法是双线性插值，则本步骤同样使用双线性插值对解码下采样关键帧进行上采样，且双线性插值所使用的参数一致。

解码上采样关键帧的分辨率与原始关键帧的分辨率相同。

S605：解码第二编码关键帧，得到解码残差关键帧。

根据第二编码关键帧携带的句法元素，解码第二编码关键帧得到解码残差关键帧。

S606：融合解码上采样关键帧和解码残差关键帧，得到显示关键帧。

将解码上采样关键帧和解码残差关键帧相加，得到可在显示屏显示的显示关键帧。

本实施例中，通过并行解码第一编码关键帧和第二编码关键帧，能够提高关键帧的解码效率，使得视频播放更加及时、流畅，显示屏能够及时显示摄像头采集的视频，降低视频播放的时延。

上述帧内编码方法的实施例由编码设备实现，因而本申请还提出编码设备，请参阅图7，图7是本申请提供的编码设备一实施例的结构示意图。本实施例编码设备700可以包括相互连接的处理器701、存储器702和通讯电路703。其中，存储器702用于存储从摄像头获取的图像序列，处理器701用于对原始关键帧进行下采样，得到下采样关键帧；其中，原始关键帧的分辨率大于下采样关键帧的分辨率；对下采样关键帧进行编码，得到第一编码关键帧；基于下采样关键帧进行上采样，得到上采样关键帧；其中，上采样关键帧的分辨率等于原始关键帧的分辨率；将原始关键帧与上采样关键帧相减，得到残差关键帧；对残差关键帧进行有损编码，得到第二编码关键帧，通讯电路703用于利用第一传输通道将第一编码关键帧输送到解码设备，利用第二传输通道将第二编码关键帧输送到解码设备。

其中，处理器701可以是一种集成电路芯片，具有信号的处理能力。处理器701还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施中，编码设备700可以是网络摄像机、智能手机、平板电脑或手提电脑等，也可以是与摄像机连接的视频编码器。

上述帧内解码方法的实施例由解码设备实现，因而本申请还提出解码设备，请参阅图8，图8是本申请提供的解码设备一实施例的结构示意图。本实施例解码设备800可以包括相互连接的处理器801、存储器802和通讯电路803。其中，通讯电路803用于接收编码设备700利用第一传输通道发送的第一编码关键帧，和接收编码设备700利用第二传输通道发送的第二编码关键帧，存储器802用于存储从第一传输通道获取的第一编码关键帧和从第二传输通道获取的第二编码关键帧，处理器801用于并行处理第一编码关键帧和第二编码关键帧，得到解码上采样关键帧和解码残差关键帧；融合解码上采样关键帧和解码残差关键帧，得到显示关键帧。

其中，处理器801可以是一种集成电路芯片，具有信号的处理能力。处理器801还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施中，解码设备800可以是监视器、智能手机、平板电脑或手提电脑等，也可以是与显示器连接的视频解码器。

对于上述实施例的方法，其可以计算机程序的形式存在，因而本申请提出一种计算机存储介质，请参阅图9，图9是本申请提供的计算机存储介质一实施例的结构示意图。本实施例计算机存储介质900中存储有计算机程序901，其可被执行以实现上述实施例中的方法。

本实施例计算机存储介质900可以是U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储程序指令的介质，或者也可以为存储有该程序指令的服务器，该服务器可将存储的程序指令发送给其他设备运行，或者也可以自运行该存储的程序指令。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种帧内编码方法，其特征在于，应用于编码设备，所述方法包括：

对原始关键帧进行下采样，得到下采样关键帧；其中，所述原始关键帧的分辨率大于所述下采样关键帧的分辨率；

对所述下采样关键帧进行无损编码，得到第一编码关键帧；

对所述下采样关键帧进行上采样，得到上采样关键帧；其中，所述上采样关键帧的分辨率等于所述原始关键帧的分辨率；

将所述原始关键帧与所述上采样关键帧相减，得到残差关键帧；

对所述残差关键帧进行有损编码，得到第二编码关键帧；

利用第一传输通道将所述第一编码关键帧输送到解码设备，利用第二传输通道将所述第二编码关键帧输送到所述解码设备，以使得所述解码设备能够并行处理所述第一编码关键帧和所述第二编码关键帧；

其中，所述对原始关键帧进行下采样，得到下采样关键帧，包括：

从所述原始关键帧中提取预设比例的像素作为采样像素；

组合所述采样像素形成所述下采样关键帧。

2.根据权利要求1所述的方法，其特征在于，所述从所述原始关键帧中提取预设比例的像素作为采样像素，包括：

将所述原始关键帧划分成目标数量的块；其中，所述目标数量为所述预设比例与所述原始关键帧中像素数量的积；

分别从所述目标数量的块中提取一个像素作为所述采样像素。

3.根据权利要求1所述的方法，其特征在于，所述对原始关键帧进行下采样，得到下采样关键帧，包括：

使用下采样滤波器对所述原始关键帧进行至少一次下采样，直至得到目标分辨率的关键帧作为所述下采样关键帧。

4.根据权利要求1所述的方法，其特征在于，所述对原始关键帧进行下采样，得到下采样关键帧，包括：

从所述原始关键帧中提取预设比例的像素作为采样像素；

组合所述采样像素组合形成第一下采样关键帧；

使用下采样滤波器对所述第一下采样关键帧进行下采样，得到第二下采样关键帧；

对所述第二下采样关键帧执行所述提取预设比例的像素作为采样像素的操作，直至得到目标分辨率的下采样关键帧作为所述下采样关键帧；或

使用下采样滤波器对所述原始关键帧进行下采样，得到第一下采样关键帧；

从所述第一下采样关键帧中提取预设比例的像素作为采样像素；

组合所述采样像素形成所述第二下采样关键帧；

对所述第二下采样关键帧执行使用下采样滤波器进行下采样的操作，直至得到目标分辨率的关键帧作为所述下采样关键帧。

5.根据权利要求1所述的方法，其特征在于，所述对所述下采样关键帧进行上采样，得到上采样关键帧，包括：

使用下采样关键帧中像素的像素值进行复制填充，得到与所述原始关键帧的分辨率相同的关键帧作为所述上采样关键帧；或

使用插值算法对所述下采样关键帧进行插值运算，得到与所述原始关键帧的分辨率相同的关键帧作为所述上采样关键帧。

6.一种帧内解码方法，其特征在于，应用于解码设备，所述方法包括：

接收编码设备利用第一传输通道发送的第一编码关键帧；其中，所述第一编码关键帧是所述编码设备对原始关键帧进行下采样得到下采样关键帧，并对所述下采样关键帧进行编码得到的，所述原始关键帧的分辨率大于所述下采样关键帧的分辨率；

接收编码设备利用第二传输通道发送的第二编码关键帧；其中，所述第二编码关键帧是所述编码设备基于所述下采样关键帧进行上采样，得到与所述原始关键帧的分辨率相同的上采样关键帧，并对所述原始关键帧与所述上采样关键帧之间的残差关键帧进行有损编码得到的；

并行处理所述第一编码关键帧和所述第二编码关键帧，得到解码上采样关键帧和解码残差关键帧；

融合所述解码上采样关键帧和所述解码残差关键帧，得到显示关键帧；

所述并行处理所述第一编码关键帧和所述第二编码关键帧，得到解码上采样关键帧和解码残差关键帧，包括：对所述第一编码关键帧以与无损编码相关的解码方法进行解码，得到解码下采样关键帧；对所述解码下采样关键帧进行所述上采样，得到所述解码上采样关键帧；解码所述第二编码关键帧，得到所述解码残差关键帧；

所述编码设备对原始关键帧进行下采样得到下采样关键帧，包括：从所述原始关键帧中提取预设比例的像素作为采样像素；组合所述采样像素形成所述下采样关键帧。

7.一种编码设备，其特征在于，所述编码设备包括通讯电路、处理器和存储器；所述处理器耦接所述存储器和所述通讯电路，在工作时执行指令，以配合所述存储器和所述通讯电路实现如权利要求1至5任一项所述的帧内编码方法。

8.一种解码设备，其特征在于，所述解码设备包括通讯电路、处理器和存储器；所述处理器耦接所述存储器和所述通讯电路，在工作时执行指令，以配合所述存储器和所述通讯电路实现如权利要求6所述的帧内解码方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至5任一项所述的帧内编码方法，或如权利要求6所述的帧内解码方法。

Images