CN112422970B - 图像编码方法及装置 - Google Patents

Abstract

本公开提供一种图像编码方法及装置，涉及图像处理领域，能够解决现有相关技术中无法有效降低编码整体输出码流大小的问题。具体技术方案为：检测当前帧是否是第一帧；如果当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将第一帧设为定点参考帧；如果当前帧不是第一帧，若上一帧是定点参考帧，则根据目标码流，参考上一帧对当前帧进行渐进式编码；若上一帧不是定点参考帧，如果没有发生场景切换，同时参考定点参考帧及上一帧，根据预设的限定码流对当前帧进行渐进式编码；如果发生场景切换，参考上一帧，根据目标码流对当前帧进行渐进式编码，且将当前帧设置为定点参考帧。通过采有双参考帧的方式，可以有效降低编码整体输出码流大小。

Description

图像编码方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及图像编码方法及装置。

背景技术

现有的图像编码有两种方式一种是整帧编码，如H.264、H.265这种，还有一种是渐进式，一般是私有编码器实现，可以控制编码输出码流。第一种存在一个问题，在图像变化过大的情况下，输出码流过大对于网络传输压力过大，很容易产生峰值造成网络拥塞。而渐进式编码方式可以控制输出码流，但是在网络良好的情况下，根据带宽来进行码流控制，本质上会变成第一种情况，即带宽足够传输所有层，会全部输出。

现有的图像编码中的渐进式编码方式，每帧都基于上一帧作参考进行编码，数据逐层叠加然后变清晰，这样就会导致一种情况，当带宽有限的情况下，如果画面来回变化可能每帧都因为与上一帧不同，导致画面不清晰。

发明内容

本公开实施例提供一种图像编码方法及装置，能够解决现有相关技术中无法有效降低编码整体输出码流大小的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像编码方法，所述方法包括：

检测当前帧是否是第一帧；

如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将所述第一帧设为定点参考帧；

如果所述当前帧不是第一帧，检测上一帧是否为定点参考帧；

若所述上一帧是定点参考帧，则根据目标码流，参考所述上一帧对所述当前帧进行渐进式编码；

若所述上一帧不是定点参考帧，根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换；

如果没有发生场景切换，同时参考所述定点参考帧及所述上一帧，根据预设的限定码流对所述当前帧进行渐进式编码；

如果发生场景切换，参考所述上一帧，根据所述目标码流对所述当前帧进行渐进式编码，且将所述当前帧设置为所述定点参考帧。

本公开实施例提供的图像编码方法，包括：检测当前帧是否是第一帧；如果当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将第一帧设为定点参考帧；如果当前帧不是第一帧，检测上一帧是否为定点参考帧；若上一帧是定点参考帧，则根据目标码流，参考上一帧对当前帧进行渐进式编码；若上一帧不是定点参考帧，根据当前帧与定点参考帧确定当前帧是否发生场景切换；如果没有发生场景切换，同时参考定点参考帧及上一帧，根据预设的限定码流对当前帧进行渐进式编码；如果发生场景切换，参考上一帧，根据目标码流对当前帧进行渐进式编码，且将当前帧设置为定点参考帧。通过采有双参考帧的方式(定点参考帧和上一帧)，可以有效降低编码整体输出码流大小。

在一个实施例中，所述根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换，包括：

检测当前帧相较于所述定点参考帧中相同位置发生变化的像素点的数量；

若相同位置发生变化的像素点的数量大于预设阈值，则确定所述当前帧发生场景切换；

若相同位置发生变化的像素点的数量小于或等于所述预设阈值，则确定所述当前帧未发生场景切换。

在一个实施例中，所述如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，包括：

根据所述目标码流确定所述当前帧的编码输出质量；

根据所述编码输出质量从第一层开始编码。

在一个实施例中，所述方法还包括：

获取当前带宽；

确定所述预测带宽和所述限定码流值中的最小值作为所述目标码流。

在一个实施例中，所述获取当前带宽包括：

获取网络传输信息；

接收解码器发送的网络信息；

根据所述网络传输信息和所述解码器发送的网络信息获取所述当前带宽。

根据本公开实施例的第二方面，提供一种图像编码装置，所述装置包括：

第一检测模块，用于检测当前帧是否是第一帧；

第一编码模块，用于如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将所述第一帧设为定点参考帧；

第二检测模块，用于如果所述当前帧不是第一帧，检测上一帧是否为定点参考帧；

第二编码模块，用于若所述上一帧是定点参考帧，则根据目标码流，参考所述上一帧对所述当前帧进行渐进式编码；

第三检测模块，用于若所述上一帧不是定点参考帧，根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换；

第三编码模块，用于如果没有发生场景切换，同时参考所述定点参考帧及所述上一帧，根据预设的限定码流对所述当前帧进行渐进式编码；

第四编码模块，用于如果发生场景切换，参考所述上一帧，根据所述目标码流对所述当前帧进行渐进式编码，且将所述当前帧设置为所述定点参考帧。

在一个实施例中，所述第三检测模块包括：

第一检测子模块，用于检测当前帧相较于所述定点参考帧中相同位置发生变化的像素点的数量；

第一确定子模块，用于若相同位置发生变化的像素点的数量大于预设阈值，则确定所述当前帧发生场景切换；

第二确定子模块，用于若相同位置发生变化的像素点的数量小于或等于所述预设阈值，则确定所述当前帧未发生场景切换。

在一个实施例中，所述第一编码模块包括：

第二确定子模块，用于根据所述目标码流确定所述当前帧的编码输出质量；

第一编码子模块，用于根据所述编码输出质量从第一层开始编码。

在一个实施例中，所述装置还包括：

获取模块，用于获取当前带宽；

确定模块，用于确定所述预测带宽和所述限定码流值中的最小值作为所述目标码流。

在一个实施例中，所述获取模块包括：

第一获取子模块，用于获取网络传输信息；

接收子模块，用于接收解码器发送的网络信息；

第二获取子模块，用于根据所述网络传输信息和所述解码器发送的网络信息获取所述当前带宽。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像编码系统的结构示意图；

图2是本公开实施例提供的一种图像编码方法的流程图；

图3是本公开实施例提供的一种图像编码方法的流程图；

图4是本公开实施例提供的一种图像编码方法的流程图；

图5是本公开实施例提供的一种图像编码方法的流程图；

图6是本公开实施例提供的一种图像编码方法的流程图；

图7是本公开实施例提供的一种图像编码场景图；

图8是本公开实施例提供的一种图像编码装置的结构示意图；

图9是本公开实施例提供的一种图像编码装置中第三检测模块的结构示意图；

图10是本公开实施例提供的一种图像编码装置中第一编码模块的结构示意图；

图11是本公开实施例提供的一种图像编码装置的结构示意图；

图12是本公开实施例提供的一种图像编码装置中获取模块的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种图像编码系统，如图1所示，该系统包括：编码器和解码器；其中，编码器包括：码流控制器及渐进式编码器。

值得注意的是，本发明中的关键点在渐进式编码器，采有双参考帧的方式，中间主要用到两个概念，定点参考帧，即后面连续的某几帧都会参考某一指定帧图像；另外是动态参考帧，每一帧都将上一帧作为参考帧，因此上一帧即为动态参考帧。

本公开提供的方法的主要控制逻辑在编码侧，解码是辅助计算带宽并按编码规则来重建图像。

本公开实施例提供一种图像编码方法，如图2所示，该图像编码方法包括以下步骤：

101、检测当前帧是否是第一帧。

102、如果当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将第一帧设为定点参考帧。

如果当前帧是第一帧，那么可以确定当前帧为I帧(也即，帧内参考帧)，此时可以设定该帧为定点参考帧，即后面连续的某几帧都会参考该帧图像进行编码。

103、如果当前帧不是第一帧，检测上一帧是否为定点参考帧。

如果当前帧不是第一帧，那么就需要根据实际情况采用不同的编码方式，此时需要判断相邻的上一帧是否为定点参考帧。

104、若上一帧是定点参考帧，则根据目标码流，参考上一帧对当前帧进行渐进式编码。

渐进式编码大致原理，每一宏块都可以拆分成多层进行编码，这些层所恢复的数据之间可以累加，所有层均收到后，则最终生成的图像为原图像。多帧连续图像编码时，不变宏块或运动向量宏块即可采用该技术分为多层编码，至于一次编码多少层取决于码流大小。有变化宏块则需要重新从第一层开始编码，若后续图像该宏块无变化或为运动向量宏块即可参考前一步处理方式。当画面静止时，可以想像，无论限定码流是多少，最终图像内的每个宏块都因为无变化，而质量层上涨达到最清晰的状态。

105、若上一帧不是定点参考帧，根据当前帧与定点参考帧确定当前帧是否发生场景切换。

如果上一帧不是定点参考帧，还要判断当前帧是否发生了场景切换。

106、如果没有发生场景切换，同时参考定点参考帧及上一帧，根据预设的限定码流对当前帧进行渐进式编码。

如果未发生场景切换，则在编码时同时参考定点参考帧及上一帧，进行渐进式编码，此时，每一个宏块都需要同时与两个参考帧比较；主要目标基于任一参考帧查找当前无变化宏块及运动向量宏块，其编码质量层基于参考帧的编码质量层上涨；剩余宏块按照原有分类从第一层重新开始编码。

但是，无论是重新从第一层开始编码还是基于参考帧质量层上涨编码，各宏块具体编码多少质量层都取决于目标码流大小。

107、如果发生场景切换，参考上一帧，根据目标码流对当前帧进行渐进式编码，且将当前帧设置为定点参考帧。

如果发生场景切换，当前帧只参考上一帧，根据目标码流进行渐进式编码。同时将该帧设为定点参考帧，即进行定点参考帧切换。场景切换的情况下，图像变化较大，继参考上一定点参考帧意义不大，所以需要进行定点参考帧切换。

后续接收到的图像帧到达时重复执行步骤101-107即可。

本公开实施例提供的图像编码方法，包括：检测当前帧是否是第一帧；如果当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将第一帧设为定点参考帧；如果当前帧不是第一帧，检测上一帧是否为定点参考帧；若上一帧是定点参考帧，则根据目标码流，参考上一帧对当前帧进行渐进式编码；若上一帧不是定点参考帧，根据当前帧与定点参考帧确定当前帧是否发生场景切换；如果没有发生场景切换，同时参考定点参考帧及上一帧，根据预设的限定码流对当前帧进行渐进式编码；如果发生场景切换，参考上一帧，根据目标码流对当前帧进行渐进式编码，且将当前帧设置为定点参考帧。通过采有双参考帧的方式(定点参考帧和上一帧)，可以有效降低编码整体输出码流大小。

值得注意的是，采用本公开中的技术方案，如果编码的过程中，有漏帧的情况，那么当前帧在进行渐进式编码时就可以参考上一个帧的进行编码。

例如：当前帧为第4帧，在编码时，发现第3帧被漏帧了，那么此时，在编码第4帧时，就可以参考第2帧进行编码，这样就无需从第1帧再重新开始编码，有效降低了重复编码数据，从而减低了码流大小。

还有一个比较重要的概念，场景切换：当图像变化过大时(比如90％的像素发生变化)，认为发生场景切换。

在一个实施例中，如图3所示，根据当前帧与定点参考帧确定当前帧是否发生场景切换，包括以下子步骤：

1051、检测当前帧相较于定点参考帧中相同位置发生变化的像素点的数量；

1052、若相同位置发生变化的像素点的数量大于预设阈值，则确定当前帧发生场景切换；

1053、若相同位置发生变化的像素点的数量小于或等于预设阈值，则确定当前帧未发生场景切换。

可以判断当前帧图像的每个像素点和定点参考帧图像对应位置的像素点发生变化的数量是否大于预设阈值，若相同位置发生变化的像素点的数量大于预设阈值，则确定当前帧发生场景切换，若相同位置发生变化的像素点的数量小于或等于预设阈值，则确定当前帧未发生场景切换。

例如：相同位置发生变化的像素点的数量大于90％，认为发生场景切换。

在一个实施例中，如图4所示，上述步骤102包括以下子步骤：

1021、根据目标码流确定当前帧的编码输出质量；

1022、根据编码输出质量从第一层开始编码。

当前帧如果是则为I帧(帧内参考帧)，根据目标码流，确认当前帧的编码输出质量，从第一层开始编码，然后输出。

具体的，图像输入编码编码器时，编码通过码流控制器获取当前编码的目标码流，然后调用渐进式编码器进行编码并输出即可。

在一个实施例中，如图5所示，上述步骤1021包括以下子步骤：

10211、获取当前带宽。

10212、确定预测带宽和限定码流值中的最小值作为目标码流。

码流控制器用于确定当前编码的目标码流是多大。输入参数有两部分，当前带宽及设置限定码流。当前带宽通过网络传输及解码器反馈来进行预测获得，限定码流取固定值，比如1.5MB即12Mbit；最终码流取预测带宽和限定码流中的最小值。

在一个实施例中，如图6所示，获取当前带宽包括以下子步骤：

102111、获取网络传输信息；

102112、接收解码器发送的网络信息；

102113、根据网络传输信息和解码器发送的网络信息获取当前带宽。

其中，当前带宽通过网络传输及解码器反馈来进行预测获得，这与相关技术中类似，此处不再赘述。

本公开实施例提供一种图像编码场景图，如图7所示，在图7的基础上进一步解释本公开的技术方案：

1.当前编码是否是第一帧，如果是则为I帧(帧内参考帧)，根据目标码流，确认当前帧的编码输出质量，从第一层开始编码，然后输出；同时将该帧设为定点参考帧；如图6所示的0帧。

2.当前帧并非第一帧，如果上一帧是定点参考帧，则当前帧直接根据目标码流，参考上一帧进行渐进式编码；如果上一帧不是定点参考帧，跳转到步骤3。如图6所示的1帧和5帧。

3.当前帧与定点参考帧进行比较，如果未发生场景切换，则在编码时同时参考定点参考帧及上一帧，根据限定码流进行渐进式编码，每一个宏块都需要同时与两个参考帧比较；主要目标基于任一参考帧查找当前无变化宏块及运动向量宏块，其编码质量层基于参考帧的编码质量层上涨；剩余宏块按照原有分类从第一层重新开始编码。无论是重新从第一层开始编码还是基于参考帧质量层上涨编码，各宏块具体编码多少质量层都取决于目标码流大小，如图6所示的2，3，6，7帧。当发生场景切换时，跳转到步骤4。

4.发生场景切换，当前帧只参考上一帧，根据目标码流进行渐进式编码。同时将该帧设为定点参考帧，即进行定点参考帧切换。场景切换的情况下，图像变化较大，继参考上一定点参考帧意义不大，所以需要进行定点参考帧切换。如图6所示的4帧。后续图像帧到达时重复执行步骤1-4即可。

值得值得的是，本公开中的解码器是辅助计算带宽并按编码规则来重建图像的，因此，其与相关技术中的实现方式类似，此处不再赘述。

基于上述图2对应的实施例中所描述的图像编码方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。

本公开实施例提供一种图像编码装置，如图8所示，所述装置包括：

第一检测模块11，用于检测当前帧是否是第一帧；

第一编码模块12，用于如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将所述第一帧设为定点参考帧；

第二检测模块13，用于如果所述当前帧不是第一帧，检测上一帧是否为定点参考帧；

第二编码模块14，用于若所述上一帧是定点参考帧，则根据目标码流，参考所述上一帧对所述当前帧进行渐进式编码；

第三检测模块15，用于若所述上一帧不是定点参考帧，根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换；

第三编码模块16，用于如果没有发生场景切换，同时参考所述定点参考帧及所述上一帧，根据预设的限定码流对所述当前帧进行渐进式编码；

第四编码模块17，用于如果发生场景切换，参考所述上一帧，根据所述目标码流对所述当前帧进行渐进式编码，且将所述当前帧设置为所述定点参考帧。

在一个实施例中，如图9所示，所述第三检测模块15包括：

第一检测子模块151，用于检测当前帧相较于所述定点参考帧中相同位置发生变化的像素点的数量；

第一确定子模块152，用于若相同位置发生变化的像素点的数量大于预设阈值，则确定所述当前帧发生场景切换；

第二确定子模块153，用于若相同位置发生变化的像素点的数量小于或等于所述预设阈值，则确定所述当前帧未发生场景切换。

在一个实施例中，如图10所示，所述第一编码模块12包括：

第二确定子模块121，用于根据所述目标码流确定所述当前帧的编码输出质量；

第一编码子模块122，用于根据所述编码输出质量从第一层开始编码。

在一个实施例中，如图11所示，所述装置还包括：

获取模块18，用于获取当前带宽；

确定模块19，用于确定所述预测带宽和所述限定码流值中的最小值作为所述目标码流。

在一个实施例中，如图12所示，所述获取模块18包括：

第一获取子模块181，用于获取网络传输信息；

接收子模块182，用于接收解码器发送的网络信息；

第二获取子模块183，用于根据所述网络传输信息和所述解码器发送的网络信息获取所述当前带宽。

基于上述图2对应的实施例中所描述的图像编码方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2对应的实施例中所描述的图像编码方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (8)

1.一种图像编码方法，其特征在于，所述方法包括：

检测当前帧是否是第一帧；

如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将所述第一帧设为定点参考帧；

如果所述当前帧不是第一帧，检测上一帧是否为定点参考帧；

若所述上一帧是定点参考帧，则根据目标码流，参考所述上一帧对所述当前帧进行渐进式编码；

若所述上一帧不是定点参考帧，根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换；

如果没有发生场景切换，同时参考所述定点参考帧及所述上一帧，根据预设的限定码流对所述当前帧进行渐进式编码；

如果发生场景切换，参考所述上一帧，根据所述目标码流对所述当前帧进行渐进式编码，且将所述当前帧设置为所述定点参考帧。

2.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换，包括：

检测当前帧相较于所述定点参考帧中相同位置发生变化的像素点的数量；

若相同位置发生变化的像素点的数量大于预设阈值，则确定所述当前帧发生场景切换；

若相同位置发生变化的像素点的数量小于或等于所述预设阈值，则确定所述当前帧未发生场景切换。

3.根据权利要求1所述的方法，其特征在于，所述如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，包括：

根据所述目标码流确定所述当前帧的编码输出质量；

根据所述编码输出质量从第一层开始编码。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

获取当前带宽，所述获取当前带宽包括：获取网络传输信息；接收解码器发送的网络信息；根据所述网络传输信息和所述解码器发送的网络信息获取所述当前带宽；

确定所述当前带宽和所述限定码流中的最小值作为所述目标码流。

5.一种图像编码装置，其特征在于，所述装置包括：

第一检测模块，用于检测当前帧是否是第一帧；

第一编码模块，用于如果所述当前帧是第一帧，则根据目标码流对当前帧进行编码，同时将所述第一帧设为定点参考帧；

第二检测模块，用于如果所述当前帧不是第一帧，检测上一帧是否为定点参考帧；

第二编码模块，用于若所述上一帧是定点参考帧，则根据目标码流，参考所述上一帧对所述当前帧进行渐进式编码；

第三检测模块，用于若所述上一帧不是定点参考帧，根据所述当前帧与所述定点参考帧确定所述当前帧是否发生场景切换；

第三编码模块，用于如果没有发生场景切换，同时参考所述定点参考帧及所述上一帧，根据预设的限定码流对所述当前帧进行渐进式编码；

第四编码模块，用于如果发生场景切换，参考所述上一帧，根据所述目标码流对所述当前帧进行渐进式编码，且将所述当前帧设置为所述定点参考帧。

6.根据权利要求5所述的装置，其特征在于，所述第三检测模块包括：

第一检测子模块，用于检测当前帧相较于所述定点参考帧中相同位置发生变化的像素点的数量；

第一确定子模块，用于若相同位置发生变化的像素点的数量大于预设阈值，则确定所述当前帧发生场景切换；

第二确定子模块，用于若相同位置发生变化的像素点的数量小于或等于所述预设阈值，则确定所述当前帧未发生场景切换。

7.根据权利要求5所述的装置，其特征在于，所述第一编码模块包括：

第二确定子模块，用于根据所述目标码流确定所述当前帧的编码输出质量；

第一编码子模块，用于根据所述编码输出质量从第一层开始编码。

8.根据权利要求5-7任一项所述的装置，其特征在于，所述装置还包括：

获取模块，用于获取当前带宽；

确定模块，用于确定所述当前带宽和所述限定码流中的最小值作为所述目标码流；

所述获取模块包括：

第一获取子模块，用于获取网络传输信息；

接收子模块，用于接收解码器发送的网络信息；

第二获取子模块，用于根据所述网络传输信息和所述解码器发送的网络信息获取所述当前带宽。