CN111083481A

CN111083481A - 图像编码方法及装置

Info

Publication number: CN111083481A
Application number: CN201911117756.3A
Authority: CN
Inventors: 范志刚; 高鹏; 蒋丽凤
Original assignee: Xian Wanxiang Electronics Technology Co Ltd
Current assignee: Xian Wanxiang Electronics Technology Co Ltd
Priority date: 2019-11-15
Filing date: 2019-11-15
Publication date: 2020-04-28

Abstract

本公开提供一种图像编码方法及装置，涉及计算机编码技术领域，所述方法包括：检测是否发生场景切换；在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧；根据识别结果，对当前图像帧按照预设的编码规则进行编码。本公开能够通过多参考帧队列的编码方式降低I帧编码的次数，从而降低码流。

Description

图像编码方法及装置

技术领域

本公开涉及计算机编码技术领域，尤其涉及图像编码方法及装置。

背景技术

现有计算机画面的编解码流程如图1所示，每一帧都参考其前一帧或者前面最近的I帧进行编码。当用户切换场景时，会将当前帧视为场景切换，即上一帧或者I帧不能作为当前帧的参考，所以当前帧将会作为新的I帧进行编码，此技术的缺点是，如果用户频繁切换几个常用的场景，则系统会连续编I帧，也就是将发生切换的连续多帧都作为I帧输出，从而导致码流很大，给传输带来了很大的压力。

发明内容

本公开实施例提供一种图像编码方法及装置，本公开能够在计算机用户在频繁切换常用的几个场景时，通过多参考帧降低编码I帧的次数，从而降低码流。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像编码方法，该方法包括：

检测是否发生场景切换；

在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧；

根据识别结果，对当前图像帧按照预设的编码规则进行编码。

在一个实施例中，在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧包括：

在检测到发生场景切换时，获取参考帧队列；其中，所述参考帧队列中存储有多个原始参考帧；

分别统计当前图像帧和参考帧队列中多个原始参考帧不变宏块的数量；

根据统计结果，识别所述参考帧队列中是否存在目标参考帧。

在一个实施例中，根据统计结果，识别所述参考帧队列中是否存在目标参考帧包括：

将统计结果指示不变宏块数量最多的原始参考帧标识为潜在目标参考帧；

判断所述不变宏块数量是否大于预设阈值，在所述不变宏块数量大于预设阈值时，识别所述潜在目标参考帧为目标参考帧。

在一个实施例中，分别统计所述当前图像帧和参考帧队列中的多个原始参考帧不变宏块的数量包括：

在当前图像帧和参考帧队列中的多个原始参考帧中对应的宏块中，抽取部分像素点的Y分量，生成当前帧与参考帧队列中各帧的Y分量缩略图；其中，当前图像帧和参考帧队列中的多个原始参考帧以YUV数据形式进行存储；

将当前帧的Y分量缩略图与参考帧队列中多个原始参考帧的Y分量缩略图进行比对，分别计算出当前图像帧相对于参考帧队列中多个原始参考帧不变宏块的数量。

在一个实施例中，根据识别结果，对当前图像帧按照预设的编码规则进行编码包括：

如果识别到目标参考帧，根据所述目标参考帧对所述当前图像帧进行帧间编码。

如果没有识别到目标参考帧，对所述当前图像帧进行I帧编码。

在一个实施例中，上述方法还包括：

将所述当前图像帧加入到参考帧队列中。

根据本公开实施例的第二方面，提供一种图像编码装置，该装置包括：

检测模块，用于检测是否发生场景切换；

识别模块，用于在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧；

编码模块，用于根据识别结果，对当前图像帧按照预设的编码规则进行编码。

在一个实施例中，识别模块包括：

获取子模块，用于在检测到发生场景切换时，获取参考帧队列；其中，所述参考帧队列中存储有多个原始参考帧；

统计子模块，用于分别统计当前图像帧和参考帧队列中多个原始参考帧不变宏块的数量；

识别子模块，用于根据统计结果，识别所述参考帧队列中是否存在目标参考帧。

在一个实施例中，识别子模块具体用于：

在一个实施例中，统计子模块具体用于：

在一个实施例中，编码模块包括：

第一编码子模块，用于如果识别到目标参考帧，根据所述目标参考帧对所述当前图像帧进行帧间编码。

在一个实施例中，编码模块还包括：

第二编码子模块，用于如果没有识别到目标参考帧，对所述当前图像帧进行I帧编码。

在一个实施例中，编码模块还包括：

加入子模块，用于将所述当前图像帧加入到参考帧队列中。

本公开提供的实施例中，计算机用户在频繁切换常用的几个场景时，通过多参考帧降低编码I帧的次数，从而降低码流，同时，采用缩略图的方法，可以在很大程度上减少从参考帧序列中选取最优参考帧的时间。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像编码方法的流程图；

图2是本公开实施例提供的识别参考帧队列里是否存在目标参考帧的流程图；

图3是本公开实施例提供的一种图像编码方法的流程图；

图4是本公开实施例提供的一种当前帧与参考帧队列中原始参考帧比较的流程图；

图5是本公开实施例提供的一种像素点抽取示意图；

图6是本公开实施例提供的一种图像编码装置结构图；

图7是本公开实施例提供的一种图像编码装置结构图；

图8是本公开实施例提供的一种图像编码装置结构图；

图9是本公开实施例提供的一种图像编码装置结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种图像编码方法，如图1所示，从采集端的角度，该图像编码方法包括以下步骤：

步骤101、检测是否发生场景切换；

在一个实施例中，可以将当前帧与上一帧帧以宏块为单位进行比较，统计不变宏块的比例，若不变宏块的比例超过预设阈值(比如5％)，则判定为未发生场景切换，将scene_cut_flag标记为false，否则，判定为发生场景切换，将scene_cut_flag标记为true。该步骤中，考虑到实现的时间复杂度，在进行宏块的比对时，只比较Y分量。步骤102、在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧；

具体的，如图2所示，识别参考帧队列里是否存在目标参考帧可以包含以下几个子步骤执行：

步骤1021、在检测到发生场景切换时，获取参考帧队列；其中，所述参考帧队列中存储有多个原始参考帧；

当前图像帧和多个原始参考帧均以planner模式的YUV格式存储，存储方式是先存一张图像所有的所有Y、紧接着再存一张图像的所有U、紧接着存一张图像的所有V，一般存储在3个不同的空间中。其中，所述plannar模式的YUV数据是指YUV数据分别存储在三个不同的数组中。

步骤1022、分别统计当前图像帧和参考帧队列中多个原始参考帧不变宏块的数量；

具体的，在当前图像帧和参考帧队列中的多个原始参考帧中对应的宏块中，抽取部分像素点的Y分量，生成当前帧与参考帧队列中各帧的Y分量缩略图；其中，当前图像帧和参考帧队列中的多个原始参考帧以YUV数据形式进行存储；

将当前帧的Y分量缩略图与参考帧队列中多个原始参考帧的Y分量缩略图进行逐宏块比对，分别计算出不变宏块的数量。

步骤1023、根据统计结果，识别所述参考帧队列中是否存在目标参考帧；

在一个实施例中，将统计结果指示不变宏块数量最多的原始参考帧标选取为目标参考帧。

在另外一个实施例中，将统计结果指示不变宏块数量最多的原始参考帧标识为潜在目标参考帧；

判断所述不变宏块数量是否大于预设阈值，在所述不变宏块数量大于预设阈值时，选取所述潜在目标参考帧为目标参考帧。

步骤103、根据识别结果，对当前图像帧按照预设的编码规则进行编码。

将所述当前图像帧加入到参考帧队列中。

若未发生场景切换，则继续参考上一帧对当前帧进行编码；若发生场景切换，获取参考帧队列。

本公开实施例提供一种图像编码方法，如图3所示，该图像编码方法包括以下步骤：

根据用户操作判断是否发生场景切换，如果没有发生场景切换，则直接参考上一帧编码，然后进行宏块识别，更新参考帧队列，之后根据宏块识别的类型进行编码、码流聚合，流程结束。

如果发生场景切换，则进行当前帧与参考帧队列中原始参考帧比较的步骤，如图4所示，具体如下：

S1、将当前帧与参考帧队列中的各个参考帧进行比较，分别统计得到多组不变宏块的数目；

需要说明的是，每帧图像均是以plannar模式的YUV数据形式进行存储，具体的，plannar模式的YUV数据是指YUV数据分别存储在三个不同的数组中。

由于将当前帧与参考队列逐像素比较，其过程是相当耗时的，且其时间复杂度与参考帧队列的数目有很大关系，因此，在参考帧队列中的帧数的选取上，需要根据场景选取合适的值(本专利以8为例进行说明)。

同样的，在比较时，只对各个像素的Y分量进行比较。

由于当前帧需要与参考帧队列中各个帧进行比较，为了加快比对速度，本公开中对参考帧队列中的各帧以及当前帧的Y分量进行下采样处理，所述下采样处理具体是指：针对每个宏块只抽取一定数目的像素，比如，16X16的宏块只抽取4X4，也就是从原宏块中抽取16个像素点的Y分量，组成新的4X4大小的缩略图。基于这种方式，能够分别生成当前帧与参考帧队列中各帧的Y分量缩略图。

具体的，各帧图像生成缩略图的规则相同，也就是说，各帧图像中对应位置上的宏块的像素点抽取规则必须相同，当针对同一帧图像，每个宏块的像素点抽取规则可以不同。比如，抽取规则可以为：行和列中每4个像素抽取一个。为了简单起见，可以将每一个宏块的像素点抽取规则设置为相同，比如，可参照图5进行所有宏块中的像素点抽取：

图5仅是一种示例，实际抽取时，可以根据需要设置具体的抽取规则。

缩略图生成完毕后，将当前帧的Y分量缩略图与参考帧队列中各帧的Y分量缩略图进行逐宏块比对，具体的，进行比对的两个缩略图之间将对应位置上的宏块进行比对，并计算出相同宏块的个数(也就是不变宏块的数目)。

进行宏块比对时，对应位置上的像素点的Y分量进行比对，如果所有像素点的Y分量均对应相同，则确定为不变宏块，否则视为变化宏块。

S2、将不变宏块数目最多的参考帧，确定为潜在最优参考帧；

S3、判断潜在最优参考帧与当前帧比较得到的不变宏块的数目是否大于等于预设阈值，如果是，则确定所述潜在最优参考帧为最终的最优参考帧。

具体的，将潜在最优参考帧相对于当前帧的不变宏块数目与设定的阈值进行比较，若未超过阈值，则认为当前帧在参考帧队列中找不到合适的参考帧，必须将当前帧进行I帧编码，记录标记find_best_ref_flag为false；否则，认为在参考帧队列中已找到合适的参考帧，记录标记find_best_ref_flag为true，并在后续步骤中，将该最终确定的最优参考帧作为当前帧的参考帧，对当前帧进行编码。

图3中对当前帧进行宏块识别的说明如下：

此过程一般会将宏块分类为不变宏块、左拷贝宏块、上拷贝宏块、文本宏块、图片宏块等，其中不变宏块是当前帧与参考帧对应位置进行比较得到的结果，左拷贝宏块是当前宏块与左边宏块相比相同得到的结果，上拷贝宏块是当前宏块与上边宏块相比相同得到的结果，依据基本色比例及高梯度像素的比例这两个特征，将宏块区分为文本宏块与图片宏块。

图3中更新参考帧队列的说明如下：

只要确定当前帧是I帧，就将其无条件加入到参考帧队列中，且优先级别最高(即位于队尾)，然后，依据步骤102得到的scene_cut_flag将参考帧队列进行更新；若scene_cut_flag为false，则只需将当前帧对应的参考帧用当前帧进行替换即可；若scene_cut_flag为true，且find_best_ref_flag为true，则在参考帧队列中将参考帧的优先级提高。若队列已满，则将队首参考帧移出参考帧队列，其余参考帧依次前移，将新的参考帧置于队尾。

将不同类别的宏块分别采用不同的编码模式进行编码，如文字宏块采用文本编码器、图片宏块采用JPEG编码器等。

图3中对码流聚合的说明如下：

将不同宏块的编码结果打包到码流中，在码流中需要加入当前帧参考参考队列中的哪一个参考帧，同时，需添加是否用当前帧更新参考帧队列的标记，如果收到该标记，则解码端会用当前帧来更新参考帧队列，也就是把当前帧加入参考帧队列，从而实现解码端参考帧队列的同步动态调整。

图6是本公开实施例提供的一种图像编码装置结构图，如图6所示的图像编码装置60包括检测模块601、识别模块602和编码模块603；

检测模块601，用于检测是否发生场景切换；

识别模块602，用于在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧；

编码模块603，用于根据识别结果，对当前图像帧按照预设的编码规则进行编码。

图7是本公开实施例提供的一种图像编码装置结构图，如图7所示的图图像编码装置像编码装置70包括检测模块701、识别模块702和编码模块703；识别模块702包括：

获取子模块7021，用于在检测到发生场景切换时，获取参考帧队列；其中，所述参考帧队列中存储有多个原始参考帧；

统计子模块7022，用于分别统计当前图像帧和参考帧队列中多个原始参考帧不变宏块的数量；

识别子模块7023，用于根据统计结果，识别所述参考帧队列中是否存在目标参考帧。

在一个实施例中，识别子模块7023具体用于：

在一个实施例中，统计子模块7022具体用于：

图8是本公开实施例提供的一种图像编码装置结构图，如图8所示的图像编码装置80包括检测模块801、识别模块802和编码模块803，编码模块803包括：

第一编码子模块8031，用于如果识别到目标参考帧，根据所述目标参考帧对所述当前图像帧进行帧间编码。

图9是本公开实施例提供的一种图像编码装置结构图，如图9所示的图像编码装置90包括检测模块901、识别模块902和编码模块903，编码模块903包括：

第二编码子模块9031，用于如果没有识别到目标参考帧，对所述当前图像帧进行I帧编码。

在一个实施例中，编码模块903还包括：

加入子模块9032，用于将所述当前图像帧加入到参考帧队列中。

基于上述图1对应的实施例中所描述的图像编码方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像编码方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims

1.一种图像编码方法，其特征在于，所述方法包括：

检测是否发生场景切换；

2.根据权利要求1所述的图像编码方法，其特征在于，所述在检测到发生场景切换时，识别参考帧队列里是否存在目标参考帧包括：

3.根据权利要求2所述的图像编码方法，其特征在于，根据统计结果，识别所述参考帧队列中是否存在目标参考帧包括：

4.根据权利要求2所述的图像编码方法，其特征在于，所述分别统计所述当前图像帧和参考帧队列中的多个原始参考帧不变宏块的数量包括：

5.根据权利要求1所述的图像编码方法，其特征在于，所述根据识别结果，对当前图像帧按照预设的编码规则进行编码包括：

6.根据权利要求1或5任一项所述的图像编码方法，其特征在于，所述根据识别结果，对当前图像帧按照预设的编码规则进行编码包括：

7.根据权利要求6所述的图像编码方法，其特征在于，所述方法还包括：

将所述当前图像帧加入到参考帧队列中。

8.一种图像编码装置，其特征在于，所述装置包括：

检测模块，用于检测是否发生场景切换；

9.根据权利要求8所述的图像编码装置，其特征在于，所述识别模块包括：

确定子模块，用于根据统计结果，识别所述参考帧队列中是否存在目标参考帧。

10.根据权利要求8所述的图像编码装置，其特征在于，所述识别子模块具体用于：