CN111953976A - 图像处理方法及装置 - Google Patents

Abstract

本公开提供一种图像处理方法及装置，涉及图像处理技术领域，能够解决采用现有技术的视频编码方案，码流较多且编码效率较低的问题。具体技术方案为：对当前帧图像进行区域划分，生成至少一个目标区域；在历史区域列表中存在所述目标区域时，从所述历史区域列表确定所述目标区域的标识信息，历史区域列表包括至少一个历史区域以及每个所述历史区域的标识信息；将所述目标区域的标识信息发送至解码端；若确定所述历史区域列表中不存在所述目标区域，则对所述目标区域进行编码，并发送至解码端。本发明用于降低码流及提高编码效率。

Description

图像处理方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及图像处理方法及装置。

背景技术

现有技术方案主要是类似于H.264、H.265等视频编码方案，对视频图像进行编码压缩。该类视频编解码方案采用了帧间预测的方法来降低码流。所谓帧间预测，就是在对当前帧进行编码时，会将当前帧与参考帧的帧进行比较，如果当前帧某区域和参考帧相同，则直接记录相同区域的信息，如位置等，在解码时直接使用参考帧该区域的信息。

但是，采用现有技术的视频编码方案，大部分的编解码都是只支持一个参考帧，而一个参考帧与整个视频图像的所有帧图像存在相同区域的概率较低，使得采用一个参考帧对当前帧图像进行帧间预测时，很难在当前帧中找到与参考帧相同的区域，还是需要对当前帧图像进行编码。因此，现有技术的视频编码方案在只有一个参考帧时，并不能有效的降低码流。有些编解码技术标准中支持多参考帧，例如H.264，但是，需要保存多个完整的参考帧，会对编解码器的存储空间带来极大负担，另外对当前帧图像编码时需要在多个参考帧中择优选取一个参考帧，择优算法会导致大量的计算负担，因此，现有技术的视频编码方案，编码效率较低。

发明内容

本公开实施例提供一种图像处理方法及装置，能够解决采用现有技术的视频编码方案，码流较多且编码效率较低的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：

对当前帧图像进行区域划分，生成至少一个目标区域；

在历史区域列表中存在所述目标区域时，从所述历史区域列表确定所述目标区域的标识信息，历史区域列表包括至少一个历史区域以及每个所述历史区域的标识信息；

将所述目标区域的标识信息发送至解码端；

若确定所述历史区域列表中不存在所述目标区域，则对所述目标区域进行编码，并发送至解码端。

本实施例提供的图像处理方法，能够对当前帧图像进行区域划分，生成至少一个目标区域；在历史区域列表中存在该目标区域时，从该历史区域列表确定该目标区域的标识信息，历史区域列表包括至少一个历史区域以及每个该历史区域的标识信息；将该目标区域的标识信息发送至解码端；若确定该历史区域列表中不存在该目标区域，则对该目标区域进行编码，并发送至解码端，只需在历史区域列表中存在目标区域时，将该目标区域的标识信息发送至解码端，能够有效的降低码流，并且不需要保存多个完整的参考帧，极大地减轻了编解码器的存储空间，更不需要在多个参考帧中择优选取一个参考帧，避免了现有技术的视频编码方案，编码效率较低的问题。

在一个实施例中，所述历史区域列表还包括每个所述历史区域的权重值，所述确定历史区域列表中存在所述目标区域包括：

若所述历史区域列表中存在与所述目标区域的像素数据相同的第一历史区域，则确定所述历史区域列表中存在所述目标区域；

确定历史区域列表中存在所述目标区域后，所述方法还包括：

将所述第一历史区域的权重值增加预设权重步长。

通过将历史区域列表中存在与该目标区域的像素数据相同的第一历史区域的权重值增加预设权重步长，能够准确的统计该目标区域出现的次数。

在一个实施例中，所述生成至少一个目标区域后，所述方法还包括：

若所述历史区域列表为空，将所述至少一个目标区域添加至所述历史区域列表；

将所述至少一个目标区域的权重值设置为第一预设权重阈值。

通过在历史区域列表为空时，将该至少一个目标区域添加至该历史区域列表，能够为后续的帧图像提供参考区域。

在一个实施例中，所述历史区域列表还包括所述历史区域的时间戳，所述至少一个历史区域在所述历史区域列表中按照每个所述历史区域的时间戳依次排序，所述方法还包括：

若所述历史区域列表中不存在所述目标区域，判断所述历史区域列表中是否存在权重值小于或者等于第二预设权重阈值且时间戳与当前时间的时间差大于或者等于预设时间阈值的第二历史区域；

若是，则将所述第二历史区域从所述历史区域列表中删除；

将所述目标区域增加至所述历史区域列表；

将所述目标区域的权重值设置为所述第一预设权重阈值并生成所述目标区域的时间戳；

按照所述时间戳更新所述历史区域列表。

通过将权重值小于或者等于第二预设权重阈值且时间戳与当前时间的时间差大于或者等于预设时间阈值的第二历史区域从历史区域列表中删除，能够删除历史区域列表中参考价值较低的历史区域，再将该目标区域增加至历史区域列表，能够将历史区域列表中的历史区域更新为最新的区域。

在一个实施例中，所述确定所述目标区域在所述历史区域中对应的标识信息前，所述方法还包括：

将所述历史区域列表发送至所述解码端；

接收所述解码端发送的确认消息，所述确认消息用于指示确认接收所述历史区域列表。

通过将历史区域列表发送至解码端并接收该解码端发送的确认消息，能够将编码端和解码端的历史区域列表进行同步。

根据本公开实施例的第二方面，提供一种图像处理方法，包括：

在历史区域列表存在目标区域时，接收编码端发送的所述目标区域的标识信息，所述历史区域列表中包括至少一个历史区域和每个所述历史区域的标识信息，所述目标区域是在对所述编码端获取的当前帧图像进行区域划分后生成的；

根据所述目标区域的标识信息生成所述目标区域；

在所述历史区域列表不存在目标区域时，接收所述编码端发送的所述目标区域的编码数据；

对所述目标区域的编码数据进行解码，生成所述目标区域。

本公开实施例提供的图像处理方法，能够在历史区域列表存在目标区域时，接收编码端发送的该目标区域的标识信息，该历史区域列表中包括至少一个历史区域和每个所述历史区域的标识信息，该目标区域是在对该编码端获取的当前帧图像进行区域划分后生成的；根据该目标区域的标识信息生成该目标区域；在该历史区域列表不存在目标区域时，接收该编码端发送的该目标区域的编码数据；对该目标区域的编码数据进行解码，生成该目标区域，在历史区域列表中存在目标区域时，只需根据该目标区域的标识信息即可生成该目标区域，能够有效的降低码流，并且不需要保存多个完整的参考帧，极大地减轻了编解码器的存储空间。

在一个实施例中，所述接收编码端发送的所述目标区域的标识信息前，所述方法还包括：

接收所述编码端发送的所述历史区域列表；

向所述编码端发送确认消息，所述确认消息用于指示确认接收所述历史区域列表。

通过接收编码端发送的历史区域列表，并向编码端发送确认消息，能够将编码端和解码端的历史区域列表进行同步。

在一个实施例中，所述根据所述目标区域的标识信息生成所述目标区域包括：

根据所述目标区域的标识信息在历史区域列表中确定目标历史区域，所述目标历史区域的标识信息与所述目标区域的标识信息相同；

将所述目标历史区域作为所述目标区域。

通过在历史区域列表中确定标识信息与目标区域的标识信息相同的目标历史区域，能够根据该目标历史区域生成目标区域。

根据本公开实施例的第三方面，提供一种图像处理装置，包括:

区域划分模块，用于对当前帧图像进行区域划分，生成至少一个目标区域；

标识信息确定模块，用于在历史区域列表中存在所述目标区域时，从所述历史区域列表确定所述目标区域对应的标识信息，历史区域列表包括至少一个历史区域以及每个所述历史区域的标识信息；

标识信息发送模块，用于将所述目标区域的标识信息发送至解码端；

目标区域编码模块，用于若确定所述历史区域列表中不存在所述目标区域，则对所述目标区域进行编码，并发送至解码端。

在一个实施例中，所述历史区域列表还包括每个所述历史区域的权重值，所述标识信息确定模块具体用于：

若所述历史区域列表中存在与所述目标区域的像素数据相同的第一历史区域，则确定所述历史区域列表中存在所述目标区域；

所述装置还包括：权重值更新模块，用于：

将所述第一历史区域的权重值增加预设权重步长。

在一个实施例中，所述装置还包括：权重值设置模块，用于：

若所述历史区域列表为空，将所述至少一个目标区域添加至所述历史区域列表；

将所述至少一个目标区域的权重值设置为第一预设权重阈值。

在一个实施例中，所述历史区域列表还包括所述历史区域的时间戳，所述至少一个历史区域在所述历史区域列表中按照每个所述历史区域的时间戳依次排序，所述装置还包括：历史区域列表更新模块，用于：

若所述历史区域列表中不存在所述目标区域，判断所述历史区域列表中是否存在权重值小于或者等于第二预设权重阈值且时间戳与当前时间的时间差大于或者等于预设时间阈值的第二历史区域；

若是，则将所述第二历史区域从所述历史区域列表中删除；

将所述目标区域增加至所述历史区域列表；

将所述目标区域的权重值设置为所述第一预设权重阈值并生成所述目标区域的时间戳；

根据所述时间戳更新所述历史区域列表。

在一个实施例中，所述装置还包括：确认消息接收模块，用于：

将所述历史区域列表发送至所述解码端；

接收所述解码端发送的确认消息，所述确认消息用于指示确认接收所述历史区域列表。

根据本公开实施例的第四方面，提供一种图像处理装置，包括：

标识信息接收模块，用于在历史区域列表存在目标区域时，接收编码端发送的所述目标区域的标识信息，所述历史区域列表中包括至少一个历史区域和每个所述历史区域的标识信息，所述目标区域是在对所述编码端获取的当前帧图像进行区域划分后生成的；

目标区域生成模块，用于根据所述目标区域的标识信息生成所述目标区域；

编码数据接收模块，用于在所述历史区域列表不存在目标区域时，接收所述编码端发送的所述目标区域的编码数据；

所述目标区域生成模块，还用于对所述目标区域的编码数据进行解码，生成所述目标区域。

在一个实施例中，所述装置还包括：确认消息发送模块，用于：

接收所述编码端发送的所述历史区域列表；

向所述编码端发送确认消息，所述确认消息用于指示确认接收所述历史区域列表。

在一个实施例中，所述目标区域生成模块具体用于：

根据所述目标区域的标识信息在历史区域列表中确定目标历史区域，所述目标历史区域的标识信息与所述目标区域的标识信息相同；

将所述目标历史区域作为所述目标区域。

根据本公开实施例的第五方面，提供一种编码端设备，所述编码端设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第一方面以及第一方面的任一实施例所述的图像处理方法中所执行的步骤。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，存储介质中存储有至少一条计算机指令，指令由处理器加载并执行以实现第一方面以及第一方面的任一实施例所述的图像处理方法中所执行的步骤。

根据本公开实施例的第七方面，提供一种解码端设备，所述解码端设备包括处理器和存储器，所述存储器中存储有至少一条计算机指令，所述指令由所述处理器加载并执行以实现第二方面以及第二方面的任一实施例所述的图像处理方法中所执行的步骤。

根据本公开实施例的第八方面，提供一种计算机可读存储介质，存储介质中存储有至少一条计算机指令，指令由处理器加载并执行以实现第二方面以及第二方面的任一实施例所述的图像处理方法中所执行的步骤。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像处理方法的流程图一；

图2是本公开实施例提供的一种图像处理方法的流程图二；

图3A是本公开实施例提供的一种图像处理装置的逻辑层结构示意图一；

图3B是本公开实施例提供的一种图像处理装置的逻辑层结构示意图二；

图3C是本公开实施例提供的一种Item的示意图；

图4A是本公开实施例提供的一种3个连续的区域划分的帧图像的示意图；

图4B是本公开实施例提供的一种根据图4A生成的历史区域的示意图；

图5是本公开实施例提供的一种编码过程的示意图；

图6是本公开实施例提供的一种历史区域列表更新过程的示意图；

图7是本公开实施例提供的一种图像处理装置的结构图一；

图8是本公开实施例提供的一种图像处理装置的结构图二；

图9是本公开实施例提供的一种图像处理装置的结构图三；

图10是本公开实施例提供的一种图像处理装置的结构图四；

图11是本公开实施例提供的一种编码端设备的结构图；

图12是本公开实施例提供的一种解码端设备的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是本公开实施例提供的一种图像处理方法的流程图一，该方法应用于编码端。如图1所示，该方法包括：

S101、对当前帧图像进行区域划分，生成至少一个目标区域。

在本实施例中，可以对该当前帧采用宏块划分的方式，对该当前帧图像进行区域划分。

示例性地，可以将当前帧图像进行宏块划分，生成至少一个宏块，再将预设数量个宏块作为一个目标区域，即每个目标区域是宏块的整数倍。宏块大小可以为16*16像素、8*8像素等，本实施例此处不作具体限制。需要说明的是，具体的区域划分的形式不固定，将当前帧图像进行区域划分得到的目标区域越多，每个目标区域就越小，但是不同的区域划分情况都是采用同一个的区域划分方式。

S102、在历史区域列表中存在该目标区域时，从该历史区域列表确定该目标区域的标识信息，历史区域列表包括至少一个历史区域以及每个该历史区域的标识信息；

S103、将该目标区域的标识信息发送至解码端。

示例性地，在历史区域列表不为空时，该历史区域列表中包括至少一个历史区域以及该历史区域的标识信息、时间戳以及权重值。示例性地，至少一个历史区域在该历史区域列表中按照每个历史区域的时间戳依次排序。示例性地，该历史区域的标识信息为该历史区域在该历史区域列表中的序列号。

优选地，在历史区域列表中，排在列表头部的，是最新入队的历史区域，即时间戳与当前时间最近的历史区域。排在尾部的，是距离当前时间最远的历史区域，即时间戳与当前时间最远的历史区域。同时，该历史区域列表中还包括每个历史区域的权重值，该权重值表示该目标区域在历史帧图像中出现的次数。如果某一个历史区域连续在多个帧图像上都有出现，那么该历史区域的权重较大。

在本步骤中，针对当前帧图像的每一个目标区域，若历史区域列表中存在与目标区域的像素数据相同的第一历史区域，则确定该历史区域列表中存在该目标区域，并将该第一历史区域的标识信息作为该目标区域的标识信息，再将该目标区域的标识信息发送至解码端，以便解码端根据该标识信息生成该目标区域。示例性地，解码端可以从预先存储的历史区域列表中确定与该标识信息对应的目标历史区域，并将该目标历史区域作为该目标区域。

进一步地，确定历史区域列表中存在与目标区域后，将该第一历史区域的权重值增加预设权重步长并更新根据当前时间更新该第一历史区域的时间戳。在本实施中，若确定历史区域列表中存在该目标区域，将该第一历史区域的权重值加1，并将该第一历史区域的时间戳更新为当前时间。更新该第一历史区域的时间戳后，再根据新的时间戳更新该历史区域列表。

示例性地，若该历史区域列表为空，即该当前帧图像为第一帧图像，则对该当前帧图像进行区域划分后，将该至少一个目标区域添加至该历史区域列表，并将该至少一个目标区域的权重值设置为第一预设权重阈值，并生成该至少一个目标区域中每个目标区域的时间戳。示例性地，在本实施例中，将该至少一个目标区域的权重值设置为默认值1。

S104、若确定该历史区域列表中不存在该目标区域，则对该目标区域进行编码，并发送至解码端。

示例性地，若历史区域列表中不存在该目标区域，则对该目标区域进行编码，并发送至解码端，并且判断该历史区域列表中是否存在权重值小于或者等于第二预设权重阈值且时间戳与当前时间的时间差大于或者等于预设时间阈值的第二历史区域；若是，则将该第二历史区域从该历史区域列表中删除并将该目标区域增加至该历史区域列表；再将该目标区域的权重值设置为该第一预设权重阈值并生成该目标区域的时间戳；生成目标区域的时间戳后，再按照历史区域列表中每个历史区域的时间戳更新该历史区域列表。示例性地，在本实施例中，将该目标区域的权重值设置为默认值1。

在本实施例中，为了确保编码端中的历史区域列表的标识信息与解码端发送的目标区域的标识信息保持一致，需要将解码端的历史区域列表和编码端的历史区域列表保持同步。

对帧图像进行编码时，理论上每获取一帧图像，对该一帧图像进行编码时，历史区域列表就会更新一次，编解码两端就要同步一次。但是受制于网络传输因素和其他因素，这种方式并不现实。因此，在本申请中，在特定时机对编码端和解码端的历史区域列表进行同步。示例性地，可以每隔预设周期(例如1小时)对编码端和解码端的历史区域列表进行同步。若到达预设周期，在同步前判断网络传输条件，如果网络带宽较大，码流传输平稳且带宽有盈余，再编码端和解码端的历史区域列表进行同步。如果网络条件较差，仅该帧图像的码流已耗尽带宽，则编码端和解码端的历史区域列表的同步过程推迟。

示例性地，在本实施例中，历史区域列表包括历史区域列表0和历史区域列表1。编码端每获取一帧图像，对该一帧图像进行编码时，更新一下历史区域列表0，但只对历史区域列表0更新，并不从历史区域列表0确定与该帧图像的目标区域相同的第一历史区域以及该第一历史区域的标识信息，此时，该历史区域列表0为没有处于“激活态”的列表。到达预设周期(如1小时)后，若网络状态较好，将历史区域列表0的内容随最近一次编码帧图像的帧码流一起发送到解码端。解码端收到后，将历史区域列表0的内容解析出来，更新到自己的历史区域列表0中，并给编码端发送第一确认消息，该第一确认消息用于指示确认接收该历史区域列表0。

需要说明的是，编码端向解码端发送含有历史区域列表0内容的码流后，编码端就将历史区域列表0冻结，不再更新，而是将历史区域列表1进行更新，直到收到解码端发送的第一确认消息，编码端才将历史区域列表0激活。在激活历史区域列表0后，对获取的当前帧图像执行S101至S104的步骤。此时在解码端保存有和编码端相同的历史区域列表0，因此，解码端接收到该目标区域的标识信息后，可以根据该标识信息从历史区域列表0中确定与该标识信息对应的目标历史区域，且该目标历史区域的像素数据与该目标区域相同。

示例性地，再经过预设周期，编码端把历史区域列表1冻结，不再更新，并把历史区域列表1发送给解码端，将历史区域列表0进行更新，且在收到解码端的第二确认消息之前，并不从历史区域列表1确定与该帧图像的目标区域相同的第一历史区域以及该第一历史区域的标识信息。第二确认消息用于指示确认接收历史区域列表0。解码端收到历史区域列表1的内容后对自身的历史区域列表1进行更新，将历史区域列表1置为激活态，并给编码端发送的第二确认消息，编码端收到第二确认消息后，将历史区域列表1激活。激活历史区域列表1后，对获取的当前帧图像执行S101至S104的步骤。如此循环，交替使用历史区域列表0和历史区域列表1。

本实施例提供的图像处理方法，能够对当前帧图像进行区域划分，生成至少一个目标区域；在历史区域列表中存在该目标区域时，从该历史区域列表确定该目标区域的标识信息，历史区域列表包括至少一个历史区域以及每个该历史区域的标识信息；将该目标区域的标识信息发送至解码端；若确定该历史区域列表中不存在该目标区域，则对该目标区域进行编码，并发送至解码端，只需在历史区域列表中存在目标区域时，将该目标区域的标识信息发送至解码端，能够有效的降低码流，并且不需要保存多个完整的参考帧，极大地减轻了编解码器的存储空间，更不需要在多个参考帧中择优选取一个参考帧，避免了现有技术的视频编码方案，编码效率较低的问题。

下面结合图2实施例，对解码端如何进行图像处理进行说明。图2是本公开实施例提供的一种图像处理方法的流程图二，该方法应用于解码端。如图2所示，该方法包括：

S201、在历史区域列表存在目标区域时，接收编码端发送的该目标区域的标识信息，该历史区域列表中包括至少一个历史区域和每个该历史区域的标识信息，该目标区域是在对该编码端获取的当前帧图像进行区域划分后生成的。

示例性地，在本实施例中，编码端获取当前帧图像后，对该当前帧图像进行区域划分，生成至少一个目标区域。针对每个目标区域，历史区域列表存在该目标区域时，接收编码端发送的该目标区域的标识信息。

S202、根据该目标区域的标识信息生成该目标区域。

示例性地，根据该目标区域的标识信息在历史区域列表中确定目标历史区域，该目标历史区域的标识信息与该目标区域的标识信息相同；将该目标历史区域作为该目标区域。

S203、在该历史区域列表不存在目标区域时，接收该编码端发送的该目标区域的编码数据；

S204、对该目标区域的编码数据进行解码，生成该目标区域。

在本实施例中，解码端设备生成该当前帧图像的每个目标区域后，再根据该每个目标区域生成该当前帧图像。示例性地，将该每个目标区域进行拼接，生成该当前帧图像。

同样地，为了确保解码端中的历史区域列表的标识信息与编码端发送的目标区域的标识信息保持一致，需要将解码端的历史区域列表和编码端的历史区域列表保持同步。同步的方法与图1实施例中的过程类似，即先接收编码端发送的历史区域列表(历史区域列表0或历史区域列表1)；再向编码端发送确认消息，该确认消息用于指示确认接收该历史区域列表。本实施例此处对同步的过程不再详细赘述。对历史区域列表进行同步后，再执行S201至S204的步骤。

本公开实施例提供的图像处理方法，能够在历史区域列表存在目标区域时，接收编码端发送的该目标区域的标识信息，该历史区域列表中包括至少一个历史区域和每个所述历史区域的标识信息，该目标区域是在对该编码端获取的当前帧图像进行区域划分后生成的；根据该目标区域的标识信息生成该目标区域；在该历史区域列表不存在目标区域时，接收该编码端发送的该目标区域的编码数据；对该目标区域的编码数据进行解码，生成该目标区域，在历史区域列表中存在目标区域时，只需根据该目标区域的标识信息即可生成该目标区域，能够有效的降低码流，并且不需要保存多个完整的参考帧，极大地减轻了编解码器的存储空间。

下面结合图3至图6，对本公开实施例提供的图像处理方法做进一步详细说明。图3A是本公开实施例提供的图像处理装置的逻辑层结构示意图一。该装置应用于编码端。图3B是本公开实施例提供的图像处理装置的逻辑层结构示意图一，该装置应用于解码端。如图3A所示，该图像处理装置的逻辑层结构主要包括：

S301：区域划分模块，将一帧图像划分为固定大小的区域，一般情况下，区域大小是宏块的整数倍。宏块大小则为16*16像素。首先需要将一帧图像在逻辑上划分为矩形的区域，后续的各项工作均要以区域为单位来进行。在后续的图4中，以细线展示了全帧图像的区域划分情况。需要说明的是，具体的划分形式不固定，区域划分的越多，每个区域的大小越小，但是不同的划分情况都是采用同样的计算方式。

S302：历史区域列表0，历史区域列表用于存放各个区域的内容，其中每个项称为一个Item，每个Item代表一个区域，Item的结构如图3C所示。

在队列中的Item是有顺序的，排在列表头部的，是最新入队的区域，排在尾部的，是距离当前时间最远的Item。同时每个Item的权重则记录了这个Item对应的区域在编不同帧时出现的次数。如果某一个区域连续在多个帧上都有出现，那么该Item的权重就很大。因此，入队时间和权重，是衡量一个Item的两个要素。当一个新帧到来时，需要将他划分出的各个区域块入队，如果当前列表已满，就要清除掉距离当前时间最久远的，且权重最小的区域Item，再将新帧的Item入队。

S303：区域比较模块，编码帧的时候，将当前帧的每个区域，和历史区域列表0或者历史区域列表1中的每个区域进行比较，如果比中某个区域，则将列表中的该区域Item的权重加1，同时对该帧中该区域内的宏块，统一记录为列表中的Item索引号(即序列号)，即完成了参考编码。

S304：历史区域列表1，和历史区域列表0的地位相同。之所以设置两个列表，是为了实现在符合特定条件时(例如定时器到，或网络条件优良)，编码端和解码端进行列表同步。具体的同步过程后面详解。这里说明，编解码两端必须保存有同样内容的列表，解码端才能正确的解码具有历史参考数据的码流文件。

S305：码流生成模块，当参考了列表中的数据时，对该区域的编码就是记录列表中参考区域Item的索引号，这个过程在码流生成模块完成。

S306：列表同步模块，为了编解码两端同步列表内容而设置。参考区域列表本质上是编码端生成的，需要在特定条件下发送给解码端，解码端保存，并给编码端发送响应确认。这个过程就叫同步。来自解码端的响应确认消息，就是由本模块接收的。接收后，将刚刚同步过的列表标记为激活态，后续的编码，可参考这个列表中的历史区域。

如图3B所示，该图像处理装置的逻辑层结构主要包括：

S307：解码端的码流解析模块，接收来自编码端的码流，解析出的历史区域列表码流交给S311列表同步模块，解析出的码流数据交给S309区域恢复模块。

S308和S310：解码端维护的历史区域列表，和编码端结构相同。

S309：区域恢复模块，当码流中含有历史区域参考索引时，根据索引到激活的历史区域列表中查询区域的像素，并替换到对应的位置，完成对应区域内容的恢复。

S311：列表同步模块，当收到编码端发来的列表内容流时，将列表内容解出，更新历史区域列表，更新完毕后，给编码端发送响应确认消息。

S312：帧重建模块，将S309恢复出的区域参考内容拼接并形成最终解码的帧图像。在编码系统中，通常还有其他编码形式，例如有的宏块采用的是JPEG编码等，这些宏块的编解码内容不是本方案描述的范围，而且并行于本方案提出的参考方案，一般是同时使用的，那么这些宏块解码的数据，和本方案提出的参考区域解码后的内容，最终要拼接完成全帧解码，这个步骤就在S312模块完成。

下面用一个可视化的例子直观的展示一下涉及到的若干组件的作用，以及本方案的意义。

图4A是3个连续的帧图像，从上到下依次为a/b/c。其中的横竖交叉的细线，即是对帧进行的区域划分。这里的划分只是一个演示用的例子，实际应用可以有更小或者更大的划分。第1、2帧中的粗实线圈住的区域，是被选到历史区域列表中的区域，本例中第1帧图像选了4个区域，第2帧图像选了2个区域。实际上在历史区域列表中的区域数量将远大于这个数目。形成的历史区域如图4B所示(实际数据不包含红线)。在编码第3帧图像的时候，将参考图4B所示的历史区域，其中粗虚线圈住的6个区域将匹配成功，那么在对这6个区域中的宏块进行编码的时候，不会使用JPEG等压缩算法压缩，而是直接记录这6个区域所在列表中的索引号(本例是从0到5)即可。由此，这6个区域中的宏块编码所产生的码流就只有6个索引值，极大的减少了码流。编码第3帧图像的时候，实际上参考了前面2帧图像的信息，比单帧参考命中率高得多。

图5是本公开实施例提供的编码过程的流程图。包括：

步骤S501：接收待编码的原始数据，如RGB或YUV数据，并将数据传递给区域划分模块进行划分。

步骤S502：由区域划分模块完成，将全帧划分为MxN像素大小的区域。

步骤S503：查看历史区域列表是否为空，如果为空，转S509，将当前帧的所有划分区域填入列表0，并将它们的权重均设为初始值1。如果不空，则转S504进行参考编码。

步骤S504：将本帧的区域和历史区域列表中的每个区域进行比较，如果没有比中的，转S506，将列表中权重最低的，历史最久的区域删除，填入当前区域内容，权重初始化为1；如果有比中的，则直接将列表中该区域所对应Item的权重加1。并将该列表中该区域索引号编入码流，完成一个区域的参考编码。

图6是本公开实施例提供的历史区域列表的更新过程的示意图。

列表更新是一个重要环节，他是参考机制能够工作的基础。编码的时候，理论上每编1个帧，历史区域列表就应该更新一次，编解码两端就要同步一次。但是受制于网络传输因素和其他因素，这种方式并不现实。本方案提出的同步，是基于特定时机进行的，称为综合周期性同步。周期性指的是每1小时(或设定其他时间)同步一次，综合则指的是在同步前判断网络传输条件，如果网络带宽较大，码流传输平稳且带宽有盈余的情况下，再进行同步，如果网络条件较差，仅传输图像码流就已耗尽带宽，则推迟同步过程。

如图6所示，从刚开始编码看具体同步的方法是，在编码端每编1帧更新一下列表0，但仅更新不参考，因为没有处于“激活态”的列表。周期(如1小时)到后，网络状态较好，将列表0的内容随最近一次编码的帧码流一起发送到解码端。解码端收到后，将列表0的内容解出来，更新到自己的列表0中，并给编码端发响应确认消息。需要说明的是，自从编码端给解码端发了含有列表0内容的码流，编码端就将列表0的内容冻结，不再更新，而是更新列表1，直到收到解码端对于列表0的响应确认消息，编码端才将列表0激活，在后续的编码中，将参考列表0中的历史区域进行参考编码。此时在解码端保存有和编码端相同的列表0，因此，可正确解码。又过了1个小时，周期到，编码端把列表1冻结，不再更新，并把列表1发送给解码端，随后的编码对列表的变化体现到列表0上，且在收到解码端的响应确认之前，不参考任何列表中的历史区域编码。解码端收到列表1的内容后对自身的列表1进行更新，将列表1置为激活态，并给编码端发送响应确认，编码端收到确认后，将列表1激活，参考列表1进行编码。如此循环。

图7是本公开实施例提供的一种图像处理装置的结构图一，该装置应用于编码端。如图7所示，该装置70包括：

区域划分模块701，用于对当前帧图像进行区域划分，生成至少一个目标区域；

标识信息确定模块702，用于在历史区域列表中存在所述目标区域时，从所述历史区域列表确定所述目标区域对应的标识信息，历史区域列表包括至少一个历史区域以及每个所述历史区域的标识信息；

标识信息发送模块703，用于将所述目标区域的标识信息发送至解码端；

目标区域编码模块704，用于若确定所述历史区域列表中不存在所述目标区域，则对所述目标区域进行编码，并发送至解码端。

在一个实施例中，所述历史区域列表还包括每个所述历史区域的权重值，所述标识信息确定模块702具体用于：

若所述历史区域列表中存在与所述目标区域的像素数据相同的第一历史区域，则确定所述历史区域列表中存在所述目标区域；

如图8所示，该装置70还包括：权重值更新模块705，用于：

将所述第一历史区域的权重值增加预设权重步长。

在一个实施例中，该装置70还包括：权重值设置模块706，用于：

若所述历史区域列表为空，将所述至少一个目标区域添加至所述历史区域列表；

将所述至少一个目标区域的权重值设置为第一预设权重阈值。

在一个实施例中，所述历史区域列表还包括所述历史区域的时间戳，所述至少一个历史区域在所述历史区域列表中按照每个所述历史区域的时间戳依次排序，该装置70还包括：历史区域列表更新模块707，用于：

若所述历史区域列表中不存在所述目标区域，判断所述历史区域列表中是否存在权重值小于或者等于第二预设权重阈值且时间戳与当前时间的时间差大于或者等于预设时间阈值的第二历史区域；

若是，则将所述第二历史区域从所述历史区域列表中删除；

将所述目标区域增加至所述历史区域列表；

将所述目标区域的权重值设置为所述第一预设权重阈值并生成所述目标区域的时间戳；

根据所述时间戳更新所述历史区域列表。

在一个实施例中，该装置70还包括：确认消息接收模块708，用于：

将所述历史区域列表发送至所述解码端；

接收所述解码端发送的确认消息，所述确认消息用于指示确认接收所述历史区域列表。

本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图1实施例，在此不再赘述。

图9是本公开实施例提供的一种图像处理装置的结构图三，该装置应用于解码端。如图9所示，该装置90包括：

标识信息接收模块901，用于在历史区域列表存在目标区域时，接收编码端发送的所述目标区域的标识信息，所述历史区域列表中包括至少一个历史区域和每个所述历史区域的标识信息，所述目标区域是在对所述编码端获取的当前帧图像进行区域划分后生成的；

目标区域生成模块902，用于根据所述目标区域的标识信息生成所述目标区域；

编码数据接收模块903，用于在所述历史区域列表不存在目标区域时，接收所述编码端发送的所述目标区域的编码数据；

所述目标区域生成模块903，还用于对所述目标区域的编码数据进行解码，生成所述目标区域。

在一个实施例中，如图10所示，该装置90还包括：确认消息发送模块904，用于：

接收所述编码端发送的所述历史区域列表；

向所述编码端发送确认消息，所述确认消息用于指示确认接收所述历史区域列表。

在一个实施例中，目标区域生成模块902具体用于：

根据所述目标区域的标识信息在历史区域列表中确定目标历史区域，所述目标历史区域的标识信息与所述目标区域的标识信息相同；

将所述目标历史区域作为所述目标区域。

本公开实施例提供的图像处理装置，其实现过程和技术效果可以参见上述图2实施例，在此不再赘述。

图11是根据本公开实施例提供的一种编码端设备的结构图。如图11所示，该编码端设备110包括处理器1101和存储器1102，存储器1102中存储有至少一条计算机指令，所述指令由处理器1101加载并执行以实现图1所述的图像处理方法中所执行的步骤。

基于上述图1的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read OnlyMemory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像处理方法，此处不再赘述。

图12是根据本公开实施例提供的一种解码端设备的结构图。如图11所示，该解码端设备120包括处理器1201和存储器1202，存储器1202中存储有至少一条计算机指令，所述指令由处理器1201加载并执行以实现图2所述的图像处理方法中所执行的步骤。

基于上述图2的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：Read OnlyMemory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

对当前帧图像进行区域划分，生成至少一个目标区域；

在历史区域列表中存在所述目标区域时，从所述历史区域列表确定所述目标区域的标识信息，历史区域列表包括至少一个历史区域以及每个所述历史区域的标识信息；

将所述目标区域的标识信息发送至解码端；

若确定所述历史区域列表中不存在所述目标区域，则对所述目标区域进行编码，并发送至解码端。

2.根据权利要求1所述的方法，其特征在于，所述历史区域列表还包括每个所述历史区域的权重值，所述确定历史区域列表中存在所述目标区域包括：

若所述历史区域列表中存在与所述目标区域的像素数据相同的第一历史区域，则确定所述历史区域列表中存在所述目标区域；

确定历史区域列表中存在所述目标区域后，所述方法还包括：

将所述第一历史区域的权重值增加预设权重步长。

3.根据权利要求1所述的方法，其特征在于，所述生成至少一个目标区域后，所述方法还包括：

若所述历史区域列表为空，将所述至少一个目标区域添加至所述历史区域列表；

将所述至少一个目标区域的权重值设置为第一预设权重阈值。

4.根据权利要求3所述的方法，其特征在于，所述历史区域列表还包括所述历史区域的时间戳，所述至少一个历史区域在所述历史区域列表中按照每个所述历史区域的时间戳依次排序，所述方法还包括：

若所述历史区域列表中不存在所述目标区域，判断所述历史区域列表中是否存在权重值小于或者等于第二预设权重阈值且时间戳与当前时间的时间差大于或者等于预设时间阈值的第二历史区域；

若是，则将所述第二历史区域从所述历史区域列表中删除；

将所述目标区域增加至所述历史区域列表；

将所述目标区域的权重值设置为所述第一预设权重阈值并生成所述目标区域的时间戳；

按照所述时间戳更新所述历史区域列表。

5.根据权利要求1所述的方法，其特征在于，所述确定所述目标区域在所述历史区域中对应的标识信息前，所述方法还包括：

将所述历史区域列表发送至所述解码端；

接收所述解码端发送的确认消息，所述确认消息用于指示确认接收所述历史区域列表。

6.一种图像处理方法，其特征在于，包括：

在历史区域列表存在目标区域时，接收编码端发送的所述目标区域的标识信息，所述历史区域列表中包括至少一个历史区域和每个所述历史区域的标识信息，所述目标区域是在对所述编码端获取的当前帧图像进行区域划分后生成的；

根据所述目标区域的标识信息生成所述目标区域；

在所述历史区域列表不存在目标区域时，接收所述编码端发送的所述目标区域的编码数据；

对所述目标区域的编码数据进行解码，生成所述目标区域。

7.根据权利要求6所述的方法，其特征在于，所述接收编码端发送的所述目标区域的标识信息前，所述方法还包括：

接收所述编码端发送的所述历史区域列表；

向所述编码端发送确认消息，所述确认消息用于指示确认接收所述历史区域列表。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标区域的标识信息生成所述目标区域包括：

根据所述目标区域的标识信息在历史区域列表中确定目标历史区域，所述目标历史区域的标识信息与所述目标区域的标识信息相同；

将所述目标历史区域作为所述目标区域。

9.一种图像处理装置，其特征在于，包括:

区域划分模块，用于对当前帧图像进行区域划分，生成至少一个目标区域；

标识信息确定模块，用于在历史区域列表中存在所述目标区域时，从所述历史区域列表确定所述目标区域对应的标识信息，历史区域列表包括至少一个历史区域以及每个所述历史区域的标识信息；

标识信息发送模块，用于将所述目标区域的标识信息发送至解码端；

目标区域编码模块，用于若确定所述历史区域列表中不存在所述目标区域，则对所述目标区域进行编码，并发送至解码端。

10.一种图像处理装置，其特征在于，包括：

标识信息接收模块，用于在历史区域列表存在目标区域时，接收编码端发送的所述目标区域的标识信息，所述目标区域是在对所述编码端获取的当前帧图像进行区域划分后生成的；

目标区域生成模块，用于根据所述目标区域的标识信息生成所述目标区域；

编码数据接收模块，用于在所述历史区域列表不存在目标区域时，接收所述编码端发送的所述目标区域的编码数据；

所述目标区域生成模块，还用于对所述目标区域的编码数据进行解码，生成所述目标区域。

Images