CN111093079A - 图像处理方法及装置 - Google Patents

Abstract

本公开提供一种图像处理方法及装置，涉及计算机图像技术领域，所述方法包括：获取当前图像帧和参考图像帧；判断当前图像帧第一宏块和参考图像帧的对应宏块是否相同；若当前图像帧第一宏块和参考图像帧的对应宏块相同，记录所述第一宏块的位置，判断当前图像帧第二宏块和参考图像帧的对应宏块是否相同；若当前图像帧第二宏块和参考图像帧的对应宏块相同，记录所述当前图像帧中连续相同宏块的长度、和所述第二宏块相对第一宏块的方向，直到检测到当前图像帧中的宏块和参考图像帧的对应宏块不相同；发送所述第一宏块的位置、所述连续相同宏块的长度和所述第二宏块相对第一宏块的方向。

Description

图像处理方法及装置

技术领域

本公开涉及计算机图像技术领域，尤其涉及图像处理方法及装置。

背景技术

随着信息技术的发展，人们对通信业务的要求不断增长，图像通信和和通信网容量的矛盾也日益突出。尤其是对于视频图像通信来说，由于其庞大的数据量，如果不进行图像压缩，将难以进行数据的传输和存储。因此，图像压缩能力对于视频图像来说，显得尤为重要。

图像压缩是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效的格式存储和传输数据。

帧间参考是图像压缩中一个很重要的手段。常用的帧间参考编码原理是：编码当前帧图像时，比较当前帧和参考帧，把与参考帧相同或者相似的部分数据剔除，标注出相同数据的位置，以此来达到压缩的目的。

发明内容

本公开实施例提供一种图像处理方法及装置，能够降低图像传输数据量和带宽。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，该方法包括：

获取当前图像帧和参考图像帧；其中，所述当前图像帧和所述参考图像帧划分为N个宏块，所述当前图像帧和所述参考图像帧划分宏块的方式相同；

判断当前图像帧第一宏块和参考图像帧的对应宏块是否相同；

若当前图像帧第一宏块和参考图像帧的对应宏块相同，记录所述第一宏块的位置，判断当前图像帧第二宏块和参考图像帧的对应宏块是否相同；其中，所述第一宏块和第二宏块是所述当前图像帧中相邻的两个宏块；

若当前图像帧第二宏块和参考图像帧的对应宏块相同，记录所述当前图像帧中连续相同宏块的长度、和所述第二宏块相对第一宏块的方向；，直到检测到当前图像帧中的宏块和参考图像帧的对应宏块不相同；

发送所述第一宏块的位置、所述连续相同宏块的长度和所述第二宏块相对第一宏块的方向。

在一个实施例中，上述方法还包括：

若当前图像帧第一宏块和参考图像帧的对应宏块不同，传输所述第一宏块的内容；

若当前图像帧第二宏块和参考图像帧的对应宏块不同，传输所述第一宏块和所述第二宏块的内容。

在一个实施例中，当前图像帧和所述参考图像帧划分为N个宏块包括：

所述当前图像帧和所述参考图像帧划分为N个相同的或不同的宏块。

根据本公开实施例的第二方面，提供一种图像处理方法，该方法包括：

接收当前图像帧的宏块图像信息；

判断所述宏块图像信息是否包含第一宏块的标识信息，其中，所述第一宏块的标识信息包括连续相同宏块的位置、长度和方向；

若所述宏块图像信息包含第一宏块的标识信息，根据所述连续相同宏块的位置复制所述参考图像帧列表中对应宏块，并填充到当前图像帧列表中与所述连续相同宏块的长度和方向对应的位置。

在一个实施例中，上述方法还包括：

若所述宏块图像信息不包含第一宏块的标识信息，识别第二宏块的内容，其中，所述第二宏块为不连续相同的宏块。

在一个实施例中，上述方法还包括：

将所述第二宏块的内容添加到所述当前图像帧列表中。

根据本公开实施例的第三方面，提供一种图像处理装置，该装置包括：

接收模块，用于接收当前图像帧的宏块图像信息；

判断模块，用于判断所述宏块图像信息是否包含第一宏块的标识信息，其中，所述第一宏块的标识信息包括连续相同宏块的位置、长度和方向；

处理模块，用于若所述宏块图像信息包含第一宏块的标识信息，根据所述连续相同宏块的位置复制所述参考图像帧列表中对应宏块，并填充到当前图像帧列表中与所述连续相同宏块的长度和方向对应的位置。

在一个实施例中，上述装置还包括：

识别模块，用于若所述宏块图像信息不包含第一宏块的标识信息，识别第二宏块的内容，其中，所述第二宏块为不连续相同的宏块。

在一个实施例中，上述装置还包括：

添加模块，用于将所述第二宏块的内容添加到所述当前图像帧列表中。

采用本公开提供的实施例，当出现连续相同宏块组时，仅记录该连续相同宏块组的起始宏块及连续相同的宏块长度。由于需要记录的数据大大减少，因此可以大大降低图像传输数据量和带宽。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像处理方法流程图；

图2是本公开实施例提供的一种宏块划分示意图；

图3是本公开实施例提供的一种图像处理方法流程图；

图4是本公开实施例提供的一种图像处理装置结构图；

图5是本公开实施例提供的一种图像处理装置结构图；

图6是本公开实施例提供的一种图像处理装置结构图；

图7是本公开实施例提供的一种图像处理装置结构图；

图8是本公开实施例提供的一种图像处理装置结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开提供了一种图像处理方法及装置，可以降低图像传输数据量和带宽。

本公开实施例提供一种图像处理方法，该方法应用于编码端，如图1所示，该图像处理方法包括以下步骤：

步骤101、获取当前图像帧和参考图像帧；其中，所述当前图像帧和所述参考图像帧划分为N个宏块，所述当前图像帧和所述参考图像帧划分宏块的方式相同；

实际实现时，可以根据不同的应用场景将每一帧图像划分成任意大小的基本区域。每一个区域可以称为一个宏块。需要说的是，一帧图像中，可以包括多个宏块，各个宏块的大小可以设定为相同，或者，根据具体情况，一帧中也可以存在大小不相同的宏块。图2是本公开实施例提供的一种宏块划分示意图，如图2所示，针对宏块大小不完全相同的情况，适用于某些图像背景相对固定，但特定区域范围内图像变动比较多的情况，在这种情况下，需要对图像变动比较多的区域进行更为细致的划分和比对。但是，无论划分方式如何，针对同一个视频来说，每一帧图像的宏块划分方式必须是相同的，以方便对应宏块之间的比对。

步骤102、判断当前图像帧第一宏块和参考图像帧的对应宏块是否相同；

具体的，将每一帧图像按照预设的宏块划分方式进行划分，得到多个图像宏块，将各个图像宏块保存于与该帧图像相对应的宏块列表中的对应位置。

因此，待编码视频包括N帧图像时，编码器中需要保存N-1帧(不包括最后一帧)图像的宏块列表，即，N-1个宏块列表。

将划分后的宏块分别与其前一帧的各个图像宏块进行比对；

具体的，获取前一帧图像的宏块列表，将当前帧划分后得到的各个宏块与前一帧图像的宏块列表中的各个图像宏块进行比对。

具体的比对方原则是：

1)每一帧与其前一帧进行比对；也就是说，每一帧以其前一帧作为参考帧，进行编码。

这种比对方式比较适合视频流的应用场景，由于相邻两帧图像之间相关度最高，因此，以当前帧的数据作为下一帧的参考进行编码，能够最大幅度的降低带宽，提高数据压缩幅度。

可选的，每一帧与其前几帧中选择相似度最高的图像帧作为参考帧进行比对。

2)进行比对的两帧中，相应位置上的宏块进行一一比对；

假设将每一帧图像划分为8×8的宏块，以行号和列号对每一个宏块进行标记，则在实际比较中，需要将当前帧和其前一帧中行号和列号分别相同的宏块进行比对，比如将当前帧中第二行二列的宏块与其前一帧中第二行第二列的宏块进行比对。

3)按照预设顺序进行宏块比对；

这里的预设顺序可以根据实际需要进行设置和调整；比如，逐行进行比对，或者逐列进行比对。如果是逐行比对，那么第二宏块就是和第一宏块相邻的右边方向的宏块。

4)当出现连续相同宏块组时，则记录该连续相同宏块组的起始宏块位置及连续相同的宏块长度。

针对上述情况，进行数据传输时，只传输首宏块位置及连续相同宏块长度。

步骤103、若当前图像帧第一宏块和参考图像帧的对应宏块相同，记录所述第一宏块的位置，判断当前图像帧第二宏块和参考图像帧的对应宏块是否相同；其中，所述第一宏块和第二宏块是所述当前图像帧中相邻的两个宏块；

若当前图像帧第一宏块和参考图像帧的对应宏块不同，传输所述第一宏块的内容；

步骤104、若当前图像帧第二宏块和参考图像帧的对应宏块相同，记录所述当前图像帧中连续相同宏块的长度、和所述第二宏块相对第一宏块的方向，直至检测到当前图像帧中的宏块和参考图像帧的对应宏块不相同；

步骤105、发送所述第一宏块的位置、所述连续相同宏块的长度和所述第二宏块相对第一宏块的方向。

若当前图像帧第二宏块和参考图像帧的对应宏块不同，传输所述第一宏块和所述第二宏块的内容。

在上述实施例中，总体的帧间对比按照以下流程进行：

将当前帧中的宏块和其前一帧的对应宏块进行一一比对，根据比对结果进行相应的宏块数据传输。

具体的，可以预先设置比对顺序(比如逐行或者逐)，这样在进行每一帧比对时均按照预设顺序进行比对。其中，第二宏块相对第一宏块的方向和最终确定的比对顺序相关。

可选的，也可以根据每一帧的特点具体确定最终比对顺序。具体的，在对当前帧的宏块与其前一帧的对应宏块进行比对时，可以同时依据两种或者两种以上的顺序进行比对，并得到比对结果，将比对结果中宏块相同长度累计最长的一种比对顺序确定为最终比对顺序。比如，针对当前帧的宏块同时按照逐行和逐列方式与其前一帧的宏块列表中的宏块进行比对，分别得到比对结果，假设逐行比对得到的比对结果中宏块相同长度累计最长的，则将逐行比对确定为该帧的最终比对顺序，例如，横向比较共有3段宏块相同，长度为15个宏块长度，纵向比较共有4段相同，长度为20个宏块长度，则最终确定纵向比较顺序。同时在该帧数据编码时，通过一位数据来标记该最终比对顺序。这一方案能够较佳地应用于办公等用户对屏幕操作较多的场景，由于办公中，用户很可能涉及到很多横向变化较多或者纵向变化较多的操作，这时，在图像编码过程中，依据不同的比对顺序进行比对时，所得到的编码数据量往往会产生很大差异，因此，可以选择最优比对顺序的比对结果作为当前帧的比对结果。

具体的，提取宏块中的数据特征，与前一帧对应宏块的数据特征逐一比较，并确定比对结果。

实际应用中，提取数据特征可以利用aHash算法、pHash算法、dHash算法或者其他技术。

具体的，比对过程中，当检测到与其前一帧相同的宏块时，记录该宏块，并自该宏块开始继续检测，直到检测到与其前一帧不相同的宏块为止，记录此连续相同宏块组的长度(也就是，连续相同宏块的个数)；接下来，从与其前一帧不相同的宏块为止开始继续检测，当再次检测到与其前一帧相同的宏块时，记录该宏块，并自当前位置继续向后检测，直到检测到与其前一帧不相同的宏块为止，记录连续相同宏块组的长度；如此循环，直到完成所有宏块的比对。

在比对过程中，对于当前帧中与其前一帧不相同的宏块直接进行传输；

需要说明的是，连续相同宏块组中宏块的个数必须为多个(两个及两个以上)，在这种情况下，如果某一个宏块与其前一帧中对应位置上的宏块相同，但其前后位置上的宏块均与其前一帧对应位置上的宏块不同，则也将该宏块直接传输，不用记录宏块个数1。

采用本公开实施例的方法，当出现连续相同宏块组时，仅记录该连续相同宏块组的起始宏块及连续相同的宏块长度。由于需要记录的数据大大减少，因此可以大大降低图像传输数据量和带宽。每一帧与其前一帧进行比对，这种比对方式比较适合视频流的应用场景，由于相邻两帧图像之间相关度最高，因此，以当前帧的数据作为下一帧的参考进行编码，能够最大幅度的降低带宽，提高数据压缩幅度。

本公开实施例提供一种图像处理方法，该方法用于解码端，如图3所示，该图像处理方法包括以下步骤：

步骤301、接收当前图像帧的宏块图像信息；

从上文可以看出，发送端是分两种情况进行发送的，一种是连续相同宏块的情况，一种是不是连续相同宏块的情况。如果是连续相同宏块的分情况，发送端发送的是连续相同宏块的位置、长度和方向；不是连续相同宏块的情况下发送的直接是宏块的内容，接收端也根据这两种情况分别进行判断和识别。

步骤302、判断所述宏块图像信息是否包含第一宏块的标识信息，其中，所述第一宏块的标识信息包括连续相同宏块的位置、长度和方向；

如果宏块图像信息包含第一宏块的标识信息，代表发送端是是连续相同宏块的情况，这个时候只需要解析出连续相同宏块的位置、长度和方向即可。

步骤303、若所述宏块图像信息包含第一宏块的标识信息，根据所述连续相同宏块的位置复制所述参考图像帧列表中对应宏块，并填充到当前图像帧列表中与所述连续相同宏块的长度和方向对应的位置。

其中，参考帧列表可以是接收端生成的。参考帧列表存储的是参考帧，可能是前一帧，也可能是前几帧图像。

在该实施例中，具体的，当前图像帧之前的所有图像帧均为完整图像，针对该图像，按照预设的宏块划分方式(该宏块划分方式与发送端采用的宏块划分方式对应相同)对图像帧划分宏块，并将划分后的宏块保存至宏块列表。

图4是本公开实施例提供的一种图像处理装置结构图，如图4所示的图像处理装40包括：获取模块401、判断模块402、第一记录模块403、第二记录模块404和第一传输模块405；其中，

获取模块401，用于获取当前图像帧和参考图像帧；其中，所述当前图像帧和所述参考图像帧划分为N个宏块，所述当前图像帧和所述参考图像帧划分宏块的方式相同；

判断模块402，用于判断当前图像帧第一宏块和参考图像帧的对应宏块是否相同；

第一记录模块403，用于若当前图像帧第一宏块和参考图像帧的对应宏块相同，记录所述第一宏块的位置，判断当前图像帧第二宏块和参考图像帧的对应宏块是否相同；其中，所述第一宏块和第二宏块是所述当前图像帧中相邻的两个宏块；

第二记录模块404用于若当前图像帧第二宏块和参考图像帧的对应宏块相同，记录所述当前图像帧中连续相同宏块的长度、和所述第二宏块相对第一宏块的方向，直至检测到当前图像帧中的宏块和参考图像帧的对应宏块不相同；

第一传输模块405，用于发送所述第一宏块的位置、所述连续相同宏块的长度和所述第二宏块相对第一宏块的方向。

图5是本公开实施例提供的一种图像处理装置结构图，如图4所示的图像处理装50包括：获取模块501、判断模块502、第一记录模块503、第二记录模块504、第一传输模块505、第二传输模块506和第三传输模块507，其中，

第二传输模块506，用于若当前图像帧第一宏块和参考图像帧的对应宏块不同，传输所述第一宏块的内容；

第三传输模块507，用于若当前图像帧第二宏块和参考图像帧的对应宏块不同，传输所述第一宏块和第二宏块的内容。

图6是本公开实施例提供的一种图像处理装置结构图，如图6所示的图像处理装60包括：接收模块601、判断模块602和处理模块603，其中，

接收模块601，用于接收当前图像帧的宏块图像信息；

判断模块602，用于判断所述宏块图像信息是否包含第一宏块的标识信息，其中，所述第一宏块的标识信息包括连续相同宏块的位置、长度和方向；

处理模块603，用于若所述宏块图像信息包含第一宏块的标识信息，根据所述连续相同宏块的位置复制所述参考图像帧列表中对应宏块，并填充到当前图像帧列表中与所述连续相同宏块的长度和方向对应的位置。

图7是本公开实施例提供的一种图像处理装置结构图，如图7所示的图像处理装70包括：接收模块701、判断模块702、处理模块703和识别模块704，

识别模块704，用于若所述宏块图像信息不包含第一宏块的标识信息，识别第二宏块的内容，其中，所述第二宏块为不连续相同的宏块。

图8是本公开实施例提供的一种图像处理装置结构图，如图8所示的图像处理装80包括：接收模块801、判断模块802、处理模块803和识别模块804和添加模块805，

添加模块805，用于将所述第二宏块的内容添加到所述当前图像帧列表中。

基于上述图1对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：ReadOnly Memory，ROM)、随机存取存储器(英文：Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取当前图像帧和参考图像帧；其中，所述当前图像帧和所述参考图像帧划分为N个宏块，所述当前图像帧和所述参考图像帧划分宏块的方式相同；

判断当前图像帧第一宏块和参考图像帧的对应宏块是否相同；

若当前图像帧第一宏块和参考图像帧的对应宏块相同，记录所述第一宏块的位置，判断当前图像帧第二宏块和参考图像帧的对应宏块是否相同；其中，所述第一宏块和第二宏块是所述当前图像帧中相邻的两个宏块；

若当前图像帧第二宏块和参考图像帧的对应宏块相同，记录所述当前图像帧中连续相同宏块的长度、和所述第二宏块相对第一宏块的方向，直至检测到当前图像帧中的宏块和参考图像帧的对应宏块不相同；

发送所述第一宏块的位置、所述连续相同宏块的长度和所述第二宏块相对第一宏块的方向。

2.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：

若当前图像帧第一宏块和参考图像帧的对应宏块不同，传输所述第一宏块的内容；

若当前图像帧第二宏块和参考图像帧的对应宏块不同，传输所述第一宏块和所述第二宏块的内容。

3.根据权利要求1所述的图像处理方法，其特征在于，所述当前图像帧和所述参考图像帧划分为N个宏块包括：

所述当前图像帧和所述参考图像帧划分为N个相同的或不同的宏块。

4.一种图像处理方法，其特征在于，所述方法包括：

接收当前图像帧的宏块图像信息；

判断所述宏块图像信息是否包含第一宏块的标识信息，其中，所述第一宏块的标识信息包括连续相同宏块的位置、长度和方向；

若所述宏块图像信息包含第一宏块的标识信息，根据所述连续相同宏块的位置复制所述参考图像帧列表中对应宏块，并填充到当前图像帧列表中与所述连续相同宏块的长度和方向对应的位置。

5.根据权利要求4所述的图像处理方法，其特征在于，所述方法还包括：

若所述宏块图像信息不包含第一宏块的标识信息，识别第二宏块的内容，其中，所述第二宏块为不连续相同的宏块。

6.根据权利要求5所述的图像处理方法，其特征在于，所述方法还包括：

将所述第二宏块的内容添加到所述当前图像帧列表中。

7.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取当前图像帧和参考图像帧；其中，所述当前图像帧和所述参考图像帧划分为N个宏块，所述当前图像帧和所述参考图像帧划分宏块的方式相同；

判断模块，用于判断当前图像帧第一宏块和参考图像帧的对应宏块是否相同；

第一记录模块，用于若当前图像帧第一宏块和参考图像帧的对应宏块相同，记录所述第一宏块的位置，判断当前图像帧第二宏块和参考图像帧的对应宏块是否相同；其中，所述第一宏块和第二宏块是所述当前图像帧中相邻的两个宏块；

第二记录模块用于若当前图像帧第二宏块和参考图像帧的对应宏块相同，记录所述当前图像帧中连续相同宏块的长度、和所述第二宏块相对第一宏块的方向；

第一传输模块，用于发送所述第一宏块的位置、所述连续相同宏块的长度和所述第二宏块相对第一宏块的方向。

8.根据权利要求7所述的图像处理装置，其特征在于，所述装置还包括：

第二传输模块，用于若当前图像帧第一宏块和参考图像帧的对应宏块不同，传输所述第一宏块的内容；

第三传输模块，用于若当前图像帧第二宏块和参考图像帧的对应宏块不同，传输所述第一宏块和所述第二宏块的内容。

9.一种图像处理装置，其特征在于，所述装置包括：

接收模块，用于接收当前图像帧的宏块图像信息；

判断模块，用于判断所述宏块图像信息是否包含第一宏块的标识信息，其中，所述第一宏块的标识信息包括连续相同宏块的位置、长度和方向；

处理模块，用于若所述宏块图像信息包含第一宏块的标识信息，根据所述连续相同宏块的位置复制所述参考图像帧列表中对应宏块，并填充到当前图像帧列表中与所述连续相同宏块的长度和方向对应的位置。

10.根据权利要求9所述的图像处理装置，其特征在于，所述装置还包括：

识别模块，用于若所述宏块图像信息不包含第一宏块的标识信息，识别第二宏块的内容，其中，所述第二宏块为不连续相同的宏块。

Images