CN114581495A - 图像处理方法、视频处理方法、装置以及电子设备 - Google Patents

Abstract

本公开关于一种图像处理方法、视频处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。方法通过获取待处理图像和参考图像，分别对对待处理图像和参数图像进行区域划分，从而得到与待处理图像对应的多个第一像素块，以及得到与参考图像对应的多个第二像素块，并确定多个像素块对，获取像素块对的对齐矩阵，将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块，进而根据每个第一像素块变换后的目标像素块，得到待处理图像的目标图像。由于本实施例通过对图像进行区域划分，并对每个区域进行对齐矩阵估计，进而对每个区域进行对齐处理，从而可以以较小的计算开销、鲁棒的进行图像对齐，并在直观上提高对齐效果。

Description

图像处理方法、视频处理方法、装置以及电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、视频处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术

随着移动端设备的存储能力和计算能力的提升，视频成为人们传播信息的常用载体。为了帮助用户更便捷的记录、创作和使用视频，一些面向视频的AI(ArtificialIntelligence，人工智能)算法逐渐诞生。例如帮助用户搜索视频的检索算法、提升视频质量的增强算法、检测视频中物体的检测算法等。

相关技术中，这些AI算法大多是将视频先拆解为一系列图像帧，然后利用帧间的互补信息得到强有力的特征用于后续任务。但是，这些算法大部分都采用了卷积神经网络，又由于受限于卷积核的局部性感受野大小，当相邻帧存在大幅度的不对齐时，网络很难提取到前后帧的互补特征。因此对齐算法往往会被当作不可或缺的前处理算法放在AI算法的前端。目前的图像对齐算法主要分为两类，一类是基于光流对齐的神经网络算法；另一类是基于单应矩阵对齐的传统算法。

然而，由于基于光流对齐的神经网络算法遵循了像素级别的精确对齐，因此，其面临了庞大的计算开销和对齐后的伪影。而基于单应矩阵对齐虽然可以较少引入额外的计算开销，但是，由于其对全图采用唯一的单应矩阵来描述运动，从而会导致误差。因此，目前对图像处理的对齐算法存在计算开销大以及对齐效果不理想的问题。

发明内容

本公开提供一种图像处理方法、视频处理方法、装置、电子设备、计算机可读存储介质以及计算机程序产品，以至少解决相关技术中图像对齐效果不理想的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取待处理图像和用于对所述待处理图像进行对齐的参考图像；

对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块；

根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，所述像素块对包括具有对应关系的第一像素块和第二像素块；

获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块；

根据每个所述第一像素块变换后的目标像素块，得到所述待处理图像的目标图像。

在其中一个实施例中，所述获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块，包括：对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵；根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块。

在其中一个实施例中，所述对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵，包括：对所述像素块对中的第一像素块进行特征点提取得到第一特征点集，以及对所述像素块对中的第二像素块进行特征点提取得到第二特征点集；根据所述第一特征点集和第二特征点集进行特征点匹配，确定匹配的多个特征点对，所述特征点对包括对应的第一特征点和第二特征点；根据多个特征点对构建所述像素块对的对齐矩阵。

在其中一个实施例中，所述对齐矩阵为单应矩阵；所述根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块，包括：根据所述像素块对所对应的单应矩阵，采用单应性变换方法计算所述第一像素块的像素原坐标变换至所述第二像素块的目标坐标；根据所述第一像素块的每一个像素变换后的目标坐标，得到所述第一像素块向所述第二像素块变换后的目标像素块。

在其中一个实施例中，所述待处理图像与所述参考图像大小相等；所述对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块，包括：分别获取所述待处理图像和所述参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度；在所述第一长度上对所述待处理图像进行第一设定数量的等份划分，以及在所述第二长度上对所述待处理图像进行第二设定数量的等份划分，得到划分后的与所述待处理图像对应的多个第一像素块；在所述第一长度上对所述参考图像进行所述第一设定数量的等份划分，以及在所述第二长度上对所述参考图像进行第二设定数量的等份划分，得到划分后的与所述参考图像对应的多个第二像素块。

在其中一个实施例中，所述待处理图像与所述参考图像大小相等；所述对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块，包括：分别获取所述待处理图像和所述参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度，所述第一坐标方向与所述第二坐标方向相互垂直；根据第一设定长度间隔在所述第一长度上对所述待处理图像进行第一划分，以及根据第二设定长度间隔在所述第二长度上对所述待处理图像进行第二划分，得到划分后的与所述待处理图像对应的多个第一像素块；根据所述第一设定长度间隔在所述第一长度上对所述参考图像进行第一划分，以及根据第二设定长度间隔在所述第二长度上对所述参考图像进行第二划分，得到划分后的与所述参考图像对应的多个第二像素块。

在其中一个实施例中，所述根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，包括：确定每个所述第一像素块位于所述待处理图像中的第一位置，以及确定每个所述第二像素块位于所述参考图像中的第二位置；当所述第一位置与所述第二位置匹配时，将所述第一位置对应的第一像素块与所述第二位置对应的第二像素块确定为像素块对。

在其中一个实施例中，所述根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，包括：确定每个所述第一像素块位于所述待处理图像中的第一位置，以及确定每个所述第二像素块位于所述参考图像中的第二位置；针对任一所述第一像素块对应的第一位置，确定与所述第一位置匹配的第二位置的邻域，所述邻域包括至少两个第二像素块，每个第二像素块对应一个第二位置；将所述第一像素块分别与所述邻域中的至少两个第二像素块中每个第二像素块进行特征匹配，分别得到与每个第二像素块的匹配特征；将所述匹配特征最多的第二像素块与所述第一像素块确定为像素块对。

根据本公开实施例的第二方面，提供一种视频处理方法，所述方法包括：

获取待处理视频，从所述待处理视频中确定至少一个待进行稳定处理的相邻帧，所述相邻帧包括位于前一帧的参考图像和位于后一帧的待处理图像；

采用如上第一方面所述的图像处理方法对所述相邻帧中的待处理图像进行处理，得到每个所述相邻帧中所述待处理图像的目标图像；

将所述目标图像与所述待处理视频中的对应帧进行替换，得到处理后的目标视频。

在其中一个实施例中，所述从所述待处理视频中确定至少一个待进行稳定处理的相邻帧，包括：对所述待处理视频进行分帧处理，得到所述待处理视频的每一帧图像；对每一帧图像分别进行特征提取，得到每一帧图像的图像特征；根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧。

在其中一个实施例中，所述根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧，包括：针对任一相邻的两帧图像，获取后一帧图像的图像特征与前一帧图像的图像特征之间的特征匹配度；当所述特征匹配度小于设定值时，确定所述相邻的两帧图像为待进行稳定处理的相邻帧。

根据本公开实施例的第三方面，提供一种图像处理装置，所述装置包括：

图像获取模块，被配置为执行获取待处理图像和用于对所述待处理图像进行对齐的参考图像；

像素块划分模块，被配置为执行对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块；

像素块对确定模块，被配置为执行根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，所述像素块对包括具有对应关系的第一像素块和第二像素块；

像素块处理模块，被配置为执行获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块；

目标图像确定模块，被配置为执行根据每个所述第一像素块变换后的目标像素块，得到所述待处理图像的目标图像。

在其中一个实施例中，所述像素块处理模块包括：对齐矩阵构建单元，被配置为执行对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵；对齐单元，被配置为执行根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块。

在其中一个实施例中，所述对齐矩阵构建单元被配置为执行：对所述像素块对中的第一像素块进行特征点提取得到第一特征点集，以及对所述像素块对中的第二像素块进行特征点提取得到第二特征点集；根据所述第一特征点集和第二特征点集进行特征点匹配，确定匹配的多个特征点对，所述特征点对包括对应的第一特征点和第二特征点；根据多个特征点对构建所述像素块对的对齐矩阵。

在其中一个实施例中，所述对齐矩阵为单应矩阵；所述对齐单元被配置为执行：根据所述像素块对所对应的单应矩阵，采用单应性变换方法计算所述第一像素块的像素原坐标变换至所述第二像素块的目标坐标；根据所述第一像素块的每一个像素变换后的目标坐标，得到所述第一像素块向所述第二像素块变换后的目标像素块。

在其中一个实施例中，所述待处理图像与所述参考图像大小相等；所述像素块划分模块被配置为执行：分别获取所述待处理图像和所述参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度,所述第一坐标方向与所述第二坐标方向相互垂直；在所述第一长度上对所述待处理图像进行第一设定数量的等份划分，以及在所述第二长度上对所述待处理图像进行第二设定数量的等份划分，得到划分后的与所述待处理图像对应的多个第一像素块；在所述第一长度上对所述参考图像进行所述第一设定数量的等份划分，以及在所述第二长度上对所述参考图像进行第二设定数量的等份划分，得到划分后的与所述参考图像对应的多个第二像素块。

在其中一个实施例中，所述待处理图像与所述参考图像大小相等；所述像素块划分模块被配置为执行：分别获取所述待处理图像和所述参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度；根据第一设定长度间隔在所述第一长度上对所述待处理图像进行第一划分，以及根据第二设定长度间隔在所述第二长度上对所述待处理图像进行第二划分，得到划分后的与所述待处理图像对应的多个第一像素块；根据所述第一设定长度间隔在所述第一长度上对所述参考图像进行第一划分，以及根据第二设定长度间隔在所述第二长度上对所述参考图像进行第二划分，得到划分后的与所述参考图像对应的多个第二像素块。

在其中一个实施例中，所述像素块对确定模块被配置为执行：确定每个所述第一像素块位于所述待处理图像中的第一位置，以及确定每个所述第二像素块位于所述参考图像中的第二位置；当所述第一位置与所述第二位置匹配时，将所述第一位置对应的第一像素块与所述第二位置对应的第二像素块确定为像素块对。

在其中一个实施例中，所述像素块对确定模块被配置为执行：确定每个所述第一像素块位于所述待处理图像中的第一位置，以及确定每个所述第二像素块位于所述参考图像中的第二位置；针对任一所述第一像素块对应的第一位置，确定与所述第一位置匹配的第二位置的邻域，所述邻域包括至少两个第二像素块，每个第二像素块对应一个第二位置；将所述第一像素块分别与所述邻域中的至少两个第二像素块中每个第二像素块进行特征匹配，分别得到与每个第二像素块的匹配特征；将所述匹配特征最多的第二像素块与所述第一像素块确定为像素块对。

根据本公开实施例的第四方面，提供一种视频处理装置，所述装置包括：

待处理视频获取模块，被配置为执行获取待处理视频，从所述待处理视频中确定至少一个待进行稳定处理的相邻帧，所述相邻帧包括位于前一帧的参考图像和位于后一帧的待处理图像；

如上第三方面所述的图像处理装置，被配置为执行对所述相邻帧中的待处理图像进行处理，得到每个所述相邻帧中所述待处理图像的目标图像；

目标视频获取模块，被配置为执行将所述目标图像与所述待处理视频中的对应帧进行替换，得到处理后的目标视频。

在其中一个实施例中，所述待处理视频获取模块还包括：分帧单元，被配置为执行对所述待处理视频进行分帧处理，得到所述待处理视频的每一帧图像；特征提取单元，被配置为执行对每一帧图像分别进行特征提取，得到每一帧图像的图像特征；相邻帧确定单元，被配置为执行根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧。

在其中一个实施例中，所述相邻帧确定单元被配置为执行：针对任一相邻的两帧图像，获取后一帧图像的图像特征与前一帧图像的图像特征之间的特征匹配度；当所述特征匹配度小于设定值时，确定所述相邻的两帧图像为待进行稳定处理的相邻帧。

根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上第一方面所述的图像处理方法以及如上第二方面所述的视频处理方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上第一方面所述的图像处理方法以及如上第二方面所述的视频处理方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如上第一方面所述的图像处理方法以及如上第二方面所述的视频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：通过获取待处理图像和参考图像，对待处理图像进行区域划分，得到与待处理图像对应的多个第一像素块，以及对参考图像进行区域划分，得到与参考图像对应的多个第二像素块，根据多个第一像素块与多个第二像素块，确定多个像素块对，并获取像素块对的对齐矩阵，将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块，进而根据每个第一像素块变换后的目标像素块，得到待处理图像的目标图像。由于本实施例通过对图像进行区域划分，并对每个区域进行对齐矩阵估计，进而对每个区域进行对齐处理，从而可以以较小的计算开销、鲁棒的进行图像对齐，并在直观上提高对齐效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的光流对齐的处理原理图。

图2是根据一示例性实施例示出的光流对齐的效果示意图。

图3A是根据一示例性实施例示出的一种图像处理方法的流程图。

图3B是根据一示例性实施例示出的不同对齐方法的效果示意图。

图4是根据一示例性实施例示出的对图像进行区域划分步骤的流程图。

图5是根据一示例性实施例示出的确定像素块对步骤的流程图。

图6是根据另一示例性实施例示出的确定像素块对步骤的流程图。

图7是根据一示例性实施例示出的位置匹配示意图。

图8是根据一示例性实施例示出的对齐处理步骤的流程图。

图9是根据一示例性实施例示出的构建像素块对的对齐矩阵步骤的流程图。

图10是根据一示例性实施例示出的像素块对的对齐步骤的流程图。

图11A是根据一示例性实施例示出的对齐效果示意图。

图11B是根据另一示例性实施例示出的对齐效果示意图。

图11C是根据又一示例性实施例示出的对齐效果示意图。

图11D是根据再一示例性实施例示出的对齐效果示意图。

图12是根据一示例性实施例示出的一种视频处理方法的流程图。

图13是根据一示例性实施例示出的一种图像处理装置的框图。

图14是根据一示例性实施例示出的一种视频处理装置的框图。

图15是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述必用于描述特定的顺序或附图中的术语“第一”、“第二”等是用于区别类似的对象，而不先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

目前，在对图像对齐处理中，大部分采用光流对齐，本实施例以SpyNet(Spatial-Pyramid-Network，空间金字塔网络，其是通过将经典的空间金字塔方法与深度学习结合来计算光流的模型)为例说明其处理流程。如图1所示，

和

为输入图像，其中，

为待处理帧，

为参考帧，图1即为待处理帧向参考帧的光流对齐的过程。

首先两帧会经过下采样层d1得到更小分辨率的图像

和

然后再经过下采样层d2得到

和

随后

和

经过网络G0得到第一个光流图v0，通过对v0进行校准(由于此时并无校准参数，因此输入的校准参数为0)得到V0，然后V0经过上采样u1得到大分辨率的光流图V0'。

随后

会根据光流图V0'进行扭曲(通过图中的w1进行扭曲)，扭曲后的图像和

拼接然后送入网络G1得到光流的误差图v1，然后v1会作用到光流图V0'上，进行误差的校准得到V1。

V1再重复上述步骤(即对V0进行处理得到V1的处理步骤)得到V2。V2则是最终的光流图，其尺寸为(H，W，2)，H和W是图像的高和宽，2是每个像素点在x和y方向上的偏移。根据此偏移量将待处理帧变换到参考帧。

由于光流是基于神经网络的方法，因此会引入额外的参数(例如，模型参数)，并且端到端的训练会设计许多超参数的选择。此外，光流是像素级别的估计，因此对准确性的要求极高。但实际上，会因为参考帧与待处理帧的遮挡，导致光流估计不准确，则会影响对齐的效果。如图2所示，其是由于不准确的光流估计所引起的伪影。图2从左到右的顺序为：待处理帧-参考帧-对齐后的目标帧，由图2可以看出，在对齐后的目标帧中鸟的翅膀处出现了多重的残影(具体可见图中圈出的部分)，这是由于鸟的翅膀有黑色的像素，而附近的岩石也是黑色的，所以对光流的估计产生了影响，无法将待处理帧中鸟翅膀里的每个像素与参考帧进行匹配，而匹配失败的像素则会产生残影，也即伪影。

又由于光流是像素级别的估计，因此其计算开销也是非常庞大的，特别是当图像尺寸较大时，逐像素点的估计会带来巨大的计算开销。若面临相邻帧的间隔较大时，受限于卷积核的感受野大小，光流估计的准确性也是不稳定的。

此外，视频的运动包括相机的运动和非刚体运动，前者比较好理解就是相机平扫时所产生的运动；而后者是画面中的人或者物体自发性发生的运动，例如跑步，红旗飘飘等导致相邻帧中的人或物体的位移。若视频内只有后者的运动，并且范围较小时的情况，两幅图像的大部分特征点基本都是均等的，因此传统的单应矩阵是无法满足成立条件的。从单应矩阵的方程可以看出，虽然看似有9个参数，但因为使用的是齐次坐标系所以实际只有8个自由度，因此做图像匹配时至少需要4个点(点越多代表结果越准确)。而在实际应用中，传统的单应算法会对全图进行SIFT(Scale-invariant feature transform，尺度不变特征变换)特征点提取。当行人在图中的占比较小时，特征主要为背景部分。因此估计出的单应矩阵要么不会改变待处理帧的信息，要么会因为匹配的点少而产生误差。因此全图的单应矩阵估计并不适用于所有类型运动的图像。

基于此，本公开提供了一种图像处理方法，本实施例以该方法应用于终端进行举例说明，其中，终端可以但不限于是各种可以对视频进存储及处理的个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。本实施例中，如图3A所示，该方法可以包括以下步骤：

在步骤S310中，获取待处理图像和参考图像。

其中，待处理图像和参考图像可以是视频中相邻帧所对应的帧图像。例如，当视频中的相邻帧存在大幅度的不对齐时，会影响视频的稳定性。因此，本实施例通过将相邻帧中的后一帧向前一帧进行对齐处理，从而提高视频的稳定性。具体地，相邻帧中的后一帧为待处理图像，即为需要进行对齐处理的图像，前一帧则为参考图像，即为对齐处理过程中的参照。

在本实施例中，当需要对图像进行对齐处理时，则首先获取对应的待处理图像和参考图像。

在步骤S320中，对待处理图像进行区域划分，得到与待处理图像对应的多个第一像素块，以及对参考图像进行区域划分，得到与参考图像对应的多个第二像素块。

其中，区域划分是指基于某种规则将图像划分为多个区域，例如，可以是基于设定的区域数量对图像进行平均划分，也可以是基于其他的规则对图像进行区域划分，从而将一个完整的图像划分为多个零散的区域。

具体地，第一像素块为对待处理图像进行区域划分后得到的每个小区域，第二像素块则为对参考图像进行区域划分后得到的每个小区域。在本实施例中，通过对待处理图像进行区域划分，从而得到与待处理图像对应的多个第一像素块。通过对参考图像进行区域划分，从而得到与参考图像对应的多个第二像素块。

在步骤S330中，根据多个第一像素块与多个第二像素块，确定多个像素块对。

其中，像素块对包括具有对应关系的第一像素块和第二像素块。由于图像对齐处理是将待处理图像向参考图像进行对齐的过程，而通常待处理图像与参考图像的图像大小相等，因此，为了方便进行对齐处理，本实施例可以基于每个像素块位于图像中的位置而建立对应的像素块对，例如，将分别位于待处理图像和参考图像上同一位置的第一像素块和第二像素块确定为像素块对。或者，也可以基于待处理图像中第一像素块与参考图像中第二像素块之间的相似度，而将相似度最高的第一像素块和第二像素块确定为像素块对。

在步骤S340中，获取像素块对的对齐矩阵，将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块。

由于传统的光流对齐计算开销大，而对全图采用唯一的单应矩阵进行对齐又会由于误差而影响对齐效果。因此，本实施例通过对图像进行区域划分，并对每个区域进行对齐矩阵估计，进而对每个区域进行对齐处理，从而以较小的计算开销、鲁棒的进行图像对齐，并在直观上提高对齐效果。

具体地，对齐矩阵是用于对图像进行对齐的矩阵，例如，包括但不限于单应矩阵。在本实施例中，基于上述确定的像素块对，根据每个像素块对获取对应的对齐矩阵，进而通过对齐矩阵对相应像素块对中的像素块进行对齐处理，即将该像素块对中的第一像素块变换到第二像素块中，从而得到对第一像素块变换后的目标像素块。其中，目标像素块是将第一像素块向第二像素块对齐后得到的结果。

在步骤S350中，根据每个第一像素块变换后的目标像素块，得到待处理图像的目标图像。

其中，目标图像是对待处理图像进行对齐处理后得到的结果，即将待处理图像向参考图像对齐后的结果。在本实施例中，通过上述步骤S340对每一个像素块对进行处理，从而得到每个像素块对中第一像素块变换后的目标像素块，进而基于每个第一像素块位于待处理图像中的位置，将相应位置的第一像素块替换为对应的目标像素块，从而得到对待处理图像进行对齐处理后的目标图像。

上述图像处理方法中，通过获取待处理图像和参考图像，对待处理图像进行区域划分，得到与待处理图像对应的多个第一像素块，以及对参考图像进行区域划分，得到与参考图像对应的多个第二像素块，根据多个第一像素块与多个第二像素块，确定多个像素块对，并获取像素块对的对齐矩阵，将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块，进而根据每个第一像素块变换后的目标像素块，得到待处理图像的目标图像。由于本实施例通过对图像进行区域划分，并对每个区域进行对齐矩阵估计，进而对每个区域进行对齐处理，从而可以以较小的计算开销、鲁棒的进行图像对齐，并在直观上提高对齐效果。

如图3B所示，第一列为参考图像，第二列是采用不同方法对与参考图像的邻居图像进行对齐后的目标图像，其中，第二列中由上往下的第一个图像是采用传统的光流对齐方法进行对齐后得到的目标图像，第二列中由上往下的第二个图像是采用本公开的方法进行对齐后得到的目标图像，由图可知，由光流对齐得到的目标图像中出现了严重的伪影且改变了画面内的物体形状(图中圈出的部分)，而通过本公开的方法对行对齐处理后得到的目标图像，其并未出现伪影以及改变画面内部的物体形状的情况，具有很好的保边性及对齐效果。

在一示例性实施例中，待处理图像与参考图像大小相等，则如图4所示，在步骤S320中，对待处理图像进行区域划分，得到与待处理图像对应的多个第一像素块，以及对参考图像进行区域划分，得到与参考图像对应的多个第二像素块，具体包括：

在步骤S322中，分别获取待处理图像和参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度。

其中，第一坐标方向与第二坐标方向相互垂直，具体地，第一坐标方向和第二坐标方向可以分别是横坐标方向和纵坐标方向，例如，当第一坐标方向为横坐标方向时，则第二坐标方向为纵坐标方向，当第一坐标方向为纵坐标方向时，则第二坐标方向为横坐标方向。因此，第一长度和第二长度则分别为图像的宽和高，例如，当第一长度为图像的宽时，则第二长度则为图像的高，当第一长度为图像的高时，第二长度则为图像的宽。

在本实施例中，在对待处理图像和参考图像进行区域划分时，首先需要获取待处理图像和参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度。也即获取待处理图像的宽和高，以及获取参考图像的宽和高，从而便于对待处理图像和参考图像进行有效地划分。

在步骤S324中，在第一长度上对待处理图像进行第一设定数量的等份划分，以及在第二长度上对待处理图像进行第二设定数量的等份划分，得到划分后的与待处理图像对应的多个第一像素块。

其中，第一设定数量和第二设定数量是预设的分别在图像高度和宽度上的划分数量。例如，当第一设定数量为在图像宽度上的划分数量时，则第二设定数量为在图像高度上的划分数量，当第一设定数量为在图像高度上的划分数量时，则第二设定数量为在图像宽度上的划分数量。在本实施例中，第一设定数量和第二设定数量可以相同，也可以不同。

具体地，以第一设定数量为在图像宽度上的划分数量、第二设定数量为在图像高度上的划分数量为例，若第一设定数量为n，第二设定数量为m，则对待处理图像的划分具体可以包括：在待处理图像的宽度上进行n等份划分，在待处理图像的高度上进行m等份划分，从而得到划分后的n乘m个区域，每个区域为一个像素块，在本实施例中，为了区分待处理图像的像素块与参考图像的像素块，从而将对待处理图像划分后的像素块定义为第一像素块。其中，等份划分是指平均划分，例如，若待处理图像的宽度为w，高度为h，则等份划分后每个第一像素块对应的宽度为w/n，高度为h/m。

在步骤S326中，在第一长度上对参考图像进行第一设定数量的等份划分，以及在第二长度上对参考图像进行第二设定数量的等份划分，得到划分后的与参考图像对应的多个第二像素块。

具体地，本实施例对参考图像的划分过程与上述对待处理图像的划分过程相同，此处不再赘述。由于本实施例在对图像进行对齐处理时，是基于对图像进行区域划分后的像素块进行的对齐处理，因此，为了便于像素块的对齐，在对待处理图像和参考图像进行区域划分时，采用相同的区域划分方式。可以理解的是，像素块划分得越多，其对应的对齐效果会越好。

上述实施例中，通过在第一长度上对待处理图像和参考图像分别进行第一设定数量的等份划分，以及在第二长度上对待处理图像和参考图像分别进行第二设定数量的等份划分，以得到划分后的与待处理图像对应的多个第一像素块以及与参考图像对应的多个第二像素块，从而便于对像素块进行对齐处理，以提高对齐效果。

在一示例性实施例中，在步骤S320中，对待处理图像进行区域划分，得到与待处理图像对应的多个第一像素块，以及对参考图像进行区域划分，得到与参考图像对应的多个第二像素块，具体还可以包括：分别获取待处理图像和参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度；根据第一设定长度间隔在第一长度上对待处理图像进行第一划分，以及根据第二设定长度间隔在第二长度上对待处理图像进行第二划分，得到划分后的与待处理图像对应的多个第一像素块；根据第一设定长度间隔在第一长度上对参考图像进行第一划分，以及根据第二设定长度间隔在第二长度上对参考图像进行第二划分，得到划分后的与参考图像对应的多个第二像素块。

其中，第一设定长度间隔和第二设定长度间隔是预设的分别在图像高度和宽度上进行划分的长度间隔。例如，当第一设定长度间隔为在图像宽度上进行划分的长度间隔时，则第二设定长度间隔为在图像高度上进行划分的长度间隔，当第一设定长度间隔为在图像高度上进行划分的长度间隔时，则第二设定长度间隔为在图像宽度上进行划分的长度间隔。具体地，第一设定长度间隔和第二设定长度间隔可以相同，也可以不同。

具体地，以第一设定长度间隔为在图像宽度上进行划分的长度间隔、第二设定长度间隔为在图像高度上进行划分的长度间隔为例，若第一设定长度间隔为a，第二设定长度间隔为b，则对待处理图像的划分具体可以包括：在待处理图像的宽度上每间隔长度a进行一次划分，在待处理图像的高度上每间隔长度b进行一次划分，若待处理图像的宽度为w，高度为h，则得到划分后的(w/a)乘(h/b)个区域，每个区域为一个像素块，每个像素块的宽度为a，高度为b。

同理，为了便于像素块的对齐，在对参考图像进行区域划分时，采用与待处理图像相同的划分方式。在本实施例中，为了区分待处理图像的像素块与参考图像的像素块，从而将对待处理图像划分后的像素块定义为第一像素块，将对参考图像划分后的像素块定义为第二像素块。

上述实施例中，通过第一设定长度间隔在待处理图像和参考图像的第一长度上分别进行划分，以及通过第二设定长度间隔在待处理图像和参考图像的第二长度上分别进行划分，以得到划分后的与待处理图像对应的多个第一像素块以及与参考图像对应的多个第二像素块，从而便于对像素块进行对齐处理，以提高对齐效果。

在一示例性实施例中，如图5所示，在步骤S330中，根据多个第一像素块与多个第二像素块，确定多个像素块对，具体可以包括：

在步骤S510中，确定每个第一像素块位于待处理图像中的第一位置，以及确定每个第二像素块位于参考图像中的第二位置。

由于本公开是对待处理图像和参考图像进行区域划分后的像素块进行对齐处理，因此，本实施例需要确定进行对齐处理的第一像素块和第二像素块。又由于待处理图像和参考图像大小相等，且进行区域划分的方式也相同，因此，可以基于各像素块位于图像中的位置而确定需要进行对齐处理的第一像素块和第二像素块。

在本实施例中，可以确定每个第一像素块位于待处理图像中的第一位置，以及确定每个第二像素块位于参考图像中的第二位置。具体地，可以基于像素块位于待处理图像中的行列坐标而确定对应的位置，例如，若对待处理图像进行区域划分后得到i行j列第一像素块，则对于每个像素块D，基于其所在的行和列，可以确定对应的行列坐标，例如，对于第3行第2列的像素块，其对应的行坐标为3，列坐标为2。

具体地，还可以基于一定的顺序为待处理图像中的像素块进行编号，从而基于编号确定对应像素块的位置。例如，可以通过从上至下、从左往右的顺序对待处理图像中的像素块进行顺次编号，以得到每个像素块的编号。

需要说明的是，为了便于对像素块进行对齐处理，对于参考图像的位置确定可以采用与待处理图像的位置确定相同的方式。

在步骤S520中，当第一位置与第二位置匹配时，将第一位置对应的第一像素块与第二位置对应的第二像素块确定为像素块对。

其中，第一位置与第二位置匹配是指两者对应于各自图像中的编号或者行列坐标相同。例如，对于待处理图像中第3行第2列的第一像素块，其与参考图像中第3行第2列的第二像素块相匹配，则可以将该第一像素块与第二像素块确定为像素块对。或者，对于待处理图像中编号为k的第一像素块，其与参考图像中编号为k的第二像素块相匹配，则可以将该第一像素块与第二像素块确定为像素块对。

上述实施例中，通过确定每个第一像素块位于待处理图像中的第一位置，以及确定每个第二像素块位于参考图像中的第二位置，当第一位置与第二位置匹配时，则将第一位置对应的第一像素块与第二位置对应的第二像素块确定为像素块对，从而便于在像素块对内进行对齐处理，以提高对齐效果。

在一示例性实施例中，如图6所示，在步骤S330中，根据多个第一像素块与多个第二像素块，确定多个像素块对，具体可以包括：

在步骤S610中，确定每个第一像素块位于待处理图像中的第一位置，以及确定每个第二像素块位于参考图像中的第二位置。

本实施例中像素块位置的确定方式与上述步骤S510相类似，此处不再赘述。

在步骤S620中，针对任一第一像素块对应的第一位置，确定与第一位置匹配的第二位置的邻域。

其中，邻域包括至少两个第二像素块，每个第二像素块对应一个第二位置。由于待处理图像和参考图像大小相等，且进行区域划分的方式也相同，因此，对于待处理图像中每一个第一像素块对应的第一位置，在参考图像中存在一个匹配的第二位置。

具体地，与第一位置匹配的第二位置的邻域，则是指以与第一位置匹配的第二位置为中心的拓扑区域。例如，如图7所示，从左到右依次为待处理图像-参考图像-通过上述方法进行对齐处理后的目标图像。其中，左图中的每个小块是对待处理图像进行区域划分后得到的多个第一像素块，且基于一定的顺序对每个第一像素块进行了编号，中间图中的每个小块是对参考图像进行区域划分后得到的多个第二像素块，且基于相同的顺序对每个第二像素块进行了编号，则每个像素块的编号表示像素块的位置，编号相同则表示位置匹配。右图中的每个小块则是基于匹配的第一像素块和第二像素块进行对齐处理后得到的目标像素块。

具体地，对于左图中编号为1的位置，中间图中与其匹配的位置的编号也为1，而与中间图中编号为1的第一位置匹配的第二位置的邻域是指以中间图中编号为1的位置为中心的拓扑区域，即包括中间图中编号为1的位置以及与编号为1的位置相邻的位置所组成的区域，即中间图中编号为1、编号为2以及编号为4所组成的区域。再例如，以编号为8的位置为中心的拓扑区域，则包括编号为8、编号为5、编号为7以及编号为9所组成的区域。

在步骤S630中，将第一像素块分别与邻域中的至少两个第二像素块中每个第二像素块进行特征匹配，分别得到与每个第二像素块的匹配特征。

其中，特征匹配是从两个像素块中提取关键特征点的过程。匹配特征则是指进行特征匹配处理后提取的关键特征点的集合。具体地，关键特征点为匹配的特征点对，例如，对于第一像素块中的某一特征点A，若在第二像素块中存在与特征点A相似的特征点B，则特征点A与特征点B构成匹配的特征点对，即得到关键特征点。

在本实施例中，通过将第一像素块分别与上述确定的邻域中的至少两个第二像素块中每个第二像素块进行特征匹配，从而分别得到与每个第二像素块的匹配特征。例如，若邻域中存在两个第二像素块，则将第一像素块与邻域中的其中一个第二像素块进行特征匹配，从而得到与其中一个第二像素块的匹配特征q1，并将第一像素块与邻域中的另一个第二像素块进行特征匹配，从而得到与另一个第二像素块的匹配特征q2。

在步骤S640中，将匹配特征最多的第二像素块与第一像素块确定为像素块对。

其中，匹配特征越多表示两个像素块之间的相似度越高。在本实施例中，可以将匹配特征最多的第二像素块与述第一像素块确定为像素块对，从而提高像素块对内像素块的对齐效率。

具体地，若上述匹配特征q1中的关键特征点的数量大于匹配特征q2中的关键特征点的数量，则可以将匹配特征q1所对应的第二像素块与相应的第一像素块确定为像素块对。

上述实施例中，通过确定每个第一像素块位于待处理图像中的第一位置，以及确定每个第二像素块位于参考图像中的第二位置，针对任一第一像素块对应的第一位置，确定与第一位置匹配的第二位置的邻域，将第一像素块分别与邻域中的至少两个第二像素块中每个第二像素块进行特征匹配，分别得到与每个第二像素块的匹配特征，并将匹配特征最多的第二像素块与第一像素块确定为像素块对，从而有利于提高像素块对内像素块的对齐效率。

在一示例性实施例中，如图8所示，在步骤S340中，获取像素块对的对齐矩阵，将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块，具体可以包括：

在步骤S342中，对像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建像素块对的对齐矩阵。

其中，特征匹配处理是从像素块对中的第一像素块和第二像素块中提取关键特征点的过程。特征匹配结果则为对第一像素块和第二像素块进行特征匹配处理后得到的关键特征点。具体地，关键特征点为匹配的特征点对，例如，对于第一像素块中的某一特征点A，若在第二像素块中存在与特征点A相似的特征点B，则特征点A与特征点B构成匹配的特征点对，即关键特征点。

具体地，可以采用SIFT或ORB(Oriented Fast and Rotated Brief，定向快速旋转)等方式分别对第一像素块和第二像素块进行特征点提取，然后对第一像素块和第二像素块的特征点进行匹配处理，从而得到匹配的关键特征点，进而根据关键特征点求解对应第一像素块与第二像素块的对齐矩阵。例如，以对齐矩阵为单应矩阵为例，则可以根据关键特征点以及单应矩阵的求解算法构建对应的单应矩阵。

在步骤S344中，根据像素块对的对齐矩阵将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块。

其中，将第一像素块变换到第二像素块的过程也就是将第一像素块向第二像素块齐的过程。在本实施例中，根据像素块对的对齐矩阵，将该像素块对的第一像素块变换到第二像素块中，从而得到对第一像素块变换后的目标像素块。

在本实施例中，通过对像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建像素块对的对齐矩阵，进而根据像素块对的对齐矩阵将第一像素块变换到第二像素块中，以得到对第一像素块变换后的目标像素块，从而实现对像素块的对齐。由于对齐矩阵是基于每个像素块对分别构建，因此，相较于传统对全图采用唯一的单应矩阵来说，其具有更好的对齐效果。

在一示例性实施例中，如图9所示，在步骤S342中，对像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建像素块对的对齐矩阵，具体可以包括以下步骤：

在步骤S910中，对像素块对中的第一像素块进行特征点提取得到第一特征点集，以及对像素块对中的第二像素块进行特征点提取得到第二特征点集。

具体地，特征点提取可以采用SIFT或ORB等方式分别对第一像素块和第二像素块进行特征点提取。在本实施例中，通过对像素块对中的第一像素块进行特征点提取，从而得到提取的第一特征点集，通过对像素块对中的第二像素块进行特征点提取，从而得到提取的第二特征点集。

在步骤S920中，根据第一特征点集和第二特征点集进行特征点匹配，确定匹配的多个特征点对。

其中，特征点对包括对应的第一特征点和第二特征点。在本实施例中，当提取到两个像素块的特征点集以后，就可以对提取的特征点进行匹配处理。具体地，可以采用关键点特征向量的欧式距离来作为两个像素块中关键点的相似性判定度量。例如，取第一特征点集的某个第一特征点，通过遍历找到第二特征点集中的距离最近的两个第二特征点。在这两个第二特征点中，如果最近距离除以次近距离小于某个阈值，则判定最近距离对应的第一特征点和第二特征点为匹配的特征点对。基于此，可以确定匹配的多个特征点对。

在步骤S930中，根据多个特征点对构建像素块对的对齐矩阵。

具体地，基于上述提取的多个特征点对，可以采用最小均方误差的方式来构造对应像素块对的对齐矩阵，也可以采用最小二乘求解对应像素块对的对齐矩阵。

上述实施例中，通过对像素块对中的第一像素块进行特征点提取得到第一特征点集，以及对像素块对中的第二像素块进行特征点提取得到第二特征点集，根据第一特征点集和第二特征点集进行特征点匹配，确定匹配的多个特征点对，进而根据多个特征点对构建像素块对的对齐矩阵，从而可以根据像素块对的对齐矩阵在像素块对内进行对齐处理，以提高对齐效果。

在一示例性实施例中，对齐矩阵为单应矩阵，则如图10所示，在步骤S344中，根据像素块对的对齐矩阵将第一像素块变换到第二像素块中，得到对第一像素块变换后的目标像素块，具体可以包括：

在步骤S1010中，根据像素块对所对应的单应矩阵，采用单应性变换方法计算第一像素块的像素原坐标变换至第二像素块的目标坐标。

其中，第一像素块的像素原坐标是指第一像素块中的像素位于待处理图像中的坐标，目标坐标则是指第一像素块中的像素向第二像素块对齐后的坐标。

具体地，采用单应性变换方法将像素块对的对齐矩阵与该像素块对的第一像素块的像素原坐标进行矩阵相乘，其得到的结果则为第一像素块的像素原坐标变换至第二像素块的目标坐标。

在步骤S1020中，根据第一像素块的每一个像素变换后的目标坐标，得到第一像素块向第二像素块变换后的目标像素块。

其中，目标像素块则是第一像素块向第二像素块对齐后得到的结果。具体地，根据第一像素块的每一个像素变换后的目标坐标，从而得到第一像素块向第二像素块变换后的目标像素块。

上述实施例中，根据像素块对所对应的单应矩阵，采用单应性变换方法计算第一像素块的像素原坐标变换至第二像素块的目标坐标，根据第一像素块的每一个像素变换后的目标坐标，从而得到第一像素块向第二像素块变换后的目标像素块，以实现在像素块对内进行对齐处理，从而提高对齐效果。

在一示例性实施例中，本实施例通过将待处理图像和参考图像划分为多个像素块，然后基于全图的单应变换问题转换为多个局部单应矩阵的求解问题，即通过计算每个像素块内的单应矩阵，并在像素块内进行单应变换，从而可以更鲁棒地解决不同运动场景下的对齐问题。相比于光流估计的算法，本公开的方法无需引入额外的网络参数，也不会改变图像内部的纹理信息。如图11A、图11B、图11C和图11D所示，从左至右分别为参考图像、待处理图像和采用本公开的方法进行对齐后的图像。从图中的结果可以看出，对齐后的图像中每个像素块的配准都是接近参考图像中像素块的水平的。例如图11A中，位于中心位置的像素块里的人物手臂的位置，其对齐后趋于与参考图像相一致，可见对齐效果是非常准确的。

在一示例性实施例中，如图12所示，本公开还提供了一种视频处理方法，包括如下步骤：

在步骤S1210中，获取待处理视频，从待处理视频中确定至少一个待进行稳定处理的相邻帧。

其中，待处理视频是指稳定性较差，存在画面抖动的视频。通常，如果视频中的相邻帧存在大幅度的不对齐时，会严重影响视频的稳定性。待进行稳定处理的相邻帧则是指视频中存在大幅度不对齐的相邻帧。具体地，相邻帧包括位于前一帧的参考图像和位于后一帧的待处理图像。

在本实施例中，当视频中的相邻帧存在大幅度的不对齐时，则需要对其进行处理，以提高视频的稳定性。具体地，通过待处理视频，并从待处理视频中确定至少一个待进行稳定处理的相邻帧。

在步骤S1220中，采用上述图像处理方法对相邻帧中的待处理图像进行处理，得到每个相邻帧中待处理图像的目标图像。

具体可以参考如图3至图9的方式对相邻帧中的待处理图像进行处理，以得到每个相邻帧中待处理图像的目标图像，本实施例不再对此进行赘述。

在步骤S1230中，将目标图像与待处理视频中的对应帧进行替换，得到处理后的目标视频。

其中，目标视频是指对待处理视频进行稳定处理后得到的能够稳定播放的视频。由于目标图像是对待处理图像中的某一帧图像进行对齐处理后得到的，因此，通过将上述处理得到的目标图像与待处理视频中的对应帧进行替换，从而能够得到较为稳定的目标视频。

上述视频处理方法中，获取待处理视频，从待处理视频中确定至少一个待进行稳定处理的相邻帧，并采用上述图像处理方法对相邻帧中的待处理图像进行处理，得到每个相邻帧中待处理图像的目标图像，进而将目标图像与待处理视频中的对应帧进行替换，从而能够得到较为稳定的目标视频，以提高视频的稳定性。

在一示例性实施例中，在步骤S1210中，从待处理视频中确定至少一个待进行稳定处理的相邻帧，包括：对待处理视频进行分帧处理，得到待处理视频的每一帧图像，对每一帧图像分别进行特征提取，得到每一帧图像的图像特征，根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧。其中，图像特征是对帧图像进行特征提取后得到能够表达帧图像内容的特征，具体地，图像特征可以是从帧图像中提取的特征向量。在本实施例中，通过对待处理视频进行分帧处理，从而得到待处理视频的每一帧图像，并对每一帧图像分别进行特征提取，以得到每一帧图像的图像特征，进而根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧。

在一示例性实施例中，根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧，具体包括：针对任一相邻的两帧图像，获取后一帧图像的图像特征与前一帧图像的图像特征之间的特征匹配度，当特征匹配度小于设定值时，确定相邻的两帧图像为待进行稳定处理的相邻帧。其中，特征匹配度可以是图像特征的距离或相似度。设定值则可以是预先设置的图像特征的距离阈值或相似度阈值，其大小可以基于实际场景设定。例如，当需要较高的稳定效果时，则可以设置较大的设定值，当需要较低的稳定效果时，则可以设置较小的设定值。

具体地，在本实施例中，针对待处理视频中任一相邻的两帧图像，获取后一帧图像的图像特征与前一帧图像的图像特征之间的特征匹配度，当特征匹配度小于设定值时，则表示该相邻的两帧图像存在不对齐的现象，导致视频不稳定，因此，可以确定该相邻的两帧图像为待进行稳定处理的相邻帧，进而对其进行处理，以提高视频的稳定性。

应该理解的是，虽然图3A-图12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3A-图12中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

图13是根据一示例性实施例示出的一种图像处理装置框图。参照图13，该装置包括图像获取模块1302，像素块划分模块1304，像素块对确定模块1306，像素块处理模块1308和目标图像确定模块1310。

图像获取模块1302，被配置为执行获取待处理图像和参考图像；

像素块划分模块1304，被配置为执行对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块；

像素块对确定模块1306，被配置为执行根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，所述像素块对包括具有对应关系的第一像素块和第二像素块；

像素块处理模块1308，被配置为执行获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块；

目标图像确定模块1310，被配置为执行根据每个所述第一像素块变换后的目标像素块，得到所述待处理图像的目标图像。

在一示例性实施例中，所述像素块处理模块包括：对齐矩阵构建单元，被配置为执行对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵；对齐单元，被配置为执行根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块。

在一示例性实施例中，所述对齐矩阵构建单元被配置为执行：对所述像素块对中的第一像素块进行特征点提取得到第一特征点集，以及对所述像素块对中的第二像素块进行特征点提取得到第二特征点集；根据所述第一特征点集和第二特征点集进行特征点匹配，确定匹配的多个特征点对，所述特征点对包括对应的第一特征点和第二特征点；根据多个特征点对构建所述像素块对的对齐矩阵。

在一示例性实施例中，所述对齐矩阵为单应矩阵；所述对齐单元被配置为执行：根据所述像素块对所对应的单应矩阵，采用单应性变换方法计算所述第一像素块的像素原坐标变换至所述第二像素块的目标坐标；根据所述第一像素块的每一个像素变换后的目标坐标，得到所述第一像素块向所述第二像素块变换后的目标像素块。

在一示例性实施例中，所述待处理图像与所述参考图像大小相等；所述像素块划分模块被配置为执行：分别获取所述待处理图像和所述参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度；在所述第一长度上对所述待处理图像进行第一设定数量的等份划分，以及在所述第二长度上对所述待处理图像进行第二设定数量的等份划分，得到划分后的与所述待处理图像对应的多个第一像素块；在所述第一长度上对所述参考图像进行所述第一设定数量的等份划分，以及在所述第二长度上对所述参考图像进行第二设定数量的等份划分，得到划分后的与所述参考图像对应的多个第二像素块。

在一示例性实施例中，所述待处理图像与所述参考图像大小相等；所述像素块划分模块被配置为执行：分别获取所述待处理图像和所述参考图像位于第一坐标方向上的第一长度，以及位于第二坐标方向上的第二长度；根据第一设定长度间隔在所述第一长度上对所述待处理图像进行第一划分，以及根据第二设定长度间隔在所述第二长度上对所述待处理图像进行第二划分，得到划分后的与所述待处理图像对应的多个第一像素块；根据所述第一设定长度间隔在所述第一长度上对所述参考图像进行第一划分，以及根据第二设定长度间隔在所述第二长度上对所述参考图像进行第二划分，得到划分后的与所述参考图像对应的多个第二像素块。

在一示例性实施例中，所述像素块对确定模块被配置为执行：确定每个所述第一像素块位于所述待处理图像中的第一位置，以及确定每个所述第二像素块位于所述参考图像中的第二位置；当所述第一位置与所述第二位置匹配时，将所述第一位置对应的第一像素块与所述第二位置对应的第二像素块确定为像素块对。

在一示例性实施例中，所述像素块对确定模块被配置为执行：确定每个所述第一像素块位于所述待处理图像中的第一位置，以及确定每个所述第二像素块位于所述参考图像中的第二位置；针对任一所述第一像素块对应的第一位置，确定与所述第一位置匹配的第二位置的邻域，所述邻域包括至少两个第二像素块，每个第二像素块对应一个第二位置；将所述第一像素块分别与所述邻域中的至少两个第二像素块中每个第二像素块进行特征匹配，分别得到与每个第二像素块的匹配特征；将所述匹配特征最多的第二像素块与所述第一像素块确定为像素块对。

图14是根据一示例性实施例示出的一种视频处理装置框图。参照图14，该装置包括待处理视频获取模块1402，图像处理装置1404和目标视频获取模块1406。

待处理视频获取模块1402，被配置为执行获取待处理视频，从所述待处理视频中确定至少一个待进行稳定处理的相邻帧，所述相邻帧包括位于前一帧的参考图像和位于后一帧的待处理图像；

如图11所示的图像处理装置1404，被配置为执行对所述相邻帧中的待处理图像进行处理，得到每个所述相邻帧中所述待处理图像的目标图像；

目标视频获取模块1406，被配置为执行将所述目标图像与所述待处理视频中的对应帧进行替换，得到处理后的目标视频。

在一示例性实施例中，所述待处理视频获取模块还包括：分帧单元，被配置为执行对所述待处理视频进行分帧处理，得到所述待处理视频的每一帧图像；特征提取单元，被配置为执行对每一帧图像分别进行特征提取，得到每一帧图像的图像特征；相邻帧确定单元，被配置为执行根据每一帧图像的图像特征确定至少一个待进行稳定处理的相邻帧。

在一示例性实施例中，所述相邻帧确定单元被配置为执行：针对任一相邻的两帧图像，获取后一帧图像的图像特征与前一帧图像的图像特征之间的特征匹配度；当所述特征匹配度小于设定值时，确定所述相邻的两帧图像为待进行稳定处理的相邻帧。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图15是根据一示例性实施例示出的一种用于图像处理的电子设备Z00的框图。例如，电子设备Z00可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图15，电子设备Z00可以包括以下一个或多个组件：处理组件Z02、存储器Z04、电源组件Z06、多媒体组件Z08、音频组件Z10、输入/输出(I/O)的接口Z12、传感器组件Z14以及通信组件Z16。

处理组件Z02通常控制电子设备Z00的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件Z02可以包括一个或多个处理器Z20来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件Z02可以包括一个或多个模块，便于处理组件Z02和其他组件之间的交互。例如，处理组件Z02可以包括多媒体模块，以方便多媒体组件Z08和处理组件Z02之间的交互。

存储器Z04被配置为存储各种类型的数据以支持在电子设备Z00的操作。这些数据的示例包括用于在电子设备Z00上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器Z04可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件Z06为电子设备Z00的各种组件提供电力。电源组件Z06可以包括电源管理系统，一个或多个电源，及其他与为电子设备Z00生成、管理和分配电力相关联的组件。

多媒体组件Z08包括在所述电子设备Z00和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件Z08包括前置摄像头和/或后置摄像头。当电子设备Z00处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件Z10被配置为输出和/或输入音频信号。例如，音频组件Z10包括麦克风(MIC)，当电子设备Z00处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器Z04或经由通信组件Z16发送。在一些实施例中，音频组件Z10还包括扬声器，用于输出音频信号。

I/O接口Z12为处理组件Z02和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件Z14包括一个或多个传感器，用于为电子设备Z00提供各个方面的状态评估。例如，传感器组件Z14可以检测到电子设备Z00的打开/关闭状态，组件的相对定位，例如所述组件为电子设备Z00的显示器和小键盘，传感器组件Z14还可以检测电子设备Z00或电子设备Z00组件的位置改变，用户与电子设备Z00接触的存在或不存在，设备Z00方位或加速/减速和电子设备Z00的温度变化。传感器组件Z14可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件Z14还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件Z14还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件Z16被配置为便于电子设备Z00和其他设备之间有线或无线方式的通信。电子设备Z00可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件Z16经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件Z16还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备Z00可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器Z04，上述指令可由电子设备Z00的处理器Z20执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备Z00的处理器Z20执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像和用于对所述待处理图像进行对齐的参考图像；

对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块；

根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，所述像素块对包括具有对应关系的第一像素块和第二像素块；

获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块；

根据每个所述第一像素块变换后的目标像素块，得到所述待处理图像的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块，包括：

对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵；

根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块。

3.根据权利要求2所述的方法，其特征在于，所述对所述像素块对中的第一像素块和第二像素块进行特征匹配处理，根据特征匹配结果构建所述像素块对的对齐矩阵，包括：

对所述像素块对中的第一像素块进行特征点提取得到第一特征点集，以及对所述像素块对中的第二像素块进行特征点提取得到第二特征点集；

根据所述第一特征点集和第二特征点集进行特征点匹配，确定匹配的多个特征点对，所述特征点对包括对应的第一特征点和第二特征点；

根据多个特征点对构建所述像素块对的对齐矩阵。

4.根据权利要求2所述的方法，其特征在于，所述对齐矩阵为单应矩阵；所述根据所述像素块对的对齐矩阵将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块，包括：

根据所述像素块对所对应的单应矩阵，采用单应性变换方法计算所述第一像素块的像素原坐标变换至所述第二像素块的目标坐标；

根据所述第一像素块的每一个像素变换后的目标坐标，得到所述第一像素块向所述第二像素块变换后的目标像素块。

5.一种视频处理方法，其特征在于，所述方法包括：

获取待处理视频，从所述待处理视频中确定至少一个待进行稳定处理的相邻帧，所述相邻帧包括位于前一帧的参考图像和位于后一帧的待处理图像；

采用如权利要求1至4任一项所述的图像处理方法对所述相邻帧中的待处理图像进行处理，得到每个所述相邻帧中所述待处理图像的目标图像；

将所述目标图像与所述待处理视频中的对应帧进行替换，得到处理后的目标视频。

6.一种图像处理装置，其特征在于，包括：

图像获取模块，被配置为执行获取待处理图像和用于对所述待处理图像进行对齐的参考图像；

像素块划分模块，被配置为执行对所述待处理图像进行区域划分，得到与所述待处理图像对应的多个第一像素块，以及对所述参考图像进行区域划分，得到与所述参考图像对应的多个第二像素块；

像素块对确定模块，被配置为执行根据所述多个第一像素块与所述多个第二像素块，确定多个像素块对，所述像素块对包括具有对应关系的第一像素块和第二像素块；

像素块处理模块，被配置为执行获取所述像素块对的对齐矩阵，将所述第一像素块变换到所述第二像素块中，得到对所述第一像素块变换后的目标像素块；

目标图像确定模块，被配置为执行根据每个所述第一像素块变换后的目标像素块，得到所述待处理图像的目标图像。

7.一种视频处理装置，其特征在于，所述装置包括：

待处理视频获取模块，被配置为执行获取待处理视频，从所述待处理视频中确定至少一个待进行稳定处理的相邻帧，所述相邻帧包括位于前一帧的参考图像和位于后一帧的待处理图像；

如权利要求6所述的图像处理装置，被配置为执行对所述相邻帧中的待处理图像进行处理，得到每个所述相邻帧中所述待处理图像的目标图像；

目标视频获取模块，被配置为执行将所述目标图像与所述待处理视频中的对应帧进行替换，得到处理后的目标视频。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理方法或者实现如权利要求5所述的视频处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4中任一项所述的图像处理方法或者实现如权利5所述的视频处理方法。

10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至4任一项所述的图像处理方法或者实现如权利要求5所述的视频处理方法。

Images