CN112884664A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；将第一图像和第二图像划分为大小相同的网格；获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到；抠除第二图像中的前景区域，得到第二背景区域；基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。该方案解决了相关技术中对图像进行修复时，由于图像处理数据量较大，导致难以实时进行处理的技术问题。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

视频修复技术广泛应用于影视拍摄中，如哈利波特隐身衣、透明人等影视特效，也应用于短视频的制作，如擦除视频中多余人等应用。然而目前由于该技术实现的复杂度较高，仍需要经过专业培训才能够实现比较完美的视频修复效果。

相关技术中，可以首先对整条视频图像帧间光流进行恢复，并对光流图像进行边缘提取。通过边缘补全算法，对光流的边缘进行补全，随后将补全的光流边缘和原始需要补全的光流图像输入网络，来恢复视频图像不同区域的运动状态。获得整条视频的帧间运动状态后，对于每张图像需要补全的区域的每一个像素，通过帧间光流信息都可以找到视频中每一帧与其对应的像素，这样通过在视频中的搜索就可以恢复当前帧需要补全像素的像素值。

但由于上述修复方法以及其他目前存在的修复方法的计算量过大，导致目前的视频修复技术一般为离线视频修复，即先录制视频，再使用专业编辑工具对整个视频进行处理以达到视频修复的目的。这种离线的编辑方式不仅需要专业的知识，还需要使用不同的软件对视频进行处理，且不能实现实时的在线预览，最后实现该效果的算法通常运行效率较低，这些原因使得用户无法在拍摄时获取视频处理的效果，从而使得视频的制作效率较低。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中对图像进行修复由于图像处理数据量较大导致难以实时进行处理的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；将第一图像和第二图像划分为大小相同的网格，其中，第一图像和第二图像依次为待处理视频中前后连续的两帧图像；获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到；抠除第二图像中的前景区域，得到第二背景区域；基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，第一图像为待处理视频的初始帧图像，对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像的步骤包括：通过图像补全算法对第一背景区域中的缺失部分进行补全，得到补全后的背景图像。

作为一种可选的实施例，基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全的步骤包括：基于补全后的背景图像和映射关系将补全后的背景图像的每个像素映射至第二图像，得到映射后的背景图像；从映射后的背景图像中提取与第二背景区域中的缺失部分对应的区域图像；将区域图像与第二背景区域进行融合，以对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，获取第一图像中的网格和第二图像中的预测网格的映射关系的步骤包括：获取第一图像和第二图像之间的光度损失函数，光度损失函数用于表示第一图像中的特征点与第二图像中的对应像素点的灰度损失，其中，第二图像中的对应像素点是根据目标位置信息确定的，目标位置信息是通过双线性插值算法使用特征点所在的网格的顶点坐标表示的特征点的位置信息；获取第一图像和第二图像之间的网格形变损失函数，其中，网格形变损失函数用于表示第一图像中的网格与第二图像中对应的预测网格之间的形变损失，网格形变损失函数是与第二图像中每个预测网格顶点的顶点坐标相关的函数；确定光度损失函数和网格形变损失函数之和为目标损失函数，并求解目标损失函数使损失函数最小，得到第二图像中每个预测网格的预测顶点坐标；根据第二图像中预测网格的顶点坐标，和第一图像中每个网格的顶点坐标，确定第一图像中每个网格和第二图像中每个预测网格的映射关系。

作为一种可选的实施例，获取第一图像和第二图像之间的光度损失函数的步骤包括：提取第一图像的特征点，其中，特征点为像素梯度大于预设值的像素点；通过双线性插值算法使用特征点所在的网格的顶点坐标表示特征点的位置信息，并根据位置信息在第二图像中确定与特征点对应的像素点；获取第一图像特征点和第二图像中对应像素点的灰度值之差；确定所有特征点与对应像素点的灰度值之差的总和为光度损失函数。

作为一种可选的实施例，获取第一图像和第二图像之间的网格形变损失函数的步骤包括：执行至少两次获取一个顶点的形变损失函数的步骤，以获取两个不同的顶点的形变损失函数；确定每个网格的至少两个顶点的形变损失函数之和为每个网格的形变损失函数；确定每个网格对应的形变损失函数之和为第一图像和第二图像之间的网格形变损失函数。

作为一种可选的实施例，获取一个顶点的形变损失函数的步骤包括：提取第一图像中每个网格的第一组顶点，并提取产生形变后的第二图像中对应的第二组顶点，其中，第一组顶点和第二组顶点均包括三个顶点；基于第一顶点和第二顶点构建第一二维坐标系，并确定第三顶点在第一二维坐标系中的目标坐标参数，其中，第一组顶点包括：第一顶点、第二顶点和第三顶点；基于第四顶点和第五顶点构建第二二维坐标系，并确定目标坐标参数在第二二维坐标系中的位置为第六顶点的预测位置，其中，第二组顶点包括：分别与第一顶点、第二顶点和第三顶点对应的第四顶点、第五顶点和第六顶点；获取根据第六顶点的实际位置和第六顶点的预测位置的距离，得到网格的第六顶点的形变损失函数。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：第一获取单元，被配置为获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；划分单元，被配置为将第一图像和第二图像划分为大小相同的网格，其中，第一图像和第二图像依次为待处理视频中前后连续的两帧图像；第二获取单元，被配置为获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到；抠除单元，被配置为抠除第二图像中的前景区域，得到第二背景区域；第一补全单元，被配置为基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，第一图像为待处理视频的初始帧图像，第一获取单元包括：分割单元，被配置为通过图像补全算法对第一背景区域中的缺失部分进行补全，得到补全后的背景图像。

作为一种可选的实施例，第一补全单元包括：映射单元，被配置为基于补全后的背景图像和映射关系将补全后的背景图像的每个像素映射至第二图像，得到映射后的背景图像；第一提取单元，被配置为从映射后的背景图像中提取与第二背景区域中的缺失部分对应的区域图像；融合单元，被配置为将区域图像与第二背景区域进行融合，以对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，第二获取单元包括：第三获取单元，被配置为获取第一图像和第二图像之间的光度损失函数，光度损失函数用于表示第一图像中的特征点与第二图像中的对应像素点的灰度损失，其中，第二图像中的对应像素点是根据目标位置信息确定的，目标位置信息是通过双线性插值算法使用特征点所在的网格的顶点坐标表示的特征点的位置信息；第四获取单元，被配置为获取第一图像和第二图像之间的网格形变损失函数，其中，网格形变损失函数用于表示第一图像中的网格与第二图像中对应的预测网格之间的形变损失，网格形变损失函数是与第二图像中每个预测网格顶点的顶点坐标相关的函数；求解单元，被配置为确定光度损失函数和网格形变损失函数之和为目标损失函数，并求解目标损失函数使损失函数最小，得到第二图像中每个预测网格的预测顶点坐标；第一确定单元，被配置为根据第二图像中预测网格的顶点坐标，和第一图像中每个网格的顶点坐标，确定第一图像中每个网格和第二图像中每个预测网格的映射关系。

作为一种可选的实施例，第三获取单元包括：第二提取单元，被配置为提取第一图像的特征点，其中，特征点为像素梯度大于预设值的像素点；第二确定单元，被配置为通过双线性插值算法使用特征点所在的网格的顶点坐标表示特征点的位置信息，并根据位置信息在第二图像中确定与特征点对应的像素点；第五获取单元，被配置获取第一图像特征点和第二图像中对应像素点的灰度值之差；第三确定单元，被配置为确定所有特征点与对应像素点的灰度值之差的总和为光度损失函数。

作为一种可选的实施例，第三获取单元包括：执行单元，被配置为执行至少两次第六获取模块，以获取两个不同的顶点的形变损失函数，第六获取模块被配置为获取一个顶点的形变损失函数的步骤；第四确定单元，被配置为确定每个网格的至少两个顶点的形变损失函数之和为每个网格的形变损失函数；第五确定单元，被配置为确定每个网格对应的形变损失函数之和为第一图像和第二图像之间的网格形变损失函数。

作为一种可选的实施例，第六获取单元包括：第三提取单元，被配置为提取第一图像中每个网格的第一组顶点，并提取产生形变后的第二图像中对应的第二组顶点，其中，第一组顶点和第二组顶点均包括三个顶点；第六确定单元，被配置为基于第一顶点和第二顶点构建第一二维坐标系，并确定第三顶点在第一二维坐标系中的目标坐标参数，其中，第一组顶点包括：第一顶点、第二顶点和第三顶点；第七确定单元，被配置为基于第四顶点和第五顶点构建第二二维坐标系，并确定目标坐标参数在第二二维坐标系中的位置为第六顶点的预测位置，其中，第二组顶点包括：分别与第一顶点、第二顶点和第三顶点对应的第四顶点、第五顶点和第六顶点；第八获取单元，被配置为获取根据第六顶点的实际位置和第六顶点的预测位置的距离，得到网格的第六顶点的形变损失函数。

根据本公开实施例的第一方面，提供三种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现如权利要求1至8中任一项的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行上述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：本实施例上述方案获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；将第一图像和第二图像划分为大小相同的网格，其中，第一图像和第二图像依次为待处理视频中前后连续的两帧图像；获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到；抠除第二图像中的前景区域，得到第二背景区域；基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。上述方案将图像区域分为多个网格区域，通过将每个网格区域近似成一个平面区域来实现对场景3D结构的逼近，使用网格间的形变产生的关系恢复出背景的映射信息并实现对补全区域的光流补全，这样既可以保持帧间映射的精度，又可以降低计算量，使得算法可以实时运行，解决了相关技术中对图像进行修复由于图像处理数据量较大导致难以实时进行处理的技术问题。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的流程图。

图2是根据一示例性实施例示出的一种图像处理方法方的示意图。

图3是根据一示例性实施例示出的一种第一二维坐标系的示意图。

图4是根据一示例性实施例示出的一种第二二维坐标系的示意图。

图5是根据一示例性实施例示出的一种图像处理装置框图。

图6是根据一示例性实施例示出的一种用于执行上述图像处理的电子设备800的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像处理方法的流程图，如图1所示，该图像处理方法可以用于在视频的实时拍摄中对图像进行处理，包括以下步骤。

在步骤S11中，获取抠除第一图像的前景区域后得到的第一背景区域，并对所述第一背景区域中的缺失部分进行图像补全得到补全后的背景图像。

本申请该方案用于实现视频的一些特效，尤其是“对象失踪”特效。例如，使视频中的人物失踪、使视频中的动物失踪或使视频的某个物体失踪等。抠出前景图像并对背景图像中缺失的部分进行图像补全，得到的补全后的背景图像即为特效图像，由于在该特效图像中已不存在前景图像，从而实现了“对象失踪”的特效。

其基于相邻两帧图像对背景区域中的缺失部分进行补全，也即使用前一帧图像补全后的背景图像对后一帧图像的背景区域中缺失的部分进行图像补全。因此，上述第一图像可以为任意一帧图像的前一帧图像，也即第一图像可以为视频中除最后一帧图像的任意一帧图像。

获取第一图像的第一背景区域，可以使用预设的图像分割算法进行，第一图像包括前景区域和背景区域，前景区域可以是与视频的特效对应的区域。例如，需要达到的特效为人物消失的特效，则第一图像中人物所在区域为前景区域；需要达到的效果为物体消失的特效，则第一图像中指定消失的物体所在区域为前景区域。

在第一图像为视频中的首帧图像的情况下，第一图像的第一背景区域可以通过图像补全算法得到，在第一图像为视频中非首帧图像的情况下，第一图像的第一背景区域通过如下步骤S12-S15，基于其前一帧图像的补全后的背景图像得到。

图2是根据一示例性实施例示出的一种图像处理方法方的示意图，结合图2所示，frame0为第一图像，对frame0进行抠图(Matting)得到frame0的掩膜(Mask)，基于该掩膜即可得到第一背景区域，对第一背景区域中缺失的部分进行图像补全(Inpainting)即可得到补全后的背景图像，也是第一图像对应的输出图像Output0，此处的输出图像指的是在拍摄过程中实时显示在智能终端上的图像。

在步骤S12中，将所述第一图像和第二图像划分为大小相同的网格，其中，所述第一图像和所述第二图像依次为待处理视频中前后连续的两帧图像。

上述第一图像和第二图像为前后两张连续的图像，也即第一图像和第二图像为相邻帧图像。

将第一图像和第二图像划分为网格。可以为将第一图像和第二图像划分为N*M的矩形网格，也即将图像在横向上等分为N份，在纵向上分M分得到。对第一图像和第二图像划分为网格后，每个网格具有四个顶点，从而需要根据下述步骤对第二图像中每个网格的顶点作为要估计光流的点，也即优化变化量。在未对第二图像进行优化之前，二者对应网格的顶点坐标完全相同。

需要说明的是，上述M和N的取值可以基于实际的图像处理需求来确定。M和N的取值大小和数据处理量以及处理效果相关，如果M和N取值过大，对背景区域补全部分与原背景区域融合的效果较好，图像处理效果较好，但数据处理量较大；如果M和N取值过小，则对背景区域补全部分与原背景区域融合的效果较为普通，图像处理效果一般，但数据处理量较小，处理速度快。

还需要说明的是，在实际应用中，可以通过调整网格格数的大小，来调整算法计算量，以适应不同的计算平台。

在步骤S13中，获取所述第一图像中的网格和所述第二图像中的预测网格的映射关系，其中，所述第二图像中的预测网格是通过光流估计算法根据划分得到的所述第一图像的网格，对划分得到的所述第二图像中的网格进行优化得到。

具体的，上述预测网格描述的是第一图像在变化至第二图像时，第一图像中的网格的变化，即两个图像之间的光流信息。以第二图像中划分的网格作为初始的网格，在该初始的网格上进行优化，即可得到第二图像的预测网格。

在上述方案中，具有映射关系的每个第一图像中的网格和对应的第二图像中的预测网格之间具有一个单应性矩阵，两个图像的网格内的图像可以基于该网格的单应性矩阵进行变换。

在一种可选的实施例中，可以在第一图像和第二图像上选择对应的特征点，将特征点使用其所在的网格顶点坐标进行表示，并将第一图像的特征点在第二图像中的位置进行估计，从而可以得到两个图像的网格之间的映射关系。仍结合图2所示，对第一背景区域和第二背景区域进行对齐(Align)，即可得到二者之间的映射关系(Remap)。

在步骤S14中，抠除第二图像中的前景区域，得到第二背景区域。

具体的，对第二图像进行分割的方式与对第一图像进行分割得到第一背景区域的方式相同。需要注意的是，第二图像的前景区域与第一图像的前景区域相同，从而保证视频特效中消除的对象为同一个对象。

仍结合图2所示，frame1为第二图像，对frame1进行抠图(Matting)得到frame0的掩膜(Mask)，基于该掩膜即可得到第二背景区域。

在步骤S15中，基于所述补全后的背景图像和所述映射关系，对所述第二背景区域中的缺失部分进行补全。

两个图像的网格之间的映射关系可以是二者之间的单应性矩阵，基于该矩阵可以对每个网格的图像进行变换。在一种可选的实施例中，可以对补全后的背景图像中的补全区域对应的网格基于上述单应性矩阵进行变换，得到适应与第二背景区域中缺失部分，从而对第二背景区域进行补全。

仍结合图2所示，基于补全后的背景图像和映射关系(Remap)，即可得到frame1的输出图像Output1，此处的输出图像指的是在拍摄过程中显示在智能终端上的图像。

本申请上述实施例获取抠除第一图像的前景区域后得到的第一背景区域，并对所述第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；将所述第一图像和第二图像划分为大小相同的网格，其中，所述第一图像和所述第二图像依次为待处理视频中前后连续的两帧图像；获取所述第一图像中的网格和所述第二图像中的预测网格的映射关系，其中，所述第二图像中的预测网格是通过光流估计算法根据划分得到的所述第一图像的网格，对划分得到的所述第二图像中的网格进行优化得到；抠除第二图像中的前景区域，得到第二背景区域；基于所述补全后的背景图像和所述映射关系，对所述第二背景区域中的缺失部分进行补全。上述方案将图像区域分为多个网格区域，通过将每个网格区域近似成一个平面区域来实现对场景3D结构的逼近，使用网格间的形变产生的关系恢复出背景的映射信息并实现对补全区域的光流补全，这样既可以保持帧间映射的精度，又可以降低计算量，使得算法可以实时运行，解决了相关技术中对图像进行修复由于图像处理数据量较大导致难以实时进行处理的技术问题。

作为一种可选的实施例，所述第一图像为所述待处理视频的初始帧图像，所述对所述第一背景区域中的缺失部分进行图像补全得到补全后的背景图像的步骤包括：通过图像补全算法对所述第一背景区域中的缺失部分进行补全，得到所述补全后的背景图像。

在第一图像为视频的初始帧图像的情况下，没有前一帧图像的背景图像来借鉴，因此通过图像补全算法对第一背景区域中缺失的部分进行补全，而得到的补全后的背景图像即能够作为候选图像的参考，对后续图像的背景区域进行补全。

第一图像为Frame0，对于第一帧输入图像Frame0进行分割以抠除前景区域得到第一背景区域，以前景图像为人物为例，使用图像补全算法对初始帧中人物所在的区域进行图像补全，得到一张补全后的背景图像，作为第一帧的输出。

作为一种可选的实施例，可以使用如下任意一种图像补全算法，也可以使用其他补全算法：1、纹理合成算法，纹理合成算法从图像的未受损区域采样相似像素块填充待补全区域。2、基于神经网络的生成模型，该算法将图像编码成高维隐空间的特征，再从这个特征解码成一张修复后的全图。

上述方案对于视频的初始帧图像抠除前景区域后，对剩余的第一背景区域中缺失的部分通过图像补全算法进行补全，得到补全后的背景图像，从而可以基于该背景图像，对后续帧图像采用网格变换的方式进行补全，提高了后续图像的图像处理效率。

作为一种可选的实施例，所述基于所述补全后的背景图像和所述映射关系，对所述第二背景区域中的缺失部分进行补全的步骤包括：基于所述补全后的背景图像和所述映射关系将所述补全后的背景图像的每个像素映射至第二图像，得到映射后的背景图像；从所述映射后的背景图像中提取与所述第二背景区域中的缺失部分对应的区域图像；将所述区域图像与所述第二背景区域进行融合，以对所述第二背景区域中的缺失部分进行补全。

具体的，将补全后的背景图像中的每个网格基于上述映射关系一一进行变换，即可得到映射后的背景图像。由于映射关系是基于第一图像和第二图像得到的，因此映射后的背景图像与第二图像实际的背景图像很相近。从映射后的背景图像中提取出第二背景区域中的缺失部分对应的图像，即前景区域对应的图像，再将提取的图像与第二背景区域进行融合，即可对第二背景区域中的缺失部分进行补全。

在一种可选的实施例中，第一图像和第二图像之间的映射关系通过单应性矩阵H来表示，即P0＝H*P1，其中，P0为第一图像的网格中的像素齐次坐标，P1为第二图像的网格中的像素齐次坐标。对每个网格分别进行映射可以将第一图像中的每个像素映射到第二图像中。在第一图像通过网格映射后的背景图像中第二背景区域中的缺失部分对应的区域图像。将该区域图像与第二图像的第二背景区域进行融合得到最终的输出结果。随后的输入图像以此类推，使用前一帧补全的背景图像通过映射与当前帧的背景进行融合，得到新的背景图像。

上述方案通过对第一图像基于映射关系进行映射，从而将第一图像的每个像素映射至第二图像，进而从映射得到的背景图像中获取与第二背景区域中的缺失部分对应的区域图像，将区域图像与第二背景区域进行融合即可达到对第二背景区域进行补全的技术效果。

需要说明的是，在拍摄的过程中，在显示第二图像之前，进入获取第一图像的第一背景区域和补全后的背景图像的步骤，在基于补全后的背景图像和映射关系，对第二背景区域中的待补全区域进行补全之后，还可以显示对第二背景区域进行补全后的背景图像。

在上述步骤中，在显示第二图像之前，进入获取第一图像的第一背景区域和补全后的背景图像的步骤，以对第二图像的第二背景区域进行补全，并在对第二背景区域进行补全之后显示对第二背景区域进行补全后的背景图像。

在一种可选的实施例中，用户在智能终端上使用应用中的“对象消失”特效进行拍摄，拍摄过程中智能终端的应用会实时对拍摄得到的图像进行处理，并将处理后的图像显示在智能终端的显示装置上，从而使得用户在拍摄过程中就能够实时的看到特效的效果，进而无需在拍摄完成后在离线的进行图像的处理。

上述方案是在拍摄的过程中，实时的对每一帧图像进行在线处理，使得拍摄过程中展示给用户的已经是处理后的效果，从而无需对拍摄的视频进行离线处理，进而提高视频制作效率。

作为一种可选的实施例，所述获取所述第一图像中的网格和所述第二图像中的预测网格的映射关系的步骤包括：

获取所述第一图像和所述第二图像之间的光度损失函数，所述光度损失函数用于表示所述第一图像中的特征点与所述第二图像中的对应像素点的灰度损失，其中，所述第二图像中的对应像素点是根据目标位置信息确定的，所述目标位置信息是通过双线性插值算法使用所述特征点所在的网格的顶点坐标表示的所述特征点的位置信息；

获取所述第一图像和所述第二图像之间的网格形变损失函数，其中，所述网格形变损失函数用于表示第一图像中的网格与所述第二图像中对应的预测网格之间的形变损失，所述网格形变损失函数是与所述第二图像中每个预测网格顶点的顶点坐标相关的函数；

确定所述光度损失函数和所述网格形变损失函数之和为目标损失函数，并求解所述目标损失函数使所述损失函数最小，得到所述第二图像中每个预测网格的预测顶点坐标；

根据所述第二图像中预测网格的顶点坐标，和所述第一图像中每个网格的顶点坐标，确定第一图像中每个网格和所述第二图像中每个预测网格的映射关系。

具体的，上述方案使用光度损失来使第一图像和第二图像中对应的像素点进行对齐，此处光度损失可以通过灰度损失来描述；由于拍摄的内容是变化的，因此使用网格形变损失来描述特征点的位置变化，其中，利用光度损失可以将前后连续两帧图像上的对应像素点进行对齐。使用网格形变损失一方面可以约束网格形变的大小，使得优化过程容易收敛，另一方面可以实现对需要补全的缺失区域网格顶点运动的插值。

上述方案用于对第二图像中网格的顶点进行光流的估计。使用网格顶点在第一图像中的坐标和第二图像中的预测网格的顶点坐标表示网格形变损失函数，并通过像素点在第一图像和第二图像之间的灰度损失确定光度损失，最后将网格形变损失函数和光度损失函数之和作为最终的目标损失函数，并可以通过最小二乘优化算法求解最终的目标损失函数，即可预测出网格顶点在第二图像中的位置，即预测网格顶点的顶点坐标。

在得到网格顶点在第二图像中的最后位置之后，对于每个网格，使用四个顶点计算单应性变换矩阵H，即P0＝H*P1，其中，P0为第一图像中该网格中的像素齐次坐标，P1为第二图像中该网格中的像素齐次坐标。

上述方案通过构建光度损失函数和网格形变损失函数确定预测网格的网格顶点在第二图像中的最优位置，进而确定出网格之间的映射关系，以使得可以根据网格之间的映射关系将第一图像的像素点映射至第二图像。上述方案方法将网格区域近似成一个平面，将网格内部区域的图像映射关系抽象成一个单映映射关系，并使用网格和网格之间的形变关系将背景的运动信息传播给需要补全区域的网格顶点，来恢复前景网格的一一映射。

作为一种可选的实施例，所述获取所述第一图像和所述第二图像之间的光度损失函数的步骤包括：提取所述第一图像的特征点，其中，所述特征点为像素梯度大于预设值的像素点；通过双线性插值算法使用所述特征点所在的网格的顶点坐标表示所述特征点的位置信息，并根据所述位置信息在所述第二图像中确定与所述特征点对应的像素点；获取所述第一图像特征点和所述第二图像中对应像素点的灰度值之差；确定所有特征点与对应像素点的灰度值之差的总和为所述光度损失函数。

具体的，像素梯度较大的像素点通常为轮廓的边缘线上的点，因此可以选择像素梯度大于预设值的像素点作为第一图像中的特征点。通过双线性插值算法使用网格顶点表示特征点，使得可以损失函数中代入网格顶点的信息(最终求解的目标是确定网格顶点在第二图像中的最优位置)，当像素点对齐时二者的灰度值之差最小，因此确定对应位置特征点的灰度值之差的总和为光度损失函数。

在一种可选的实施例中，取图像中像素梯度较大的地方为特征点，通过特征点的像素坐标易得出其所在网格的位置。通过双线性插值算法，使用四个网格顶点坐标将特征点的坐标表示出来，使得网格顶点的运动就可以影响到每个特征点的位置。当第一图像中的网格顶点经过优化后(估计出的网格顶点在第二图像中位置)可以导致对应的特征点位置的变化，这样通过第一图像和第二图像中对应特征点的灰度值的差可以构建光度损失。

上述方案依据像素点的梯度值确定出第一图像中的特征点，从而确定出第一图像中前景区域和背景区域交界处的像素点，再基于双线性插值算法确定出特征点在第二图相中对应的像素点，从而确定出第二图像中前景区域和背景区域交界处的像素点，通过这些像素点的灰度值之差构造光度损失函数，从而达到使第一图像和第二图像中对应的像素点进行对齐的效果。

作为一种可选的实施例，所述获取所述第一图像和所述第二图像之间的网格形变损失函数的步骤包括：执行至少两次获取一个顶点的形变损失函数的步骤，以获取两个不同的顶点的形变损失函数；确定所述每个网格的至少两个顶点的形变损失函数之和为每个网格的形变损失函数；确定每个网格对应的形变损失函数之和为所述第一图像和所述第二图像之间的网格形变损失函数。

具体的，每个网格具有四个顶点，上述方案中对每个网格获取至少两个顶点的形变损失函数，将两个顶点的网格损失函数作为整个网格的形变损失函数，并将所有网格的形变损失函数之和作为第一图像和第二图像之间的网格形变损失函数。

求取每个顶点的形变损失函数，可以通过如下步骤执行。作为一种可选的实施例，获取一个顶点的形变损失函数的步骤包括：提取所述第一图像中每个网格的第一组顶点，并提取产生形变后的第二图像中对应的第二组顶点，其中，所述第一组顶点和所述第二组顶点均包括三个顶点；基于第一顶点和第二顶点构建第一二维坐标系，并确定第三顶点在所述第一二维坐标系中的目标坐标参数，其中，所述第一组顶点包括：所述第一顶点、所述第二顶点和所述第三顶点；基于第四顶点和第五顶点构建第二二维坐标系，并确定所述目标坐标参数在所述第二二维坐标系中的位置为第六顶点的预测位置，其中，第二组顶点包括：分别与所述第一顶点、所述第二顶点和所述第三顶点对应的所述第四顶点、所述第五顶点和所述第六顶点；获取根据所述第六顶点的实际位置和所述第六顶点的预测位置的距离，得到网格的第六顶点的形变损失函数。

具体的，上述第一组顶点和第二组顶点是相对应的，例如，对于第一图像的一个网格取左上、左下和右下这三个位置的顶点构成第一组顶点，那么对第二图像的网格仍然取左上、左下和右下这三个位置的顶点。

在构建的第一二维坐标系中，第一顶点和第二顶点的连线为第一轴，在第一图像的平面内，与第一顶点和第二顶点的连线垂直的线为第二轴，且不限定第一二维坐标系的原点所在的位置。同样的，在构建的第二二维坐标系中，第四顶点和第五顶点的连线为第一轴，在第二图像的平面内，与第四顶点和第五顶点的连线垂直的线为第二轴，且不限定第二二维坐标系的原点所在的位置。

图3是根据一示例性实施例示出的一种第一二维坐标系的示意图，图4是根据一示例性实施例示出的一种第二二维坐标系的示意图，结合图3所示，图中A1、B1、C1、D1构成的矩形用于表示第一图像中的一个网格，结合图4所示，图中A2、B2、C2、D2构成的四边形用于表示第二图像中对应的网格(第二图像中的网格发生了形变)。取第一组顶点A1、B1、C1和第二组顶点A2、B2、C2。

第一二维坐标系的横坐标为A1和B1构成的连线，第一二维坐标系纵坐标为C1和A1的连线，第二二维坐标系的横坐标为A2和B2构成的连线，第二二维坐标系纵坐标为以A2为垂足垂直于该连线的线。

第三顶点在第一二维坐标系中的坐标为(0，y1)，使用该坐标在第二二维坐标系中取值，也即使用坐标(0，y1)在第二二维坐标系中的位置，即可得到预测的第三顶点在第二图像中的位置。而(0，y1)在第二二维坐标系中的位置与C2实际的位置之间的差别即可以用于度量网格形变的大小，从而用于表示该顶点的形变损失函数。

上述方案中，取第一图像网格中的三个顶点，通过其中两个顶点，顶点1和2构成向量组建二维平面坐标系，顶点3在这个坐标系中的坐标记为(u，v)。当第二图像中的网格产生形变后，使用第二图像中对应位置的顶点1和2构建的像素2D坐标系，并使用第一图像中得到的系数(u，v)，在第二图像中的2D坐标系内确定一个点，该点即为预测的顶点3的位置。这样通过3坐标的形变位置和预测位置的损失可以度量网格的形变大小。

需要说明的是，每个网格需要获取至少两个顶点的形变损失函数，也即在上述示例中获得到C1顶点的形变损失函数，而对于该网格，还可以改变计算使用的顶点并重复执行上述步骤，以获得其他顶点的形变损失函数。还需要说明的是，两个顶点的形变损失的计算需要将网格的四个顶点全部使用，也即，在上述示例中，在第二次计算网格的形变损失函数时，获取的顶点需要包括D1。

上述方案通过在第一图像和第二图像中，通过使用网格的两个顶点来构建坐标系的方式，获取到第二图像中网格的一个或多个顶点的预测位置，从而能够基于该预测位置构建形变损失函数。

图5是根据一示例性实施例示出的一种图像处理装置框图。参照图5，该装置包括第一获取单元51，划分单元52、第二获取单元53、抠除单元54和第一补全单元55。

第一获取单元51被配置为获取抠除第一图像的前景区域后得到的第一背景区域，并对第一背景区域中的缺失部分进行图像补全得到补全后的背景图像。

划分单元52被配置为将第一图像和第二图像划分为大小相同的网格，其中，第一图像和第二图像依次为待处理视频中前后连续的两帧图像。

第二获取单元53被配置为获取第一图像中的网格和第二图像中的预测网格的映射关系，其中，第二图像中的预测网格是通过光流估计算法根据划分得到的第一图像的网格，对划分得到的第二图像中的网格进行优化得到。

抠除单元54被配置为抠除第二图像中的前景区域，得到第二背景区域。

第一补全单元55被配置为基于补全后的背景图像和映射关系，对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，第一图像为待处理视频的初始帧图像，第一获取单元包括：第二补全分割单元，被配置为通过图像补全算法对第一背景区域中的缺失部分进行补全，得到补全后的背景图像。

作为一种可选的实施例，第一补全单元包括：映射单元，被配置为基于补全后的背景图像和映射关系将补全后的背景图像的每个像素映射至第二图像，得到映射后的背景图像；第一提取单元，被配置为从映射后的背景图像中提取与第二背景区域中的缺失部分对应的区域图像；融合单元，被配置为将区域图像与第二背景区域进行融合，以对第二背景区域中的缺失部分进行补全。

作为一种可选的实施例，第二获取单元包括：第三获取单元，被配置为获取第一图像和第二图像之间的光度损失函数，光度损失函数用于表示第一图像中的特征点与第二图像中的对应像素点的灰度损失，其中，第二图像中的对应像素点是根据目标位置信息确定的，目标位置信息是通过双线性插值算法使用特征点所在的网格的顶点坐标表示的特征点的位置信息；第四获取单元，被配置为获取第一图像和第二图像之间的网格形变损失函数，其中，网格形变损失函数用于表示第一图像中的网格与第二图像中对应的预测网格之间的形变损失，网格形变损失函数是与第二图像中每个预测网格顶点的顶点坐标相关的函数；求解单元，被配置为确定光度损失函数和网格形变损失函数之和为目标损失函数，并求解目标损失函数使损失函数最小，得到第二图像中每个预测网格的预测顶点坐标；第一确定单元，被配置为根据第二图像中预测网格的顶点坐标，和第一图像中每个网格的顶点坐标，确定第一图像中每个网格和第二图像中每个预测网格的映射关系。

作为一种可选的实施例，第三获取单元包括：第二提取单元，被配置为提取第一图像的特征点，其中，特征点为像素梯度大于预设值的像素点；第二确定单元，被配置为通过双线性插值算法使用特征点所在的网格的顶点坐标表示特征点的位置信息，并根据位置信息在第二图像中确定与特征点对应的像素点；第五获取单元，被配置获取第一图像特征点和第二图像中对应像素点的灰度值之差；第三确定单元，被配置为确定所有特征点与对应像素点的灰度值之差的总和为光度损失函数。

作为一种可选的实施例，第三获取单元包括：执行单元，被配置为执行至少两次第六获取模块，以获取两个不同的顶点的形变损失函数，第六获取模块被配置为获取一个顶点的形变损失函数的步骤；第四确定单元，被配置为确定每个网格的至少两个顶点的形变损失函数之和为每个网格的形变损失函数；第五确定单元，被配置为确定每个网格对应的形变损失函数之和为第一图像和第二图像之间的网格形变损失函数。

作为一种可选的实施例，第六获取单元包括：第三提取单元，被配置为提取第一图像中每个网格的第一组顶点，并提取产生形变后的第二图像中对应的第二组顶点，其中，第一组顶点和第二组顶点均包括三个顶点；第六确定单元，被配置为基于第一顶点和第二顶点构建第一二维坐标系，并确定第三顶点在第一二维坐标系中的目标坐标参数，其中，第一组顶点包括：第一顶点、第二顶点和第三顶点；第七确定单元，被配置为基于第四顶点和第五顶点构建第二二维坐标系，并确定目标坐标参数在第二二维坐标系中的位置为第六顶点的预测位置，其中，第二组顶点包括：分别与第一顶点、第二顶点和第三顶点对应的第四顶点、第五顶点和第六顶点；第八获取单元，被配置为获取根据第六顶点的实际位置和第六顶点的预测位置的距离，得到网格的第六顶点的形变损失函数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述的视频处理方法。

图6是根据一示例性实施例示出的一种用于执行上述视频处理方法的电子设备800的框图。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请还提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述的视频处理方法。

本申请还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的视频处理方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取抠除第一图像的前景区域后得到的第一背景区域，并对所述第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；

将所述第一图像和第二图像划分为大小相同的网格，其中，所述第一图像和所述第二图像依次为待处理视频中前后连续的两帧图像；

获取所述第一图像中的网格和所述第二图像中的预测网格的映射关系，其中，所述第二图像中的预测网格是通过光流估计算法根据划分得到的所述第一图像的网格，对划分得到的所述第二图像中的网格进行优化得到；

抠除第二图像中的前景区域，得到第二背景区域；

基于所述补全后的背景图像和所述映射关系，对所述第二背景区域中的缺失部分进行补全。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像为所述待处理视频的初始帧图像，所述对所述第一背景区域中的缺失部分进行图像补全得到补全后的背景图像的步骤包括：

通过图像补全算法对所述第一背景区域中的缺失部分进行补全，得到所述补全后的背景图像。

3.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述补全后的背景图像和所述映射关系，对所述第二背景区域中的缺失部分进行补全的步骤包括：

基于所述补全后的背景图像和所述映射关系将所述补全后的背景图像的每个像素映射至第二图像，得到映射后的背景图像；

从所述映射后的背景图像中提取与所述第二背景区域中的缺失部分对应的区域图像；

将所述区域图像与所述第二背景区域进行融合，以对所述第二背景区域中的缺失部分进行补全。

4.根据权利要求1至3中任意一项所述的图像处理方法，其特征在于，所述获取所述第一图像中的网格和所述第二图像中的预测网格的映射关系的步骤包括：

获取所述第一图像和所述第二图像之间的光度损失函数，所述光度损失函数用于表示所述第一图像中的特征点与所述第二图像中的对应像素点的灰度损失，其中，所述第二图像中的对应像素点是根据目标位置信息确定的，所述目标位置信息是通过双线性插值算法使用所述特征点所在的网格的顶点坐标表示的所述特征点的位置信息；

获取所述第一图像和所述第二图像之间的网格形变损失函数，其中，所述网格形变损失函数用于表示第一图像中的网格与所述第二图像中对应的预测网格之间的形变损失，所述网格形变损失函数是与所述第二图像中每个预测网格顶点的顶点坐标相关的函数；

确定所述光度损失函数和所述网格形变损失函数之和为目标损失函数，并求解所述目标损失函数使所述损失函数最小，得到所述第二图像中每个预测网格的预测顶点坐标；

根据所述第二图像中预测网格的顶点坐标，和所述第一图像中每个网格的顶点坐标，确定第一图像中每个网格和所述第二图像中每个预测网格的映射关系。

5.根据权利要求4所述的图像处理方法，其特征在于，所述获取所述第一图像和所述第二图像之间的光度损失函数的步骤包括：

提取所述第一图像的特征点，其中，所述特征点为像素梯度大于预设值的像素点；

通过双线性插值算法使用所述特征点所在的网格的顶点坐标表示所述特征点的位置信息，并根据所述位置信息在所述第二图像中确定与所述特征点对应的像素点；

获取所述第一图像特征点和所述第二图像中对应像素点的灰度值之差；

确定所有特征点与对应像素点的灰度值之差的总和为所述光度损失函数。

6.根据权利要求4所述的图像处理方法，其特征在于，所述获取所述第一图像和所述第二图像之间的网格形变损失函数的步骤包括：

执行至少两次获取一个顶点的形变损失函数的步骤，以获取两个不同的顶点的形变损失函数；

确定所述每个网格的至少两个顶点的形变损失函数之和为每个网格的形变损失函数；

确定每个网格对应的形变损失函数之和为所述第一图像和所述第二图像之间的网格形变损失函数。

7.一种图像处理装置，其特征在于，包括：

第一获取单元，被配置为获取抠除第一图像的前景区域后得到的第一背景区域，并对所述第一背景区域中的缺失部分进行图像补全得到补全后的背景图像；

划分单元，被配置为将所述第一图像和第二图像划分为大小相同的网格，其中，所述第一图像和所述第二图像依次为待处理视频中前后连续的两帧图像；

第二获取单元，被配置为获取所述第一图像中的网格和所述第二图像中的预测网格的映射关系，其中，所述第二图像中的预测网格是通过光流估计算法根据划分得到的所述第一图像的网格，对划分得到的所述第二图像中的网格进行优化得到；

抠除单元，被配置为抠除第二图像中的前景区域，得到第二背景区域；

第一补全单元，被配置为基于所述补全后的背景图像和所述映射关系，对所述第二背景区域中的缺失部分进行补全。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的图像处理方法。

Images