CN117710261A - 图像处理方法及装置 - Google Patents

Abstract

本申请实施例提供一种图像处理方法及装置，图像处理方法包括在图像浏览界面中显示第一图像，第一图像包括第一对象，第一对象位于第一图像的中间区域；在经过第一时长后，在图像浏览界面中显示第二图像，第二图像包括第二对象，第二对象和第一对象为同一对象，第二对象位于第二图像的中间区域，第二对象的形态没有畸变，第二对象和第一对象之间具有如下关系：第二对象的形状与第一对象的形状相同；或者，第二对象占用第二图像的面积大于第一对象占用第一图像的面积，且第二对象占用第二图像的面积与第一对象占用第一图像的面积的面积差在预设误差范围内。

Description

图像处理方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

目前，电子设备中设置有摄像头，通过摄像头对人、建筑物等目标物进行拍摄，得到包含目标物的图像。在通过摄像头拍摄过程中，光线经过摄像头中的透镜到达像平面，像平面是摄像头的成像平面。因为透镜的折射作用可以改变光的折射方向，使得实际成像点与理想成像点之间存在偏差，导致图像存在畸变现象，降低图像质量，为此需要对图像中的畸变进行矫正。

发明内容

本申请提供了一种图像处理方法及装置，目的在于矫正图像中的畸变，以提高图像质量。为了实现上述目的，本申请提供了以下技术方案：

第一方面，本申请提供一种图像处理方法，方法包括：在图像浏览界面中显示第一图像，第一图像包括第一对象，第一对象位于第一图像的中间区域；在经过第一时长后，在图像浏览界面中显示第二图像，第二图像包括第二对象，第二对象和第一对象为同一对象，第二对象位于第二图像的中间区域，第二对象的形态没有畸变，第二对象和第一对象之间具有如下关系：第二对象的形状与第一对象的形状相同；或者，第二对象占用第二图像的面积大于第一对象占用第一图像的面积，且第二对象占用第二图像的面积与第一对象占用第一图像的面积的面积差在预设误差范围内。

在本实施例中，第一图像中的第一对象和第二图像中的第二对象为同一对象，说明第二图像是通过对第一图像进行处理得到。第二对象的形态没有畸变，说明如果第一图像中存在畸变，第二图像矫正了图像中的畸变。在矫正后第二对象的形状与第一对象的形状相同，说明第二图像中的第二对象相对于第一图像中的第一对象没有变化，提高了图像质量；或者，第二对象占用第二图像的面积大于第一对象占用第一图像的面积，且第二对象占用第二图像的面积与第一对象占用第一图像的面积的面积差在预设误差范围内，说明第二图像中的第二对象相对于第一图像中的第一对象变化很小，同样提高了图像质量。例如第一图像包括人脸，第二图像也包括该人脸，该人脸位于中间区域，人脸在第一图像和第二图像中的形状相同，说明对第一图像处理后，人脸没有变宽，从而在矫正图像中的畸变的同时，提高了图像质量；又或者，人脸占用第二图像的面积大于占用第一图像的面积，但是面积差在预设误差范围内，以指示人脸变宽程度很小，同样在矫正图像中的畸变的同时，提高了图像质量。其中第一图像可以是电子设备的前置摄像头拍摄到的图像，在前置摄像头拍摄到图像后，可以调用本申请的图像处理方法对该图像进行处理。预设误差范围可以提前预设，通过预设误差范围指示第二对象在第一图像和第二图像之间的宽度变化程度和/或长度变化程度小，对于预设误差范围的取值本实施例不进行限定，电子设备在对前置摄像头拍摄到的图像进行处理时，每次矫正的程度可能不同(因为矫正是通过坐标调整实现，坐标调整的量可以不同)，所以每次矫正后第二对象的面积差可能不同。

在一种可能的实现方式中，在经过第一时长后，在图像浏览界面中显示第二图像包括：在经过第二时长，在图像浏览界面中显示第三图像，第三图像包括第三对象，第三对象和第一对象为同一对象，第三对象位于第三图像的中间区域，第三对象的形态没有畸变，第三对象占用第三图像的面积大于第一对象占用第一图像的面积；在经过第三时长，在图像浏览界面中显示第二图像，第一时长为第二时长和第三时长之和，第三对象占用第三图像的面积大于第二对象占用第二图像的面积。其中，第三图像中的第三对象和第一图像中的第一对象为同一对象，说明第三图像是对第一图像进行处理得到，又因为第一图像中的第一对象和第二图像中的第二对象为同一对象，说明在得到第三图像后，对第三图像进行处理得到第二图像。第三对象占用第三图像的面积大于第二对象占用第二图像的面积，说明第三对象在第三图像中的变化程度大于第二对象在第二图像中的变化程度，因此第二图像相对于第三图像，提高图像质量。以第三对象是人像为例，人像占用第三图像的面积大于该人像占用第二图像的面积，说明该人像在第三图像中的宽度大于该人像在第二图像中的宽度，或者该人像在第三图像中的长度大于该人像在第二图像中的长度，由此该人像相对于第一图像来说，在第三图像中变化更大，通过对第三图像进行纠正，得到变化较小的第二图像，从而提高图像质量。

在一种可能的实现方式中，第一图像还包括第四对象，第四对象位于第一图像的边缘区域，第四对象的形态存在畸变，第一对象的形态没有畸变；第二图像还包括第五对象，第五对象位于第二图像的边缘区域，第五对象的形态没有畸变，第五对象和第四对象为同一对象。第一图像的边缘区域包括第四对象，第四对象的形态存在畸变，得到的第二图像中第五对象对应第四对象，第五对象的形态没有畸变，说明第四对象的畸变在第二图像中得到矫正，从而提高图像质量。

在一种可能的实现方式中，第三图像还包括第六对象，第六对象位于第三图像的边缘区域，第六对象的形态没有畸变，第六对象和第四对象为同一对象。

在一种可能的实现方式中，在图像浏览界面中显示第二图像之后，方法还包括：响应于相机预览界面的展示指令，显示相机预览界面，相机预览界面包括第一控件，第一控件显示第二图像的缩略图，第一控件用于调用图库应用中的第二图像。

在一种可能的实现方式中，在图像浏览界面中显示第一图像之后，方法还包括：对第一图像进行畸变矫正，得到第一图像对应的第三图像，第三图像包括第三对象；获取第三图像的第一图像网格以及第三对象在第三图像中的位置信息；调整第一图像网格的子网格中像素的坐标，得到第二图像网格，子网格是图像网格中与位置信息匹配的网格，子网格记录位于位置信息中各像素的坐标，位于第二图像网格的子网格边缘的像素之间的距离小于位于第一图像网格的子网格边缘的像素之间的距离；根据第二图像网格，对第三图像进行仿射变换，得到第二图像，从而通过缩小子网格边缘的像素之间的距离，实现对第三图像的调整。其中位于第二图像网格的子网格边缘的像素之间的距离可以是，位于第二图像网格的子网格的第一边缘和第二边缘的像素之间的距离，一种示例中第一边缘可以是左边缘、第二边缘可以是右边缘，主要是调整子网格中像素的x坐标，在中间区域的对象变宽时通过调整x坐标，使得中间区域的对象变窄；在一种示例中，第一边缘可以是上边缘、第二边缘可以是下边缘，主要是调整子网格中像素的y坐标，在中间区域的对象变长时通过调整y坐标，使得中间区域的对象变小。

在一种可能的实现方式中，调整第一图像网格的子网格中像素的坐标包括：获得位于位置信息中的各像素的坐标偏移量，坐标偏移量用于指示从第三图像变换至第二图像时位于位置信息中的各像素的坐标变化值；针对位置信息中的各像素，利用该像素的坐标偏移量，对子网络记录的该像素的坐标进行调整。

在一种可能的实现方式中，获得位于位置信息中的各像素的坐标偏移量包括：从第三图像的显示查找表中，获得位于位置信息中的各像素的坐标偏移量，显示查找表中记录有第三图像中各像素的坐标偏移量，显示查找表是根据历史第三图像和历史第二图像之间的对应关系得到。历史第三图像和历史第二图像是历史时间段得到的包括相同对象但对象的形态可能不同的图像，电子设备可以根据历史第三图像和历史第二图像，得到从历史第三图像变换至历史第二图像时各像素的坐标偏移量，或者得到各像素的变化趋势，利用这些得到当前的第三图像的显示查找表，对应关系可以是历史第三图像变换至历史第二图像时各像素的坐标偏移量或变化趋势。在一些示例中，电子设备可以根据历史第三图像和历史第二图像之间的对应关系，获得位于位置信息中的各像素的坐标偏移量；在一些示例中，电子设备可以确定第三图像变宽，电子设备可以减小位于位置信息中各像素的坐标，尤其是减少位于位置信息中边缘的各像素的坐标，以通过这种方式也可以获得位于位置信息中的各像素的坐标偏移量，于此处不再赘述。

在一种可能的实现方式中，第三图像的显示查找表的获得过程包括：调用深度学习网络模型对第三图像进行处理，得到深度学习网络模型输出的第三图像的显示查找表；深度学习网络模型由多个训练样本训练得到，每个训练样本包括历史第二图像和历史第三图像，使得深度学习网络模型学习到从历史第三图像变换至历史第二图像时历史第三图像中各像素的坐标偏移量。

在一种可能的实现方式中，深度学习网络模型包括编码模块、第一全连接层、池化层、第二全连接层和解码模型，第一全连接层和解码模块连接编码模块的输出端，第一全连接层通过池化层连接第二全连接层；编码模块用于获得第三图像的特征向量，解码模块用于根据第三图像的特征向量，得到第二图像；第一全连接层、池化层和第二全连接层用于得到第三图像的显示查找表。

在一种可能的实现方式中，电子设备的硬件抽象层包括建模模块和图像处理模块；其中，建模模块用于构建深度学习网络模型；图像处理模块对第一图像进行畸变矫正，得到第一图像对应的第三图像，第三图像包括第三对象；获取第三图像的图像网格以及第三对象在第三图像中的位置信息；获取第三图像的图像网格以及第二对象在第三图像中的位置信息；调用深度学习网络模型对第三图像进行处理，得到深度学习网络模型输出的第三图像的显示查找表；从第三图像的显示查找表中，获得位于位置信息中的各像素的坐标偏移量，针对位置信息中的各像素，利用该像素的坐标偏移量，对图像网格的子网络记录的该像素的坐标进行调整，子网格是图像网格中与位置信息匹配的网格；以及根据调整后的图像网格，对第三图像进行仿射变换，得到第二图像。

第二方面，本申请提供一种电子设备，电子设备包括：一个或多个处理器；一个或多个存储器；存储器存储有一个或多个程序，当一个或者多个程序被处理器执行时，使得电子设备执行上述图像处理方法。

第三方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得处理器执行上述图像处理方法。

附图说明

图1为本申请提供的图像畸变矫正的一种示意图；

图2为本申请提供的图像处理方法的一种示意图；

图3为本申请提供的图像处理方法的一种流程图；

图4为本申请提供的图像畸变矫正的一种示例图；

图5为本申请提供的图像处理方法的另一种示意图；

图6为本申请提供的图像处理方法的另一种流程图；

图7为本申请提供的网格变化的示意图；

图8为本申请提供的图像畸变矫正的另一种示例图；

图9为本申请提供的图像畸变矫正的再一种示例图；

图10为本申请提供的深度学习网络模型的模型结构图；

图11为本申请提供的深度学习网络模型的训练示意图；

图12为本申请提供的电子设备的硬件结构图；

图13为本申请提供的电子设备的软件架构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例涉及的多个，是指大于或等于两个。需要说明的是，在本申请实施例的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

电子设备通过大视角镜头(如广角摄像头和/或超广角摄像头)拍摄物体时，因为镜头的视角等原因引起物体出现畸变，在拍摄区域不同位置的物体的畸变程度不同，如边缘区域的物体的畸变程度大于中心区域的物体的畸变程度。其中物体出现畸变是因为摄像头的镜头可以改变光的折射方向，通过摄像头成像时物体的实际成像点与理想成像点之间存在偏差，使得物体被拉伸，从而出现畸变。

以手机为例进行说明，如图1所示，示出了手机以前置摄像头拍摄的示例，前置摄像头可以是一个广角摄像头。在图1的(1)中，用户开启了相机，并选择通过相机的前置摄像头拍摄，前置摄像头将采集到的拍摄区域的图像显示在相册预览界面中，如在相册预览界面中显示多个人，多个人正常显示(即没有畸变)。在一些示例中相册预览界面中显示的图像也可以存在畸变，此处不在结合图进行说明。

如果用户点击相册预览界面的拍照按钮，前置摄像头对多张人脸拍摄，得到包含多个人的图像(简称人像图像)，手机跳转至图1中的(2)所示界面。图1中的(2)相对于图1中的(1)来说，不同之处在于已拍摄图像按钮中显示拍摄到的图像，如显示拍摄到的图像的缩略图，已拍摄图像按钮为已经拍摄到的图像的入口。

如果用户点击已拍摄图像按钮，手机从图1中的(2)所示界面跳转至图1中的(3)所示界面，在界面中显示已经拍摄到的图像，如在图1中的(3)所示界面中显示人像图像，其中位于左边缘区域的人脸和右边缘区域的人脸存在畸变，位于中心区域的人脸是正常的。在手机显示图1中的(3)所示图像的过程中，手机可以对该人像图像的畸变进行矫正，在完成矫正后手机可以更换图1中的(3)所示图像，在手机上显示矫正后的人像图像，如图1中的(4)所示矫正后的人像图像，从矫正后的人像图像可知，位于左边缘区域的人脸和右边缘区域的人脸的畸变得到改善，左边缘区域的人脸和右边缘区域的人脸正常显示。

在本实施例中，手机可以调用图像畸变矫正算法矫正图像的畸变，图像畸变矫正算法可以包括：输入获取部分、算法处理优化部分和后处理输出图像部分，如图2所示。输入获取部分用于定位人脸区域，人脸区域为待矫正对象区域，在输入获取部分主要输入人像图像、人像的mask(掩膜)图像和人脸坐标。算法处理优化部分主要是进行球面投影和网格优化，球面投影是对人脸等待矫正对象进行投影，如待矫正对象是身体部位，如人脸等；网格优化是对人像图像的网格进行调整。后处理输出图像部分包括warp(仿射变换)输出，warp输出是对人像图像进行矫正。图2所示图像畸变矫正算法的流程如图3所示，可以包括以下步骤：

S101、输入人像图像。

S102、调用分割算法，获得人像图像的mask图像。mask图像可以是人像图像的黑白图像，通过mask图像可以分割人像图像中的人像区域。例如调用人像实例分割算法，得到mask图像，mask图像包括人像区域和非人像区域，人像区域中各像素的像素值为1，非人像区域中各像素的像素值为0，以通过mask图像标记(即分割)出人像。

S103、调用人脸检测算法，输出人像图中每个人的人脸检测框，人脸检测框用于定位出人脸区域，人脸检测框可以是一个矩形框，人脸检测算法可以输出每个人脸检测框的坐标，如输出每个人脸检测框的两个坐标点的坐标。

S104、以人脸检测框的中心点匹配mask图像，确定待矫正人像区域。待矫正人像区域可以是人像图像中可能存在畸变的区域。因为人脸检测算法可以输出人像图像中每个人的人脸检测框，mask图像可以分割出人像区域，在确定待矫正人像区域时，将每个人脸检测框与mask图像匹配，将每个人所在区域确定为待矫正人像区域。

如上述图1中的(2)所示人像图像，手机在获取到图1中的(2)所示人像图像后，调用分割算法获得mask图像及调用人脸检测算法得到每个人的人脸检测框；然后以每个人的人脸检测框分别匹配mask图像，得到人像图中每个人所在区域，每个人所在区域分别作为待矫正人像区域，即手机可以将每个人所在区域视为人像图像中可能存在畸变的区域。

S105、根据摄像头的镜头参数，得到人像图像的球面投影。其中摄像头是用于拍摄人像图像的摄像头，如在图1所示场景中，手机可以通过前置摄像头拍摄人像图像，那么手机可以根据前置摄像头的镜头参数，得到人像图像的球面投影。步骤S105可以与上述步骤同时执行，如在执行步骤S102时执行步骤S105。

S106、根据待矫正人像区域和人像图像的球面投影，优化人像图像的网格。其中人像图像的球面投影用于将人像图像中各像素的坐标转换到球面投影上，得到人像图像中各像素在球面投影上的坐标，通过球面投影的映射可以改变人像图像中像素的坐标。在通过球面投影，得到待矫正人像区域中各像素在球面投影上的坐标后，使用待矫正人像区域中各像素在球面投影上的坐标和预先构建的网格约束项函数，优化人像图像的网格。

人像图像的网格可以是一个mesh网格，人像图像的网格用于记录人像图像中各像素的坐标，优化人像图像的网格主要是调整人像图像中部分像素的坐标，如调整待矫正人像区域中像素的坐标。因为不同图像的球面投影利用同一个前置摄像头的镜头参数得到，所以不同图像的球面投影可能相同，利用球面投影优化网格时，不同图像中像素的坐标调整的量可能相同，使得不同图像中对象的变化程度可能相同。

S107、根据优化后的网络，对人像图像进行warp，得到矫正后的人像图像。

例如对于图1中的(3)所示的人像图像，人像图像的网格可以由多个矩形(或正方形)组成，矩形中的每个点为人像图像中的一个像素，该点的坐标为对应像素的坐标，在优化时可以调整该网格中部分像素的坐标。以图1中的(3)所示人像图像的左侧人脸为例，在根据人脸区域中各像素在球面投影上的坐标，对图1中的(3)所示人像的左侧人脸的网络进行优化后，左侧人脸中位于左上边缘的像素的坐标变大，位于右上边缘的像素的坐标变小，相当于左上边缘的像素的y坐标与右上边缘的像素的y坐标之间的距离缩小，将左上边缘和右上边缘在y轴方向向外的畸变(拉伸)被拉回，由此利用优化后的网格对人像图像进行warp时，可以改善人像图像中的畸变。

又如图4所示，图4中的(1)所示人像图像存在畸变，畸变主要是右下存在向外的拉伸，该人像图像可以利用上述图2和图3所示图像畸变矫正算法进行畸变矫正，其中图像畸变矫正算法优化后的mesh网格如图4中的(2)所示，从图4中的(2)可知，右下像素的坐标变小，相当于右下的向外拉伸被向内回缩(拉回)，矫正的效果图如图4中的(3)所示。

从上述示例可知，人像图像的网格优化可以调整每个人所在区域中像素的坐标，使得人像图像中每个人的形状被调整，其中位于边缘区域的人像向外的畸变被拉回，位于中间区域的人像向外拉伸，在改善位于边缘区域的人像的畸变的同时使得位于中间区域的人像变大。如上述图1中的(3)所示人像图像，手机调用上述图2和图3所示图像畸变矫正算法，对图1中的(3)所示人像图像进行矫正，其结果如图1中的(4)所示，图1中的(4)和图1中的(3)比对发现，位于边缘区域的人像向外的畸变被改善，位于边缘区域的人像恢复正常，但是位于中间区域的人像中左右两侧的像素的x坐标之间的距离增大，使得位于中间区域的人像变大，如图1中的(4)所示，位于中间区域的人脸和身体变宽。

基于此，图1至图4所示图像畸变矫正算法对图像进行矫正后图像质量存在问题，为此，本申请提供一种图像处理方法，能够在矫正后保证图像质量。其中该图像处理方法可以对人像图像进行局部调整，主要是对人像图像的中间区域进行调整，以解决位于中间区域的人像变大的问题。如果中间区域的人像变大是在x轴方向变大，对人像图像的中间区域进行调整是指，缩小中间区域中两侧边缘像素的x坐标之间的距离，两侧边缘像素的x轴坐标之间的距离是左侧边缘像素的x坐标与右侧边缘像素的x坐标之间的距离；如果中间区域的人像变大是在y轴方向变大，对人像图像的中间区域进行调整是指，缩小中间区域中上下两个边缘像素的y坐标之间的距离，上下两个边缘像素的y坐标之间的距离是上边缘像素的y坐标与下边缘像素的y坐标之间的距离，通过对x坐标和/或y坐标的调整可以使位于中间区域向外的拉伸被拉回，从而位于中间区域且变大后的人像被变小，解决了位于中间区域的人像变大的问题。

在一种可能的实现方式中，对人像图像的中间区域进行调整可以是，调用预先得到的深度学习网络模型对人像图像进行处理，以得到深度学习网络模型输出的显示查找表(Look-Up-Table，LUT)，LUT记录了人像图像中各像素的坐标偏移量；如果对x坐标调整，那么LUT记录了人像图像中像素的x坐标偏移量。从LUT中查找中间区域中各像素的坐标偏移量，利用查找到的各像素的坐标偏移量，对中间区域各像素的坐标进行调整。

图5示出了本申请提供的图像处理方法的示意图，图像处理方法包括第一矫正部分和第二矫正部分，第一矫正部分调用图像畸变矫正算法对人像图像进行矫正，得到中间图像，中间图像相对于人像图像来说，边缘区域的畸变得到改善，但是中间区域的人像变大；第二矫正部分调用深度学习网络模型，得到中间图像的LUT，通过中间图像的人像坐标，从中间图像的LUT中查找人像坐标所在区域中各像素的坐标偏移量，利用查找到的各像素的坐标偏移量对中间图像进行矫正，得到人像图像的目标图像，目标图像相对于中间图像来说，中间区域的人像变小，使目标图像的中间区域的人像与人像图像的中间区域的人像之间的差异缩小或没有差异，解决在对人像图像整体进行畸变矫正时引起中间区域人像变大的问题。

图像处理方法的流程图请参见图6所示，可以包括以下步骤：

S201、输入人像图像。

S202、调用图像畸变矫正算法对人像图像进行矫正，得到中间图像。其中图像畸变矫正算法的说明以及对人像图像进行矫正的过程请参见上述图2和图3所示，此处不再详述。

S203、调用深度学习网络模型，得到中间图像的LUT。中间图像的LUT记录了中间图像中各像素的坐标偏移量，一个像素的坐标包括x坐标和y坐标，人像变大主要是人像变宽，人像变宽主要是x坐标之间的距离增大导致，因此中间图像的LUT可以记录中间图像中各像素的x坐标偏移量。如果是y坐标之间的距离增大导致人像变长，则中间图像的LUT可以记录中间图像中各像素的y坐标偏移量；如果中间区域的人像变宽且变大，则中间图像的LUT可以记录中间图像中各像素的x坐标偏移量和y坐标偏移量。

S204、基于中间图像的中间区域的人像坐标，从中间图像的LUT中查找中间区域中各像素的坐标偏移量。一般图像畸变矫正算法可以导致位于中间区域的人像变化，因此在查找坐标偏移量时主要查找位于中间区域的各像素的坐标偏移量。

S205、基于中间区域中各像素的坐标偏移量，优化中间图像的mesh网格。一种示例中，优化中间图像的mesh网格是调整网格中像素的坐标，主要是基于中间区域中各像素的坐标偏移量，调整网格中指向中间区域各像素的坐标。一种示例中，如果人像变宽，调整坐标主要是调整x坐标，使得中间区域中左侧边缘像素的x坐标与右侧边缘像素的x坐标之间的距离缩小，相当于左右两侧边缘向内回缩(拉回)，位于中间区域的人像被缩小，解决了人像变宽的问题。如果是人像变长，调整坐标主要是调整y坐标，使得中间区域中上边缘像素的y坐标与下边缘像素的y坐标之间的距离缩小，相当于上下边缘向内回缩，使得中间区域的人像被缩短，解决了人像变长的问题。

如图7所示，图7中的(1)示出了一中间图像的中间区域的mesh网格，经过图像畸变矫正算法处理后，中间区域的mesh网格发生形变，具体是左右两侧边缘像素的x坐标之间的距离增大。中间区域的mesh网格可以通过LUT进行微调，缩小左右两侧边缘像素的x坐标之间的距离，如图7中的(2)所示，x坐标之间的距离缩小。

S206、根据优化后的网络，对中间图像进行warp，得到目标图像。

图8示出了中间图像和目标图像的比对，其中图8中的(1)示出了人像图像经过图像畸变矫正算法矫正后，得到的中间图像；图8中的(2)示出了利用LUT对中间图像经过微调后，得到的目标图像。相对于中间图像来说，目标图像的中间区域的人像变小。

在本实施例中，深度学习网络模型可以基于多个训练样本对训练得到，每个训练样本对包括待矫正人像图像(历史第三图像)和预设图像(历史第二图像)，预设图像是待矫正人像图像矫正后的目标图像，预设图像中的人像的宽度小于待矫正人像图像中的人像的宽度，例如待矫正人像图像的中间区域的人像为图1中的(4)所示，预设图像的中间区域的人像为图1中的(3)所示，通过多个训练样本对使得深度学习网络模型可以具备微调(矫正)中间区域的人像的功能，解决图像畸变矫正时中间区域的人像变大的问题。

又如图9所示，图9中的(1)示出了在相册浏览界面浏览前置摄像头拍摄到的图像，该图像存在一定畸变，经过本实施例提供的图像处理方法进行处理得到图9中的(2)所示图像，除了边缘畸变被改善之外，中间人像没有发生变化，从而在矫正图像畸变的同时，提高了图像质量。图9中的(2)所示图像中，中间人像相对于图8中的(1)所示中间人像来说，中间人像与前置摄像头拍摄到的中间人像没有误差，提高了图像质量。

深度学习网络模型微调中间区域的人像的功能是通过LUT实现，在基于多个训练样本对训练深度学习网络模型时，深度学习网络模型可以学习到待矫正人像图像矫正为预设图像时图像中各像素的坐标偏移量，各像素的坐标偏移量记录在LUT中，通过深度学习网络模型的全连接层输出。在调用深度学习网络模型进行畸变矫正时，将人像图像的中间图像(即中间区域的人像变大后的图像)输入到深度学习网络模型中，由深度学习网络模型输出该中间图像的LUT，再利用该中间图像的LUT调整中间图像的mesh网格。

图10示出了深度学习网络模型的一种模型架构，该深度学习网络模型可以是一个unet网络模型，以待矫正人像图像和待矫正人像图像的预设图像为训练样本对，对unet网络模型进行训练。其中unet网络模型包括编码模块和解码模块，编码模块可以对待矫正人像图像进行特征提取等处理，得到特征向量。解码模块基于特征向量，得到图像并输出。

例如编码模块包括多个编码层，每个编码层可以包括卷积层、激活层等，通过卷积层和激活层等网络层提取特征向量，如第一个编码层的输入为待矫正人像图像，第一个编码层输出待矫正人像图像的特征向量，第一个编码层的输出作为第二个编码层的输入，由第二个编码层继续提取特征向量，……以此类推，直至最后一个编码层输出特征向量，最后一个编码层输出的特征向量可以作为解码模块的输入。除第一个编码层和第二个编码层之外，其他相邻两个编码层输出的特征向量满足关系：下一个编码层输出的特征向量的通道数是上一个编码层输出的特征向量的通道数的N倍、下一个编码层输出的特征向量的分辨率是上一个编码层输出的特征向量的分辨率的(1/N)*(1/N)倍，N可以是大于等于2的幂次方。如图10所示unet网络模型中，经过不同编码层后通道数的变化是：3、16、32、64、128、256。

最后一个编码层的输出端依次连接第一全连接层、池化层和第二全连接层，其中，第一全连接层连接最后一个编码层的输出，池化层连接在第一全连接层和第二全连接层之间，通过第一全连接层、池化层和第二全连接层得到LUT。LUT的维度与待矫正人像图像中像素总数相同，如待矫正人像图像具有100个像素，每个像素的坐标是一个二维坐标，那么LUT的维度是100，即LUT包括100个参数，一个参数对应一个像素，记录该像素的坐标偏移量。如果在除最后一个编码层之外的编码层(简称为特殊编码层)的输出端连接第一全连接层、池化层和第二全连接层，特殊编码层的输出要经过其下一个编码层处理，使得特殊编码层的输出与解码模块的输入存在差异，相当于基于与解码模块的输入存在差异的特征向量得到LUT，降低LUT的准确度。而最后一个编码层输出的特征向量作为了解码模块的输入，最后一个编码层输出的特征向量作为了图像还原的数据基础，那么基于图像还原的数据基础得到的LUT，可以准确与还原出的图像(预设图像)相匹配，提高LUT的准确度。

在本实施例中，解码模块可以包括多个解码层，每个解码层包括卷积层、激活层和上采样层等。经过多个解码层后特征向量的通道数降低但分辨率提高，如图10所示unet网络模型中，经过不同解码层后通道数的变化是：128、64、32、16、M、M，M的取值可以是大于或等于1的自然数。第一个解码层的输入(图中的Global Feature)可以是最后一个编码层输出的特征向量，第一个解码层的输出作为第二个解码层的输入，……，依次类推，最后一个解码层输出图像数据，利用最后一个解码层输出的图像数据可以得到图像，该图像是深度学习网络模型输出的图像。深度学习网络模型输出的图像可以利用其输出的LUT进行矫正，主要是对输出的图像的中间区域进行矫正，得到待匹配图像。

在得到待匹配图像后，基于损失函数，计算待匹配图像和待矫正人像图像的预设图像之间的损失值，利用损失值调整深度学习网络模型。损失函数包括：绝对值损失函数(简称为L1损失函数)、平方损失函数(简称为L2损失函数)、平滑一范数损失函数(简称为smoothL1损失函数)、感知损失函数和交叉熵损失函数等，利用这些损失函数中的至少一个损失函数计算损失值。

图11示出了深度学习网络模型的训练示意图，待矫正人像图像经过多层编码层处理，每层编码层输出一个特征向量，最后一个编码层输出的特征向量作为第一个解码层的输入及作为第一全连接层的输入。经过多层解码层输出图像数据，图像数据可以渲染出图像；特征向量在经过第一全连接层、池化层和第二全连接层处理后得到LUT，LUT对图像的中间区域进行矫正，得到待匹配图像。基于L2损失函数(L2 loss)计算待匹配图像和预设图像之间的损失值，利用损失值调整深度学习网络模型。

在完成深度学习网络模型的训练后，深度学习网络模型学习到矫正人像图像的中间区域中人像的功能(能力)，具体是学习到将人像图像的中间图像矫正为目标图像时，中间图像中像素的坐标偏移量，由此对于一个存在畸变的人像图像，将人像图像经一次畸变矫正得到的中间图像输入到深度学习网络模型中，得到深度学习网络模型输出的中间图像的LUT；通过中间图像中的人像坐标从LUT中查找与中间区域的人像相匹配的参数，相匹配的参数记录了中间区域的人像的各像素的坐标偏移量，利用中间区域的人像的各像素的坐标偏移量，对经过图像畸变矫正算法矫正后的图像进行矫正，得到目标图像，目标图像相对于中间图像，中间区域的人像变小(变窄)，其大小与人像图像的中间区域的人像相接近。

上述图像处理方法是以人像图像为例，阐述如何对人像图像的中间区域的人像进行矫正，如果一张图像包括其他类型对象，其他类型对象在经过图像畸变矫正算法导致中间区域的对象变大，也可以采用本申请提供的图像处理方法进行处理，其他类型对象包括动物、建筑物等等。相对应的，为了能够对这些类型对象进行矫正，深度学习网络模型可以通过这些类型对象的历史图像进行训练，使得深度学习网络模型可以针对不同类型对象，输出不同类型对象的LUT，提高深度学习网络模型的通用性；当然，在本实施例中，深度学习网络模型可以针对特定类型对象，如人、动物和建筑物，在对包含特定类型对象的图像进行矫正时，调用深度学习网络模型得到LUT。例如一张图像包括多个动物，位于边缘的动物存在畸变，手机可以调用图像畸变矫正算法对该图像进行畸变矫正。若矫正后的图像的中间区域的动物变大，调用深度学习网络模型输出该图像的LUT，利用该图像的LUT对中间区域的动物进行矫正。其中，中间区域的对象变大可以是x轴方向和/或y轴方向变大，如x轴方向变宽和/或y轴方向变长，使得中间区域的对象占用的面积变大。相对应的优化调整过程请参见上述说明。

本申请提供的图像处理方法可以应用于电子设备中，在一些实施例中，该电子设备可以是手机、平板电脑、桌面型、膝上型、笔记本电脑、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、手持计算机、上网本、个人数字助理(PersonalDigital Assistant，PDA)、可穿戴电子设备、智能手表等设备。本申请对电子设备的具体形式不做特殊限定。

如图12所示，该电子设备可以包括：处理器，外部存储器接口，内部存储器，通用串行总线(Universal Serial Bus，USB)接口，充电管理模块，电源管理模块，电池，天线1，天线2，移动通信模块，无线通信模块，传感器模块，按键，马达，指示器，摄像头，显示屏，以及用户标识模块(Subscriber Identification Module，SIM)卡接口等。其中音频模块可以包括扬声器，受话器，麦克风，耳机接口等，传感器模块可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

处理器可以包括一个或多个处理单元，例如：处理器可以包括应用处理器(Application Processor，AP)，调制解调处理器，图形处理器(Graphics ProcessingUnit，GPU)，图像信号处理器(Image Signal Processor，ISP)，控制器，视频编解码器，数字信号处理器(Digital Signal Processor，DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器是电子设备的神经中枢和指挥中心，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

显示屏用于显示图像，视频、一系列图形用户界面(Graphical User Interface，GUI)等。

外部存储器接口可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口与处理器通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。内部存储器可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器通过运行存储在内部存储器的指令，从而执行电子设备的各种功能应用以及数据处理。例如，在本申请中，处理器通过运行内部存储器中存储的指令，使得电子设备执行本申请提供的图像处理方法。

摄像头用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device，CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备可以包括1个或N个摄像头，N为大于1的正整数，N个摄像头中m个摄像头设置在显示屏之下，设置在显示屏下方的摄像头可以作为前置摄像头使用，由设置在显示屏下方的摄像头拍摄得到图像。其他摄像头可以设置在电子设备的背面，作为后置摄像头使用，m<＝N。

可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

另外，在上述部件之上，运行有操作系统。例如苹果公司所开发的iOS操作系统，谷歌公司所开发的Android开源操作系统，微软公司所开发的Windows操作系统等。

电子设备的操作系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备的软件结构。图13是电子设备的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。以Android系统为例，在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层(Framework)，硬件抽象层(HAL)以及系统内核层(Kernel)。

其中，应用程序层可以包括一系列应用程序包。应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等APP。应用程序框架层为应用程序层的应用程序提供应用编程接口(Application Programming Interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。例如应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

HAL可以包含多个库模块，其中每个模块都为特定类型的硬件组件实现一组接口，如HAL包括图像处理模块和建模模块，建模模块用于得到深度学习网络模型，图像处理模块用于调用图像畸变矫正算法对图像进行一次矫正，以及调用深度学习网络模型得到LUT，利用LUT对图像进行二次矫正，即对图像畸变矫正算法矫正后的图像进行二次矫正，其中图像处理模块可以是针对前置摄像头拍摄到的图像进行矫正处理，在前置摄像头拍摄到图像后，图像处理模块对该图像进行矫正处理。内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

本申请提供一种电子设备，电子设备包括：一个或多个处理器；一个或多个存储器；存储器存储有一个或多个程序，当一个或者多个程序被处理器执行时，使得电子设备执行上述图像处理方法。

本申请提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得处理器执行上述图像处理方法。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：

在图像浏览界面中显示第一图像，所述第一图像包括第一对象，所述第一对象位于所述第一图像的中间区域；

在经过第一时长后，在所述图像浏览界面中显示第二图像，所述第二图像包括第二对象，所述第二对象和所述第一对象为同一对象，所述第二对象位于所述第二图像的中间区域，所述第二对象的形态没有畸变，所述第二对象和所述第一对象之间具有如下关系：

所述第二对象的形状与所述第一对象的形状相同；或者，所述第二对象占用所述第二图像的面积大于所述第一对象占用所述第一图像的面积，且所述第二对象占用所述第二图像的面积与所述第一对象占用所述第一图像的面积的面积差在预设误差范围内。

2.根据权利要求1所述的方法，其特征在于，所述在经过第一时长后，在所述图像浏览界面中显示第二图像包括：

在经过第二时长，在所述图像浏览界面中显示第三图像，所述第三图像包括第三对象，所述第三对象和所述第一对象为同一对象，所述第三对象位于所述第三图像的中间区域，所述第三对象的形态没有畸变，所述第三对象占用所述第三图像的面积大于所述第一对象占用所述第一图像的面积；

在经过第三时长，在所述图像浏览界面中显示所述第二图像，所述第一时长为所述第二时长和所述第三时长之和，所述第三对象占用所述第三图像的面积大于所述第二对象占用所述第二图像的面积。

3.根据权利要求1或2所述的方法，其特征在于，所述第一图像还包括第四对象，所述第四对象位于所述第一图像的边缘区域，所述第四对象的形态存在畸变，所述第一对象的形态没有畸变；

所述第二图像还包括第五对象，所述第五对象位于所述第二图像的边缘区域，所述第五对象的形态没有畸变，所述第五对象和所述第四对象为同一对象。

4.根据权利要求3所述的方法，其特征在于，所述第三图像还包括第六对象，所述第六对象位于所述第三图像的边缘区域，所述第六对象的形态没有畸变，所述第六对象和所述第四对象为同一对象。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，在所述图像浏览界面中显示第二图像之后，所述方法还包括：响应于相机预览界面的展示指令，显示所述相机预览界面，所述相机预览界面包括第一控件，所述第一控件显示所述第二图像的缩略图，所述第一控件用于调用图库应用中的第二图像。

6.根据权利要求1至5中任意一项所述的方法，其特征在于，在图像浏览界面中显示第一图像之后，所述方法还包括：对所述第一图像进行畸变矫正，得到所述第一图像对应的第三图像，所述第三图像包括第三对象；

获取所述第三图像的第一图像网格以及所述第三对象在所述第三图像中的位置信息；

调整所述第一图像网格的子网格中像素的坐标，得到第二图像网格，所述子网格是所述图像网格中与所述位置信息匹配的网格，所述子网格记录位于所述位置信息中各像素的坐标，位于所述第二图像网格的子网格边缘的像素之间的距离小于位于所述第一图像网格的子网格边缘的像素之间的距离；

根据所述第二图像网格，对所述第三图像进行仿射变换，得到所述第二图像。

7.根据权利要求6所述的方法，其特征在于，所述调整所述第一图像网格的子网格中像素的坐标包括：

获得位于所述位置信息中的各像素的坐标偏移量，所述坐标偏移量用于指示从所述第三图像变换至所述第二图像时位于所述位置信息中的各像素的坐标变化值；

针对所述位置信息中的各像素，利用该像素的坐标偏移量，对所述子网络记录的该像素的坐标进行调整。

8.根据权利要求7所述的方法，其特征在于，所述获得位于所述位置信息中的各像素的坐标偏移量包括：

从所述第三图像的显示查找表中，获得位于所述位置信息中的各像素的坐标偏移量，所述显示查找表中记录有所述第三图像中各像素的坐标偏移量，所述显示查找表是根据历史第三图像和历史第二图像之间的对应关系得到。

9.根据权利要求8所述的方法，其特征在于，所述第三图像的显示查找表的获得过程包括：调用深度学习网络模型对所述第三图像进行处理，得到所述深度学习网络模型输出的所述第三图像的显示查找表；所述深度学习网络模型由多个训练样本训练得到，每个训练样本包括所述历史第二图像和所述历史第三图像，使得所述深度学习网络模型学习到从所述历史第三图像变换至所述历史第二图像时所述历史第三图像中各像素的坐标偏移量。

10.根据权利要求9所述的方法，其特征在于，所述深度学习网络模型包括编码模块、第一全连接层、池化层、第二全连接层和解码模型，所述第一全连接层和所述解码模块连接所述编码模块的输出端，所述第一全连接层通过所述池化层连接所述第二全连接层；

所述编码模块用于获得所述第三图像的特征向量，所述解码模块用于根据所述第三图像的特征向量，得到所述第二图像；所述第一全连接层、所述池化层和所述第二全连接层用于得到所述第三图像的显示查找表。

11.根据权利要求8或9所述的方法，其特征在于，电子设备的硬件抽象层包括建模模块和图像处理模块；其中，所述建模模块用于构建所述深度学习网络模型；

所述图像处理模块对所述第一图像进行畸变矫正，得到所述第一图像对应的第三图像，所述第三图像包括第三对象；获取所述第三图像的图像网格以及所述第三对象在所述第三图像中的位置信息；获取所述第三图像的图像网格以及所述第二对象在所述第三图像中的位置信息；调用所述深度学习网络模型对所述第三图像进行处理，得到所述深度学习网络模型输出的所述第三图像的显示查找表；从所述第三图像的显示查找表中，获得位于所述位置信息中的各像素的坐标偏移量，针对所述位置信息中的各像素，利用该像素的坐标偏移量，对所述图像网格的子网络记录的该像素的坐标进行调整，所述子网格是所述图像网格中与所述位置信息匹配的网格；以及根据调整后的图像网格，对所述第三图像进行仿射变换，得到所述第二图像。

12.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

一个或多个存储器；

所述存储器存储有一个或多个程序，当所述一个或者多个程序被所述处理器执行时，使得所述电子设备执行如权利要求1至11中任意一项所述的图像处理方法。

13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储了计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至11中任意一项所述的图像处理方法。