CN111028161B - 图像校正方法及电子设备 - Google Patents

Abstract

本发明实施例提供一种图像校正的方法及电子设备，应用于通信技术领域，以解决传统畸变校正方法中存在的畸变校正准确度较低的问题。该方法包括：获取目标训练集，该目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和对应无畸变训练图；将上述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数；采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。

Description

图像校正方法及电子设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像校正方法及电子设备。

背景技术

用户在使用电子设备(如智能手机)自拍时，由于人脸至电子设备的摄像头间的拍摄距离的限制，使得拍摄出的人像存在比较严重的畸变，该畸变通常表现为面部变形和脸型比例失真等。

传统的对畸变图像的校正方法通常是：对2D畸变图像中的人脸图像进行3D建模，得到该人脸图像的点云位置信息，该点云位置信息用于表征该人脸图像中各特征点的位置信息和拍摄角度，然后，采用预设的畸变校正参数对点云位置信息进行畸变校正，得到校正后的点云位置信息，最后，基于该点云位置信息得到校正后的人脸图像。

然而，由于上述畸变校正参数为固定值，因此，当使用上述畸变校正参数对畸变图像进行校正时，会导致部分畸变图像的校正准确度低。

发明内容

本发明实施例提供一种图像校正方法及电子设备，以解决传统畸变校正方法中存在的畸变校正准确度较低的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本发明实施例提供一种图像校正方法，该方法包括：获取目标训练集，该目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和对应无畸变训练图；将上述畸变训练图的点云位置信息作为输入特征，将对应校正后的训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数；采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。

第二方面，本发明实施例还提供了一种电子设备，该电子设备包括：获取模块，用于获取目标训练集，该目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和对应无畸变训练图；学习模块，用于将上述畸变训练图的点云位置信息作为输入特征，将对应校正后的训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数；校正模块，用于采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。

第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器及存储在该存储器上并可在该处理器上运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的图像校正方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的图像校正方法的步骤。

在本发明实施例中，电子设备通过获取目标训练集，由于该目标训练集中畸变训练图和对应无畸变训练图中包括的目标对象具有相同景深，因此，将上述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图的点云位置信息作为输出特征信息，通过对多对训练样本进行畸变校正学习，从而得到畸变变换参数。该电子设备采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。由于畸变变换参数是通过将目标训练集中相同对象的畸变训练图和无畸变训练图的比对学习的结果，校正后的图像更加趋向于真实目标对象的特征信息，从而避免了传统畸变校正方法中存在的畸变校正准确度较低的问题。

附图说明

图1为本发明实施例提供的一种可能的安卓操作系统的架构示意图；

图2为本发明实施例提供的一种图像校正方法的方法流程示意图；

图3为本发明实施例提供的一种电子设备的结构示意图；

图4为本发明实施例提供的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本文中的“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

需要说明的是，本文中的“多个”是指两个或多于两个。

需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是，为了便于清楚描述本发明实施例的技术方案，在本发明实施例中，采用了“第一”、“第二”等字样对功能或作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。例如，第一三角面片和第二三角面片，是用于区别不同的三角面片，而不是用于描述三角面片的特定顺序。

本发明实施例中的“点云”，是指图像中的目标对象的全部或部分特征点的集合。其中，上述“点云”用于表征该目标对象的空间分布和该目标对象的轮廓。示例性的，以目标对象为人脸为例，一个人脸图像的“点云”位置信息包括：该人脸图像中的人脸特征点的位置信息。

本发明实施例中的“三角面片”，是指将图像中任一目标对象的所有特征点之间以三角形的形式相联接，其实质上是将各特征点与其相邻特征点之间的拓扑连接关系，以三角面片网格的形式反映出来。具体的，最终的三角面片网格的划分结果要满足：除了三角端点，划分出的每个三角面片的边不包含点集中的任何点，没有相交的边且所有的面都是三角面。其中，三角面片的个数和特征点的数量成正比，特征点的数量越多，生成的三角面片数越多。

本发明实施例提供的图像校正方法的执行主体可以为上述的电子设备，也可以为该电子设备中能够实现该图像校正方法的功能模块和/或功能实体，具体的可以根据实际使用需求确定，本发明实施例不作限定。

示例性的，以电子设备为终端设备为例，本发明实施例中的电子设备可以为移动终端设备，也可以为非移动终端设备。移动终端设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等；非移动终端设备可以为个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等；本发明实施例不作具体限定。

本发明实施例中的电子设备可以为具有操作系统的电子设备。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。

下面以安卓操作系统为例，介绍一下本发明实施例提供的图像校正方法所应用的软件环境。

如图1所示，为本发明实施例提供的一种可能的安卓操作系统的架构示意图。在图1中，安卓操作系统的架构包括4层，分别为：应用程序层、应用程序框架层、系统运行库层和内核层(具体可以为Linux内核层)。

其中，应用程序层包括安卓操作系统中的各个应用程序(包括系统应用程序和第三方应用程序)。

应用程序框架层是应用程序的框架，开发人员可以在遵守应用程序的框架的开发原则的情况下，基于应用程序框架层开发一些应用程序。

系统运行库层包括库(也称为系统库)和安卓操作系统运行环境。库主要为安卓操作系统提供其所需的各类资源。安卓操作系统运行环境用于为安卓操作系统提供软件环境。

内核层是安卓操作系统的操作系统层，属于安卓操作系统软件层次的最底层。内核层基于Linux内核为安卓操作系统提供核心系统服务和与硬件相关的驱动程序。

以安卓操作系统为例，本发明实施例中，开发人员可以基于上述如图1所示的安卓操作系统的系统架构，开发实现本发明实施例提供的图像校正方法的软件程序，从而使得该图像校正方法可以基于如图1所示的安卓操作系统运行。即处理器或者电子设备可以通过在安卓操作系统中运行该软件程序实现本发明实施例提供的图像校正方法。

下面结合图2所示的图像校正方法流程图对本发明实施例的图像校正方法进行说明，图2为本发明实施例提供的一种图像校正方法流程示意图，包括步骤201至步骤203：

步骤201：电子设备获取目标训练集。

在本发明实施例中，上述目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和无畸变训练图。

示例性的，上述对象可以包括但不限于：人脸、动物、植物、建筑物等。

示例性的，上述目标训练集中的训练样本可以直接为成对出现的畸变训练图和无畸变训练图，还可以为存储的成对出现的畸变训练图和无畸变训练图的点云位置信息。

示例性的，上述的畸变训练图是指：图像中存在的目标对象相较于真实目标对象的形状发生拉伸、挤压、偏移和扭曲等变形的图像；上述的无畸变训练图是指：包含更接近真实的目标对象的图像。例如，以目标对象为人脸为例，畸变训练图中的人脸为发生拉伸、挤压、偏移和扭曲等变形的人脸图像，无畸变训练图中的人脸则更接近真实的人脸形状。

步骤202：电子设备将上述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数。

示例性的，电子设备将上述畸变训练图的点云位置信息作为畸变校正模型的输入特征，将对应无畸变训练图中的点云位置信息作为该畸变校正模型的输出特征进行畸变校正学习，得到畸变变换参数。其中，上述的畸变变换参数为该畸变校正模型中的校正参数。

示例性的，上述的畸变校正模型可以为神经网络模型。该神经网络模型可以采用回归网络搭建方式得到，或者，可以采用Tensorflow或者caffe(一种开源的深度学习框架)学习框架上进行训练得到该神经网络模型。

可选的，在本发明实施例中，电子设备进行畸变校正学习时，可以通过两种实现方式来实现。

在第一种可能的实现方式中：上述畸变变换参数用于2D畸变图像校正。

在本实现方式中，上述畸变变换参数用于校正2D点云位置信息。

示例性的，上述获取2D点云位置信息后，电子设备采用畸变变换参数对该2D点云位置信息进行校正，并生成校正后的2D点云位置信息。

在第二种可能的实现方式中：上述畸变变换参数用于3D畸变图像校正。

在本实现方式中，上述畸变变换参数是对该3D畸变图像的3D点云位置信息的校正。

示例性的，电子设备在获取到该待校正3D畸变图像后，根据上述公式(2)和公式(3)对该3D畸变图像进行归一化处理，并生成UV位置映射图，得到3D点云位置信息，从而实现对该3D点云位置信息的校正。

可选的，在本发明实施例中，畸变训练图和无畸变训练图间的畸变变换参数，可以使用下述的公式(1)来表现两者之间的畸变转换关系。

其中，表示畸变训练图中的K个点云位置信息，/>表示无畸变训练图中的K个点云位置信息，α_p表示点云位置的畸变变换参数，x_p,0表示畸变训练图中的第1个点云位置信息，x_c,0表示无畸变训练图中的第1个点云位置信息，0、1、2、3……K-1表示畸变训练图和无畸变训练图中包括K个点云位置信息。

步骤203：电子设备采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。

示例性的，图像中的点云用于描述该图像中各对象的形状特征，例如，以对象为人脸为例，图像中的人脸图像的点云用于描述该人脸的面部轮廓形状特征及五官表面的特征。通常情况下，针对一个对象的点云个数越多，则该对象的形状特征越明显，反之，针对一个对象的点云个数越少，则该对象的形状特征越不清晰。

示例性的，上述的畸变训练图的点云位置信息包括：上述畸变训练图中的所有点云中的每个点云中的每个特征点的位置信息(例如，该特征点的坐标值)。

示例性的，上述的无畸变训练图的点云位置信息包括：上述无畸变训练图中的所有点云中的每个点云中的每个特征点的位置信息(例如，该特征点的坐标值)。

示例性的，图像中的特征点为该图像中较为显著的点，例如，图像中的轮廓点，图像中的角点，图像中较暗区域中的亮点，图像中较亮区域中的暗点等。

示例性的，上述的点云位置信息包括：2D点云位置信息或3D点云位置信息。其中，上述的2D点云位置信息为该点云中的特征点在2维空间坐标系下的位置信息，例如，一幅图像的2D点云位置信息可以用S^2d来表示，S^2d＝{(x,y)_K}，其中，(x,y)表示2维空间坐标系下的坐标值，K表示该图像中的点云数。上述的3D点云位置信息为该点云中的特征点在3维空间坐标系下的位置信息，例如，一幅图像的3D点云位置信息可以用S^3d表示，S^3d＝{(x,y,z)_N}，其中，(x,y,z)表示3维空间坐标系下的坐标值，N表示该图像中的点云数。

可选的，在本发明实施例中，针对2D畸变图像A，该畸变图像A的2D点云位置信息的获取过程具体包括如下步骤：

步骤1：对该2D畸变图像A进行归一化处理，得到归一化后的2D畸变图像B。

示例性的，电子设备可以基于下述的公式(2)对该畸变图像A进行归一化处理。

上述归一化处理过程可以由如下公式(2)表示：

I^c＝resize(Crop(I)) 公式(2)

其中，I为2D畸变图像A，I^c为归一化后的2D畸变图像A，resize、Crop为归一化运算程序。上述归一化处理是将2D畸变图像A处理为固定大小的图像。例如，将上述2D畸变图像A归一化为大小为256*256像素的图像。

步骤2：生成该2D畸变图像A的UV位置映射图。

其中，UV位置映射图用于表征2D畸变图像B中各点从2D映射至3D的映射关系。

示例性的，电子设备根据2D畸变图像A和下述公式3，生成UV位置映射图。

其中，上述公式3中的con为卷积运算，decon为反卷积运算，v_j表示网络层，v_i表示卷积层，I^c为2D畸变图像A，UV为2D畸变图像B。

例如，以畸变图像A的尺寸为256*256像素大小的3层通道图像(用256*256*3表示)为例，畸变图像A经10层网络编码后，输出特征图尺度为8*8*512，该特征图再经过17层反卷积操作，最终，输出该2D畸变图像B的256*256*3的UV位置映射图。其中，该卷积的核尺度为4*4。

示例性的，上述UV位置映射图(UV表示为一个二维的坐标系，U表示坐标系的水平方向，V表示坐标系的垂直方向)可以确定出畸变训练图和无畸变训练图上的任意一个坐标位置。

步骤3：基于UV位置映射图，获取该2D畸变图像B的3D点云位置信息。

示例性的，UV位置映射图与3D形状的点为语义上一一对应的关系，因此，电子设备在得到该2D畸变图像B的UV位置映射图后，便可从基于该UV位置映射图，获取出该2D畸变图像B中的每个3D点云的点云位置信息。

步骤4：根据3D点云位置信息，获取2D点云位置信息。

示例性的，同一图像的2D点云位置信息与3D点云位置信息间存在转换关系，知道3D点云位置信息，即可计算出对应的2D点云位置信息，反之，知道2D点云位置信息可以得到3D点云位置信息。

示例性的，上述2D点云位置信息和3D点云位置信息间的转换公式可以为下述公式(4)。

S^2d＝S^3d*M_r*M_t*M_c 公式(4)

其中，M_r为旋转矩阵，M_t为平移矩阵，M_c为相机内参矩阵。

本发明实施例提供的图像校正方法，电子设备通过获取目标训练集，由于该目标训练集中畸变训练图和对应无畸变训练图中包括的目标对象具有相同景深，因此，将上述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图的点云位置信息作为输出特征信息，通过对多对训练样本进行畸变校正学习，从而得到畸变变换参数。该电子设备采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。由于畸变变换参数是通过将目标训练集中相同对象的畸变训练图和无畸变训练图的比对学习的结果，校正后的图像更加趋向于真实目标对象的特征信息，从而避免了传统畸变校正方法中存在的畸变校正准确度较低的问题。

可选的，在本发明实施例中，上述待校正畸变图像为待校正2D畸变图像，上述的畸变变换参数用于校正2D畸变图像，上述的步骤203包括步骤203a和203b：

步骤203a：电子设备采用畸变变换参数对待校正2D畸变图像的2D点云位置信息进行畸变校正，得到校正后的2D点云位置信息。

步骤203b：电子设备根据上述校正后的2D点云位置信息，得到校正后的图像。

示例性的，电子设备接收待校正2D畸变图像后，通过获取该待校正2D畸变图像的2D点云位置，进而实现对该2D点云位置信息进行校正。

示例性的，由于上述畸变变换参数是将训练样本中畸变训练图和无畸变训练图中的2D点云位置在Tensorflow或者caffe(一种开源的深度学习框架)学习框架上进行训练得到的，因此，用该畸变变换参数校正2D畸变图像，使得校正后的2D畸变图像中的目标对象更加接近真实的目标对象。

可选的，在本发明实施例中，待校正畸变图像为待校正3D畸变图像，上述的畸变变换参数用于校正3D畸变图像，上述的步骤203包括步骤203c至203e：

步骤203c：电子设备将待校正2D畸变图像转换为待校正3D畸变图像；

示例性的，采用上述公式(2)将待校正2D畸变图像进行归一化处理，接着采用上述公式(3)生成待校正2D畸变图像的UV位置映射，根据UV位置映射图与3D形状的点的对应关系获取该待校正2D畸变图像的3D点云位置信息。

步骤203d：采用上述畸变变换参数对待校正3D畸变图像的3D点云位置信息进行畸变校正，得到校正后的3D点云位置信息；

步骤203e：根据校正后的3D点云位置信息对应的校正后的2D点云位置信息，得到该校正后的图像。

示例性的，将校正后的3D点云位置信息根据上述公式(4)转换为2D点云位置信息，采用如下公式(5)至公式(8)对该2D点云位置信息进行转换，生成校正后的图像。

这样，通过基于畸变变换参数对3D畸变图像的校正，由于，该畸变变换参数的训练过程为对畸变图像和无畸变图像的3D点云位置信息的训练，因此，使用该畸变变换参数校正后的后的图像可以提升图像中人物面部的立体效果。

进一步可选的，在本发明实施例中，上述步骤203b包括步骤203b1至步骤203b2：

步骤203b1：电子设备获取上述校正后的2D点云位置信息对应的第一三角面片信息，以及上述待校正畸变图像的第二三角面片信息。

步骤203b2：电子设备根据上述第一三角面片信息与上述第二三角面片信息，计算出该第二三角面片信息中的每个三角面片内的每个点的位置偏移量和对应像素值。

步骤203b3：电子设备根据上述位置偏移量和像素值，对上述待校正畸变图像进行图像校正，得到校正后的图像。

示例性的，上述第一三角面片信息为待校正畸变图像校正前的2D点云位置信息的三角面片，上述第二三角面片信息为待校正畸变图像校正前的2D点云位置信息的三角面片。

示例性的，上述待校正畸变图像的第一三角面片信息和第二三角面片信息可以由如下公式表示：

Tp＝{mesh<p_i,p_j,p_k>},p_i,p_j,p_k∈s_2d 公式(5)

T′_p＝{mesh<p′_i,p′_j,p′_k>},p′_i,p′_j,p′_k∈s′_2d 公式(6)

其中，公式(5)中的Tp表示第一三角面片信息，p_i,p_j,p_k表示第一三角面片中的3个点的位置信息，公式(6)中的T′_p表示第二三角面片信息，p′_i,p′_j,p′_k表示校正后的第二三角面片中的3个点的位置信息。

示例性的，分别取第一三角面片信息和第二三角面片信息中的第t个三角面片，若上述第一三角面片信息中的第t个三角面片信息用mesh<p_i,p_j,p_k>t表示，上述第二三角面片信息中的第t个三角面片信息用mesh<p′_i,p′_j,p′_k>t表示，则可以根据该mesh<p_i,p_j,p_k>t和mesh<p′_i,p′_j,p′_k>t以及如下公式8计算出第t个三角面片校正前和校正后的位置变换参数。

其中，为第t个第二三角面片中的任一点的位置信息，/>为第t个第一三角面片中上述任一点的位置信息，/>为第t个三角面片中的上述任一点校正前和校正后的位置变换参数。

示例性的，根据上述位置变换参数，可以获取到第t个三角面片对应校正前三角面片的像素信息，其计算原理如下公式(8)所示：

I′(x′,y′)＝I(a*x+by+c,d*x+e*y+f) 公式(8)

其中，I′(x′,y′)为上述第t个三角面片中的上述任一点的校正后的位置信息，I为第t个三角面片中的任一点的校正前的位置信息，x′＝a*x+by+c表示第t个三角面片中的任一点的校正前的x坐标位置与位置变换参数的关系，y′＝d*x+e*y+f,表示第t个三角面片中的任一点的校正前的y坐标位置与位置变换参数的关系。

示例性的，根据上述公式(7)和公式(8)可以计算出待校正畸变图像中每个三角面片中的每个点的校正后的位置坐标，进而得到校正后的图像。

本发明实施例中，电子设备通过计算校正前和校正后的三角面片的位置变换参数，从而可以获取校正后三角面片对应的校正前的三角面片的像素值，从而得到校正后的图像。

可选的，在本发明实施例中，上述步骤203之后，该方法还包括步骤203A1：

步骤203A1：电子设备将上述待校正畸变图和校正后的图像，作为一对训练样本，添加至上述目标训练集。

示例性的，电子设备将不同景深下的待校正的畸变图像和校正后的图像作为训练样本。

本发明实施例中，通过将待校正畸变图像和校正后的图像作为一对训练样本，添加至目标训练集中，从而增加了训练样本的数量，通过对训练样本进行训练使得训练后得到的畸变变换参数更加精确，校正后的图像更接近真实的图像。

可选的，在本发明实施例中，任一对训练样本中包含：同一景深下的相同对象。

示例性的，为了降低计算量，电子设备可以获取训练样本中的目标对象的畸变图像和无畸变图像进行训练。

图3为实现本发明实施例提供的一种电子设备的可能的结构示意图，如图3所示，电子设备300包括：获取模块301、学习模块302和校正模块303，其中：

获取模块301，用于获取目标训练集，该目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和对应无畸变训练图。

学习模块302，用于将上述获取模块301后获取的畸变训练图的点云位置信息作为输入特征，将对应校正后的训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数。

校正模块303，用于采用上述学习模块302得到的畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。

可选的，上述待校正畸变图像为待校正2D畸变图像，畸变变换参数用于2D畸变图像校正；上述校正模块303，具体用于采用上述畸变变换参数对待校正2D畸变图像的2D点云位置信息进行畸变校正，得到校正后的2D点云位置信息；根据校正后的2D点云位置信息，得到校正后的图像。

可选的，上述待校正畸变图像为待校正2D畸变图像，上述畸变变换参数用于3D畸变图像校正；上述校正模块303，具体用于将上述待校正2D畸变图像转换为待校正3D畸变图像；采用上述畸变变换参数对待校正3D畸变图像的3D点云位置信息进行畸变校正，得到校正后的3D点云位置信息；根据校正后的3D点云位置信息对应的校正后的2D点云位置信息，得到校正后的图像。

可选的，上述校正模块303，具体用于获取上述校正后的2D点云位置信息对应的第一三角面片信息，以及上述待校正畸变图像的第二三角面片信息；根据该第一三角面片信息与该第二三角面片信息，计算出该第二三角面片信息中的每个三角面片内的每个点的位置偏移量和对应像素值；根据上述位置偏移量和像素值，对上述待校正畸变图像进行图像校正，得到校正后的图像。

可选的，任一对训练样本中包含：同一景深下的相同对象。

本发明实施例提供的电子设备，电子设备通过获取目标训练集，由于该目标训练集中畸变训练图和对应无畸变训练图中包括的目标对象具有相同景深，因此，将上述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图的点云位置信息作为输出特征信息，通过对多对训练样本进行畸变校正学习，从而得到畸变变换参数。该电子设备采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。由于畸变变换参数是通过将目标训练集中相同对象的畸变训练图和无畸变训练图的比对学习的结果，校正后的图像更加趋向于真实目标对象的特征信息，从而避免了传统畸变校正方法中存在的畸变校正准确度较低的问题。

本发明实施例提供的电子设备能够实现上述方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

以电子设备为终端设备为例，图4为实现本发明各个实施例的一种终端设备的硬件结构示意图，该终端设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图4中示出的终端设备100的结构并不构成对终端设备的限定，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，终端设备100包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端设备、可穿戴设备、以及计步器等。

其中，用户输入单元107，用于获取目标训练集；处理器110，用于响应于用户输入单元107获取的目标训练集，将畸变训练图的点云位置信息作为输入特征，将对应校正后的训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数，并采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。

本发明实施例提供的电子设备，电子设备通过获取目标训练集，由于该目标训练集中畸变训练图和对应无畸变训练图中包括的目标对象具有相同景深，因此，将上述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图的点云位置信息作为输出特征信息，通过对多对训练样本进行畸变校正学习，从而得到畸变变换参数。该电子设备采用上述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像。由于畸变变换参数是通过将目标训练集中相同对象的畸变训练图和无畸变训练图的比对学习的结果，校正后的图像更加趋向于真实目标对象的特征信息，从而避免了传统畸变校正方法中存在的畸变校正准确度较低的问题。

应理解的是，本发明实施例中，射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信系统与网络和其他设备通信。

终端设备100通过网络模块102为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元103可以将射频单元101或网络模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与终端设备100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103包括扬声器、蜂鸣器以及受话器等。

输入单元104用于接收音频或视频信号。输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或网络模块102进行发送。麦克风1042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。

终端设备100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在终端设备100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器105还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与终端设备100的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板1071可覆盖在显示面板1061上，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图4中，触控面板1071与显示面板1061是作为两个独立的部件来实现终端设备100的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现终端设备100的输入和输出功能，具体此处不做限定。

接口单元108为外部装置与终端设备100连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到终端设备100内的一个或多个元件或者可以用于在终端设备100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是终端设备100的控制中心，利用各种接口和线路连接整个终端设备100的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行终端设备100的各种功能和处理数据，从而对终端设备100进行整体监控。处理器110可包括一个或多个处理单元；可选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

终端设备100还可以包括给各个部件供电的电源111(比如电池)，可选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，终端设备100包括一些未示出的功能模块，在此不再赘述。

可选的，本发明实施例还提供一种终端设备，包括处理器，存储器，存储在存储器上并可在所述处理器110上运行的计算机程序，该计算机程序被处理器执行时实现上述图像校正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像校正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (6)

1.一种图像校正的方法，其特征在于，应用于电子设备，所述方法包括：

获取目标训练集，所述目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和对应无畸变训练图；

将所述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数；

采用所述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像；

所述待校正畸变图像为待校正3D畸变图像，所述畸变变换参数用于3D畸变图像校正；所述采用所述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像，包括：

将待校正2D畸变图像转换为所述待校正3D畸变图像；

采用所述畸变变换参数对所述待校正3D畸变图像的3D点云位置信息进行畸变校正，得到校正后的3D点云位置信息；

根据所述校正后的3D点云位置信息确定对应的校正后的2D点云位置信息；

根据所述校正后的2D点云位置信息，得到所述校正后的图像；

所述根据所述校正后的2D点云位置信息，得到所述校正后的图像，包括：

获取所述校正后的2D点云位置信息对应的第一三角面片信息，以及所述待校正畸变图像的第二三角面片信息；

根据所述第一三角面片信息与所述第二三角面片信息，计算出所述第二三角面片信息中的每个三角面片内的每个点的位置偏移量和对应像素值；

根据所述位置偏移量和所述像素值，对所述待校正畸变图像进行图像校正，得到所述校正后的图像。

2.根据权利要求1所述的方法，其特征在于，所述待校正畸变图像为待校正2D畸变图像，所述畸变变换参数用于2D畸变图像校正；

所述采用所述畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像，包括：

采用所述畸变变换参数对所述待校正2D畸变图像的2D点云位置信息进行畸变校正，得到校正后的2D点云位置信息；

根据所述校正后的2D点云位置信息，得到所述校正后的图像。

3.根据权利要求1所述的方法，其特征在于，任一对训练样本中包含：同一景深下的相同对象。

4.一种电子设备，其特征在于，所述电子设备包括：

获取模块，用于获取目标训练集，所述目标训练集包括：多对训练样本，每对训练样本包括：在相同景深下，相同对象的畸变训练图和对应无畸变训练图；

学习模块，用于将所述获取模块获取的所述畸变训练图的点云位置信息作为输入特征，将对应无畸变训练图中的点云位置信息作为输出特征进行畸变校正学习，得到畸变变换参数；

校正模块，采用所述学习模块得到的畸变变换参数对待校正畸变图像进行图像校正，得到校正后的图像；

所述待校正畸变图像为待校正3D畸变图像，所述畸变变换参数用于3D畸变图像校正；

所述校正模块，具体用于将所述待校正2D畸变图像转换为所述待校正3D畸变图像；采用所述畸变变换参数对所述待校正3D畸变图像的3D点云位置信息进行畸变校正，得到校正后的3D点云位置信息；根据所述校正后的3D点云位置信息确定对应的校正后的2D点云位置信息；根据所述校正后的2D点云位置信息，得到所述校正后的图像；

所述校正模块，具体用于获取所述校正后的2D点云位置信息对应的第一三角面片信息，以及所述待校正畸变图像的第二三角面片信息；根据所述第一三角面片信息与所述第二三角面片信息，计算出所述第二三角面片信息中的每个三角面片内的每个点的位置偏移量和对应像素值；根据所述位置偏移量和所述像素值，对所述待校正畸变图像进行图像校正，得到所述校正后的图像。

5.根据权利要求4所述的电子设备，其特征在于，所述待校正畸变图像为待校正2D畸变图像，所述畸变变换参数用于2D畸变图像校正；

所述校正模块，具体用于采用所述畸变变换参数对所述待校正2D畸变图像的2D点云位置信息进行畸变校正，得到校正后的2D点云位置信息；

根据所述校正后的2D点云位置信息，得到所述校正后的图像。

6.根据权利要求4所述的电子设备，其特征在于，任一对训练样本中包含：同一景深下的相同对象。