CN112258418A - 图像畸变校正方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种图像畸变校正方法、装置、电子设备和存储介质。所述方法包括：获取原始图像；原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。采用本方法能够在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的显示效果。

Description

图像畸变校正方法、装置、电子设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像畸变校正方法、装置、电子设备和存储介质。

背景技术

目前越来越多的手机等电子产品中集成了超广角相机模组，超广角相机模组的视场角(Field of View，FOV)一般可大于100°，能够获取更宽广的拍照视野，但是，由于相机透镜制造精度以及组装工艺的偏差，超广角相机模组将会引入更多的畸变，导致拍摄的原始图像的失真。

可以利用相机模组的相机内参对原始图像做相机畸变校正，以消除原始图像中的畸变现象。然而，当原始图像中同时存在背景及背景前方的前景对象例如人像时，通过以上方法对图像进行畸变校正，尽管能改善校正后图像中背景畸变，但由于畸变校正存在类似拉伸的操作，会使得结果图像中的人像等产生变形。

发明内容

基于此，有必要提供改进的图像畸变校正方法。根据本申请的一个方面，提供一种图像畸变校正方法，包括获取原始图像，该原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

根据本申请的另一方面，还提供一种图像畸变校正装置，包括：图像获取模块，用于获取原始图像，该原始图像包括背景区域和前景对象区域；第一校正模块，用于对原始图像进行背景畸变校正，以得到第一校正图像；第二校正模块，用于对原始图像进行前景对象畸变校正，以得到第二校正图像；以及图像融合模块，用于融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

根据本申请的再一方面，还提供一种电子设备，包括存储器和处理器，存储器与处理器连接，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取原始图像，该原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取原始图像，该原始图像包括背景区域和前景对象区域；对原始图像进行背景畸变校正，以得到第一校正图像；对原始图像进行前景对象畸变校正，以得到第二校正图像；以及融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

上述图像畸变校正方法、装置、电子设备和存储介质，分别对原始图像进行背景畸变校正以得到第一校正图像,以及对原始图像进行前景对象畸变校正以得到第二校正图像，并基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域进行图像融合，以得到结果图像，从而背景区域和前景对象区域的畸变分别得到针对性的校正，在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的呈现效果。

附图说明

图1为一个实施例中的原始图像；

图2为一个实施例中的第一校正图像；

图3为一个实施例中电子设备的示意图；

图4为一个实施例中畸变校正方法的流程示意图；

图5为一个实施例中畸变校正方法的原理示意图；

图6为一个实施例中的第二校正图像；

图7为一个实施例中图像融合步骤的流程示意图；

图8为一个实施例中的映射关系网格的示意图。

图9为一个实施例中的结果图像；

图10为一个实施例中的畸变校正装置的结构框图；

图11为一个实施例中的电子设备的内部结构示意图；

图12为另一个实施例中的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

超广角相机模组拍摄的原始图像通常具有图像畸变。如图1所示，为一个实施例的超广角相机模组拍摄的原始图像。从图1中可以看出，原始图像中背景区域的黑白方格产生了明显的弯曲变形，即图像畸变，而且越远离图像中心具有越严重的畸变。

为了消除图像中的畸变，可以利用超广角相机模组的内参对原始图像进行相机畸变校正，校正后的图像如图2所示。从图2中可以看出，通过这种方式进行畸变校正后，得到的校正图像中背景区域的黑白方格恢复了平直，即背景畸变消除了，但是背景前方的人像却由于畸变校正的类似拉伸的操作而产生了明显的变形。

基于此，本申请旨在提供一种图像畸变校正方法，能够在对原始图像中的背景进行畸变校正的同时，兼顾原始图像中前景对象的保型。

本申请提供的图像畸变校正方法，可以应用于如图3所示的电子设备300中，该电子设备300可以但不限于各种智能手机、数码相机、个人计算机、笔记本电脑、平板电脑等。该电子设备300上可以装载有相机301，该电子设备300通过相机301实时拍摄得到原始图像，并对该原始图像执行本申请实施例的图像畸变校正方法，以对该原始图像进行畸变校正，得到校正后的结果图像。该电子设备300上还可以装载有显示屏302，从而该电子设备300可以将得到的校正后的结果图像实时显示在该显示屏302上以供用户查看。

在一个实施例中，提供了一种图像畸变校正方法，该方法可以应用于如图1中所示的电子设备300中，如图4和图5所示，该方法包括以下步骤：

在步骤S402，获取原始图像；其中，原始图像包括背景区域和前景对象区域。

其中，原始图像是由相机拍摄的未经处理的图像。

在本申请各个实施例中，相机可以包括能够捕获图像的各类器件，例如摄像头、相机模组等等。

原始图像可以通过多种途径获取。在本实施例中，以应用于电子设备300中为例，可以是电子设备300的相机301实时拍摄原始图像并将其传输至电子设备300的处理器，从而使得电子设备300获取到原始图像。在其他实施例中，原始图像也可以是从网络下载或者从其他终端设备传输至该电子设备300，或者电子设备300也可以从其自身的存储器中读取原始图像等。

前景对象是指相机的视野范围内被拍摄的目标对象，例如人像、动物、食物等等。相较于背景而言，前景对象通常在物体空间中距离相机较近。前景对象区域则是相机拍摄的原始图像中，前景对象所占据的像素区域。

背景是指相机的视野范围内被拍摄的目标对象之外的其它内容，例如远山、天空、建筑等等。相较于前景对象而言，背景通常在物体空间中距离相机较远。背景区域则是相机拍摄的原始图像中，背景所占据的像素区域。

在步骤S404，对原始图像进行背景畸变校正，以得到第一校正图像。

其中，背景畸变校正是指，使得原始图像中背景的畸变得以消除或者最优化的校正方式。

背景畸变校正并不意味着仅对原始图像的背景区域进行校正，在本申请实施例中，电子设备300的处理器可以对原始图像全局进行背景畸变校正以得到第一校正图像。全局校正无需确定局部区域，因此相较于局部校正更为简单快速，同时可以避免因仅对背景区域校正，而导致校正得到的第一校正图像中的背景区域和前景对象区域之间产生突变。

在步骤S406，对原始图像进行前景对象畸变校正，以得到第二校正图像。

其中，前景对象畸变校正是指，使得原始图像中前景对象的畸变得以消除或者最优化、同时兼顾前景对象的保型的校正方式。

前景对象畸变校正并不意味着仅对原始图像的前景对象区域进行校正，在本申请实施例中，电子设备300的处理器可以对原始图像全局进行前景对象畸变校正以得到第二校正图像。全局校正无需确定需校正的局部区域，因此相较于局部校正更为简单快速，同时可以避免因仅对前景对象区域校正，而导致校正得到的第二校正图像中的背景区域和前景对象区域之间产生突变。

在步骤S408，融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

原始图像中包括背景区域和前景对象区域，则相应地，由原始图像处理生成的第一校正图像以及第二校正图像中也分别具有对应的背景区域以及前景对象区域。

在本步骤中，电子设备300的处理器可以基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域，对第一校正图像和第二校正图像进行图像融合，从而得到结果图像。

上述图像畸变校正方法中，分别对原始图像进行背景畸变校正以得到第一校正图像,以及对原始图像进行前景对象畸变校正以得到第二校正图像，并基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域进行图像融合，以得到结果图像，从而背景区域和前景对象区域的畸变分别得到针对性的校正，在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的呈现效果。

上述步骤S404中对原始图像进行的背景畸变校正可以通过各种相机畸变校正方法来实现，例如，在一个实施例中，步骤S404中的对原始图像进行背景畸变校正，以得到第一校正图像可以包括：获取拍摄原始图像的相机的相机内参；基于相机内参，对原始图像进行相机畸变校正，以得到第一校正图像。其中，相机内参是相机固有的参数，在相机制造完成后，该相机的内参就确定了。相机内参可以从制造厂商获取，也可以通过对相机进行标定来获取。根据相机内参，可以对因相机自身镜头的径向畸变和切向畸变等造成的拍摄的原始图像失真进行校正。利用相机内参，对如图1所示的原始图像进行全局畸变校正后得到的第一校正图像如图2所示。

上述步骤S406中的对原始图像进行前景对象畸变校正，可以是对原始图像进行一次或多次校正和/或处理来实现，只要得到的第二校正图像中前景对象的畸变得以消除或者最优化同时兼顾前景对象的保型即可。在一个实施例中，步骤S406中对原始图像进行前景对象畸变校正，以得到第二校正图像可以包括：直接对原始图像进行前景对象畸变校正以得到第二校正图像。在另一个实施例中，对原始图像进行前景对象畸变校正，以得到第二校正图像也可以包括：在对原始图像进行背景畸变校正，以得到第一校正图像之后，对第一校正图像进行前景对象保型处理，以得到第二校正图像。其中，前景对象保型是指，保持前景对象不发生形变，即在图像中的前景对象尽量接近或保持其在物体空间中由人眼看到的影像效果。相应的，前景对象保型处理，是消除图像中的前景对象相较于其原始形态的形变，以使得图像中的前景对象恢复其原始形态的处理。

示例地，该对第一校正图像进行前景对象保型处理可以是对如图2所示的第一校正图像执行球面投影，从而可以得到如图6所示的第二校正图像，可以看出相较于图2中所示的第一校正图像中，图像边缘位置的人像发生明显的拉伸形变而言，图6中所示的第二校正图像中的图像边缘的人像得以保型，但是第二校正图像中的背景却产生了弯曲。

在一个实施例中，在步骤S408中的融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，得到结果图像之前，还包括：对原始图像进行识别，以确定原始图像中的前景对象区域以及背景区域。具体地，电子设备101可以使用深度学习技术对原始图像进行图像识别，从而确定原始图像中需要保型的前景对象区域。通过对原始图像的前景对象的识别，可以确定原始图像中的背景区域和前景对象区域，从而第一校正图像和第二校正图像中的背景区域和前景对象区域也可以相应地确定，从而便于后续的图像融合处理。可以理解的是，在获取到原始图像之后即可执行本步骤，例如本步骤也可以在步骤S404之前执行。

在一个实施例中，如图7所示，步骤S410中的融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像包括：

在步骤S702，建立映射关系网格，映射关系网格包括矩阵排布的多个网格点，每个网格点代表第一校正图像中的一个第一像素坐标与结果图像中对应的一个映射像素坐标之间的映射关系。

示例地，可以使用M行×N列的映射关系网格来表示第一校正图像与结果图像之间的映射关系。该M行×N列的映射关系网格可以均匀覆盖原始图像，从而该映射关系网格的各个网格顶点处的每个网格点与原始图像相应位置处的一个代表像素对应，相应的也分别与第一校正图像、第二校正图像和结果图像的一个代表像素对应。如图8所示，为一个实施例中的映射关系网格的示意图。其中各个网格点i的值可以表示为{(u_i,v_i),(u_i′,v_i′)}。其中(u_i,v_i)代表第一校正图像中的第一像素坐标,u_i为第一像素坐标的横坐标，v_i为第一像素坐标的纵坐标，(u_i′,v_i′)代表结果图像中的映射像素坐标，u_i′为映射像素坐标的横坐标，v_i′为映射像素坐标的纵坐标。可以理解，如果不执行步骤S406中对前景对象进行的保型处理，则结果图像将与第一校正图像相同，相应地则满足u_i＝u_i′，v_i＝v_i′。

在本示例中，以原始图像的长宽比为4:3为例(例如分辨率为1024×768)，则M可以固定取80，N可以固定取60。在其他示例中，M和N的取值可以根据实际需求确定，例如可以根据原始图像的长宽比、分辨率等来确定。M和N的取值越大，则对图像的处理精度越高，然而相应地需要占用的处理资源越多，处理速率越低。

在步骤S704，初始化待求解的网格点。

在本步骤中，电子设备300的处理器可以对上述映射关系网格中的各个待求解的网格点进行初始化，即为各个网格点i{(u_i,v_i),(u_i′,v_i′)}赋予初始值。其中，在获取了第一校正图像后，第一校正图像中的各个第一像素坐标p_i(u_i,v_i)的值即已确定，因此网格点i{(u_i,v_i),(u_i′,v_i′)}中的(u_i,v_i)部分的值是已知的。而对于(u_i′,v_i′)部分的初始值，则可以结合第一校正图像和第二校正图像中的各个像素坐标来综合确定。在本步骤中赋予的网格点的初始值(u_i′,v_i′)越接近最终需要求解得到的结果图像中对应的值，则越能提升后续优化过程中的处理效率和质量。

在步骤S706，优化每个网格点的值，以使得结果图像满足约束条件；约束条件包括：第一约束条件和第二约束条件；第一约束条件包括结果图像中的前景对象区域是相对于第二校正图像做相似变换得到的；第二约束条件包括结果图像中的背景区域是相对于第一校正图像做相似变换得到的。

在前述步骤S704中初始化的网格点所得到的结果图像一般是较为粗糙的，因此在本步骤S706中，可以根据对最终结果图像的所要达到的效果需要，建立对应的约束条件，利用这些约束条件来对步骤S704中的网格点的初始值进行优化，从而得到最优的网格点的值。

在步骤S708，利用优化得到的每个网格点的值，对第一校正图像进行映射处理，以得到结果图像。

映射关系网格中的各个网格点的值代表了第一校正图像中的各个代表像素与结果图像中对应的代表像素之间的映射关系。因此，在本步骤中，可以将优化得到的映射关系网格作用于第一校正图像，从而映射得到相应的结果图像。

具体地，将M×N的映射关系网格作用于第一校正图像计算得到结果图像的过程，可以是一个两次插值的过程，该过程可以包括：针对第一校正图像每个像素点，分别计算其属于M×N的映射关系网格的哪一个网格内，然后通过双线性插值得到对应的结果图像的映射像素坐标，再通过一次双线性插值得到对应的结果图像的像素值，从而得到结果图像。

在上述实施例中，利用第一约束条件和第二约束条件对网格点的值进行优化，能够使得最终得到的结果图像中，背景对象区域根据第一校正图像确定，而前景对象区域根据第二校正图像确定，从而兼顾了背景畸变校正以及前景对象的保型。

然而，由于前景对象保型处理前后，前景对象边缘区域的像素将产生较大的位移，因此在约束条件仅包括第一约束条件以及第二约束条件的情况下，生成的结果图像中前景对象区域与背景区域之间的过渡区域将过渡突兀和/或产生不期望的形变，影响最终得到的结果图像的显示效果。在一个实施例中，约束条件还包括第三约束条件。该第三约束条件包括结果图像中的前景对象区域和背景区域之间平滑变化。通过包括第三约束条件，可以使得结果图像中的前景对象区域和背景区域之间过渡平滑，从而提升结果图像的显示效果。

此外，从图6中可以看出，由于边缘像素的移位，经过球面投影处理得到的第二校正图像的边缘区域中出现了没有图像的无效区域(图6边缘的灰色区域)，即缺失像素的区域。同理地，在融合生成的结果图像中也可能出现无效区域。在一个实施例中，上述约束条件还可以包括第四约束条件。该第四约束条件包括结果图像中不存在无效区域。通过包括第四约束条件，可以避免结果图像中的边缘区域出现无效区域，从而提升结果图像的显示效果。

在一个实施例中，步骤S704中的初始化待求解的网格点包括：

针对每个网格点分别执行如下操作：

获取与当前的网格点对应的第一像素坐标，确定以第一像素坐标为中心的预定网格区域内的多个第一像素坐标，并确定第二校正图像中与该多个第一像素坐标对应的多个第二像素坐标；计算多个第一像素坐标与多个第二像素坐标的加权平均值；以及利用加权平均值，对当前的网格点对应的映射像素坐标进行初始值赋值。

其中，预定网格区域的大小可以根据实际需要确定，例如，该预定网格区域可以是以第一像素坐标为中心的大约4×4、5×5、6×6个像素大小的网格区域。

在本实施例中，结合第一校正图像中的第一像素坐标和第二校正图像中的第二像素坐标来对每个网格点赋予初始值，从而能够使得网格点的初始值接近结果图像所需的值，以提升后续优化处理的效率。而通过对每个网格点的邻域内的多个第一像素坐标和多个第二像素坐标进行加权平均，相较于直接使用单个像素坐标来赋值，多个第一像素坐标和多个第二像素坐标的加权平均可以使得初始化的网格点对应的结果图像中前景对象区域和背景区域之间平滑过渡，从而进一步提升优化处理的效率和质量。

在一个实施例中，优化每个网格点的值，以使得结果图像满足约束条件包括：根据约束条件，确定惩罚项；以每个网格点的值中的映射像素坐标的值作为待求解变量，并结合惩罚项，建立优化函数；以及求解优化函数的最优解，以确定每个网格点的值。

在本实施例中，通过将网格点的值的优化过程转换成优化问题，待求解变量为每个网格点中的(u_i′,v_i′)；并将上述约束条件分别转换为优化问题中的惩罚项，以确定优化函数，从而能够通过求解该优化函数的最优解来确定网格点的值，使得方案更易于实现。

在一个实施例中，惩罚项包括根据第一约束条件确定的第一惩罚项，第一惩罚项的表达式如下：

其中，E₁为第一惩罚项，i代表映射关系网格中的网格点i，N为网格点总数，p_i为第一校正图像中与网格点i对应的第一像素坐标，q_i为第二校正图像中与网格点i对应的第二像素坐标，p_i′为结果图像中与网格点i对应的映射像素坐标，w_i为前景对象权重，当p_i属于前景对象区域时w_i＝1，当p_i属于背景区域时w_i＝0，S_k为第一校正图像中第k个区域的相似变换矩阵，t_k为第k个区域的二维平移向量。

其中，可以将第一校正图像划分为多个区域，相应地，k代表所划分区域中该网格点i所落入的第k个区域。以将第一校正图像划分为2行×2列的4个区域为例，例如，当p_i落入右上角的第2个区域时，则S_k相应地为第2个区域的相似变换矩阵S₂，t_k为第2个区域的二维平移向量t₂，p_i落入其他区域时同理。

S_k可以具有如下形式：

其中，a_k、b_k分别为相似变换矩阵S_k的参数，上式限定了S_k的取值形式。

在本实施例中，如果p_i在第一校对图像中属于前景对象区域，则将利用该p_i来计算第一惩罚项。第一惩罚项越小，则表明结果图像中前景对象区域与第一校对图像中前景对象区域的分布之间的变化越小，保型效果越好，从而提升了结果图像中前景对象区域的保型效果。

在一个实施例中，每个网格点的惩罚项包括根据第二约束条件确定的第二惩罚项，第二惩罚项的表达式如下：

其中，E₂为第二惩罚项，i代表映射关系网格中的网格点i，

为映射关系网格中与背景区域对应的网格点的集合，N(i)为网格点i的垂直和水平相邻网格点的集合，j代表网格点i的垂直和水平相邻网格点集合中的网格点j，p_i′为结果图像中与网格点i对应的映射像素坐标，p_j′为结果图像中与网格点j对应的映射像素坐标，×表示叉积，e_ij为沿p_i至q_i的单位向量。

在本实施例中，如果p_i在第一校对图像中不属于前景对象区域，即属于背景区域，则计算p_i对应的映射像素坐标p_i′(u_i′,v_i′)和以网格点i为中心的上、下、左、右四个相邻网格点j对应的p_j′的不符合水平和竖直方向的程度大小，以保证背景区域尽量不变形。具体的，可如上式所示计算p_i′与其上、下点p_j′的沿水平方向的坐标差，和p_i′与其左、右点p_j′的沿竖直方向的坐标差。相应的坐标差越小，则表明背景弯曲程度越小。

在一个实施例中，惩罚项包括根据第三约束条件确定的第三惩罚项，第三惩罚项的表达式如下：

其中，E₃为第三惩罚项，i代表映射关系网格中的第i个网格点，N为网格点总数，N(i)为网格点i的垂直和水平相邻网格点的集合，j代表集合N(i)中的网格点j，p_i′为结果图像中与网格点i对应的映射像素坐标，p_j′为结果图像中与网格点j对应的映射像素坐标。

在本实施例中，针对第一校对图像中的所有p_i，均计算相应的p_i′与以它为中心的上下左右四个点p_j′的分别沿水平和竖直方向的坐标差，以此作为正则项惩罚，以消除映射关系网格中的映射突变。本实施例中的第三惩罚项与上述第二惩罚项的区别在于，第二惩罚项只作用于背景区域，以使结果图项中的背景区域与第一校正图像中的背景区域分布尽量一致，确保背景仍然是“横平竖直”的。而第三惩罚项作用于整个图像，以使得结果图像中的各个区域分布均衡，即结果图像是平滑的，从而减少结果图像中背景区域与前景对象区域之间的突变。

在一个实施例中，惩罚项包括根据第四约束条件确定的第四惩罚项，第四惩罚项的表达式如下：

E₄＝E_l+E_r+E_t+E_b

其中，E₄为第四惩罚项，E_l为左边界惩罚项，E_r为右边界惩罚项，E_t为顶边界惩罚项，E_b为底边界惩罚项，

为指示函数，该指示函数在括号内条件·满足时则返回1，否则返回0，i代表映射关系网格中的第i个网格点，p_i,x′为结果图像中与网格点i对应的映射像素坐标的横坐标，p_i,y′为结果图像中与网格点i对应的映射像素坐标的纵坐标，

为映射关系网格中最左侧的一列网格点的集合，

为映射关系网格中最右侧的一列网格点的集合，

为映射关系网格中最上侧的一列网格点的集合，

为映射关系网格中最下侧的一列网格点的集合，W为原始图像的宽度，H为原始图像的高度。

在本实施例中，若p_i在映射关系网格中属于第一行、最后一行、第一列或最后一列，当对应的p_i′在图像的有效区域内时，相应地分别计算p_i′距离图像顶部的竖直方向的距离值、距离图像底部的竖直方向的距离值、距离图像最左侧的水平方向的距离值以及距离图像最右侧的水平方向的距离值，使这些距离值尽量满足期望阈值，以计入第四惩罚项，以使得映射关系网格的映射在有效范围内，结果图像中不存在无效区域。

综合约束条件所对应的各个惩罚项，即可以确定优化函数。该优化函数可以是映射关系网格中所有网格点的惩罚项的加权和，该优化函数的优化目标是使该加权和最小。在一个实施例中，优化函数的表达式如下：

其中，p_i′为结果图像中与网格点i对应的映射像素坐标，p_i′^*为映射像素坐标的最优解，E_t为各个惩罚项的加权和。

其中，E_t可以表示为：

其中，E_m为第m个惩罚项，λ_m为E_m的权重，M为惩罚项总数。

以约束条件包括上述第一约束条件、第二约束条件、第三约束条件和第四约束条件为例，则相应地会有第一惩罚项、第二惩罚项、第三惩罚项和第四惩罚项，则E_t可以具体为：

E_t＝λ₁·E₁+λ₂·E₂+λ₃·E₃+λ₄·E₄

其中，λ₁为E₁的权重，λ₂为E₂的权重，λ₃为E₃的权重，λ₄为E₄的权重。

该优化函数的求解过程是非线性最小二乘问题，可使用高斯牛顿法、LM法等方法来求解，以确定映射关系网格中各个网格点i对应的映射像素坐标最优解p_i′^*(u_i′,v_i′)。在求解确定了各个网格点{(u_i,v_i),(u_i′,v_i′)}的映射像素坐标(u_i′,v_i′)后，由于(u_i,v_i)为已知量，因此各个网格点的值即相应的确定。将求解得到的映射关系网格中各个网格点的值作用于第一校正图像，进行映射处理，就能得到相应的结果图像。

图8示出了在一个实施例中，当同时包括上述第一惩罚项、第二惩罚项、第三惩罚项和第四惩罚项时所相应求解确定的结果图像，从图9中可以看出，利用本申请的图像畸变校正方法得到的结果图像中，兼顾了背景区域的畸变校正和人像区域的保型，有效提升了结果图像的显示效果。

应该理解的是，虽然图4和图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图4和图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种图像畸变校正装置1000，包括：图像获取模块1001、第一校正模块1002、第二校正模块1003和图像融合模块1004，其中：

图像获取模块1001，用于获取原始图像；原始图像包括背景区域和前景对象区域；

第一校正模块1002，用于对原始图像进行背景畸变校正，以得到第一校正图像；

第二校正模块1003，用于对原始图像进行前景对象畸变校正，以得到第二校正图像；以及

图像融合模块1004，用于融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

上述图像畸变校正装置，分别对原始图像进行背景畸变校正以得到第一校正图像,以及对原始图像进行前景对象畸变校正以得到第二校正图像，并基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域进行图像融合，以得到结果图像，从而背景区域和前景对象区域的畸变分别得到针对性的校正，在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的呈现效果。

关于图像畸变校正装置的具体限定可以参见上文中对于图像畸变校正方法的限定，在此不再赘述。上述图像畸变校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种电子设备，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像畸变校正方法。该电子设备的显示屏例如可以是液晶显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，如图12所示，提供了一种电子设备1200，包括存储器1201和处理器1202，存储器1201与处理器1202连接，存储器1201中存储有计算机程序，该处理器1202执行计算机程序时实现以下步骤：

获取原始图像；原始图像包括背景区域和前景对象区域；

对原始图像进行背景畸变校正，以得到第一校正图像；

对原始图像进行前景对象畸变校正，以得到第二校正图像；以及

融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

上述电子设备，分别对原始图像进行背景畸变校正以得到第一校正图像,以及对原始图像进行前景对象畸变校正以得到第二校正图像，并基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域进行图像融合，以得到结果图像，从而背景区域和前景对象区域的畸变分别得到针对性的校正，在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的呈现效果。

在一个实施例中，如图12所示，电子设备1200还可以包括与电子设备1200耦合的相机1203。所述“耦合”旨在既包括直接将相机设置在该电子设备1200中的形式，也包括将相机设置在电子设备之外(例如该相机设置在其他终端设备上)、并且该相机与该电子设备1200之间通信连接的形式。相机1203与处理器1202连接；相机1203用于拍摄原始图像，并将原始图像传输至处理器1202；处理器1202从相机1203接收原始图像。

在一个实施例中，如图12所示，电子设备1200还可以包括显示器1204，显示器1204与处理器1202连接；处理器1202执行计算机程序时，还控制显示器1204显示结果图像。

在其他实施例中，处理器1202执行计算机程序时还实现本申请上述各个实施例的图像畸变校正方法的步骤，并具有相应的有益效果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取原始图像；原始图像包括背景区域和前景对象区域；

对原始图像进行背景畸变校正，以得到第一校正图像；

对原始图像进行前景对象畸变校正，以得到第二校正图像；以及

融合第一校正图像中的背景区域以及第二校正图像中的前景对象区域，以得到结果图像。

上述计算机可读存储介质，分别对原始图像进行背景畸变校正以得到第一校正图像,以及对原始图像进行前景对象畸变校正以得到第二校正图像，并基于第一校正图像中的背景区域以及第二校正图像中的前景对象区域进行图像融合，以得到结果图像，从而背景区域和前景对象区域的畸变分别得到针对性的校正，在对原始图像的背景进行畸变校正的同时兼顾前景对象的保型，提升了校正得到的结果图像的呈现效果。

在其他实施例中，计算机程序被处理器执行时还实现本申请上述各个实施例的图像畸变校正方法的步骤，并具有相应的有益效果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像畸变校正方法，包括：

获取原始图像，所述原始图像包括背景区域和前景对象区域；

对所述原始图像进行背景畸变校正，以得到第一校正图像；

对所述原始图像进行前景对象畸变校正，以得到第二校正图像；以及

融合所述第一校正图像中的背景区域以及所述第二校正图像中的前景对象区域，以得到结果图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始图像进行前景对象畸变校正，以得到第二校正图像包括：

在所述对原始图像进行背景畸变校正，以得到第一校正图像之后，对所述第一校正图像进行前景对象保型处理，以得到第二校正图像。

3.根据权利要求1或2所述的方法，其特征在于，所述融合所述第一校正图像中的所述背景区域以及所述第二校正图像中的所述前景对象区域，以得到结果图像包括：

建立映射关系网格，所述映射关系网格包括矩阵排布的多个网格点，每个所述网格点代表所述第一校正图像中的一个第一像素坐标与结果图像中对应的一个映射像素坐标之间的映射关系；

初始化待求解的网格点；

优化每个所述网格点的值，以使得所述结果图像满足约束条件，其中，所述约束条件包括第一约束条件和第二约束条件，所述第一约束条件包括所述结果图像中的前景对象区域是相对于所述第二校正图像做相似变换得到的，所述第二约束条件包括所述结果图像中的背景区域是相对于所述第一校正图像做相似变换得到的；以及

利用优化得到的所述每个所述网格点的值，对所述第一校正图像进行映射处理，以得到所述结果图像。

4.根据权利要求3所述的方法，其特征在于，所述约束条件还包括第三约束条件，所述第三约束条件包括：所述结果图像中的前景对象区域和背景区域之间平滑变化。

5.根据权利要求4所述的方法，其特征在于，所述约束条件还包括第四约束条件，所述第四约束条件包括：所述结果图像中不存在无效区域。

6.根据权利要求3所述的方法，其特征在于，所述初始化待求解的网格点包括：

针对每个所述网格点分别执行如下操作：

获取与当前的网格点对应的第一像素坐标，

确定以所述第一像素坐标为中心的预定网格区域内的多个第一像素坐标，并确定第二校正图像中与所述多个第一像素坐标对应的多个第二像素坐标；

计算所述多个第一像素坐标与所述多个第二像素坐标的加权平均值；

利用所述加权平均值，对当前的所述网格点对应的映射像素坐标进行初始值赋值。

7.根据权利要求5所述的方法，其特征在于，所述优化每个所述网格点的值，以使得所述结果图像满足约束条件包括：

根据所述约束条件，确定惩罚项；

以每个所述网格点的值中的所述映射像素坐标的值作为待求解变量，并结合所述惩罚项，建立优化函数；以及

求解所述优化函数的最优解，以确定每个所述网格点的所述值。

8.根据权利要求7所述的方法，其特征在于，所述惩罚项包括根据所述第一约束条件确定的第一惩罚项，所述第一惩罚项的表达式如下：

其中，E₁为所述第一惩罚项，i代表所述映射关系网格中的网格点i，N为网格点总数，p_i为第一校正图像中与网格点i对应的第一像素坐标，q_i为第二校正图像中与网格点i对应的第二像素坐标，p_i′为结果图像中与网格点i对应的映射像素坐标，w_i为前景对象权重，当p_i属于所述前景对象区域时w_i＝1，当p_i属于所述背景区域时w_i＝0，S_k为第一校正图像中第k个区域的相似变换矩阵，t_k为第k个区域的二维平移向量。

9.根据权利要求7所述的方法，其特征在于，每个所述网格点的所述惩罚项包括根据所述第二约束条件确定的第二惩罚项，所述第二惩罚项的表达式如下：

其中，E₂为所述第二惩罚项，i代表所述映射关系网格中的网格点i，

为所述映射关系网格中与所述背景区域对应的网格点的集合，N(i)为网格点i的垂直和水平相邻网格点的集合，j代表网格点i的垂直和水平相邻网格点集合中的网格点j，p_i′为结果图像中与网格点i对应的映射像素坐标，p_j′为结果图像中与网格点j对应的映射像素坐标，×表示叉积，e_ij为沿p_i至q_i的单位向量。

10.根据权利要求7所述的方法，其特征在于，所述惩罚项包括根据所述第三约束条件确定的第三惩罚项，所述第三惩罚项的表达式如下：

其中，E₃为所述第三惩罚项，i代表所述映射关系网格中的第i个网格点，N为网格点总数，N(i)为网格点i的垂直和水平相邻网格点的集合，j代表集合N(i)中的网格点j，p_i′为结果图像中与网格点i对应的映射像素坐标，p_j′为结果图像中与网格点j对应的映射像素坐标。

11.根据权利要求7所述的方法，其特征在于，所述惩罚项包括根据所述第四约束条件确定的第四惩罚项，所述第四惩罚项的表达式如下：

E₄＝E_l+E_r+E_t+E_b

其中，E₄为所述第四惩罚项，E_l为左边界惩罚项，E_r为右边界惩罚项，E_t为顶边界惩罚项，E_b为底边界惩罚项，

为指示函数，该指示函数在括号内条件·满足时则返回1，否则返回0，i代表所述映射关系网格中的第i个网格点，p_i,x′为结果图像中与网格点i对应的映射像素坐标的横坐标，p_i,y′为结果图像中与网格点i对应的映射像素坐标的纵坐标，

为所述映射关系网格中最左侧的一列网格点的集合，

为所述映射关系网格中最右侧的一列网格点的集合，

为所述映射关系网格中最上侧的一列网格点的集合，

为所述映射关系网格中最下侧的一列网格点的集合，W为所述原始图像的宽度，H为所述原始图像的高度。

12.根据权利要求7所述的方法，其特征在于，所述优化函数的表达式如下：

其中，p_i′为结果图像中与网格点i对应的映射像素坐标，p_i′^*为所述映射像素坐标的最优解，E_t为各个所述惩罚项的加权和。

13.一种图像畸变校正装置，其特征在于，包括：

图像获取模块，用于获取原始图像，所述原始图像包括背景区域和前景对象区域；

第一校正模块，用于对所述原始图像进行背景畸变校正，以得到第一校正图像；

第二校正模块，用于对所述原始图像进行前景对象畸变校正，以得到第二校正图像；以及

图像融合模块，用于融合所述第一校正图像中的所述背景区域以及所述第二校正图像中的所述前景对象区域，以得到结果图像。

14.一种电子设备，包括存储器和处理器，所述存储器与所述处理器连接；

所述存储器存储有计算机程序；

所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法。

Images