CN111325691B - 图像校正方法、装置、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像校正方法和装置、电子设备、计算机可读存储介质。方法包括当启动摄像头时，通过毫米波探测器生成当前场景的深度图像；获取摄像头拍摄当前场景得到的原始图像；根据深度图像确定原始图像中各个像素点的深度距离；根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；基于原始图像中各个像素点的校正参数分别对对应的像素点进行校正。上述图像校正方法和装置、电子设备、计算机可读存储介质，可以提高图像校正的准确性。

Description

图像校正方法、装置、电子设备和计算机可读存储介质

技术领域

本申请涉及图像技术领域，特别是涉及一种图像校正方法、装置、电子设备和计算机可读存储介质。

背景技术

在拍摄图像过程中，需要将实际场景转化为二维的图像，需要对获取的图像进行校正。传统的镜头畸变校正，主要包括径向畸变和切向畸变。其中，径向畸变就是沿着透镜半径方向分布的畸变，产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲。而切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

然而，传统的图像校正方法，存在图像校正不准确的问题。

发明内容

本申请实施例提供了一种图像校正方法、装置、电子设备、计算机可读存储介质，可以提高图像校正的准确性。

一种图像校正方法，包括：

当启动摄像头时，通过毫米波探测器生成当前场景的深度图像；

获取所述摄像头拍摄所述当前场景得到的原始图像；

根据所述深度图像确定所述原始图像中各个像素点的深度距离；

根据所述原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；

基于所述原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正。

一种图像校正装置，包括：

深度图像生成模块，用于当启动摄像头时，通过毫米波探测器生成当前场景的深度图像；

拍摄模块，用于获取所述摄像头拍摄所述当前场景得到的原始图像；

深度距离确定模块，用于根据所述深度图像确定所述原始图像中各个像素点的深度距离；

校正参数确定模块，用于根据所述原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；

校正模块，用于基于所述原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述的图像校正方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述的方法的步骤。

上述图像校正方法、装置、电子设备和计算机可读存储介质，当启动摄像头时，通过毫米波探测器生成当前场景的深度图像；获取摄像头拍摄当前场景得到的原始图像；根据深度图像确定原始图像中各个像素点的深度距离；根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；基于原始图像中各个像素点的校正参数，可以分别对对应的像素点进行校正，也就是说，可以校正原始图像中不同深度距离的像素点，提高了图像校正的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理电路的示意图；

图2为一个实施例中图像校正方法的流程图；

图3为一个实施例中步骤对近景区域进行分割的流程图；

图4为一个实施例中步骤对近景区域的边缘区域进行校正的流程图；

图5为一个实施例中毫米波探测器的示意图；

图6为另一个实施例中图像校正方法的流程图；

图7为一个实施例中图像校正装置的结构框图；

图8为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一毫米波信号称为第二毫米波信号，且类似地，可将第二毫米波信号称为第一毫米波信号。第一毫米波信号和第二毫米波信号两者都是毫米波信号，但其不是同一毫米波信号。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图1为一个实施例中图像处理电路的示意图。如图1所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图1所示，图像处理电路包括ISP处理器140和控制逻辑器150。成像设备110捕捉的图像数据首先由ISP处理器140处理，ISP处理器140对图像数据进行分析以捕捉可用于确定和/或成像设备110的一个或多个控制参数的图像统计信息。成像设备110可包括具有一个或多个透镜112和图像传感器114的照相机。图像传感器114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器114可获取用图像传感器114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器140处理的一组原始图像数据。传感器120(如陀螺仪)可基于传感器120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器140。传感器120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器114也可将原始图像数据发送给传感器120，传感器120可基于传感器120接口类型把原始图像数据提供给ISP处理器140，或者传感器120将原始图像数据存储到图像存储器130中。

ISP处理器140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器140还可从图像存储器130接收图像数据。例如，传感器120接口将原始图像数据发送给图像存储器130，图像存储器130中的原始图像数据再提供给ISP处理器140以供处理。图像存储器130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器114接口或来自传感器120接口或来自图像存储器130的原始图像数据时，ISP处理器140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器130，以便在被显示之前进行另外的处理。ISP处理器140从图像存储器130接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器140处理后的图像数据可输出给显示器170，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器140的输出还可发送给图像存储器130，且显示器170可从图像存储器130读取图像数据。在一个实施例中，图像存储器130可被配置为实现一个或多个帧缓冲器。此外，毫米波探测器160可以发射毫米波信号，并将接收的毫米波信号发送至ISP处理器140。控制逻辑器150可以控制毫米波探测器160，例如，增大或减小毫米波探测器160的发射频率。

ISP处理器140确定的统计数据可发送给控制逻辑器150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜112阴影校正等图像传感器114统计信息。控制逻辑器150可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备110的控制参数及ISP处理器140的控制参数。例如，成像设备110的控制参数可包括传感器120控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜112阴影校正参数。

在一个实施例中，当启动成像设备110(摄像头)时，通过毫米波探测器160生成当前场景的深度图像，并将深度图像发送至ISP处理器140；通过控制逻辑器150控制成像设备110(摄像头)拍摄当前场景得到原始图像，并将原始图像发送至ISP处理器140；通过ISP处理器140根据深度图像确定原始图像中各个像素点的深度距离；通过ISP处理器140根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；通过ISP处理器140基于原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正，可以提高图像校正的准确性。

在一个实施例中，如图2所示，提供了一种图像校正方法，本实施例以该方法应用于电子设备进行举例说明。可以理解的是，该电子设备可以是终端，也可以应用于服务器。该方法还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

步骤202，当启动摄像头时，通过毫米波探测器生成当前场景的深度图像。

摄像头安装在电子设备上，可以安装在电子设备的屏幕一侧作为前置摄像头，也可以安装在电子设备的背面一侧作为后置摄像头，也可以安装在电子设备的左右侧，还可以安装在电子设备中作为旋转摄像头，不限于此。

摄像头的数量并不限定，可以是一个，也可以是多个。摄像头的类型也不限定，可以是长焦摄像头、广角摄像头中的一种，也可以是红外摄像头、激光摄像头、RGB摄像头中的一种。

可以理解的是，在电子设备中，包括有毫米波探测器，可以向当前场景中被拍摄的对象发射毫米波信号。当毫米波信号接触到被拍摄的对象时进行反射，通过毫米波探测器可以接受反射的毫米波信号。毫米波(Millimeter Wave)指的是波长为1～10毫米的电磁波，它位于微波与远红外波相交叠的波长范围，因而兼有两种波谱的特点。

深度图像指的是包含各个像素点的深度信息的图像。各个像素点的深度信息可以是该像素点对应的被拍摄对象到摄像头之间的距离。

在另一种实施方式中，也可以采用深度摄像头获取当前场景的深度图像。

步骤204，获取摄像头拍摄当前场景得到的原始图像。

当摄像头为红外摄像头时，拍摄当前场景得到的原始图像为红外图像；当摄像头为RGB摄像头时，拍摄当前场景得到的原始图像为RGB图像；当摄像头为黑白摄像头，拍摄当前场景得到的原始图像为黑白图像。

步骤206，根据深度图像确定原始图像中各个像素点的深度距离。

可以理解的是，深度图像和原始图像均是根据当前场景生成的图像，原始图像中的各个像素点可以和深度图像中的各个像素点建立对应关系。那么，基于该对应关系，可以确定原始图像中各个像素点的深度距离。

例如，原始图像为分辨率400*800的图像，深度图像也为分辨率400*800的图像，原始图像的像素点和深度图像的像素点存在一一对应的关系，则深度图像中第一行第一列的像素点的深度距离为原始图像中第一行第一列的像素点的深度距离，深度图像中第一行第二列的像素点的深度距离为原始图像中第一行第二列的像素点的深度距离，以此类推，可以获取到原始图像中各个像素点的深度距离。

步骤208，根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数。

校正参数指的是对像素点进行校正的参数。校正参数可以校正像素点的位置，还可以校正像素点的颜色、亮度值等。

校正参数可以通过以下公式计算得到：

x₀＝x(1+k₁r²+k₂r⁴+k₃r⁶)+x+2p₁xy+p₂(r²+2x²)

y₀＝y(1+k₁r²+k₂r⁴+k₃r⁶)+y+p₁(r²+2y²)+2p₂xy

其中，x₀和y₀分别是校正之后的横坐标和纵坐标，p1、p2为切向畸变参数，k1，k2，k3为径向畸变参数。切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。径向畸变就是沿着透镜半径方向分布的畸变，产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲。

电子设备可以预先确定深度距离与校正参数的对应关系。深度距离与校正参数的对应关系可以生成一张畸变参数表。在一种实施方式中，深度距离与校正参数的对应关系可以通过获取用户输入的数据得到。

在另一种实施方式中，获取参考深度距离的像素点；采用多个参考校正参数对该像素点分别进行校正，得到各个校正结果；根据各个校正结果从多个参考校正参数中确定参考深度距离对应的校正参数。

具体地，获取参考深度距离的像素点对应的目标位置，根据校正结果将距离目标位置最近锁对应的参考校正参数作为参考深度距离对应的校正参数。

例如，参考深度距离为10米，3个参考校正参数包括(k1,k2,p1,p2,k3)1，(k1,k2,p1,p2,k3)2和(k1,k2,p1,p2,k3)3，参考深度距离的像素点对应的目标位置为(500,800)。采用(k1,k2,p1,p2,k3)1，(k1,k2,p1,p2,k3)2和(k1,k2,p1,p2,k3)3分别对该像素点分别进行校正，得到的校正结果分别为校正结果1(500,750)，校正结果2(550,750)，校正结果3(520,800)，则校正结果3最接近目标位置，将校正结果3所对应的参考校正参数(k1,k2,p1,p2,k3)3作为该参考深度距离10米对应的校正参数。

步骤210，基于原始图像中各个像素点的校正参数分别对对应的像素点进行校正。

校正参数指的是对像素点进行校正的参数。校正参数可以校正像素点的位置，还可以校正像素点的颜色、亮度值等。

上述图像校正方法，当启动摄像头时，通过毫米波探测器生成当前场景的深度图像；获取摄像头拍摄当前场景得到的原始图像；根据深度图像确定原始图像中各个像素点的深度距离；根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；基于原始图像中各个像素点的校正参数，可以分别对对应的像素点进行校正，也就是说，可以校正原始图像中不同深度距离的像素点，提高了图像校正的准确性。

另外，本实施例可以对原始图像中不同深度距离的像素点进行校正，即可以对原始图像中的各个区域进行校正，可以克服现有技术中仅可以对一个预设距离即图像中的部分区域进行校正的问题，提高了图像校正的准确性。

在一个实施例中，如图3所示，上述方法还包括：

步骤302，将原始图像中深度距离小于预设距离的像素点确定为近景区域的像素点，对近景区域进行分割得到各个子区域。

近景区域指的是图像中深度距离小于预设距离的区域。相对地，远景区域指的是图像中深度距离大于另一个预设距离的区域。在当前场景中，距离摄像头近的被拍摄的对象通常作为近景区域，距离摄像头远的被拍摄的对象通常作为远景区域。远景区域通常也是背景区域。其中，预设距离和另一个预设距离均可以根据用户需要进行设定。

在一种实施方式中，可以将近景区域分割为预设的子区域。例如，将近景区域分割为九宫格。

在另一种实施方式中，可以识别近景区域中的各个被拍摄对象，将近景区域分割为各个被拍摄对象对应的子区域。例如，识别近景区域，得到近景区域中包括了3个被拍摄对象，分别为A、B和C，则将近景区域分割为A对应的子区域、B对应的子区域和C对应的子区域。

在另一种实施方式中，可以对近景区域进行主体识别，得到主体对象和非主体对象，将近景区域分割为主体子区域和非主体子区域。

根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数，包括：

步骤304，根据各个子区域中像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个子区域中像素点的校正参数。

校正参数指的是对像素点进行校正的参数。校正参数可以校正像素点的位置，还可以校正像素点的颜色、亮度值等。电子设备可以预先确定深度距离与校正参数的对应关系。

基于原始图像中各个像素点的校正参数分别对对应的像素点进行校正，包括：

步骤306，基于各个子区域中像素点的校正参数分别对各个子区域中像素点进行校正。

在本实施例中，将原始图像中深度距离小于预设距离的像素点确定为近景区域的像素点，对近景区域进行分割得到各个子区域，再对近景区域中各个子区域的像素点进行校正，避免了对远景区域的像素点进行校正，可以节约电子设备的计算机资源，提高电子设备对图像校正的效率。

在一个实施例中，如图4所示，上述方法还包括：

步骤402，获取相邻的子区域的边缘区域。

边缘区域指的是子区域的边缘位置的区域。边缘区域的宽度可以根据用户需要进行设定。例如，边缘区域的宽度可以为0.1mm，边缘区域的宽度也可以为10个像素点宽度，不限于此。

相邻的子区域指的是相接触的子区域。例如，A、B和C均为矩形的子区域，且A、B和C从左到右依次排列，A和B相接触，则A和B为相邻的子区域，B和C相接触，则B和C为相邻的子区域。

步骤404，确定边缘区域的能量值。

边缘区域的能量值可以通过能量函数确定。其中，能量函数是描述整个系统状态的一种测度，系统越有序或概率分布越集中，系统的能量越小。反之，系统越无序或趋于均匀分布，则系统的能量越大。能量函数的最小值，对应于系统的最稳定。

步骤406，基于边缘区域的能量值确定边缘区域中的像素点的映射位置。

在一个实施例中，确定边缘区域的最低能量值；基于最低能量值确定边缘区域中的像素点的映射位置。

具体地，可以采用能量最小化获取边缘边缘区域的最低能量值。可以理解的是，能量是守恒的，如果能量一部分会升高，另一部分则会下降，所谓下降的一部分就是能量降低的一部分，所以说能量为了保持平衡会自动降低，自然变化进行的方向都是使能量降低，因此能量最低的状态比较稳定，这就叫能量最小化原理。

最低能量值的边缘区域表示边缘区域最稳定，即相邻子区域的边缘区域之间过渡最稳定、最平滑，基于边缘区域的最低能量值可以得到更平滑的边缘区域中的像素点的映射位置，避免了相邻子区域的边缘区域之间的差异而造成图像扭曲的问题，提高了图像校正的准确性。

在其他实施例中，也可以基于边缘区域的次低能量值确定边缘区域中的像素点的映射位置，不限于此。

步骤408，将边缘区域中的像素点分别映射至对应的映射位置上，生成校正之后的边缘区域。

将校正之后的边缘区域以及原始图像中除边缘区域之外的其他像素点映射至对应的映射位置上，生成校正之后的图像。

在另一种实施方式中，生成边缘区域的掩码图，采用掩码图将除边缘区域的像素点映射至对应的映射位置，以及基于最低能量值的边缘区域，生成校正之后的图像。

在本实施例中，确定边缘区域的能量值，基于边缘区域的能量值确定边缘区域中的像素点的映射位置，可以将相邻子区域的边缘区域之间过渡得更加平滑，避免了相邻子区域的边缘区域之间的差异而造成图像扭曲的问题，提高了图像校正的准确性。

在一个实施例中，毫米波探测器包括毫米波发射器和毫米波接收器。当启动摄像头时，通过毫米波探测器生成当前场景的深度图像，包括：当启动摄像头时，通过毫米波发射器向当前场景发射第一毫米波信号；通过毫米波接收器接收第一毫米波信号反射的第二毫米波信号；根据第二毫米波信号生成当前场景的深度图像。

毫米波发射器用于发射毫米波信号，发射的毫米波信号即第一毫米波信号。毫米波接收器用于接收反射回来的毫米波信号，接收到的反射回来的毫米波信号即为第二毫米波信号。

在其中一种实施方式中，获取第二毫米波信号的强度；基于第二毫米波信号的强度生成当前场景的深度图像。

可以理解的是，当电子设备距离被拍摄的对象越远，则毫米波信号传播的距离越远，毫米波信号在传播过程中会衰减，传播距离越远毫米波信号衰减越多，因此电子设备接收到反射的第二毫米波信号的强度也就越弱。同样地，当电子设备距离被拍摄的对象越近，则毫米波信号传播的距离越近，毫米波信号在传播过程中衰减少，因此电子设备接收到反射的第二毫米波信号的强度也就越强。

基于第二毫米波信号的强度与传播距离的对应关系，可以首先获取到传播距离，再将传播距离的一半作为电子设备与被拍摄的对象之间的距离。获取到各个像素点的深度距离之后，可以生成当前场景的深度图像。

在另一种实施方式中，确定第二毫米波信号的传播时长；基于第二毫米波信号的传播时长生成当前场景的深度图像。

可以理解的是，当电子设备距离被拍摄的对象越远，则毫米波信号传播的距离越远，因此电子设备接收到的第二毫米波信号的传播时长越长。同样地，当电子设备距离被拍摄的对象越近，则电子设备接收到反射的第二毫米波信号的传播时长越短。

基于第二毫米波信号的传播时长与传播距离的对应关系，可以首先获取到传播距离，再将传播距离的一半作为电子设备与被拍摄的对象之间的距离。获取到各个像素点的深度距离之后，可以生成当前场景的深度图像。

在一个实施例中，上述方法还包括：通过至少三个毫米波接收器分别接收第一毫米波信号反射的第二毫米波信号。根据第二毫米波信号生成当前场景的深度图像，包括：根据至少三个毫米波接收器分别接收的第二毫米波信号生成当前场景的深度图像。

通过毫米波接收器接收到的第二毫米波信号可以确定第二毫米波信号所反射的被拍摄对象的深度距离，进一步获取至少三个毫米波接收器的位置，当知道至少三个毫米波接收器的位置以及各个毫米波接收器接收的第二毫米波信号所对应的被拍摄对象的深度距离时，可以基于三点定位原理确定出被拍摄对象的具体位置。基于确定的各个被拍摄对象的具体位置，可以生成更准确的深度图像。

在一个实施例中，如图5所示，在电子设备502上，安装有毫米波探测器，毫米波探测器包括毫米波发射器504，以及3个毫米波接收器506、508和510。其中，毫米波发射器504用于发射第一毫米波信号，毫米波接收器506、508和510用于接收反射回来的第二毫米波信号。

在一个实施例中，上述方法还包括：从深度距离集合中获取深度距离；针对深度距离集合中的每个深度距离，对深度距离对应的参考校正参数进行校正，直到校正次数达到次数阈值或者参考校正参数处于预设范围内，确定深度距离对应的校正参数。

深度距离集合中可以包括一个深度距离，也可以包括至少两个深度距离。参考校正参数指的是深度距离所对应的未进行校正的参数，即参考校正参数不一定可以准确对图像进行校正。因此，需要对参考校正参数进行校正，从而获取准确的校正参数，对图像进行准确地校正。

针对深度距离集合中的每个深度距离，获取参考校正参数，并基于该参考校正参数对该深度距离的像素点进行校正，得到校正结果；调整参考校正参数，将调整后的参考校正参数作为新的参考校正参数，执行基于该参考校正参数对该深度距离的像素点进行校正，得到校正结果步骤，直到校正次数达到次数阈值或者参考校正参数处于预设范围内，确定深度距离对应的校正参数。

次数阈值可以根据用户需要进行设置。当参考校正参数对像素点进行校正的校正结果处于预设范围内时，表示参考校正参数对像素点进行校正的校正结果准确，则该参考校正参数可以作为该深度距离所对应的校正参数。

在本实施例中，从深度距离集合中获取深度距离；针对深度距离集合中的每个深度距离，对深度距离对应的参考校正参数进行校正，直到校正次数达到次数阈值或者参考校正参数对像素点进行校正的校正结果处于预设范围内，可以确定深度距离更准确的校正参数，从而更准确对图像进行校正。

在一个实施例中，基于原始图像中各个像素点的校正参数分别对对应的像素点进行校正，包括：基于原始图像中各个像素点的校正参数确定各个像素点的映射位置；将各个像素点分别映射至对应的映射位置上，生成校正之后的图像。

针对原始图像中的每个像素点，获取到像素点的校正参数之后，基于该校正参数可以确定该像素点更加准确的映射位置，将像素点映射至该更准确的映射位置，可以对该像素点进行校正。电子设备对原始图像中的各个像素点进行校正，即将像素点映射至更准确的位置上，可以生成更加准确的校正之后的图像。

在一个实施例中，如图6所示，执行步骤602，从深度距离集合中获取深度距离；执行步骤604，对深度距离对应的参考校正参数进行校正，确定深度距离对应的校正参数；执行步骤606，通过至少三个毫米波接收器分别接收反射的第二毫米波信号；执行步骤608，根据至少三个毫米波接收器分别接收的第二毫米波信号生成当前场景的深度图像；执行步骤610，基于原始图像中各个像素点的校正参数确定各个像素点的映射位置；执行步骤612，对近景区域进行分割得到各个子区域，采用能量最低值的边缘区域进行平滑过渡，生成掩码图；执行步骤614，采用掩码图对原始图像进行映射处理，生成校正之后的图像。

应该理解的是，虽然图2至图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2至图4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例的图像校正装置的结构框图。如图7所示，提供了一种图像校正装置700，包括：深度图像生成模块702、拍摄模块704、深度距离确定模块706、校正参数确定模块708和校正模块710，其中：

深度图像生成模块702，用于当启动摄像头时，通过毫米波探测器生成当前场景的深度图像。

拍摄模块704，用于获取摄像头拍摄当前场景得到的原始图像。

深度距离确定模块706，用于根据深度图像确定原始图像中各个像素点的深度距离。

校正参数确定模块708，用于根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数。

校正模块710，用于基于原始图像中各个像素点的校正参数分别对对应的像素点进行校正。

上述图像校正装置，当启动摄像头时，通过毫米波探测器生成当前场景的深度图像；获取摄像头拍摄当前场景得到的原始图像；根据深度图像确定原始图像中各个像素点的深度距离；根据原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；基于原始图像中各个像素点的校正参数，可以分别对对应的像素点进行校正，也就是说，可以校正原始图像中不同深度距离的像素点，提高了图像校正的准确性。

在一个实施例中，上述图像校正装置700还包括分割模块，用于将原始图像中深度距离小于预设距离的像素点确定为近景区域的像素点，对近景区域进行分割得到各个子区域。上述校正参数确定模块708还用于根据各个子区域中像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个子区域中像素点的校正参数。上述校正模块710还用于基于各个子区域中像素点的校正参数分别对各个子区域中像素点进行校正。

在一个实施例中，上述图像校正装置700还包括边缘区域校正模块，用于获取相邻的子区域的边缘区域；确定边缘区域的能量值；基于边缘区域的能量值确定边缘区域中的像素点的映射位置；将边缘区域中的像素点分别映射至对应的映射位置上，生成校正之后的边缘区域。

在一个实施例中，毫米波探测器包括毫米波发射器和毫米波接收器。上述深度图像生成模块702还用于当启动摄像头时，通过毫米波发射器向当前场景发射第一毫米波信号；通过毫米波接收器接收第一毫米波信号反射的第二毫米波信号；根据第二毫米波信号生成当前场景的深度图像。

在一个实施例中，上述深度图像生成模块702还用于通过至少三个毫米波接收器分别接收第一毫米波信号反射的第二毫米波信号；根据至少三个毫米波接收器分别接收的第二毫米波信号生成当前场景的深度图像。

在一个实施例中，上述图像校正装置700还包括校正参数校正模块，用于从深度距离集合中获取深度距离；针对深度距离集合中的每个深度距离，对深度距离对应的参考校正参数进行校正，直到校正次数达到次数阈值或者参考校正参数对像素点进行校正的校正结果处于预设范围内，确定深度距离对应的校正参数。

在一个实施例中，上述校正模块710还用于基于原始图像中各个像素点的校正参数确定各个像素点的映射位置；将各个像素点分别映射至对应的映射位置上，生成校正之后的图像。

上述图像校正装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像校正装置按照需要划分为不同的模块，以完成上述图像校正装置的全部或部分功能。

关于图像校正装置的具体限定可以参见上文中对于图像校正方法的限定，在此不再赘述。上述图像校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

图8为一个实施例中电子设备的内部结构示意图。如图8所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像校正方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备。

本申请实施例中提供的图像校正装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像校正方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像校正方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像校正方法，其特征在于，应用于电子设备，所述电子设备包括毫米波探测器，所述毫米波探测器包括毫米波发射器和毫米波接收器；所述方法包括：

当启动摄像头时，通过所述毫米波发射器向当前场景发射第一毫米波信号；

通过所述毫米波接收器接收所述第一毫米波信号反射的第二毫米波信号；

基于所述第二毫米波信号的强度生成当前场景的深度图像；

获取所述摄像头拍摄所述当前场景得到的原始图像；

根据所述深度图像确定所述原始图像中各个像素点的深度距离；

根据所述原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；

基于所述原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述原始图像中深度距离小于预设距离的像素点确定为近景区域的像素点，对所述近景区域进行分割得到各个子区域；

所述根据所述原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数，包括：

根据各个所述子区域中像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个所述子区域中像素点的校正参数；

所述基于所述原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正，包括：

基于各个所述子区域中像素点的校正参数分别对各个所述子区域中像素点进行校正。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取相邻的子区域的边缘区域；

确定所述边缘区域的能量值；

基于所述边缘区域的能量值确定所述边缘区域中的像素点的映射位置；

将所述边缘区域中的像素点分别映射至对应的映射位置上，生成校正之后的边缘区域。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过至少三个所述毫米波接收器分别接收所述第一毫米波信号反射的第二毫米波信号；

所述基于所述第二毫米波信号的强度生成当前场景的深度图像，包括：

根据至少三个所述毫米波接收器分别接收的所述第二毫米波信号的强度，生成当前场景的深度图像。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从深度距离集合中获取深度距离；

针对深度距离集合中的每个深度距离，对所述深度距离对应的参考校正参数进行校正，直到所述校正次数达到次数阈值或者所述参考校正参数对像素点进行校正的校正结果处于预设范围内，确定所述深度距离对应的校正参数。

6.根据权利要求1所述的方法，其特征在于，所述基于所述原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正，包括：

基于所述原始图像中各个所述像素点的校正参数确定各个所述像素点的映射位置；

将各个所述像素点分别映射至对应的映射位置上，生成校正之后的图像。

7.一种图像校正装置，其特征在于，应用于电子设备，所述电子设备包括毫米波探测器，所述毫米波探测器包括毫米波发射器和毫米波接收器；所述装置包括：

深度图像生成模块，用于当启动摄像头时，通过所述毫米波发射器向当前场景发射第一毫米波信号；通过所述毫米波接收器接收所述第一毫米波信号反射的第二毫米波信号；基于所述第二毫米波信号的强度生成当前场景的深度图像；

拍摄模块，用于获取所述摄像头拍摄所述当前场景得到的原始图像；

深度距离确定模块，用于根据所述深度图像确定所述原始图像中各个像素点的深度距离；

校正参数确定模块，用于根据所述原始图像中各个像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个像素点的校正参数；

校正模块，用于基于所述原始图像中各个所述像素点的校正参数分别对对应的像素点进行校正。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括分割模块；

所述分割模块，用于将所述原始图像中深度距离小于预设距离的像素点确定为近景区域的像素点，对所述近景区域进行分割得到各个子区域；

所述校正参数确定模块还用于根据各个所述子区域中像素点的深度距离，从深度距离与校正参数的对应关系中分别确定各个所述子区域中像素点的校正参数；

所述校正模块还用于基于各个所述子区域中像素点的校正参数分别对各个所述子区域中像素点进行校正。

9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的图像校正方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。