CN114049473A - 图像处理方法及装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置，属于图像处理技术领域。所述方法包括：根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像；根据所述对象区域图像，确定所述目标对象对应的三维对象模型；对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；对所述三维校正对象模型进行转换处理，得到校正的对象区域图像；对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；基于所述校正的对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

Description

图像处理方法及装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及装置。

背景技术

在人们日常生活摄影中，摄像头尤其是广角镜头拍摄得到原始图像存在不同程度的畸变，严重影响人们的观感。

为了消除畸变，现有技术中通常是根据光学信息进行畸变校正，其具体是计算摄像头的内外参数，通过矩阵变换辅以其它数学算法进行图像畸变校正。而针对人脸图像而言，采用上述畸变校正方法对人脸图像进行畸变校正时，会出现人脸观感不自然的情况，尤其是对于侧脸，凹凸的现象比较明显。

发明内容

本申请实施例的目的是提供一种图像处理方法及装置，能够解决现有的畸变校正方法对人脸图像进行畸变校正时，会出现人脸不自然的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：

根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像；

根据所述对象区域图像，确定所述目标对象对应的三维对象模型；

对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；

对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像；

对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；

基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：

区域图像获取模块，用于根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像；

三维对象模型确定模块，用于根据所述对象区域图像，确定所述目标对象对应的三维对象模型；

三维校正模型获取模块，用于对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；

二维区域图像获取模块，用于对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像；

非对象区域图像获取模块，用于对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；

校正目标图像获取模块，用于基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像处理方法。

在本申请实施例中，根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像，根据对象区域图像，确定目标对象对应的三维对象模型，对三维对象模型进行畸变校正处理，得到三维校正对象模型，对三维校正对象模型进行转换处理，得到校正的二维对象区域图像，对非对象区域图像进行畸变校正处理，得到校正的非对象区域图像，基于校正的二维对象区域图像和校正的非对象区域图像，得到校正后的目标图像。本申请实施例针对目标图像中目标对象区域进行三维模型重建，以及三维畸变校正，在三维尺度上对目标对象所处区域进行畸变校正，通过三维和二维两种尺度的畸变校正，相较于传统的直接二维尺度校正的方式，可以减少目标对象不自然的情况，避免凹凸的现象出现，提高了图像畸变的处理效果。

附图说明

图1为本申请实施例提供的一种图像处理方法的步骤流程图；

图2为本申请实施例提供的一种采集人脸图像的示意图；

图3为本申请实施例提供的一种检测人脸区域的示意图；

图4为本申请实施例提供的一种重建三维人脸模型的示意图；

图5为本申请实施例提供的一种三维人脸模型畸变校正的示意图；

图6为本申请实施例提供的一种校正的三维人脸模型映射回二维图像的示意图；

图7为本申请实施例提供的一种二维图像畸变校正的示意图；

图8为本申请实施例提供的一种人脸区域和非人脸区域融合的示意图；

图9为本申请实施例提供的一种图像处理装置的结构示意图；

图10为本申请实施例提供的一种电子设备的结构示意图；

图11为本申请实施例提供的另一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

参照图1，示出了本申请实施例提供的一种图像处理方法的步骤流程图，如图1所示，该图像处理方法可以包括如下步骤：

步骤101：根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像。

在本实施例中，目标图像是指存在畸变的需要进行畸变校正的图像，在本示例中，目标图像可以为人脸图像，也可以为特定场景(如宠物、建筑等)的图像等，具体地，对于目标图像的具体内容可以根据业务需求而定，本实施例对此不加以限制。

目标对象可以为人脸、人体、宠物、建筑物等，对于目标对象的类型可以根据业务需求而定，本实施例对此不加以限制。

对象区域图像是指目标对象在目标图像中所处的区域所形成的图像，即对目标图像内目标对象所处的区域进行裁剪得到的图像，也即对象区域图像为目标图像内包含目标对象的区域图像。

非对象区域图像是指目标图像中除目标对象外的其它图像区域所形成的图像，即在目标图像内裁剪掉目标对象外的其它图像区域所得到的图像，也即非对象区域图像为目标图像内不包含目标对象的区域图像。

在本示例中，目标图像可以为当前采集的图像，也可以为预先保存于电子设备(如手机、平板电脑等)的相册内的图像等，具体地，对于目标图像的获取方式可以根据业务需求而定，本实施例对此不加以限制。

当然，在本实施例中，目标图像可以是通过摄像头当前采集的图像，如图2所示，在用户使用电子设备上的摄像头采集图像时，可以由用户启动安装于电子设备上的前置摄像头或后置摄像头，并通过开启的前置摄像头或后置摄像头采集一张存在畸变的图像，以作为目标图像等。

在获取到目标图像之后，则可以根据目标对象在目标图像的区域，对目标图像进行裁剪处理，得到包含目标对象的对象区域图像和不包含目标对象的非对象区域图像，具体地，可以对目标对象在目标图像中所处的区域进行检测，检测到目标对象所处的区域之后，则可以对目标图像进行裁剪，以得到对象区域图像和非对象区域图像，例如，如图3所示，以人脸图像为例，本实施例旨在获取目标图像中的人脸区域进行单独处理，检测人脸可以利用传统的Haar分类器，也可以通过深度神经网络提取特征，进一步预测人脸框所在矩形坐标，人脸检测如矩形框如图3右半部分图所示，在获取到人脸区域之后，则可以对目标图像进行裁剪，以裁剪得到人脸区域图像，作为对象区域图像，将其它区域图像作为非对象区域图像等。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在根据目标对象在目标图像中所处的区域对目标图像进行裁剪处理，得到对象区域图像和非对象区域图像之后，执行步骤102。

步骤102：根据所述对象区域图像，确定所述目标对象对应的三维对象模型。

在获取到对象区域图像之后，则可以根据对象区域图像确定目标对象对应的三维对象模型，具体地，可以根据对象区域图像获取目标对象的关键点坐标，并结合关键点坐标，构建得到目标对象的三维对象模型。

对于上述方案可以结合下述具体实现方式进行详细描述。

在本申请的一种具体实现方式中，上述步骤102可以包括：

子步骤A1：根据所述对象区域图像，获取所述目标对象对应的关键点坐标。

在本实施例中，在获取到对象区域图像之后，可以根据对象区域图像获取目标对象对应的关键点坐标，例如，目标对象以人脸为例，获取的对象区域图像即为人脸区域图像，在获取到人脸区域图像之后，则可以将人脸区域图像输入至训练好的3D人脸关键点检测网络，以通过3D人脸关键点检测网络输出人脸区域内的3D关键点坐标等。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

在根据对象区域图像获取到目标对象对应的关键点坐标之后，执行子步骤A2。

子步骤A2：基于所述关键点坐标，构建得到所述目标对象对应的三维对象模型。

在根据对象区域图像获取到目标对象对应的关键点坐标之后，可以根据关键点坐标构建得到目标对象对应的三维对象模型，例如，如图4所示，在将人脸区域图像输入至3D人脸关键点检测网络之后，则可以由该网络输出一幅图像，该图像上即可包含人脸的关键点，通过人脸关键点即可重建得到人脸区域3D模型。

在根据对象区域图像确定出目标对象对应的三维对象模型之后，执行步骤103。

步骤103：对所述三维对象模型进行畸变校正处理，得到三维校正对象模型。

三维校正对象模型是指对三维对象模型进行校正之后得到的三维模型。

在得到三维对象模型之后，则可以对三维对象模型进行畸变校正处理，以得到三维校正对象模型。在本示例中，可以结合三维转换矩阵进行畸变校正，以得到三维校正对象模型，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述步骤103可以包括：

子步骤B1：根据所述目标图像对应的摄像参数，确定三维转换矩阵。

在本实施例中，三维转换矩阵是指用于对三维对象模型进行三维转换的矩阵。

摄像参数可以包括：摄像头的内参和外参。

在采用相机采集到目标图像之后，则可以根据目标图像对应的摄像参数，计算得到对应的三维转换矩阵。

在根据目标图像对应的摄像参数确定出三维转换矩阵之后，执行子步骤B2。

子步骤B2：基于所述三维转换矩阵，对所述关键点坐标进行转换处理，得到转换后的三维关键点坐标。

在得到三维转换矩阵之后，则可以基于三维转换矩阵对关键点坐标进行转换处理，以得到转换后的三维关键点坐标。

子步骤B3：对所述三维关键点坐标进行组合，得到所述三维校正对象模型。

在得到三维关键点坐标之后，则可以将三维关键点坐标进行组合，以得到三维校正对象模型，例如，如图5所示，在得到人脸3D关键点之后，则可以将3D人脸关键点与三维转换矩阵相乘，以得到转换后的3D人脸关键点，然后将转后的3D人脸关键点进行组合，即可重建校正后的3D人脸模型。

在对三维对象模型进行畸变校正处理得到三维校正对象模型之后，执行步骤104。

步骤104：对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像。

二维对象区域图像是指将畸变校正后得到的三维对象模型映射回二维图像之后，得到的对象区域图像。

在对三维对象模型进行畸变校正处理得到三维校正对象模型之后，则可以对三维校正对象模型进行转换处理，以得到校正的二维对象区域图像，具体地，可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述步骤104可以包括：

子步骤C1：基于所述对象区域图像中所述目标对象的方向，对所述三维校正对象模型进行旋转处理，生成三维旋转对象模型。

在本实施例中，三维旋转对象模型是指对三维校正对象模型进行旋转处理得到的三维对象模型。

在得到三维校正对象模型之后，则可以基于对象区域图像中目标对象的方向，对三维校正对象模型进行旋转处理，以生成三维旋转对象模型。

在生成三维旋转对象模型之后，执行子步骤C2。

子步骤C2：将所述三维旋转对象模型映射至二维图像上，得到校正的二维对象区域图像。

在生成三维旋转对象模型之后，则可以将三维旋转对象模型映射至二维图像上，以得到校正的二维对象区域图像，对于上述过程可以结合图6进行如下详细描述。

参照图6，示出了本申请实施例提供的一种校正的三维人脸模型映射回二维图像的示意图，如图6所示，在获取到经过畸变校正的3D人脸后，需要将人脸从三维映射回二维图像上，具体地，可以将3D人脸模型按照2D图像上人脸方向进行旋转，然后将旋转后的3D人脸投影在2D图像上，至此完成映射。

可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

步骤105：对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像。

在得到非对象区域图像之后，则可以对非对象区域图像进行畸变校正处理，以得到校正的非对象区域图像，对于该畸变校正过程可以结合下述具体实现方式进行详细描述。

在本申请的另一种具体实现方式中，上述步骤105可以包括：

子步骤D1：基于所述目标图像对应的摄像参数，确定所述非对象区域图像对应的二维转换矩阵。

在本实施例中，二维转换矩阵是指用于对非对象区域图像上的像素点进行转换的矩阵。

在具体实现中，在采用相机采集到目标图像之后，则可以根据相机的摄像参数(内参和外参)计算得到非对象区域图像对应的二维转换矩阵。

在基于目标图像对应的摄像参数确定出非对象区域图像对应的二维转换矩阵。

在确定出二维转换矩阵之后，执行子步骤D2。

子步骤D2：基于所述二维转换矩阵，对所述非对象区域图像进行矩阵转换，得到转换的非对象区域图像。

在确定出二维转换举着恩之后，则可以基于二维转换矩阵对非对象区域图像进行矩阵转换，以得到转换的非对象区域图像。

在得到转换的非对象区域图像之后，执行子步骤D3。

子步骤D3：对所述转换的非对象区域图像进行插值处理，生成校正的非对象区域图像。

在得到转换的非对象区域图像之后，则可以对转换的非对象区域图像进行插值处理，以生成校正的非对象区域图像，例如，如图7所示，图像上的非人脸区域则继续沿用传统畸变校正算法在二维图像上进行校正，即统计摄像头的内外参数后，计算对应的二维转换矩阵，对全图进行矩阵变换，再进行插值即可获取校正后的图像。

在对非对象区域图像进行畸变校正处理得到校正的非对象区域图像之后，执行步骤106。

步骤106：基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

在得到校正的二维对象区域图像和校正的非对象区域图像之后，则可以基于校正的二维对象区域图像和校正的非对象区域图像得到校正后的目标图像，例如，如图8所示，可以将校正的人脸区域和校正的非人脸区域进行插值叠加融合，即可得到最终全图像畸变校正结果。

本申请实施例提供的图像处理方法，根据目标对象在目标图像中所处的区域，对目标图像进行裁剪处理，得到对象区域图像和非对象区域图像，根据对象区域图像，确定目标对象对应的三维对象模型，对三维对象模型进行畸变校正处理，得到三维校正对象模型，对三维校正对象模型进行转换处理，得到校正的二维对象区域图像，对非对象区域图像进行畸变校正处理，得到校正的非对象区域图像，基于校正的二维对象区域图像和校正的非对象区域图像，得到校正后的目标图像。本申请实施例针对目标图像中目标对象区域进行三维模型重建，以及三维畸变校正，在三维尺度上对目标对象所处区域进行畸变校正，通过三维和二维两种尺度的畸变校正，相较于传统的直接二维尺度校正的方式，可以减少目标对象观感不自然的情况，避免凹凸的现象出现，提高了图像畸变的处理效果。

需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

参照图9，示出了本申请实施例提供的一种图像处理装置的结构示意图，如图9所示，该图像处理装置900可以包括如下模块：

区域图像获取模块910，用于根据目标对象在目标图像中所处的区域，对所述目标图像进行裁剪处理，得到对象区域图像和非对象区域图像；

三维对象模型确定模块920，用于根据所述对象区域图像，确定所述目标对象对应的三维对象模型；

三维校正模型获取模块930，用于对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；

二维区域图像获取模块940，用于对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像；

非对象区域图像获取模块950，用于对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；

校正目标图像获取模块960，用于基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

可选地，所述三维对象模型确定模块920包括：

关键点坐标获取单元，用于根据所述对象区域图像，获取所述目标对象对应的关键点坐标；

三维对象模型构建单元，用于基于所述关键点坐标，构建得到所述目标对象对应的三维对象模型。

可选地，所述三维校正模型获取模块包括：

三维转换矩阵确定单元，用于根据所述目标图像对应的摄像参数，确定三维转换矩阵；

三维关键点坐标获取单元，用于基于所述三维转换矩阵，对所述关键点坐标进行转换处理，得到转换后的三维关键点坐标；

三维校正对象模型获取单元，用于对所述三维关键点坐标进行组合，得到所述三维校正对象模型。

可选地，所述二维区域图像获取模块940包括：

三维转换模型生成单元，用于基于所述对象区域图像中所述目标对象的方向，对所述三维校正对象模型进行旋转处理，生成三维旋转对象模型；

校正区域图像获取单元，用于将所述三维旋转对象模型映射至二维图像上，得到校正的二维对象区域图像。

可选地，所述非对象区域图像获取模块950包括：

二维转换矩阵确定单元，用于基于所述目标图像对应的摄像参数，确定所述非对象区域图像对应的二维转换矩阵；

转换区域图像获取单元，用于基于所述二维转换矩阵，对所述非对象区域图像进行矩阵转换，得到转换的非对象区域图像；

非对象区域图像获取单元，用于对所述转换的非对象区域图像进行插值处理，生成校正的非对象区域图像。

本申请实施例提供的图像处理装置，根据目标对象在目标图像中所处的区域，对目标图像进行裁剪处理，得到对象区域图像和非对象区域图像，根据对象区域图像，确定目标对象对应的三维对象模型，对三维对象模型进行畸变校正处理，得到三维校正对象模型，对三维校正对象模型进行转换处理，得到校正的二维对象区域图像，对非对象区域图像进行畸变校正处理，得到校正的非对象区域图像，基于校正的二维对象区域图像和校正的非对象区域图像，得到校正后的目标图像。本申请实施例针对目标图像中目标对象区域进行三维模型重建，以及三维畸变校正，在三维尺度上对目标对象所处区域进行畸变校正，通过三维和二维两种尺度的畸变校正，相较于传统的直接二维尺度校正的方式，可以减少目标对象观感不自然的情况，避免凹凸的现象出现，提高了图像畸变的处理效果。

本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1001，存储器1002，存储在存储器1002上并可在所述处理器1001上运行的程序或指令，该程序或指令被处理器1001执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109、以及处理器1110等部件。

本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1110，用于根据目标对象在目标图像中所处的区域，对所述目标图像进行裁剪处理，得到对象区域图像和非对象区域图像；根据所述对象区域图像，确定所述目标对象对应的三维对象模型；对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像；对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

本申请实施例针对目标图像中目标对象区域进行三维模型重建，以及三维畸变校正，在三维尺度上对目标对象所处区域进行畸变校正，通过三维和二维两种尺度的畸变校正，相较于传统的直接二维尺度校正的方式，可以减少目标对象观感不自然的情况，避免凹凸的现象出现，提高了图像畸变的处理效果。

可选地，处理器1110，还用于根据所述对象区域图像，获取所述目标对象对应的关键点坐标；基于所述关键点坐标，构建得到所述目标对象对应的三维对象模型。

可选地，处理器1110，还用于根据所述目标图像对应的摄像参数，确定三维转换矩阵；基于所述三维转换矩阵，对所述关键点坐标进行转换处理，得到转换后的三维关键点坐标；对所述三维关键点坐标进行组合，得到所述三维校正对象模型。

可选地，处理器1110，还用于基于所述对象区域图像中所述目标对象的方向，对所述三维校正对象模型进行旋转处理，生成三维旋转对象模型；将所述三维旋转对象模型映射至二维图像上，得到校正的二维对象区域图像。

可选地，处理器1110，还用于基于所述目标图像对应的摄像参数，确定所述非对象区域图像对应的二维转换矩阵；基于所述二维转换矩阵，对所述非对象区域图像进行矩阵转换，得到转换的非对象区域图像；对所述转换的非对象区域图像进行插值处理，生成校正的非对象区域图像。

本申请实施例通过采用三维重建以及三维畸变校正方式，能够辅助解决传统畸变校正方法的不足，提高图像畸变校正的效果。

应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像；

根据所述对象区域图像，确定所述目标对象对应的三维对象模型；

对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；

对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像；

对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；

基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述对象区域图像，确定所述目标对象对应的三维对象模型，包括：

根据所述对象区域图像，获取所述目标对象对应的关键点坐标；

基于所述关键点坐标，构建得到所述目标对象对应的三维对象模型。

3.根据权利要求2所述的方法，其特征在于，所述对所述三维对象模型进行畸变校正处理，得到三维校正对象模型，包括：

根据所述目标图像对应的摄像参数，确定三维转换矩阵；

基于所述三维转换矩阵，对所述关键点坐标进行转换处理，得到转换后的三维关键点坐标；

对所述三维关键点坐标进行组合，得到所述三维校正对象模型。

4.根据权利要求1所述的方法，其特征在于，所述对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像，包括：

基于所述对象区域图像中所述目标对象的方向，对所述三维校正对象模型进行旋转处理，生成三维旋转对象模型；

将所述三维旋转对象模型映射至二维图像上，得到校正的二维对象区域图像。

5.根据权利要求1所述的方法，其特征在于，所述对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像，包括：

基于所述目标图像对应的摄像参数，确定所述非对象区域图像对应的二维转换矩阵；

基于所述二维转换矩阵，对所述非对象区域图像进行矩阵转换，得到转换的非对象区域图像；

对所述转换的非对象区域图像进行插值处理，生成校正的非对象区域图像。

6.一种图像处理装置，其特征在于，包括：

区域图像获取模块，用于根据目标对象在目标图像中的区域，得到对象区域图像和非对象区域图像；

三维对象模型确定模块，用于根据所述对象区域图像，确定所述目标对象对应的三维对象模型；

三维校正模型获取模块，用于对所述三维对象模型进行畸变校正处理，得到三维校正对象模型；

二维区域图像获取模块，用于对所述三维校正对象模型进行转换处理，得到校正的二维对象区域图像；

非对象区域图像获取模块，用于对所述非对象区域图像进行畸变校正处理，得到校正的非对象区域图像；

校正目标图像获取模块，用于基于所述校正的二维对象区域图像和所述校正的非对象区域图像，得到校正后的目标图像。

7.根据权利要求6所述的装置，其特征在于，所述三维对象模型确定模块包括：

关键点坐标获取单元，用于根据所述对象区域图像，获取所述目标对象对应的关键点坐标；

三维对象模型构建单元，用于基于所述关键点坐标，构建得到所述目标对象对应的三维对象模型。

8.根据权利要求7所述的装置，其特征在于，所述三维校正模型获取模块包括：

三维转换矩阵确定单元，用于根据所述目标图像对应的摄像参数，确定三维转换矩阵；

三维关键点坐标获取单元，用于基于所述三维转换矩阵，对所述关键点坐标进行转换处理，得到转换后的三维关键点坐标；

三维校正对象模型获取单元，用于对所述三维关键点坐标进行组合，得到所述三维校正对象模型。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5任一项所述的图像处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5任一项所述的图像处理方法的步骤。

Images