CN117395523A - 图像处理方法及其装置 - Google Patents

Abstract

本申请公开了一种图像处理方法及其装置，属于图像处理技术领域。图像处理方法包括：获取第一对象的第一深度图像和第一单视图像；根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。

Description

图像处理方法及其装置

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法及其装置。

背景技术

目前，由于感光芯片尺寸和体积的限制，电子设备的摄像头的焦距一般都较短，较短的焦距会带来较大的视场角成像范围，能够满足用户大范围拍摄的需求。

然而，由于电子设备的摄像头的焦距较短，在拍摄过程中，在拍摄物体离摄像头较近时，基于光学成像原理，拍摄到的图像非常容易产生“近大远小”的视觉畸变，拍摄图像的质量较差。

发明内容

本申请实施例的目的是提供一种图像处理方法及其装置，能够解决近距离拍摄到的图像存在视觉畸变的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：获取第一对象的第一深度图像和第一单视图像；根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：获取单元，用于获取第一对象的第一深度图像和第一单视图像；处理单元，用于根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；处理单元，还用于基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，存储器存储可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储有程序或指令，程序或指令被处理器执行时实现如第一方面的图像处理方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面的图像处理方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的图像处理方法的步骤。

在本申请实施例提供的图像处理方法中，获取第一对象的第一深度图像和第一单视图像；根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。通过上述图像处理方法，对于拍摄到的第一对象的第一单视图像，基于第一对象的深度信息构建第一对象的三维模型，进而对第一对象的三维模型进行投影映射，并基于投影得到的二维图像对第一单视图像进行畸变矫正，得到矫正后的第一单视图像即第二单视图像。这样，结合第一对象的深度信息和三维模型信息对第一对象的单视图像进行畸变矫正，能够准确消除单视图像中的视觉畸变，从而提升单视图像的图像质量。

附图说明

图1为本申请实施例提供的图像处理方法的流程示意图之一；

图2为本申请实施例提供的图像处理方法的流程示意图之二；

图3为本申请实施例提供的图像处理方法的流程示意图之三；

图4为本申请实施例提供的图像处理方法的流程示意图之四；

图5为本申请实施例提供的图像处理方法的流程示意图之五；

图6为本申请实施例提供的图像处理方法的原理图之一；

图7为本申请实施例提供的图像处理方法的原理图之二；

图8为本申请实施例提供的图像处理方法的原理图之三；

图9为本申请实施例提供的图像处理装置的结构框图；

图10为本申请实施例提供的电子设备的结构框图；

图11为本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

如图1所示，本申请实施例提供一种图像处理方法，该方法可以包括下述S102至S106：

S102：获取第一对象的第一深度图像和第一单视图像。

本申请实施例提出的图像处理方法，由电子设备执行，该电子设备具体可为智能手机、平板电脑以及笔记本电脑等具备拍摄功能的电子设备，在此不作具体限制。

其中，第一对象为拍摄对象，该第一对象包括但不限于是人物和动植物的整体或者部分。

进一步地，电子设备包括TOF(Time of Flight，基于飞行时间原理的深度感知技术)摄像头，上述第一深度图像为通过电子设备的TOF摄像头获取到的。

进一步地，电子设备包括RGB摄像头，上述第一单视图像为通过电子设备的RGB摄像头拍摄到的第一对象的RGB单视图像。

S104：根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型。

其中，上述第一模型用于构建三维模型，例如，该第一模型可为基于深度学习算法的3DMM(3D Morphable Model，3D可变形模型)单目人脸构建模型。

S106：基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像。

其中，上述二维映射具体可为投影映射，在实际的应用过程中，上述二维映射具体可基于mesh投影实现，在此不作具体限制。

进一步地，上述二维图像为通过对第一对象的三维模型进行投影得到的，该二维图像具体可为三维模型进行投影后得到的2D点阵图像。

S108：根据二维图像对第一单视图像进行矫正，得到第二单视图像。

其中，第二单视图像的图像主体为第一对象，第二单视图像为通过对第一单视图像的像素点进行空间转换得到的，相较于第一单视图像，第二单视图像中的视觉畸变被消除。

具体地，在本申请实施例提供的图像处理方法中，通过电子设备的TOF摄像头获取第一对象的第一深度图像，以及通过电子设备的RGB摄像头获取待处理的第一对象的RGB单视图像即第一单视图像。在此基础上，将第一对象的第一深度图像以及第一单视图像作为第一模型的输入，通过第一模型构建第一对象的三维模型。进一步地，基于mesh投影，对第一对象的三维模型进行二维映射，得到三维模型投影后的2D点阵图像即第一对象的二维图像。进一步地，基于第一对象的2D点阵图像，对第一单视图像的像素点进行空间转换，以对第一单视图像进行矫正，得到消除视觉畸变后的第二单视图像。

本申请实施例提供的上述图像处理方法，获取第一对象的第一深度图像和第一单视图像；根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。通过上述图像处理方法，对于拍摄到的第一对象的第一单视图像，基于第一对象的深度信息构建第一对象的三维模型，进而对第一对象的三维模型进行投影映射，并基于投影得到的二维图像对第一单视图像进行畸变矫正，得到矫正后的第一单视图像即第二单视图像。这样，结合第一对象的深度信息和三维模型信息对第一对象的单视图像进行畸变矫正，能够准确消除单视图像中的视觉畸变，从而提升单视图像的图像质量。

在本申请实施例中，第一模型包括数据处理层和三维模型模板库，在此基础上，如图2所示，上述S104具体可包括下述的S104a和S104b：

S104a：基于数据处理层处理摄像头的拍摄参数、第一深度图像和第一单视图像，得到模型构建系数和摄像头的数据处理参数。

其中，上述第一模型包括数据处理层，该数据处理层具体可为基于深度学习网络实现的，在此不作具体限制。

进一步地，上述拍摄参数为电子设备的RGB摄像头的拍摄参数，该拍摄参数具体可包括电子设备的RGB摄像头的焦距、横向像素比例系数、纵向像素比例系数、像素角度以及光心坐标点等参数，在此不作具体限制。

进一步地，三维模型的基本属性包括形状和纹理，每一个三维模型可表示为形状向量和纹理向量的加权组合。

在此基础上，上述模型构建系数具体可包括构建第一对象的三维模型时所需的形状系数和纹理系数。

进一步地，上述数据处理参数为电子设备的RGB摄像头对应三维模型的模型处理参数，该数据处理参数具体可包括三维模型的旋转矩阵以及三维模型的平移矩阵，在此不作具体限制。

S104b：根据模型构建系数和三维模型模板库，构建第一对象的三维模型。

其中，上述第一模型还包括三维模型模板库，该三维模型模板库中包括多个三维模型模板。

具体地，在本申请实施例提供的图像处理方法中，第一模型包括数据处理层和三维模型模板库，在此基础上，如图6所示，在获取到第一对象的第一深度图像和第一单视图像之后，将第一对象的第一深度图像、第一单视图像以及电子设备的RGB摄像头的拍摄参数输入第一模型，通过第一模型中的数据处理层对第一深度图像、第一单视图像以及RGB摄像头的拍摄参数进行回归拟合，得到RGB摄像头的数据处理参数以及构建第一对象的三维模型时所需的模型构建系数。其中，模型构建系数包括构建第一对象的三维模型时所需的形状系数和纹理系数，三维模型模板库中包括多个三维模型模板，每个三维模型模板可表示为形状向量和纹理向量的组合。在此基础上，基于数据处理层输出的形状系数和纹理系数，对三维模型模板库中每个三维模型模板的形状向量和纹理向量进行加权组合，得到第一对象的三维模型。其中，第一对象的三维模型为基于第一深度图像的引导生成的，第一模型输出的第一对象的三维模型能够具有真实的物理尺度。

在实际的应用过程中，具体可通过下述公式(1)构建第一对象的三维模型：

S_whole＝α×S_model+β×T_model＝∑α_i×S_i+∑β_i×T_i， (1)

其中，S_whole表示三维模型的3D空间坐标，S_model表示三维模型的形状参数，其维度一般为(N，3)，N代表三维模型中3D点的空间数量，3代表xyz三个坐标值，T_model表示三维模型的纹理参数，其维度一般为(N，3)，N代表三维模型中3D点的空间数量，3代表RGB三个颜色空间值，α表示形状参数的权重向量，β表示纹理参数的权重向量，S_i表示三维模型模板库中第i个三维模型模板的形状向量，α_i表示三维模型模板库中第i个三维模型模板的形状向量的形状系数，T_i表示三维模型模板库中第i个三维模型模板的纹理向量，β_i表示三维模型模板库中第i个三维模型模板的纹理向量的纹理系数，∑α_i＝∑β_i＝1。

本申请提供的上述实施例，第一模型包括数据处理层和三维模型模板库，在根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型的过程中，基于数据处理层处理摄像头的拍摄参数、第一深度图像和第一单视图像，得到模型构建系数和摄像头的数据处理参数；根据模型构建系数和三维模型模板库，构建第一对象的三维模型。这样，基于第一深度图像的引导构建第一对象的三维模型，使得构建的第一对象的三维模型能够具有真实的物理尺度，提升了构建的第一对象的三维模型的准确性，从而提升了后续对第一单视图像进行矫正的准确性。

在本申请实施例中，第一对象的二维图像包括第一二维图像和第二二维图像，在此基础上，如图3所示，上述S106具体可包括下述的S106a至S106d：

S106a：根据第一深度图像和三维模型确定第二深度图像。

其中，上述三维模型为基于3DMM算法得到的模型，其深度图像完整且具有较好的连续性。

进一步地，上述第一深度图像为通过电子设备的TOF摄像头获取到的，由于环境、传感器等干扰因素，第一深度图像具有间断性，且第一深度图像可能有异常点甚至空缺点，也即第一深度图像存在深度不连续和深度值错误的情况，但是，第一深度图像在物理上的精确度较高。

进一步地，上述第二深度图像为基于第一深度图像和三维模型的深度图像，融合两者的优势得到的质量更高的深度图像。

S106b：根据第二深度图像和摄像头的拍摄参数，确定第一单视图像的畸变参数。

其中，上述拍摄参数包括电子设备的RGB摄像头的焦距。

进一步地，上述畸变参数用于指示第一单视图像的矫正状态，该矫正状态具体可包括需要矫正和不需要矫正两种状态。

具体地，在本申请实施例提供的图像处理方法中，在得到第二深度图像之后，基于第二深度图像的深度值和电子设备的RGB摄像头的焦距，判断第一单视图像是否需要矫正，在判定第一单视图像需要矫正的情况下，对第一单视图像进行矫正，而在判定第一单视图像不需要矫正的情况下，则不对第一单视图像进行处理。

其中，电子设备的RGB摄像头的焦距f越小，第二深度图像的深度值d越小，则第一单视图像越需要矫正。在实际的应用过程中，具体可基于电子设备的RGB摄像头的焦距f以及第二深度图像的深度值d建立查找表格，通过查找表格来判断第一单视图像是否需要矫正。

例如，以电子设备的RGB摄像头的焦距f选取16和35两个阈值，第二深度图像的深度值d选取20和30两个阈值为例，建立下述表1，以便后续基于表1查找第一单视图像的矫正状态。

表1：图像矫正状态查找表

	f<16mm	16mm<f<35mm	f>35mm
				d<20cm	需要矫正	需要矫正	不需要矫正
20cm<d<30cm	需要矫正	不需要矫正	不需要矫正
				d>30cm	不需要矫正	不需要矫正	不需要矫正

其中，需要说明的是，上述表格中焦距f选取16和35两个阈值，深度值d选取20和30两个阈值仅为示例说明，在实际的应用过程中，本领域技术人员可根据电子设备的摄像头的实际参数，对焦距f和深度值d选取的阈值进行调整，在此不作具体限制。

S106c：在畸变参数符合第一条件的情况下，根据摄像头的拍摄参数和摄像头的数据处理参数对三维模型进行二维映射，得到第一二维图像。

其中，上述第一条件为畸变参数指示第一单视图像需要矫正，上述第一条件为基于电子设备的RGB摄像头的焦距f以及第二深度图像的深度值d查找上述表1得到的结果为“需要矫正”。

进一步地，上述拍摄参数为电子设备的RGB摄像头的拍摄参数，该拍摄参数具体可包括电子设备的RGB摄像头的焦距、横向像素比例系数、纵向像素比例系数、像素角度以及光心坐标点等参数，在此不作具体限制。

进一步地，上述数据处理参数为电子设备的RGB摄像头对应三维模型的模型处理参数，该数据处理参数具体可包括三维模型的旋转矩阵以及三维模型的平移矩阵，在此不作具体限制。

进一步地，上述二维映射具体可为投影映射，在实际的应用过程中，上述二维映射具体可基于mesh投影实现，在此不作具体限制。

进一步地，上述第一二维图像为基于拍摄参数和数据处理参数对第一对象的三维模型进行投影得到的2D点阵图像。

在实际的应用过程中，具体可通过下述公式(2)确定上述第一二维图像：

其中，u和v分别是三维模型投影到2D空间的坐标点即第一二维图像的像素坐标点，f为电子设备的RGB摄像头的焦距，Sx为RGB摄像头的横向像素比例系数，S_y为RGB摄像头的纵向像素比例系数，r为RGB摄像头的像素角度，u₀和v₀是RGB摄像头的光心坐标点，R_3×3为三维模型的旋转矩阵，T_3×1为三维模型的平移矩阵，X_W、Y_W和Z_W为三维模型的3D坐标点。

在此基础上，基于三维模型投影到2D空间的坐标点即第一二维图像的像素坐标点，即可得到第一对象的第一二维图像。

S106d：对摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的拍摄参数和数据处理参数对三维模型进行二维映射，得到第二二维图像。

在本申请实施例提供的图像处理方法中，基于电子设备的实际成像效果或实际经验，对上述拍摄参数和数据处理参数进行校正。例如，将焦距f放大(50/f)倍，得到校正后的焦距f’＝50mm，同时，将三维模型的深度Z_W缩小(50/f)倍，得到校正后的深度Z’_W＝Z_W/(50/f)。

进一步地，上述第二二维图像为基于校正后的拍摄参数和数据处理参数对第一对象的三维模型进行投影得到的2D点阵图像。

在实际的应用过程中，具体可通过下述公式(3)确定上述第二二维图像：

其中，u’和v’分别是三维模型投影到2D空间的坐标点即第二二维图像的像素坐标点，f’为校正后的焦距，Sx为RGB摄像头的横向像素比例系数，S_y为RGB摄像头的纵向像素比例系数，r为RGB摄像头的像素角度，u₀和v₀是RGB摄像头的光心坐标点，R_3×3为三维模型的旋转矩阵，T_3×1为三维模型的平移矩阵，X_W、Y_W和Z’_W为三维模型的3D坐标点，其中，Z’_W为通过对Z_W进行校正得到的。

在此基础上，基于三维模型投影到2D空间的坐标点即第二二维图像的像素坐标点，即可得到第一对象的第二二维图像。其中，相较于第二二维图像，第一二维图像的视觉畸变更少，第一二维图像中图像主体的显示比例更加正常。

示例性地，在上述第一对象为人物人脸的情况下，第一对象的第一二维图像如图7中的(a)所示，第一对象的第二二维图像如图7中的(b)所示。其中，如图7中的(a)和(b)所示，相较于第二二维图像，第一二维图像中鼻子区域的占比较大，脸部两侧区域较窄，第二二维图像中的人脸比例更加正常。

本申请提供的上述实施例，第一对象的二维图像包括第一二维图像和第二二维图像，在基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像的过程中，根据第一深度图像和三维模型确定第二深度图像；根据第二深度图像和摄像头的拍摄参数，确定第一单视图像的畸变参数；在畸变参数符合第一条件的情况下，根据摄像头的拍摄参数和摄像头的数据处理参数对三维模型进行二维映射，得到第一二维图像；对摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的拍摄参数和数据处理参数对三维模型进行二维映射，得到第二二维图像。这样，基于第一深度图像和三维模型的深度图像得到质量更高的第二深度图像，进而基于第二深度图像和摄像头的拍摄参数判定第一单视图像是否需要矫正，并在第一单视图像需要矫正的情况下，通过二段焦距对三维模型进行投影映射分别得到第一对象的第一二维图像和第二二维图像，在节约了处理资源的同时，保证了后续基于第一二维图像和第二二维图像对第一单视图像进行矫正的准确性。

在本申请实施例中，如图4所示，上述S106a具体可包括下述的S110至S116：

S110：将三维模型映射至二维空间，得到三维模型的第三深度图像。

具体地，在本申请实施例提供的图像处理方法中，在得到第一对象的三维模型之后，对第一对象的三维模型进行mesh投影，以将第一对象的三维模型投影到2D空间，得到三维模型的第三深度图像。

其中，上述三维模型为基于3DMM算法得到的模型，第三深度图像完整且具有较好的连续性。

S112：确定第一深度图像和第三深度图像的深度差值。

具体地，在本申请实施例提供的图像处理方法中，在得到三维模型的第三深度图像之后，计算第一深度图像和第三深度图像的深度差值。

S114：在深度差值小于深度阈值的情况下，融合第一深度图像和第三深度图像，得到第二深度图像。

其中，上述深度阈值的具体取值根据第一对象的三维模型的构建精度进行选择。在实际的应用过程中，深度阈值σ的取值范围具体可为：mean(b)/30<σ<mean(b)/20，其中，mean(b)表示第三深度图像的深度均值。

S116：在深度差值大于或等于深度阈值的情况下，将第三深度图像作为第二深度图像。

具体地，在本申请实施例提供的图像处理方法中，在计算第一深度图像和第三深度图像的深度差值之后，将该深度差值与设定的深度阈值进行比较，在深度差值小于深度阈值的情况下，对第一深度图像和第三深度图像进行均值融合，以融合第一深度图像和第三深度图像的优势，得到的质量更高的第二深度图像。而在深度差值大于或等于深度阈值的情况下，判定第一深度图像的深度值发生偏移，此时，直接将第三深度图像作为上述第二深度图像参与图像矫正。

在实际的应用过程中，具体可通过下述公式(4)和公式(5)确定上述第二深度图像：

若Δd<σ，death＝(a+b)/2， (4)

若Δd≥σ，death＝b， (5)

其中，Δd表示第一深度图像和第三深度图像的深度差值，σ为深度阈值，death表示第二深度图像，a表示第一深度图像，b表示第三深度图像。

本申请提供的上述实施例，在根据第一深度图像和三维模型确定第二深度图像的过程中，将三维模型映射至二维空间，得到三维模型的第三深度图像；确定第一深度图像和第三深度图像的深度差值；在深度差值小于深度阈值的情况下，融合第一深度图像和第三深度图像，得到第二深度图像；在深度差值大于或等于深度阈值的情况下，将第三深度图像作为第二深度图像。这样，基于第一深度图像和第三深度图像，得到的质量较高的第二深度图像，保证了后续基于第二深度图像进行图像矫正的准确性。

在本申请实施例中，如图5所示，上述S108具体可包括下述的S108a至S108c：

S108a：将第一二维图像划分为多个第一区域，将第二二维图像划分为多个第二区域。

其中，多个第一区域和多个第二区域一一对应。

进一步地，上述第一二维图像为基于拍摄参数和数据处理参数对第一对象的三维模型进行投影得到的2D点阵图像。

进一步地，上述第二二维图像为基于校正后的拍摄参数和数据处理参数对第一对象的三维模型进行投影得到的2D点阵图像。

具体地，在本申请实施例提供的图像处理方法中，在得到第一二维图像和第二二维图像之后，分别根据第一二维图像和第二二维图像中的2D点阵，建立对应第一二维图像的第一平面点集合P₁＝{P₁…P_n}，P_n对应于第一二维图像中的2D点，以及建立对应第二二维图像的第二平面点集合P₂＝{P₁…P_m}，P_m对应于第二二维图像中的2D点。在此基础上，基于Bowyer-Watson算法和第一平面点集合P₁＝{P₁…P_n}，将第一二维图像划分为多个三角区域，得到第一三角形集合T₁＝{t₁…t_n}，以及基于Bowyer-Watson算法和第二平面点集合P₂＝{P₁…P_m}，将第二二维图像划分为多个三角区域，得到第二三角形集合T₂＝{t₁…t_m}。其中，对于第一三角形集合T₁＝{t₁…t_n}和第二三角形集合T₂＝{t₁…t_m}，任意两个三角形的边不相交。

进一步地，第一三角形集合T₁＝{t₁…t_n}中的三角形和第二三角形集合T₂＝{t₁…t_m}中的三角形一一对应。第一三角形集合T₁＝{t₁…t_n}中的每个三角形对应第一二维图像中的每个第一区域，第二三角形集合T₂＝{t₁…t_m}中的每个三角形对应第二二维图像中的每个第二区域。

S108b：根据每个第一区域和第一区域对应的第二区域的像素坐标，确定每个第一区域对应的变换矩阵。

具体地，在本申请实施例提供的图像处理方法中，在将第一二维图像划分为多个第一区域，以及将第二二维图像划分为多个第二区域之后，对于相互对应的每组第一区域和第二区域，根据每组第一区域和第二区域的像素坐标，计算每组第一区域和第二区域之间的变换矩阵即H矩阵，最终得到与第一二维图像中的多个第一区域分别对应的多个变换矩阵。

S108c：根据每个第一区域对应的变换矩阵，对第一单视图像中的像素点进行空间变换，得到第二单视图像。

具体地，在本申请实施例提供的图像处理方法中，在得到与第一二维图像中的多个第一区域分别对应的多个变换矩阵之后，基于多个变换矩阵，对第一单视图像进行仿射变换，得到矫正图像中的像素坐标点与第一单视图像中的像素坐标点之间的映射关系，进而基于该映射关系，对第一单视图像中的像素点进行空间变换，以矫正第一单视图像，得到矫正后的第二单视图像。

其中，在实际的应用过程中，具体可通过下述公式(6)对第一单视图像进行仿射变换：

其中，x和y表示第一单视图像中的像素坐标点，x'和y'表示仿射变换后的矫正图像中的像素坐标点，H表示变换矩阵，h₁₁至h₃₃为变换矩阵中的各个元素。

在此基础上，基于上述公式(6)，即可得到矫正图像中的像素坐标点与第一单视图像中的像素坐标点之间的映射关系，如下述公式(7)和公式(8)所示：

x'＝(h₁₁x+h₁₂y+h₁₃)/(h₃₁x+h₃₂y+h₃₃)， (7)

y'＝(h₂₁x+h₂₂y+h₂₃)/(h₃₁x+h₃₂y+h₃₃)， (8)

本申请提供的上述实施例，在根据二维图像对第一单视图像进行矫正，得到第二单视图像的过程中，将第一二维图像划分为多个第一区域，将第二二维图像划分为多个第二区域，其中，多个第一区域和多个第二区域一一对应；根据每个第一区域和第一区域对应的第二区域的像素坐标，确定每个第一区域对应的变换矩阵；根据每个第一区域对应的变换矩阵，对第一单视图像中的像素点进行空间变换，得到第二单视图像。这样，基于对第一对象的三维模型进行重投影后得到的二维图像，对第一单视图像进行矫正，保证了对第一单视图像进行矫正的精确度，消除了第一单视图像的视觉畸变，提升了得到的第二单视图像的图像质量。

综上所述，以上述第一对象为人物人脸为例，在本申请实施例提供的图像处理方法中，如图8所示，通过电子设备的TOF摄像头获取第一对象的TOF深度图像即第一深度图像，以及通过电子设备的RGB摄像头获取待处理的第一对象的RGB单视图像即第一单视图像。进一步地，将上述RGB单视图像以及TOF深度图像输入用于构建三维模型的第一模型，第一模型在TOF深度图像的引导下，基于深度学习的3DMM算法，对电子设备的RGB摄像头的拍摄参数、RGB单视图像以及TOF深度图像进行处理，得到人脸系数即模型构建系数、摄像头外参数即数据处理参数，进而基于人脸系数和三维模型模板库，对第一对象即人脸进行3D建模，得到第一对象的三维模型。

进一步地，基于TOF深度图像和三维模型的深度图像，得到质量较高的第二深度图像，并在基于电子设备的RGB摄像头的焦距和第二深度图像的深度值判定第一单视图像需要矫正之后，对第一对象的三维模型进行两焦段模型投影。具体地，基于电子设备的RGB摄像头的拍摄参数和数据处理参数，对第一对象的三维模型进行投影，得到第一对象的第一二维图像，进而对电子设备的RGB摄像头的焦距和进行三维模型的深度值进行校正，并基于校正后的拍摄参数和数据处理参数对第一对象的三维模型进行投影，得到第一对象的第二二维图像。在此基础上，基于第一二维图像以及第二二维图像，对第一单视图像的像素点进行空间变换，以矫正第一单视图像，得到消除视觉畸变的第二单视图像。

如此，在本申请实施例提供的图像处理方法中，基于TOF深度信息赋予单目重建的3D人脸模型物理几何意义，进而基于视觉几何中的重投影方案，对重建的3D人脸模型进行重投影，并基于重投影得到的人脸二维图像对拍摄到的人脸图像进行图像变形，得到矫正后的人脸图像。这样，在图像处理过程中，结合了TOF技术和3DMM技术的优点，提升了对人脸图像进行矫正的准确性，并且，上述图像处理方法中的各个步骤可在拍摄过程中执行，减少了拍摄过程中的视觉畸变现象。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行上述图像处理方法为例，说明本申请实施例提供的图像处理装置。

如图9所示，本申请实施例提供一种图像处理装置900，该装置可以包括下述的获取单元902以及处理单元904。

获取单元902，用于获取第一对象的第一深度图像和第一单视图像；

处理单元904，用于根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；

处理单元904，还用于基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；

处理单元904，还用于根据二维图像对第一单视图像进行矫正，得到第二单视图像。

本申请实施例提供的图像处理装置900，获取第一对象的第一深度图像和第一单视图像；根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。通过上述图像处理装置900，对于拍摄到的第一对象的第一单视图像，基于第一对象的深度信息构建第一对象的三维模型，进而对第一对象的三维模型进行投影映射，并基于投影得到的二维图像对第一单视图像进行畸变矫正，得到矫正后的第一单视图像即第二单视图像。这样，结合第一对象的深度信息和三维模型信息对第一对象的单视图像进行畸变矫正，能够准确消除单视图像中的视觉畸变，从而提升单视图像的图像质量。

在本申请实施例中，第一模型包括数据处理层和三维模型模板库，处理单元904具体用于：基于数据处理层处理摄像头的拍摄参数、第一深度图像和第一单视图像，得到模型构建系数和摄像头的数据处理参数；根据模型构建系数和三维模型模板库，构建第一对象的三维模型。

本申请提供的上述实施例，第一模型包括数据处理层和三维模型模板库，在根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型的过程中，基于数据处理层处理摄像头的拍摄参数、第一深度图像和第一单视图像，得到模型构建系数和摄像头的数据处理参数；根据模型构建系数和三维模型模板库，构建第一对象的三维模型。这样，基于第一深度图像的引导构建第一对象的三维模型，使得构建的第一对象的三维模型能够具有真实的物理尺度，提升了构建的第一对象的三维模型的准确性，从而提升了后续对第一单视图像进行矫正的准确性。

在本申请实施例中，第一对象的二维图像包括第一二维图像和第二二维图像，处理单元904具体用于：根据第一深度图像和三维模型确定第二深度图像；根据第二深度图像和摄像头的拍摄参数，确定第一单视图像的畸变参数；在畸变参数符合第一条件的情况下，根据摄像头的拍摄参数和摄像头的数据处理参数对三维模型进行二维映射，得到第一二维图像；对摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的拍摄参数和数据处理参数对三维模型进行二维映射，得到第二二维图像。

本申请提供的上述实施例，第一对象的二维图像包括第一二维图像和第二二维图像，在基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像的过程中，根据第一深度图像和三维模型确定第二深度图像；根据第二深度图像和摄像头的拍摄参数，确定第一单视图像的畸变参数；在畸变参数符合第一条件的情况下，根据摄像头的拍摄参数和摄像头的数据处理参数对三维模型进行二维映射，得到第一二维图像；对摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的拍摄参数和数据处理参数对三维模型进行二维映射，得到第二二维图像。这样，基于第一深度图像和三维模型的深度图像得到质量更高的第二深度图像，进而基于第二深度图像和摄像头的拍摄参数判定第一单视图像是否需要矫正，并在第一单视图像需要矫正的情况下，通过二段焦距对三维模型进行投影映射分别得到第一对象的第一二维图像和第二二维图像，在节约了处理资源的同时，保证了后续基于第一二维图像和第二二维图像对第一单视图像进行矫正的准确性。

在本申请实施例中，处理单元904具体用于：将三维模型映射至二维空间，得到三维模型的第三深度图像；确定第一深度图像和第三深度图像的深度差值；在深度差值小于深度阈值的情况下，融合第一深度图像和第三深度图像，得到第二深度图像；在深度差值大于或等于深度阈值的情况下，将第三深度图像作为第二深度图像。

本申请提供的上述实施例，在根据第一深度图像和三维模型确定第二深度图像的过程中，将三维模型映射至二维空间，得到三维模型的第三深度图像；确定第一深度图像和第三深度图像的深度差值；在深度差值小于深度阈值的情况下，融合第一深度图像和第三深度图像，得到第二深度图像；在深度差值大于或等于深度阈值的情况下，将第三深度图像作为第二深度图像。这样，基于第一深度图像和第三深度图像，得到的质量较高的第二深度图像，保证了后续基于第二深度图像进行图像矫正的准确性。

在本申请实施例中，处理单元904具体用于：将第一二维图像划分为多个第一区域，将第二二维图像划分为多个第二区域，其中，多个第一区域和多个第二区域一一对应；根据每个第一区域和第一区域对应的第二区域的像素坐标，确定每个第一区域对应的变换矩阵；根据每个第一区域对应的变换矩阵，对第一单视图像中的像素点进行空间变换，得到第二单视图像。

本申请提供的上述实施例，在根据二维图像对第一单视图像进行矫正，得到第二单视图像的过程中，将第一二维图像划分为多个第一区域，将第二二维图像划分为多个第二区域，其中，多个第一区域和多个第二区域一一对应；根据每个第一区域和第一区域对应的第二区域的像素坐标，确定每个第一区域对应的变换矩阵；根据每个第一区域对应的变换矩阵，对第一单视图像中的像素点进行空间变换，得到第二单视图像。这样，基于对第一对象的三维模型进行重投影后得到的二维图像，对第一单视图像进行矫正，保证了对第一单视图像进行矫正的精确度，消除了第一单视图像的视觉畸变，提升了得到的第二单视图像的图像质量。

本申请实施例中的图像处理装置900可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像处理装置900可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置900能够实现图1至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图10所示，本申请实施例还提供一种电子设备1000，包括处理器1002和存储器1004，存储器1004上存储有可在处理器1002上运行的程序或指令，该程序或指令被处理器1002执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图11为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1100包括但不限于：射频单元1101、网络模块1102、音频输出单元1103、输入单元1104、传感器1105、显示单元1106、用户输入单元1107、接口单元1108、存储器1109以及处理器1110等部件。

本领域技术人员可以理解，电子设备1100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1110，用于获取第一对象的第一深度图像和第一单视图像。

处理器1110，还用于根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型。

处理器1110，还用于基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像。

处理器1110，还用于根据二维图像对第一单视图像进行矫正，得到第二单视图像。

在本申请实施例中，获取第一对象的第一深度图像和第一单视图像；根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型；基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像；根据二维图像对第一单视图像进行矫正，得到第二单视图像。在本申请实施例中，对于拍摄到的第一对象的第一单视图像，基于第一对象的深度信息构建第一对象的三维模型，进而对第一对象的三维模型进行投影映射，并基于投影得到的二维图像对第一单视图像进行畸变矫正，得到矫正后的第一单视图像即第二单视图像。这样，结合第一对象的深度信息和三维模型信息对第一对象的单视图像进行畸变矫正，能够准确消除单视图像中的视觉畸变，从而提升单视图像的图像质量。

可选地，第一模型包括数据处理层和三维模型模板库，处理器1110具体用于：基于数据处理层处理摄像头的拍摄参数、第一深度图像和第一单视图像，得到模型构建系数和摄像头的数据处理参数；根据模型构建系数和三维模型模板库，构建第一对象的三维模型。

本申请提供的上述实施例，第一模型包括数据处理层和三维模型模板库，在根据第一深度图像、第一单视图像以及第一模型，得到第一对象的三维模型的过程中，基于数据处理层处理摄像头的拍摄参数、第一深度图像和第一单视图像，得到模型构建系数和摄像头的数据处理参数；根据模型构建系数和三维模型模板库，构建第一对象的三维模型。这样，基于第一深度图像的引导构建第一对象的三维模型，使得构建的第一对象的三维模型能够具有真实的物理尺度，提升了构建的第一对象的三维模型的准确性，从而提升了后续对第一单视图像进行矫正的准确性。

可选地，第一对象的二维图像包括第一二维图像和第二二维图像，处理器1110具体用于：根据第一深度图像和三维模型确定第二深度图像；根据第二深度图像和摄像头的拍摄参数，确定第一单视图像的畸变参数；在畸变参数符合第一条件的情况下，根据摄像头的拍摄参数和摄像头的数据处理参数对三维模型进行二维映射，得到第一二维图像；对摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的拍摄参数和数据处理参数对三维模型进行二维映射，得到第二二维图像。

本申请提供的上述实施例，第一对象的二维图像包括第一二维图像和第二二维图像，在基于第一深度图像，对三维模型进行二维映射，得到第一对象的二维图像的过程中，根据第一深度图像和三维模型确定第二深度图像；根据第二深度图像和摄像头的拍摄参数，确定第一单视图像的畸变参数；在畸变参数符合第一条件的情况下，根据摄像头的拍摄参数和摄像头的数据处理参数对三维模型进行二维映射，得到第一二维图像；对摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的拍摄参数和数据处理参数对三维模型进行二维映射，得到第二二维图像。这样，基于第一深度图像和三维模型的深度图像得到质量更高的第二深度图像，进而基于第二深度图像和摄像头的拍摄参数判定第一单视图像是否需要矫正，并在第一单视图像需要矫正的情况下，通过二段焦距对三维模型进行投影映射分别得到第一对象的第一二维图像和第二二维图像，在节约了处理资源的同时，保证了后续基于第一二维图像和第二二维图像对第一单视图像进行矫正的准确性。

可选地，处理器1110具体用于：将三维模型映射至二维空间，得到三维模型的第三深度图像；确定第一深度图像和第三深度图像的深度差值；在深度差值小于深度阈值的情况下，融合第一深度图像和第三深度图像，得到第二深度图像；在深度差值大于或等于深度阈值的情况下，将第三深度图像作为第二深度图像。

本申请提供的上述实施例，在根据第一深度图像和三维模型确定第二深度图像的过程中，将三维模型映射至二维空间，得到三维模型的第三深度图像；确定第一深度图像和第三深度图像的深度差值；在深度差值小于深度阈值的情况下，融合第一深度图像和第三深度图像，得到第二深度图像；在深度差值大于或等于深度阈值的情况下，将第三深度图像作为第二深度图像。这样，基于第一深度图像和第三深度图像，得到的质量较高的第二深度图像，保证了后续基于第二深度图像进行图像矫正的准确性。

可选地，处理器1110具体用于：将第一二维图像划分为多个第一区域，将第二二维图像划分为多个第二区域，其中，多个第一区域和多个第二区域一一对应；根据每个第一区域和第一区域对应的第二区域的像素坐标，确定每个第一区域对应的变换矩阵；根据每个第一区域对应的变换矩阵，对第一单视图像中的像素点进行空间变换，得到第二单视图像。

本申请提供的上述实施例，在根据二维图像对第一单视图像进行矫正，得到第二单视图像的过程中，将第一二维图像划分为多个第一区域，将第二二维图像划分为多个第二区域，其中，多个第一区域和多个第二区域一一对应；根据每个第一区域和第一区域对应的第二区域的像素坐标，确定每个第一区域对应的变换矩阵；根据每个第一区域对应的变换矩阵，对第一单视图像中的像素点进行空间变换，得到第二单视图像。这样，基于对第一对象的三维模型进行重投影后得到的二维图像，对第一单视图像进行矫正，保证了对第一单视图像进行矫正的精确度，消除了第一单视图像的视觉畸变，提升了得到的第二单视图像的图像质量。

应理解的是，本申请实施例中，输入单元1104可以包括图形处理器(GraphicsProcessing Unit，GPU)11041和麦克风11042，图形处理器11041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1106可包括显示面板11061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板11061。用户输入单元1107包括触控面板11071以及其他输入设备11072中的至少一种。触控面板11071，也称为触摸屏。触控面板11071可包括触摸检测装置和触摸控制器两个部分。其他输入设备11072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1109可用于存储软件程序以及各种数据。存储器1109可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1109可以包括易失性存储器或非易失性存储器，或者，存储器1109可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1109包括但不限于这些和任意其它适合类型的存储器。

处理器1110可包括一个或多个处理单元；可选的，处理器1110集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1110中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取第一对象的第一深度图像和第一单视图像；

根据所述第一深度图像、所述第一单视图像以及第一模型，得到所述第一对象的三维模型；

基于所述第一深度图像，对所述三维模型进行二维映射，得到所述第一对象的二维图像；

根据所述二维图像对所述第一单视图像进行矫正，得到第二单视图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述第一模型包括数据处理层和三维模型模板库，所述根据所述第一深度图像、所述第一单视图像以及第一模型，得到所述第一对象的三维模型，包括：

基于所述数据处理层处理摄像头的拍摄参数、所述第一深度图像和所述第一单视图像，得到模型构建系数和所述摄像头的数据处理参数；

根据所述模型构建系数和所述三维模型模板库，构建所述第一对象的三维模型。

3.根据权利要求2所述的图像处理方法，其特征在于，所述第一对象的二维图像包括第一二维图像和第二二维图像，所述基于所述第一深度图像，对所述三维模型进行二维映射，得到所述第一对象的二维图像，包括：

根据所述第一深度图像和所述三维模型确定第二深度图像；

根据所述第二深度图像和所述摄像头的拍摄参数，确定所述第一单视图像的畸变参数；

在所述畸变参数符合第一条件的情况下，根据所述摄像头的拍摄参数和所述摄像头的数据处理参数对所述三维模型进行二维映射，得到所述第一二维图像；

对所述摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的所述拍摄参数和所述数据处理参数对所述三维模型进行二维映射，得到所述第二二维图像。

4.根据权利要求3所述的图像处理方法，其特征在于，所述根据所述第一深度图像和所述三维模型确定第二深度图像，包括：

将所述三维模型映射至二维空间，得到所述三维模型的第三深度图像；

确定所述第一深度图像和所述第三深度图像的深度差值；

在所述深度差值小于深度阈值的情况下，融合所述第一深度图像和所述第三深度图像，得到所述第二深度图像；

在所述深度差值大于或等于所述深度阈值的情况下，将所述第三深度图像作为所述第二深度图像。

5.根据权利要求3或4所述的图像处理方法，其特征在于，所述根据所述二维图像对所述第一单视图像进行矫正，得到第二单视图像，包括：

将所述第一二维图像划分为多个第一区域，将所述第二二维图像划分为多个第二区域，其中，多个所述第一区域和多个所述第二区域一一对应；

根据每个所述第一区域和所述第一区域对应的所述第二区域的像素坐标，确定每个所述第一区域对应的变换矩阵；

根据每个所述第一区域对应的变换矩阵，对所述第一单视图像中的像素点进行空间变换，得到所述第二单视图像。

6.一种图像处理装置，其特征在于，包括：

获取单元，用于获取第一对象的第一深度图像和第一单视图像；

处理单元，用于根据所述第一深度图像、所述第一单视图像以及第一模型，得到所述第一对象的三维模型；

所述处理单元，还用于基于所述第一深度图像，对所述三维模型进行二维映射，得到所述第一对象的二维图像；

所述处理单元，还用于根据所述二维图像对所述第一单视图像进行矫正，得到第二单视图像。

7.根据权利要求6所述的图像处理装置，其特征在于，所述第一模型包括数据处理层和三维模型模板库，所述处理单元具体用于：

基于所述数据处理层处理摄像头的拍摄参数、所述第一深度图像和所述第一单视图像，得到模型构建系数和所述摄像头的数据处理参数；

根据所述模型构建系数和所述三维模型模板库，构建所述第一对象的三维模型。

8.根据权利要求7所述的图像处理装置，其特征在于，所述第一对象的二维图像包括第一二维图像和第二二维图像，所述处理单元具体用于：

根据所述第一深度图像和所述三维模型确定第二深度图像；

根据所述第二深度图像和所述摄像头的拍摄参数，确定所述第一单视图像的畸变参数；

在所述畸变参数符合第一条件的情况下，根据所述摄像头的拍摄参数和所述摄像头的数据处理参数对所述三维模型进行二维映射，得到所述第一二维图像；

对所述摄像头的拍摄参数和数据处理参数进行校正，并根据校正后的所述拍摄参数和所述数据处理参数对所述三维模型进行二维映射，得到所述第二二维图像。

9.根据权利要求8所述的图像处理装置，其特征在于，所述处理单元具体用于：

将所述三维模型映射至二维空间，得到所述三维模型的第三深度图像；

确定所述第一深度图像和所述第三深度图像的深度差值；

在所述深度差值小于深度阈值的情况下，融合所述第一深度图像和所述第三深度图像，得到所述第二深度图像；

在所述深度差值大于或等于所述深度阈值的情况下，将所述第三深度图像作为所述第二深度图像。

10.根据权利要求8或9所述的图像处理装置，其特征在于，所述处理单元具体用于：

将所述第一二维图像划分为多个第一区域，将所述第二二维图像划分为多个第二区域，其中，多个所述第一区域和多个所述第二区域一一对应；

根据每个所述第一区域和所述第一区域对应的所述第二区域的像素坐标，确定每个所述第一区域对应的变换矩阵；

根据每个所述第一区域对应的变换矩阵，对所述第一单视图像中的像素点进行空间变换，得到所述第二单视图像。