CN115118950B - 图像处理方法及装置 - Google Patents

Abstract

本公开提供一种图像处理方法及装置。所述方法包括：获取通过预测网络获得的第一图像对应的第一初始深度图像，预测网络用于预测输入图像对应的深度图像，根据第一图像和第二图像中拍摄对象的位姿变化信息，获取第一图像对应的第二初始深度图像，第一图像和第二图像相邻拍摄，根据第一初始深度图像和第二初始深度图像之间的差异，对预测网络的参数进行调整，通过调整后的预测网络获得第一图像对应的目标深度图像。本方法利用预测网络获得深度图像，省去了深度相机模组的使用，降低了电子设备的成本，并且在执行本方法时对电子设备的工作环境的要求较低，因此将本方法应用在电子设备中，有利于电子设备的使用和推广。

Description

图像处理方法及装置

技术领域

本公开涉及计算机通信技术领域，尤其涉及一种图像处理方法及装置。

背景技术

电子设备使用拍摄对象的深度信息对图像进行处理，实现背景虚化、对运动对象进行锁定和对焦、AR(Augmented Reality，增强现实)尺子、AR特效等功能。

目前电子设备安装有深度相机模组，使用深度相机模组直接获取包括深度信息的深度图像。然而，深度相机模组的高成本和工作环境的局限，影响了电子设备的使用和推广。

发明内容

为克服相关技术中存在的问题，本公开提供了一种图像处理方法及装置。

根据本公开实施例的第一方面，提供了一种图像处理方法，应用于电子设备，所述方法包括：

获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；

根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；

根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；

通过调整后的预测网络获得所述第一图像对应的目标深度图像。

可选地，所述方法还包括：

获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；

根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。

可选地，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，包括：

根据所述位姿变化信息，获取所述第一图像对应的深度图像；

根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；

确定去除所述第一异常像素点之后的第一图像是否满足预设条件；

若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。

可选地，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，还包括：

若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；

根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。

可选地，所述确定去除所述第一异常像素点之后的第一图像是否满足预设条件，包括：

确定所述去除后的第一图像中的像素点的数量是否满足预设范围。

可选地，所述根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，包括：

确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；

若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。

可选地，所述方法还包括：

在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。

根据本公开实施例的第二方面，提供了一种图像处理装置，所述装置包括：

第一深度图获取模块，被配置为获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；

第二深度图获取模块，被配置为根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；

网络调整模块，被配置为根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；

目标深度图获取模块，被配置为通过调整后的预测网络获得所述第一图像对应的目标深度图像。

可选地，所述装置还包括：

坐标集合获取模块，被配置为获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；

位姿变化信息确定模块，被配置为根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。

可选地，所述第二深度图获取模块，包括：

深度图像获取子模块，被配置为根据所述位姿变化信息，获取所述第一图像对应的深度图像；

异常像素点确定子模块，被配置为根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；

图像判断子模块，被配置为确定去除所述第一异常像素点之后的第一图像是否满足预设条件；

图像确定子模块，被配置为若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。

可选地，所述第二深度图获取模块，还包括：

异常像素点去除子模块，被配置为若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；

第二初始深度图像获取子模块，被配置为根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。

可选地，所述图像判断子模块，被配置为确定所述去除后的第一图像中的像素点的数量是否满足预设范围。

可选地，所述异常像素点确定子模块，包括：

偏差判断单元，被配置为确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；

异常像素点确定单元，被配置为若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。

可选地，所述装置还包括：

异常像素点去除模块，被配置为在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。

根据本公开实施例的第三方面，提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的方法。

根据本公开实施例的第四方面，提供了一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一项所述的方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开实施例提供了一种图像处理方法，利用预测网络获得深度图像，省去了深度相机模组的使用，降低了电子设备的成本，并且在执行本方法时对电子设备的工作环境的要求较低，因此将本方法应用在电子设备中，有利于电子设备的使用和推广。

本方法中，相邻拍摄的两帧图像中拍摄对象的位姿变化信息，能够反映物体局部和边缘等细节的位姿变化情况，上述的位姿变化信息可以作为几何约束信息使用，利用上述的位姿变化信息调整预测网络的参数，优化了预测网络确定物体局部和边缘等细节的深度信息的能力，提高了预测网络输出的深度图像的准确性。

本方法中，位姿变化信息源自相邻拍摄的两帧图像，通过使用位姿变化信息调整预测网络的参数，对预测网络输出的相邻拍摄的两帧图像对应的深度图像进行约束，以保证两帧深度图像中同一像素位置处的深度值相对平稳，避免因同一像素位置处的深度值差异较大而出现视觉闪烁的问题的发生。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1是根据一示例性实施例示出的一种图像处理方法流程图；

图2是根据一示例性实施例示出的另一种图像处理方法流程图；

图3是根据一示例性实施例示出的一种图像处理装置框图；

图4是根据一示例性实施例示出的一种电子设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开提供的图像处理方法可以应用于电子设备。例如，电子设备安装有相机模组，在通过相机模组采集图像后，利用本公开提供的图像处理方法获得图像的深度图像。

本公开提供的图像处理方法可以应用于服务端。例如，服务端获取电子设备上传的图像，利用本公开提供的图像处理方法获得图像的深度图像。进一步，服务端可以将获得的深度图像发送给电子设备，供电子设备使用。

下面以图像处理方法应用于电子设备为例，对本公开提供的图像处理方法进行说明。

图1是根据一示例性实施例示出的一种图像处理方法流程图，图1所示的方法包括：

在步骤101中，获取通过预测网络获得的第一图像对应的第一初始深度图像，预测网络用于预测输入图像对应的深度图像。

向预测网络输入的图像称为输入图像，输入图像可以是RGB图像或其他适用类型的图像，预测网络输出的图像是深度图像，预测网络具有预测输入图像对应的深度图像的功能。适用的预测网络有多种，例如，多尺度卷积神经网络或全卷积神经网络等。可以采用相关技术中的方法训练得到预测网络。

一种情况：电子设备设有预测网络。电子设备将第一图像输入预测网络，使得预测网络根据第一图像获得第一图像的深度图像(下面称为第一初始深度图像)，并输出第一初始深度图像。电子设备获取预测网络输出的第一初始深度图像。

另一种情况：服务端设有预测网络。电子设备能够与服务端进行交互，电子设备将第一图像发送给服务端，使得服务端使用预测网络获得第一初始深度图像，将第一初始深度图像发送给电子设备。

在一个实施例中，电子设备具有特定功能，如AR尺子、AR特效等功能，当特定功能开启后，电子设备开始执行本实施例提供的图像处理方法。

在步骤102中，根据第一图像和第二图像中拍摄对象的位姿变化信息，获取第一图像对应的第二初始深度图像，第一图像和第二图像相邻拍摄。

第一图像和第二图像是相邻拍摄的图像，例如，第一图像和第二图像是相邻拍摄的两帧图像。第一图像可以称为当前图像，第二图像可以称为参考图像。第一图像的拍摄时间可以晚于第二图像的拍摄时间，或者，第一图像的拍摄时间可以先于第二图像的拍摄时间。

在一个实施例中，位姿变化信息包括旋转矩阵和平移矩阵。电子设备可以采用三角测量法对旋转矩阵和平移矩阵进行处理，获得第二初始深度图像。

在一些情况下，第二初始深度图像中的像素点的数量较少，可以将第二初始深度图像称为稀疏深度图像。

在一个实施例中，电子设备获取像素点坐标集合，像素点坐标集合包括：第一图像和第二图像中用于表征同一拍摄对象的像素点的坐标，即像素点坐标集合包括：第一图像中用于表征一拍摄对象的像素点的坐标和第二图像中用于表征同一拍摄对象的像素点的坐标。进一步，电子设备根据像素点坐标集合，确定拍摄对象的位姿变化信息。位姿变化信息可以包括旋转矩阵和平移矩阵。

例如，电子设备通过特征提取算法，例如ORB算法或SIFT算法等，获取第一图像和第二图像中置信度较高的特征匹配点集合。置信度较高的特征可以包括拍摄对象、拍摄对象的轮廓、拍摄对象的边界等。特征匹配点包括：第一图像中用于表征一特征的像素点和第二图像中用于表征同一特征的像素点。

电子设备对特征匹配点集合中的像素点的坐标进行组合，得到像素点坐标集合，根据像素点坐标集合构建对极约束方程，求解对极约束方程，得到基础矩阵F和本质矩阵E，根据基础矩阵F和本质矩阵E，得到拍摄对象的旋转矩阵R和平移矩阵T。

在步骤103中，根据第一初始深度图像和第二初始深度图像之间的差异，对预测网络的参数进行调整。

第一初始深度图像是通过预测网络确定的，第二初始深度图像是利用拍摄对象的位姿变化信息确定的。根据第一初始深度图像和第二初始深度图像之间的差异，对预测网络的参数进行调整。

在一个实施例中，第一初始深度图像和第二初始深度图像的尺寸相同。可以构建优化目标D：

其中，(i,j)为像素点坐标，d为第二初始深度图像中(i,j)处的深度值，d*为第一初始深度图像中(i,j)处的深度值。

以减小优化目标的数值为方向，对预测网络的参数进行调整。

在一个实施例中，根据第一初始深度图像和第二初始深度图像之间的差异，对预测网络中的参数进行调整，直至差异小于预设值，停止调整，得到调整后的预测网络。预测网络中的参数可以包括预测网络中的权重。

在一个实施例中，根据第一初始深度图像和第二初始深度图像之间的差异，对预测网络的参数进行调整，直至调整预设次数，停止调整，得到调整后的预测网络。

在一个实施例中，电子设备可以在获取第二初始深度图像后，利用线性回归方法去除第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整预测网络。

例如，使用对极约束方程确定位姿变化信息，位姿变化信息的确定结果并不十分准确，存在一定偏差，又称为尺度漂移。利用线性回归方法去除第二初始深度图像中的第二异常像素点，可以理解为去除第二初始深度图像中尺度漂移较大的异常像素点，保证了后续处理结果的准确性。

在步骤104中，通过调整后的预测网络获得第一图像对应的目标深度图像。

电子设备将第一图像输入调整后的预测网络中，使得预测网络输出第一图像对应的目标深度图像。电子设备获得调整后的预测网络输出的目标深度图像。

本公开实施例提供了一种图像处理方法，利用预测网络获得目标深度图像，省去了深度相机模组的使用，降低了电子设备的成本，并且在执行本方法时对电子设备的工作环境的要求较低，因此将本方法应用在电子设备中，有利于电子设备的使用和推广。

本方法中，相邻拍摄的两帧图像中拍摄对象的位姿变化信息，能够反映物体局部和边缘等细节的位姿变化情况，上述的位姿变化信息可以作为几何约束信息使用，利用上述的位姿变化信息调整预测网络的参数，优化了预测网络确定物体局部和边缘等细节的深度信息的能力，提高了预测网络输出的深度图像的准确性。

位姿变化信息源自相邻拍摄的两帧图像，通过使用位姿变化信息调整预测网络的参数，对预测网络输出的相邻拍摄的两帧图像对应的深度图像进行约束，以保证两帧深度图像中同一像素位置处的深度值相对平稳，避免因同一像素位置处的深度值差异较大而出现视觉闪烁的问题的发生。

在一个实施例中，图2是根据一示例性实施例示出的另一种图像处理方法流程图，图2所示的方法包括：

在步骤201中，根据第一图像和第二图像中拍摄对象的位姿变化信息，获取第一图像对应的深度图像。

可以采用上述介绍的方法，根据位姿变化信息获取第一图像对应的深度图像。

在步骤202中，根据深度图像的投影图像和第一图像的像素点位置关系，确定第一图像中的第一异常像素点，像素点位置关系包括：用于表征同一结构的像素点的位置关系。

拍摄对象包括多个结构。例如，拍摄对象为人，人包括以下结构：眼睛、鼻子、耳朵等。又如，拍摄对象为汽车，汽车包括以下结构：轮胎、车灯、后视镜等。

在一个实施例中，第一图像为RGB图像。深度图像属于三维图像。深度图像的投影图像为RGB图像。

在一个实施例中，步骤202可以通过下面方式实现：首先，确定第一像素点位置与第二像素点位置的偏差是否符合要求，第一像素点位置是投影图像中用于表征一结构的像素点的位置，第二像素点位置是第一图像中用于表征同一结构的像素点的位置；其次，若偏差不符合要求，则将第一图像中位于第二像素位置处的像素点确定为第一异常像素点。

例如，当偏差小于或等于预设值时，确定偏差符合要求，当偏差大于预设值时，确定偏差不符合要求。可以根据需要和经验设置预设值的大小，例如，预设值为0或其他数值。

例如，拍摄对象为人，确定投影图像中用于表征人眼的像素点的位置，确定第一图像中用于表征人眼的像素点的位置，若两个位置不完全重合，存在偏差，则将第一图像中用于表征人眼的像素点确定为第一异常像素点。

在步骤203中，确定去除第一异常像素点之后的第一图像是否满足预设条件。

在一个实施例中，预设条件限定了像素点的数量范围。基于此，电子设备可以确定去除后的第一图像中的像素点的数量是否满足预设范围。

执行本公开实施例提供的图像处理方法，目的是获取信息准确的深度图像，使用深度图像进行后续图像处理。若第一图像中的像素点的数量过少，则获得的深度图像所包含的深度信息较少，不利于后续图像处理的进行。

基于此，预设条件可以限定数量阈值，若去除后的第一图像中的像素点的数量小于或等于数量阈值，则确定去除后的第一图像满足预设条件，停止从第一图像中去除异常像素点的操作，保证了第一图像所包括的像素点的数量；若去除后的第一图像中的像素点的数量大于数量阈值，则确定去除后的第一图像满足不预设条件，继续执行去除异常像素点的操作，以提高最终获取的深度图像的准确性。

在步骤204中，若去除后的第一图像满足预设条件，则将深度图像确定为第二初始深度图像。

在步骤205中，若去除后的第一图像不满足预设条件，则去除第二图像中的第二异常像素点，第二异常像素点和第一异常像素点用于表征同一结构。

第二异常像素点和第一异常像素点用于表征同一结构，第二异常像素点和第一异常像素点可以称为匹配像素点。

在步骤206中，根据去除后的第一图像和去除后的第二图像中拍摄对象的位姿变化信息，获取第二初始深度图像。

可以参照步骤102部分和步骤201-204部分的介绍，根据去除后的第一图像和去除后的第二图像中拍摄对象的位姿变化信息，获取第二初始深度图像。通过循环执行步骤201-204，直至获取到符合条件时使用的、准确的位姿变化信息，最终获取到信息准确的第二初始深度图像。

在根据第一图像和第二图像中拍摄对象的位姿变化信息，获取第一图像对应的第二初始深度图像的过程中，至少存在以下问题：因在不同坐标系之间进行坐标转换导致的像素位置偏差、因特征匹配点集合选取不准确导致的偏差等，基于存在上述问题，使得所得的第二初始深度图像不够准确。通过执行图2所示的方法，可以获取到信息准确的第二初始深度图像。

本公开实施例提供了一种图像处理方法，利用预测网络获得深度图像，省去了深度相机模组的使用，降低了电子设备的成本，并且在执行本方法时对电子设备的工作环境的要求较低，因此将本方法应用在电子设备中，有利于电子设备的使用和推广。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。

其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。

与前述应用功能实现方法实施例相对应，本公开还提供了应用功能实现装置及相应的实施例。

图3是根据一示例性实施例示出的一种图像处理装置框图，参见图3，所述装置包括：

第一深度图获取模块31，被配置为获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；

第二深度图获取模块32，被配置为根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；

网络调整模块33，被配置为根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；

目标深度图获取模块34，被配置为通过调整后的预测网络获得所述第一图像对应的目标深度图像。

在一个可选的实施例中，在图3所示的图像处理装置的基础上，所述装置还可以包括：

坐标集合获取模块，被配置为获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；

位姿变化信息确定模块，被配置为根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。

在一个可选的实施例中，在图3所示的图像处理装置的基础上，所述第二深度图获取模块32，可以包括：

深度图像获取子模块，被配置为根据所述位姿变化信息，获取所述第一图像对应的深度图像；

异常像素点确定子模块，被配置为根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；

图像判断子模块，被配置为确定去除所述第一异常像素点之后的第一图像是否满足预设条件；

图像确定子模块，被配置为若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。

在一个可选的实施例中，所述第二深度图获取模块32，还可以包括：

异常像素点去除子模块，被配置为若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；

第二初始深度图像获取子模块，被配置为根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。

在一个可选的实施例中，所述图像判断子模块，可以被配置为确定所述去除后的第一图像中的像素点的数量是否满足预设范围。

在一个可选的实施例中，所述异常像素点确定子模块，可以包括：

偏差判断单元，被配置为确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；

异常像素点确定单元，被配置为若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。

在一个可选的实施例中，在图3所示的图像处理装置的基础上，所述装置还可以包括：

异常像素点去除模块，被配置为在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。

图4是根据一示例性实施例示出的一种电子设备1600的结构示意图。例如，电子设备1600可以是用户设备，可以具体为移动电话，计算机，数字广播，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，可穿戴设备如智能手表、智能眼镜、智能手环、智能跑鞋等。

参照图4，电子设备1600可以包括以下一个或多个组件：处理组件1602，存储器1604，电源组件1606，多媒体组件1608，音频组件1610，输入/输出(I/O)的接口1612，传感器组件1614，以及通信组件1616。

处理组件1602通常控制电子设备1600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1602可以包括一个或多个处理器1620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1602可以包括一个或多个模块，便于处理组件1602和其他组件之间的交互。例如，处理组件1602可以包括多媒体模块，以方便多媒体组件1608和处理组件1602之间的交互。

存储器1604被配置为存储各种类型的数据以支持在设备1600的操作。这些数据的示例包括用于在电子设备1600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1606为电子设备1600的各种组件提供电力。电源组件1606可以包括电源管理系统，一个或多个电源，及其他与为电子设备1600生成、管理和分配电力相关联的组件。

多媒体组件1608包括在上述电子设备1600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。上述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与上述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1608包括一个前置摄像头和/或后置摄像头。当设备1600处于操作模式，如调整模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1610被配置为输出和/或输入音频信号。例如，音频组件1610包括一个麦克风(MIC)，当电子设备1600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1604或经由通信组件1616发送。在一些实施例中，音频组件1610还包括一个扬声器，用于输出音频信号。

I/O接口1612为处理组件1602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1614包括一个或多个传感器，用于为电子设备1600提供各个方面的状态评估。例如，传感器组件1614可以检测到设备1600的打开/关闭状态，组件的相对定位，例如上述组件为电子设备1600的显示器和小键盘，传感器组件1614还可以检测电子设备1600或电子设备1600一个组件的位置改变，用户与电子设备1600接触的存在或不存在，电子设备1600方位或加速/减速和电子设备1600的温度变化。传感器组件1614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1616被配置为便于电子设备1600和其他设备之间有线或无线方式的通信。电子设备1600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，上述通信组件1616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种非临时性计算机可读存储介质，例如包括指令的存储器1604，当存储介质中的指令由电子设备1600的处理器1620执行时，使得电子设备1600能够执行图像处理方法，该方法包括：获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；通过调整后的预测网络获得所述第一图像对应的目标深度图像。

所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；

根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；

根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；

通过调整后的预测网络获得所述第一图像对应的目标深度图像；

其中，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，包括：

根据所述位姿变化信息，获取所述第一图像对应的深度图像；

根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；

确定去除所述第一异常像素点之后的第一图像是否满足预设条件，所述预设条件为：去除所述第一异常像素点之后的第一图像中的像素点的数量小于或等于数量阈值；

若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；

根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。

3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，还包括：

若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；

根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。

4.根据权利要求1所述的方法，其特征在于，所述根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，包括：

确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；

若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。

6.一种图像处理装置，其特征在于，所述装置包括：

第一深度图获取模块，被配置为获取通过预测网络获得的第一图像对应的第一初始深度图像，所述预测网络用于预测输入图像对应的深度图像；

第二深度图获取模块，被配置为根据所述第一图像和第二图像中拍摄对象的位姿变化信息，获取所述第一图像对应的第二初始深度图像，所述第一图像和所述第二图像相邻拍摄；

网络调整模块，被配置为根据所述第一初始深度图像和所述第二初始深度图像之间的差异，对所述预测网络的参数进行调整；

目标深度图获取模块，被配置为通过调整后的预测网络获得所述第一图像对应的目标深度图像；

其中，所述第二深度图获取模块，包括：

深度图像获取子模块，被配置为根据所述位姿变化信息，获取所述第一图像对应的深度图像；

异常像素点确定子模块，被配置为根据所述深度图像的投影图像和所述第一图像的像素点位置关系，确定所述第一图像中的第一异常像素点，所述像素点位置关系包括：用于表征同一结构的像素点的位置关系；

图像判断子模块，被配置为确定去除所述第一异常像素点之后的第一图像是否满足预设条件，所述预设条件为：去除所述第一异常像素点之后的第一图像中的像素点的数量小于或等于数量阈值；

图像确定子模块，被配置为若去除后的第一图像满足所述预设条件，则将所述深度图像确定为所述第二初始深度图像。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

坐标集合获取模块，被配置为获取像素点坐标集合，所述像素点坐标集合包括：所述第一图像和所述第二图像中用于表征所述拍摄对象的像素点的坐标；

位姿变化信息确定模块，被配置为根据所述像素点坐标集合，确定所述拍摄对象的位姿变化信息，所述位姿变化信息包括旋转矩阵和平移矩阵。

8.根据权利要求6所述的装置，其特征在于，所述第二深度图获取模块，还包括：

异常像素点去除子模块，被配置为若所述去除后的第一图像不满足所述预设条件，则去除所述第二图像中的第二异常像素点，所述第二异常像素点和第一异常像素点用于表征同一结构；

第二初始深度图像获取子模块，被配置为根据所述去除后的第一图像和去除后的第二图像中所述拍摄对象的位姿变化信息，获取所述第二初始深度图像。

9.根据权利要求6所述的装置，其特征在于，所述异常像素点确定子模块，包括：

偏差判断单元，被配置为确定第一像素点位置与第二像素点位置的偏差是否符合要求，所述第一像素点位置是所述投影图像中用于表征一结构的像素点的位置，所述第二像素点位置是所述第一图像中用于表征所述结构的像素点的位置；

异常像素点确定单元，被配置为若所述偏差不符合所述要求，则将所述第一图像中位于所述第二像素位置处的像素点确定为所述第一异常像素点。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

异常像素点去除模块，被配置为在获取所述第二初始深度图像之后，利用线性回归方法去除所述第二初始深度图像中的第二异常像素点，去除后的第二初始深度图像用于调整所述预测网络。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5中任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现权利要求1-5中任一项所述的方法。