CN108668078A - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括：当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；根据所述散斑图像和参考图像计算得到深度图像。上述图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的准确性。

Description

图像处理方法、装置、计算机可读存储介质和电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。

背景技术

智能设备集成的应用越来越广泛，例如用户可以用智能设备进行拍照、支付等操作等。智能设备还可以通过结构光来采集被拍摄物体的深度信息，并根据采集的深度信息进行美颜、解锁、支付等操作。在拍照的过程中，由于长时间的工作，会使得摄像头的温度发生变化。摄像头的温度发生变化后，可能会使摄像头产生形变，也可能影响摄像头本身的拍摄参数，导致拍摄时对图像的处理误差非常大。

发明内容

本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的准确性。

一种图像处理方法，包括：

当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；

检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；

根据所述散斑图像和参考图像计算得到深度图像。

一种图像处理装置，包括：

散斑图像采集模块，用于当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；

参考图像获取模块，用于检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；

深度图像获取模块，用于根据所述散斑图像和参考图像计算得到深度图像。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；

检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；

根据所述散斑图像和参考图像计算得到深度图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：

当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；

检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；

根据所述散斑图像和参考图像计算得到深度图像。

一种图像处理方法，包括：

在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像；

建立所述指定温度和参考图像的对应关系。

一种图像处理装置，包括：

温度控制模块，用于在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

参考图像采集模块，用于在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像；

关系建立模块，用于建立所述指定温度和参考图像的对应关系。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：

在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像；

建立所述指定温度和参考图像的对应关系。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：

在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像；

建立所述指定温度和参考图像的对应关系。

上述图像处理方法、装置、计算机可读存储介质和电子设备。在检测到摄像头模组被打开时，可以控制摄像头模组采集散斑图像。然后检测摄像头模组的温度，根据摄像头模组的温度来获取参考图像。最后根据采集的散斑图像和参考图像进行计算，得到深度图像。这样可以在不同的温度下，获取不同的参考图像。根据不同温度下对应的参考图像来计算深度图像，从而减少温度变化带来的图像误差，提高图像处理的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用场景图；

图2为一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4为一个实施例中计算深度信息的原理图；

图5为又一个实施例中图像处理方法的流程图；

图6为又一个实施例中图像处理方法的流程图；

图7为一个实施例中实现图像处理方法的硬件结构图；

图8为另一个实施例中实现图像处理方法的硬件结构图；

图9为一个实施例中实现图像处理方法的软件架构示意图；

图10为一个实施例中图像处理装置的结构示意图；

图11为另一个实施例中图像处理装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括电子设备104。电子设备104中可安装摄像头模组，还可以安装若干个应用程序。电子设备104检测到图像采集指令，会控制摄像头模组打开。当检测到摄像头模组被打开时，控制摄像头模组采集散斑图像102，散斑图像102是由激光散斑照射到物体上所形成的图像。检测摄像头模组的目标温度，并根据目标温度获取对应的参考图像，参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像。根据散斑图像102和参考图像计算得到深度图像。其中，电子设备104可为智能手机、平板电脑、个人数字助理、穿戴式设备等。

图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤206。其中：

步骤202，当检测到摄像头模组被打开时，控制摄像头模组采集散斑图像，散斑图像是由激光散斑照射到物体上所形成的图像。

在一个实施例中，电子设备上可以安装摄像头，并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头，且安装的位置不做限定。例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置摄像头可以从电子设备的背面视角获取图像。

电子设备的处理单元可以接收来自上层应用程序的指令，当处理单元接收到图像采集指令时，就可以控制摄像头模组进行工作，通过摄像头采集散斑图像。处理单元连接于摄像头，摄像头获取的图像就可以传输给处理单元，并通过处理单元进行裁剪、亮度调节、人脸检测、人脸识别等处理。具体地，摄像头模组中可以但不限于包括激光摄像头和镭射灯。当处理单元接收到图像采集指令时，处理单元会控制镭射灯进行工作，当镭射灯开启时，通过激光摄像头采集散斑图像。

可以理解的是，当激光照射在平均起伏大于波长数量级的光学粗糙表面上时，这些表面上无规分布的面元散射的子波相互叠加使反射光场具有随机的空间光强分布，呈现出颗粒状的结构，这就是激光散斑。形成的激光散斑具有高度随机性，因此不同的激光发射器发射出来的激光所生成的激光散斑不同。当形成的激光散斑照射到不同深度和形状的物体上时，生成的散斑图像是不一样的。通过不同的激光发射器形成的激光散斑具有唯一性，从而得到的散斑图像也具有唯一性。镭射灯形成的激光散斑可以照射到物体上，然后通过激光摄像头来采集的激光散斑照射到物体上所形成的散斑图像。

图像采集指令是指用于触发图像采集操作的指令。例如，当用户对智能手机进行解锁的时候，可以通过获取人脸图像进行验证解锁，则上层应用可以发起图像采集指令，并通过图像采集指令控制摄像头模组来采集图像。具体地，第一处理单元可以接收上层应用程序发起的图像采集指令，当第一处理单元检测到图像采集指令时，会控制摄像头模组开启，然后控制摄像头模组采集散斑图像。摄像头模组采集的散斑图像可以发送给第一处理单元，第一处理单元再根据散斑图像进行处理。

步骤204，检测摄像头模组的目标温度，并根据目标温度获取对应的参考图像，参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像。

在本申请提供的实施例中，镭射灯可以发射出若干个激光散斑点，激光散斑点照射到不同距离的物体上时，在图像上所呈现的斑点位置不同。电子设备可以预先采集一个标准的参考图像，参考图像是激光散斑照射到平面上所形成的图像。所以参考图像上的散斑点一般是均匀分布的，然后建立该参考图像中每一个散斑点与参考深度的对应关系。可以理解的是，参考图像上的散斑点还可以不是均匀分布的，在此不做限定。

电子设备在拍摄的过程中，摄像头模组可能会发热。温度的变化可能会使摄像头模组本身产生形变，也可能导致拍摄参数产生变化，这样采集的参考图像就会发生改变。所以电子设备在采集参考图像的时候，可以控制摄像头模组工作在不同的温度下，然后在不同的温度下通过摄像头采集参考图像。采集到参考图像之后，电子设备会将采集的参考图像与摄像头模组的温度建立对应关系，并将参考图像和摄像头模组的温度对应进行存储。在拍摄图像的时候，会根据摄像头模组的温度来获取对应的参考图像。

步骤206，根据散斑图像和参考图像计算得到深度图像。

当需要获取深度图像时，电子设备会控制镭射灯发出激光散斑。激光散斑照射到物体上之后，通过激光摄像头采集得到散斑图像，并根据散斑图像和参考图像来计算深度图像。具体地，在根据散斑图像计算深度信息的过程中，首先要根据散斑图像相对与参考图像的散斑点的位置偏移量计算相对深度，相对深度可以表示实际拍摄物体到参考平面的深度信息。然后再根据获取的相对深度和参考深度计算物体的实际深度信息。深度图像用于表示红外图像对应的深度信息，可以是表示的物体到参考平面的相对深度，也可以是物体到摄像头的绝对深度。

具体地，可以在第一处理单元中根据散斑图像和参考图像计算得到深度图像，第一处理单元得到深度图像之后，可以直接将深度图像发送给发起图像采集指令的应用程序。也可以将深度图像发送给第二处理单元，第二处理单元再根据深度图像进行下一步处理。第二处理单元处理完之后，再将处理结果发送给发起图像采集指令的应用程序。

上述实施例提供的图像处理方法，在检测到摄像头模组被打开时，可以控制摄像头模组采集散斑图像。然后检测摄像头模组的温度，根据摄像头模组的温度来获取参考图像。最后根据采集的散斑图像和参考图像进行计算，得到深度图像。这样可以在不同的温度下，获取不同的参考图像。根据不同温度下对应的参考图像来计算深度图像，从而减少温度变化带来的图像误差，提高图像处理的准确性。

图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法包括步骤302至步骤314。其中：

步骤302，当第一处理单元检测到图像采集指令时，获取图像采集指令中包含的时间戳，时间戳用于表示发起图像采集指令的时刻。

具体地，电子设备中可包括第一处理单元和第二处理单元，第一处理单元和第二处理单元都运行在安全运行环境中。安全运行环境可以包括第一安全环境和第二安全环境，第一处理单元运行在第一安全环境中，第二处理单元运行在第二安全环境中。第一处理单元和第二处理单元为分布在不同的处理器上处理单元，且处于不同的安全环境下。例如，第一处理单元可以是外置的MCU(Microcontroller Unit，微控制单元)模块，或者DSP(Digital Signal Processing，数字信号处理器)中的安全处理模块，第二处理单元可以是处于TEE(Trust Execution Environment，可信执行环境)下的CPU(Central ProcessingUnit，中央处理器)内核。

电子设备中CPU有2种运行模式：TEE和REE(Rich Execution Environment，自然执行环境)。通常情况下，CPU运行在REE下，但当电子设备需要获取安全级别较高的数据时，例如电子设备需要获取人脸数据进行识别验证时，CPU可由REE切换到TEE进行运行。当电子设备中CPU为单核时，可直接将上述单核由REE切换到TEE；当电子设备中CPU为多核时，电子设备将一个内核由REE切换到TEE，其他内核仍运行在REE中。

应用程序在生成图像采集指令时，可以在图像采集指令中写入一个时间戳，该时间戳用于记录应用程序发起该图像采集指令的时刻。当第一处理单元接收到图像采集指令时，第一处理单元可从图像采集指令中获取时间戳，根据该时间戳判断生成该图像采集指令的时刻。例如，当应用程序发起图像采集指令时，应用程序可读取电子设备的时钟所记录的时刻，作为一个时间戳，并将获取的时间戳写入到图像采集指令中。比如在Android系统中就可通过System.currentTimeMillis()函数来获取系统时刻。

步骤304，若时间戳到目标时刻之间的间隔时长小于时长阈值，则控制摄像头模组打开，目标时刻用于表示检测到图像采集指令的时刻。

目标时刻是指电子设备检测到图像采集指令的时刻，具体是第一处理单元检测到图像采集指令的时刻。时间戳到目标时刻之间的间隔时长，具体是指从发起图像采集指令的时刻到电子设备检测到图像采集指令的时刻所间隔的时长。若该间隔时长超过时长阈值，则认为指令的响应异常，就可以停止获取图像，并向应用程序返回异常消息。若间隔时长小于时长阈值，再控制摄像头采集散斑图像。

步骤306，当检测到摄像头模组被打开时，控制摄像头模组采集散斑图像，散斑图像是由激光散斑照射到物体上所形成的图像。

在一个实施例中，摄像头模组在采集散斑图像的同时，可以采集红外图像。红外图像可以表示被拍摄物体的细节信息，根据散斑图像可以获取被拍摄物体的深度信息。摄像头模组可以是由第一摄像头模组和第二摄像头模组构成的，第一摄像头模组用于采集红外图像，第二摄像头模组用于采集散斑图像。电子设备采集的红外图像和散斑图像是相对应的，那么就需要控制摄像头模组同时采集红外图像和散斑图像。具体地，根据图像采集指令控制第一摄像头模组采集红外图像，并控制第二摄像头模组采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。

第一摄像头模组是由泛光灯和激光摄像头构成的，第二摄像头模组是由镭射灯和激光摄像头构成的，第一摄像头模组的激光摄像头和第二摄像头模组的激光摄像头可以是同一个激光摄像头，也可以是不同的激光摄像头，在此不做限定。当第一处理单元接收到图像采集指令的时候，第一处理单元会控制第一摄像头模组和第二摄像头模组进行工作。第一摄像头模组和第二摄像头模组可以并行处理，也可以分时处理，工作的先后顺序不做限定。例如，可以先控制第一摄像头模组采集红外图像，也可以先控制第二摄像头模组采集散斑图像。

可以理解的是，红外图像和散斑图像是对应的，也就必须保证红外图像和散斑图像的一致性。假设第一摄像头模组和第二摄像头模组为分时工作的话，就必须保证采集红外图像和散斑图像的时间间隔非常短。采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。第一阈值一般是一个比较小的值，当时间间隔小于第一阈值时，认为被摄物体没有发生变化，采集的红外图像和散斑图像是对应的。可以理解的是，还可以根据被拍摄物体的变化规律进行调整。被拍摄物体的变化越快，对应获取的第一阈值越小。假设被拍摄物体长时间处于静止状态的话，该第一阈值就可以设置为一个较大的值。具体的，获取被拍摄物体的变化速度，根据该变化速度获取对应的第一阈值。

举例来说，当手机需要通过人脸进行认证解锁时，用户可以点击解锁键发起解锁指令，并将前置摄像头对准脸部进行拍摄。手机会将解锁指令发送到第一处理单元，第一处理单元再控制摄像头进行工作。首先通过第一摄像头模组采集红外图像，间隔1毫秒时间后，再控制第二摄像头模组采集散斑图像，并通过采集的红外图像和散斑图像进行认证解锁。

更进一步地，在第一时刻控制摄像头模组采集红外图像，并在第二时刻控制摄像头模组采集散斑图像；第一时刻与目标时刻之间的时间间隔小于第二阈值；第二时刻与目标时刻之间的时间间隔小于第三阈值。若第一时刻与目标时刻之间的时间间隔小于第二阈值，则控制摄像头模组采集红外图像；若第一时刻与目标时刻之间的时间间隔大于第二阈值，则可向应用程序返回响应超时的提示信息，并等待应用程序重新发起图像采集指令。

摄像头模组采集红外图像之后，第一处理单元可控制摄像头模组采集散斑图像，采集散斑图像的第二时刻与第一时刻之间的时间间隔小于第一阈值，同事第二时刻与目标时刻之间的时间间隔小于第三阈值。若第二时刻与第一时刻之间的时间间隔大于第一阈值，或第二时刻与目标时刻之间的时间间隔大于第三阈值，则可向应用程序返回响应超时的提示信息，并等待应用程序重新发起图像采集指令。可以理解的是，采集散斑图像的第二时刻可以大于采集红外图像的第一时刻，也可以小于采集红外图像的第一时刻，在此不做限定。

具体地，电子设备可分别设置泛光灯控制器和镭射灯控制器，第一处理单元通过两路PWM(Pulse Width Modulation，脉冲宽度调制)分别连接泛光灯控制器和镭射灯控制器，当第一处理单元需要控制泛光灯开启或镭射灯开启时，可通过PWM向泛光灯控制器发射脉冲波控制泛光灯开启或向镭射灯控制器发射脉冲波控制镭射灯开启，通过PWM分别向两个控制器发射脉冲波来控制采集红外图像和散斑图像之间的时间间隔。采集到的红外图像和散斑图像之间的时间间隔低于第一阈值，可保证采集到的红外图像和散斑图像的一致性，避免红外图像和散斑图像之间存在较大的误差，提高了对图像处理的准确性。

步骤308，第二处理单元获取摄像头模组的目标温度，并将目标温度发送给第一处理单元。

第二处理单元连接于第一处理单元，电子设备可以通过温度传感器来获取摄像头模组在采集散斑图像时的目标温度，并将获取的目标温度发送给第二处理单元。第二处理单元接收到上述目标温度之后，可以直接将目标温度发送给第一处理单元。可以理解的是，当摄像头模组被打开后，摄像头模组一般会持续采集散斑图像。那么采集散斑图像的过程中，电子设备可以在每采集一帧散斑图像时，都通过第二处理单元获取第一摄像头模组的目标温度，并把目标温度发送给第一处理单元。也可以根据获取的目标温度实时检测摄像头模组的温度变化，当摄像头模组的温度变化大于某个值时，再将目标温度发送给第一处理单元。

具体地，第二处理单元可以获取摄像头模组的当前目标温度，并将获取的目标温度与上一次发送给第一处理单元的参考目标温度进行比较，若当前目标温度与上述参考目标温度的温度差值大于温度阈值，则将上述当前目标温度发送给第一处理单元。第一处理单元会根据接收到的当前目标温度，获取对应的参考图像。例如，摄像头模组打开之后，会通过摄像头模组持续的采集散斑图像。在每一次采集散斑图像的时候，温度传感器都会检测摄像头模组的目标温度。假设当前采集的目标温度为20℃(Degree Celsius，摄氏度)，上次一发送给第一处理单元的目标温度为30℃，若温度阈值为5℃。那么当前采集的目标温度与上一次发送给第一处理单元的目标温度的温度差值就为10℃，由于该温度差值超过了上述温度阈值，所以第二处理单元会将当前采集的目标温度20℃发送给第一处理单元。

步骤310，第一处理单元根据目标温度获取对应的参考图像。

在本申请提供的实施例中，在对摄像头模组进行标定的时候，会通过摄像头模组采集一张激光散斑照射到固定深度的物体上所形成的参考图像。以后在拍摄过程中，就可以将采集的到的散斑图像与该参考图像进行比较，计算得到散斑图像对应的深度信息。由于温度会导致摄像头模组产生变化，所以需要控制摄像头模组在不同的温度下来采集参考图像，这样得到的参考图像更准确。具体地，在对摄像头模组进行标定的过程中，控制摄像头模组的温度到达指定温度；在指定温度下控制摄像头模组采集参考图像；建立指定温度和参考图像的对应关系。

电子设备采集的参考图像会存储在第一处理单元中，由于第一处理单元处于安全运行环境下，因此能保证图像处理的安全性。根据目标温度获取参考图像的步骤包括：获取上述目标温度与各个指定温度的差值，获取对应差值最小的指定温度所对应的参考图像。例如，电子设备预先采集的指定温度为30℃、60℃和90℃时的参考图像，若采集的摄像头模组当前的目标温度为25℃，那么该目标温度与上述指定温度的差值就分别为5℃、35℃和65℃。差值最小的指定温度为30℃，那么第一处理单元就获取指定温度为30℃时对应的参考图像。

具体地，获取参考图像的方法具体还可以包括：获取摄像头模组对应的模组标识，根据目标温度和模组标识获取对应的参考图像。电子设备中还可以存储目标温度、模组标识和参考图像的对应关系。模组标识用于唯一标示一个摄像头模组，每一个摄像头模组都唯一对应一个模组标识，根据模组标识可以查找对应的摄像头模组。由于每个摄像头模组都是唯一的，所以不同的摄像头模组获取的参考图像也是不同的。因此在标定的时候，会对采集的参考图像和目标温度、模组标识建立对应关系。

步骤312，将参考图像与散斑图像进行比较得到偏移信息，偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量。

在一个实施例中，遍历散斑图像中每一个像素点(x,y)，以该像素点为中心，选择一个预设大小像素块。例如，可以是选取31pixel*31pixel大小的像素块。然后在参考图像上搜索相匹配的像素块，计算在参考图像上匹配的像素点的坐标与像素点(x,y)坐标的水平偏移量，向右偏移即为正，向左偏移记为负。再把计算出的水平偏移量带入公式(1)可以得到像素点(x,y)的深度信息。这样依次计算散斑图像中每个像素点的深度信息，就可以得到带有散斑图像中各个像素点所对应的深度信息。

步骤314，根据偏移信息和参考深度信息计算得到深度图像。

深度图像可以用于表示被拍摄物体对应的深度信息，深度图像中包含的每一个像素点表示一个深度信息。具体地，参考图像中的每一个散斑点都对应一个参考深度信息，当获取到参考图像中散斑点与散斑图像中散斑点的水平偏移量后，可以根据该水平偏移量计算得到散斑图像中的物体到参考平面的相对深度信息，然后再根据相对深度信息和参考深度信息，就可以计算得到物体到摄像头的实际深度信息，即得到最后的深度图像。

图4为一个实施例中计算深度信息的原理图。如图4所示，镭射灯402可以生成激光散斑，激光散斑经过物体进行反射后，通过激光摄像头404获取形成的图像。在摄像头的标定过程中，镭射灯402发射的激光散斑会经过参考平面408进行反射，然后通过激光摄像头404采集反射光线，通过成像平面410成像得到参考图像。参考平面408到镭射灯402的参考深度为L，该参考深度为已知的。在实际计算深度信息的过程中，镭射灯402发射的激光散斑会经过物体406进行反射，再由激光摄像头404采集反射光线，通过成像平面410成像得到实际的散斑图像。则可以得到实际的深度信息的计算公式为：

其中，L是镭射灯402到与参考平面408之间的距离，f为激光摄像头404中透镜的焦距，CD为镭射灯402到激光摄像头404之间的距离，AB为物体406的成像与参考平面408的成像之间的偏移距离。AB可为像素偏移量n与像素点的实际距离p的乘积。当物体404到镭射灯402之间的距离Dis大于参考平面406到镭射灯402之间的距离L时，AB为负值；当物体404到镭射灯402之间的距离Dis小于参考平面406到镭射灯402之间的距离L时，AB为正值。

在一个实施例中，获取到深度图像之后，还可以将深度图像进行校正，得到校正后的深度图像。对上述深度图像分别进行校正，是指校正上述深度图像中内外参数。例如，摄像头模组中可以通过可见光摄像头获取可见光图像，通过激光摄像头获取散斑图像。由于可见光摄像头和激光摄像头摆放的位置不同，那么为了保证采集的可见光图像和散斑图像是对应的，就需要将采集的可见光图像和散斑图像进行对齐校正。也就是说在采集深度图像时，就需要对该偏转视差产生的误差进行校正，从而得到标准的深度图像。具体地，可以根据深度图像计算得到深度视差图像，再根据深度视差图像进行内外参数校正，得到校正深度图像。

在本申请提供的实施例中，得到深度图像之后，还可以将深度图像发送给上层应用程序，具体地：

步骤502，获取发起图像采集指令的目标应用程序所对应的应用等级，并根据应用等级调整深度图像的精度；

步骤504，将调整后的深度图像发送给目标应用程序。

应用等级可以表示目标应用程序对应的重要等级。一般目标应用程序的应用等级越高，发送的图像的精度越高。电子设备可以预先设置应用程序的应用等级，并建立应用等级与精度等级的对应关系，根据应用等级可以获取对应的精度等级。具体地，获取发起图像采集指令的目标应用程序所对应的应用等级，根据应用等级获取对应的精度等级；根据精度级别调整深度图像的精度，将调整后的深度图像发送给目标应用程序。例如，可以将应用程序分为系统安全类应用程序、系统非安全类应用程序、第三方安全类应用程序、第三方非安全类应用程序等四个应用等级，对应的精度等级逐渐降低。

深度图像的精度可以表现为图像的分辨率，或者散斑图像中包含的散斑点的个数，这样根据散斑图像得到的深度图像的精度也会不同。具体地，调整图像精度可以包括：根据精度级别调整深度图像的分辨率；或，根据精度级别调整采集的散斑图像中包含的散斑点的个数，根据调整后的散斑图像计算调整后的深度图像。其中，散斑图像中包含的散斑点的个数可以通过软件的方式进行调整，也可以通过硬件的方式进行调整。软件方式调整时，可直接检测采集的散斑图中的散斑点，并将部分散斑点进行合并或消除处理，这样调整后的散斑图中包含的散斑点的数量就减少了。硬件方式调整时，可以调整镭射灯衍射生成的激光散斑点的个数。例如，精度高时，生成的激光散斑点的个数为30000个；精度较低时，生成的激光散斑点的个数为20000个。这样对应计算得到的深度图像的精度就会相应地降低。

具体的，可在镭射灯中预置不同的衍射光学元件(Diffractive OpticalElements，DOE)，其中不同DOE衍射形成的散斑点的个数不同。根据精度级别切换不同的DOE进行衍射生成散斑图像，并根据得到的散斑图像得到不同精度的深度图。当应用程序的应用等级较高时，对应的精度级别也比较高，镭射灯可控制散斑点个数较多的DOE来发射激光散斑，从而获取散斑点个数较多的散斑图像；当应用程序的应用等级较低时，对应的精度级别也比较低，镭射灯可控制散斑点个数较少的DOE来发射激光散斑，从而获取散斑点个数较少的散斑图像。

在一个实施例中，将深度图像发送给目标应用程序之前，可以将深度图像进行加密处理，具体的：将深度图像进行加密处理，并将加密处理后的深度图像发送给发起图像采集指令的目标应用程序。将深度图像进行加密处理，具体的加密算法不做限定。例如，可以是根据DES(Data Encryption Standard，数据加密标准)、MD5(Message-Digest Algorithm5，信息-摘要算法5)、HAVAL(Diffie-Hellman，密钥交换算法)。

深度图像进行加密处理的方法具体可以包括：获取电子设备当前所处的网络环境的网络安全等级。；据网络安全等级获取加密等级，将深度图像进行加密等级对应的加密处理。应用程序在获取图像进行操作的时候，一般需要进行联网操作。例如，对人脸进行支付认证的时候，可以将深度图像发送给应用程序，应用程序再发送给对应的服务器完成相应的支付操作。应用程序在发送深度图像时，需要连接网络，再通过网络将深度图像发送给对应的服务器。因此，在发送深度图像时，可以首先对深度图像进行加密。检测电子设备当前所处的网络环境的网络安全等级，并根据网络安全等级进行加密处理。网络安全等级越低，认为网络环境的安全性越低，对应的加密等级越高。电子设备预先建立网络安全等级与加密等级的对应关系，根据网络安全等级可以获取对应的加密等级，并根据加密等级对深度图像进行加密处理。

在本申请提供的实施例中，可以根据获取的参考图像对深度图像进行加密处理。参考图像是电子设备在对摄像头模组进行标定时采集的散斑图像，由于参考图像具有高度唯一性，不同的电子设备采集的参考图像是不同的。所以参考图像本身就可以作为一个加密的密钥，用来对数据进行加密处理。电子设备可以将参考图像存放在安全环境中，这样可以防止数据泄露。具体地，获取的参考图像是由一个二维的像素矩阵构成的，每一个像素点都有对应的像素值。可以根据参考图像的全部或部分像素点对人脸识别结果进行加密处理。例如，可以将参考图像直接与深度图像进行叠加，得到一张加密图像。也可以深度图像对应的像素矩阵与参考图像对应的像素矩阵进行乘积运算，得到加密图像。还可以取参考图像中某一个或多个像素点对应的像素值作为加密密钥，对深度图像进行加密处理，具体加密算法在本实施例不做限定。

参考图像是在电子设备标定时生成的，则电子设备可以将参考图像预先存储在安全运行环境中，在需要对深度图像进行加密的时候，可以在安全运行环境下读取参考图像，并根据参考图像对深度图像进行加密处理。同时，会在目标应用程序对应的服务器上存储一张相同的参考图像，当电子设备将加密处理后的深度图像发送给目标应用程序对应的服务器之后，目标应用程序的服务器获取参考图像，并根据获取的参考图像对加密后的深度图像进行解密处理。

可以理解的是，目标应用程序的服务器中可能会存储多张不同电子设备采集的参考图像，每个电子设备对应的参考图像不同。因此，服务器中可以对每一张参考图像定义一个参考图像标识，并存储电子设备的设备标识，然后建立参考图像标识与设备标识之间的对应关系。当服务器接收到深度图像时，接收到的深度图像会同时携带电子设备的设备标识。服务器就可以根据设备标识查找对应的参考图像标识，并根据参考图像标识找到对应的参考图像，然后根据找到的参考图像对深度图像进行解密处理。

在本申请提供的其他实施例中，根据参考图像进行加密处理的方法具体可以包括：获取参考图像对应的像素矩阵，根据该像素矩阵获取加密密钥；根据加密密钥对深度图像进行加密处理。参考图像是由一个二维像素矩阵构成的，由于获取的参考图像是唯一的，因此参考图像对应的像素矩阵也是唯一的。该像素矩阵本身可以作为一个加密密钥对深度图像进行加密，也可以对像素矩阵进行一定的转换得到加密密钥，再通过转换得到的加密密钥对深度图像进行加密处理。举例来说，像素矩阵是一个由多个像素值构成的二维矩阵，每一个像素值在像素矩阵中的位置可以通过一个二维坐标进行表示，则可以通过一个或多个位置坐标获取对应的像素值，并将获取的这一个或多个像素值组合成一个加密密钥。获取到加密密钥之后，可以根据加密密钥对深度图像进行加密处理，具体地加密算法在本实施例中不做限定。例如，可以直接将加密密钥与数据进行叠加或乘积，或者可以将加密密钥作为一个数值插入数据中，得到最终的加密数据。

电子设备还可以对不同的应用程序采用不同的加密算法。具体地，电子设备可以预先建立应用程序的应用标识与加密算法的对应关系，图像采集指令中可包含目标应用程序的目标应用标识。在接收到图像采集指令后，可以获取图像采集指令中包含的目标应用标识，并根据目标应用标识获取对应的加密算法，根据获取的加密算法对深度图像进行加密处理。

上述实施例提供的图像处理方法，在检测到摄像头模组被打开时，可以控制摄像头模组采集散斑图像。然后检测摄像头模组的温度，根据摄像头模组的温度来获取参考图像。最后根据采集的散斑图像和参考图像进行计算，得到深度图像。这样可以在不同的温度下，获取不同的参考图像。根据不同温度下对应的参考图像来计算深度图像，从而减少温度变化带来的图像误差，提高图像处理的准确性。

图6为又一个实施例中图像处理方法的流程图。如图6所示，该图像处理方法包括步骤602至步骤606。其中：

步骤602，在对摄像头模组进行标定的过程中，控制摄像头模组的温度到达指定温度。

在一个实施例中，在对摄像头模组进行标定的时候，会控制摄像头采集激光散斑照射到固定深度的物体上所形成的参考图像。采集的参考图像中也包含若干个散斑点，由于物体深度是已知的，因此参考图像中各个散斑点的深度也就是已知的。那么在实际使用摄像头模组采集深度的过程中，就可以根据拍摄得到的散斑图像与深度图像的偏差，计算得到散斑图像中各个散斑点对应的深度信息。具体地，由于受到温度的影响，摄像头模组在不同温度下，采集的参考图像可能会不同。因此为保证得到更加精确的深度信息，就需要控制摄像头模组在不同的温度下分别采集对应的参考图像，具体地可以控制摄像头模组的温度到达至少两个指定温度。

在采集参考图像时，是通过镭射灯发射激光散斑，再通过激光摄像头采集激光散斑照射到物体上所形成的图像。镭射灯的工作可以通过一个脉冲波进行控制，这样工作频率越高，镭射灯产生的温度就会越高，从而使得摄像头模组的温度也会升高。因此在标定过程中，可以通过控制镭射灯的工作频率来调节摄像头模组的温度。具体地，控制镭射灯在指定频率下工作，通过在指定频率下工作的镭射灯控制摄像头模组的温度到达指定温度。

在本申请提供的实施例中，第一处理单元与摄像头模组连接，可以通过第一处理单元来控制镭射灯的工作频率。第一处理单元会向镭射灯输入一个脉冲信号，并通过该脉冲信号来控制镭射灯的开关。具体地，控制镭射灯的方法可以包括：通过第一处理单元输出指定频率的脉冲信号，并通过指定频率的脉冲信号控制镭射灯工作。例如，第一处理单元可以通过PWM信号来控制镭射灯的开启和关闭，使得镭射灯在指定频率下工作。

步骤604，在指定温度下控制摄像头模组采集参考图像，参考图像为带有参考深度信息的图像。

步骤606，建立指定温度和参考图像的对应关系。

每获取一次参考图像，电子设备都可以将获取的该参考图像与指定温度建立对应关系。在获取到参考图像之后，电子设备会将参考图像与对应的指定温度进行存储。这样在实际拍摄的过程中，就可以根据摄像头模组的温度来获取对应的参考图像。一般地，为保证图像处理的安全性，电子设备都会在安全运行环境中计算深度图像。因此可以将采集的参考图像及对应的指定温度，存储在处于安全运行环境下的第一处理单元中，这样摄像头模组将散斑图像发送给第一处理单元之后，第一处理单元就可以直接根据散斑图像和参考图像计算得到深度图像。

可以理解的是，由于摄像头模组具有唯一性，所以采集的参考图像也具有唯一性。因此在标定过程中，采集到的参考图像可以与指定温度和模组标识建立对应关系，并一起进行存储。这样即使电子设备中的摄像头模组被损坏了，需要更换摄像头模组的情况下，也能保证获取的参考图像是准确的。电子具体地，获取摄像头模组对应的模组标识，并建立指定温度、模组标识和参考图像的对应关系。

上述实施例提供的图像处理方法，可以在摄像头模组的标定过程中，采集不同温度下对应的参考图像。在获取散斑图像的时候，就可以根据摄像头模组的温度来获取参考图像，最后根据采集的散斑图像和参考图像进行计算，得到深度图像。这样摄像头模组在不同的温度下，可以获取不同的参考图像。根据不同温度下对应的参考图像来计算深度图像，从而减少温度变化带来的图像误差，提高图像处理的准确性。

应该理解的是，虽然图2、图3、图5、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图5、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例中实现图像处理方法的硬件结构图。如图7所示，该电子设备中可包括摄像头模组710、中央处理器(CPU)720和第一处理单元730，上述摄像头模组710中包括激光摄像头712、泛光灯714、RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头716和镭射灯718。第一处理单元730包括PWM(Pulse Width Modulation，脉冲宽度调制)模块732、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)模块734、RAM(Random Access Memory，随机存取存储器)模块736、Depth Engine模块738。其中，第二处理单元722可为处于TEE(Trusted executionenvironment，可信运行环境)下的CPU内核，第一处理单元730为MCU(MicrocontrollerUnit，微控制单元)处理器。可以理解的是，中央处理器720可以为多核运行模式，中央处理器720中的CPU内核可以在TEE或REE(Rich Execution Environment，自然运行环境)下运行。TEE和REE均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。通常情况下，电子设备中安全性较高的操作行为需要在TEE下执行，其他操作行为则可在REE下执行。本申请实施例中，当中央处理器720接收到目标应用程序发起的图像采集指令，TEE下运行的CPU内核即第二处理单元722，会通过SECURE SPI/I2C向MCU730中SPI/I2C模块734发送图像采集指令至第一处理单元730。第一处理单元730在接收到图像采集指令后，通过PWM模块732发射脉冲波控制摄像头模组710中泛光灯714开启来采集红外图像、控制摄像头模组710中镭射灯718开启来采集散斑图像。摄像头模组710可将采集到的红外图像和散斑图像传送给第一处理单元730中Depth Engine模块738，Depth Engine模块738可根据红外图像计算红外视差图像，根据散斑图像和参考图像计算深度图像，并根据深度图像得到深度视差图像。然后将红外视差图像和深度视差图像发送给TEE下运行的第二处理单元722。第二处理单元722会根据红外视差图像进行校正得到校正红外图像，并根据深度视差图像进行校正得到校正深度图像。然后根据校正红外图像进行人脸识别，检测上述校正红外图像中是否存在人脸以及检测到的人脸与存储的人脸是否匹配；若人脸识别通过，再根据上述校正红外图像和校正深度图像来进行活体检测，检测上述人脸是否为活体人脸。在一个实施例中，在获取到校正红外图像和校正深度图像后，可先进行活体检测再进行人脸识别，或同时进行人脸识别和活体检测。在人脸识别通过且检测到的人脸为活体人脸后，第二处理单元722可将上述校正红外图像、校正深度图像以及人脸识别结果中的一种或多种发送给目标应用程序。

图8为另一个实施例中实现图像处理方法的硬件结构图。如图8所示，该硬件结构中包括第一处理单元80、摄像头模组82和第二处理单元84。摄像头模组82中包括激光摄像头820、泛光灯822、RGB摄像头824和镭射灯826。其中，中央处理器中可包括处于TEE下的CPU内核与处于REE下的CPU内核，第一处理单元80为中央处理器中开辟的DSP处理模块，第二处理单元84即为处于TEE下的CPU内核，第二处理单元84和第一处理单元80可以通过一个安全缓冲区(secure buffer)进行连接，这样可以保证图像传输过程中的安全性。通常情况下，中央处理器在处理安全性较高的操作行为时，需要将处理器内核切换到TEE下执行，安全性较低的操作行为则可在REE下执行。本申请实施例中，可通过第二处理单元84接收上层应用发送的图像采集指令，然后通过PWM模块发射脉冲波控制摄像头模组82中泛光灯822开启来采集红外图像，然后控制摄像头模组82中镭射灯826开启来采集散斑图像。摄像头模组82可将采集到的红外图像和散斑图像传送给第一处理单元80中，第一处理单元80中可存储参考图像，然后根据散斑图像和参考图像计算得到深度图像，根据深度图像计算得到深度视差图像，并根据红外图像计算得到红外视差图像。然后将红外视差图像和深度视差图像发送给第二处理单元84。第二处理单元84可以根据红外视差图像进行校正得到校正红外图像，并根据深度视差图像进行校正得到校正深度图像。第二处理单元84会根据红外图像进行人脸认证，检测上述校正红外图像中是否存在人脸，以及检测到的人脸与存储的人脸是否匹配；若人脸认证通过，再根据上述校正红外图像和校正深度图像来进行活体检测，判断上述人脸是否为活体人脸。在第二处理单元84进行人脸认证和活体检测处理后，会将处理结果发送给目标应用程序，目标应用程序再根据检测结果进行解锁、支付等应用操作。

图9为一个实施例中实现图像处理方法的软件架构示意图。如图9所示，该软件架构包括应用层910、操作系统920和安全运行环境930。其中，处于安全运行环境930中的模块包括第一处理单元931、摄像头模组932、第二处理单元933和加密模块934等；操作系统930中包含安全管理模块921、人脸管理模块922、摄像头驱动923和摄像头框架924；应用层910中包含应用程序911。应用程序911可以发起图像采集指令，并将图像采集指令发送给第一处理单元931进行处理。例如，在通过采集人脸进行支付、解锁、美颜、增强现实技术(Augmented Reality，AR)等操作时，应用程序会发起采集人脸图像的图像采集指令。可以理解的是，应用程序911发起的图像指令可以首先发送到第二处理单元933，再由第二处理单元933发送给第一处理单元931。

第一处理单元931接收到图像采集指令之后，会根据图像采集指令控制摄像头模组932采集红外图像和散斑图像，摄像头模组932采集的红外图像和散斑图像传输给第一处理单元931。第一处理单元931中存储参考图像，根据散斑图像和参考图像可以计算得到包含深度信息的深度图像，并根据深度图像计算得到深度视差图像，根据红外图像计算得到红外视差图像。然后通过安全传输通道将深度视差图像和红外视差图像发送给第二处理单元933。第二处理单元933会根据红外视差图像进行校正得到校正红外图像，根据深度视差图像进行校正得到校正深度图像。然后根据校正红外图像进行人脸认证，检测上述校正红外图像中是否存在人脸，以及检测到的人脸与存储的人脸是否匹配；若人脸认证通过，再根据上述校正红外图像和校正深度图像来进行活体检测，判断上述人脸是否为活体人脸。第二处理单元933得到的人脸识别结果可以发送给加密模块934，通过加密模块934进行加密后，将加密后的人脸识别结果发送给安全管理模块921。一般地，不同的应用程序911都有对应的安全管理模块921，安全管理模块921会将加密后的人脸识别结果进行解密处理，并将解密处理后得到的人脸识别结果发送给相应的人脸管理模块922。人脸管理模块922会将人脸识别结果发送给上层的应用程序911，应用程序911再根据人脸识别结果进行相应的操作。

若第一处理单元931接收到的图像采集指令对应的应用操作为非安全操作(如美颜、AR操作)，则第一处理单元931可以控制摄像头模组932采集散斑图像，并根据散斑图像和参考图像计算得到深度图像，然后根据深度图像得到深度视差图像。第一处理单元931会通过非安全传输通道将深度视差图像发送给摄像头驱动923，摄像头驱动923再根据深度视差图像进行校正处理得到校正深度图像，然后将校正深度图像发送给摄像头框架924，再由摄像头框架924发送给人脸管理模块922或应用程序911。

图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括散斑图像采集模块1002、参考图像获取模块1004和深度图像获取模块1006。其中：

散斑图像采集模块1002，用于当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像。

参考图像获取模块1004，用于检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像。

深度图像获取模块1006，用于根据所述散斑图像和参考图像计算得到深度图像。

上述实施例提供的图像处理装置。在检测到摄像头模组被打开时，可以控制摄像头模组采集散斑图像。然后检测摄像头模组的温度，根据摄像头模组的温度来获取参考图像。最后根据采集的散斑图像和参考图像进行计算，得到深度图像。这样可以在不同的温度下，获取不同的参考图像。根据不同温度下对应的参考图像来计算深度图像，从而减少温度变化带来的图像误差，提高图像处理的准确性。

在一个实施例中，散斑图像采集模块1002还用于当第一处理单元检测到图像采集指令时，获取所述图像采集指令中包含的时间戳，所述时间戳用于表示发起图像采集指令的时刻；若所述时间戳到目标时刻之间的间隔时长小于时长阈值，则控制摄像头模组打开，所述目标时刻用于表示检测到图像采集指令的时刻。

在一个实施例中，参考图像获取模块1004还用于在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；在所述指定温度下控制所述摄像头模组采集参考图像；建立所述指定温度和参考图像的对应关系；获取所述目标温度与各个指定温度的差值，获取所述差值最小的指定温度所对应的参考图像。

在一个实施例中，参考图像获取模块1004还用于第二处理单元获取所述摄像头模组的目标温度，并将所述目标温度发送给第一处理单元；所述第一处理单元根据所述目标温度获取对应的参考图像。

在一个实施例中，参考图像获取模块1004还用于获取所述摄像头模组对应的模组标识，根据所述目标温度和模组标识获取对应的参考图像。

在一个实施例中，深度图像获取模块1006还用于将所述参考图像与散斑图像进行比较得到偏移信息，所述偏移信息用于表示所述散斑图像中散斑点相对于所述参考图像中对应散斑点的水平偏移量；根据所述偏移信息和参考深度信息计算得到深度图像。

在一个实施例中，深度图像获取模块1006还用于获取发起图像采集指令的目标应用程序所对应的应用等级，并根据所述应用等级调整所述深度图像的精度；将调整后的深度图像发送给所述目标应用程序。

图11为另一个实施例中图像处理装置的结构示意图。如图11所示，该图像处理装置1100包括温度控制模块1102、参考图像采集模块1104和关系建立模块1106。其中：

温度控制模块1102，用于在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度。

参考图像采集模块1104，用于在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像。

关系建立模块1106，用于建立所述指定温度和参考图像的对应关系。

上述实施例提供的图像处理装置，可以在摄像头模组的标定过程中，采集不同温度下对应的参考图像。在获取散斑图像的时候，就可以根据摄像头模组的温度来获取参考图像，最后根据采集的散斑图像和参考图像进行计算，得到深度图像。这样摄像头模组在不同的温度下，可以获取不同的参考图像。根据不同温度下对应的参考图像来计算深度图像，从而减少温度变化带来的图像误差，提高图像处理的准确性。

在一个实施例中，温度控制模块1102还用于控制镭射灯在指定频率下工作，通过在所述指定频率下工作的镭射灯控制所述摄像头模组的温度到达指定温度。

在一个实施例中，温度控制模块1102还用于通过第一处理单元输出指定频率的脉冲信号，并通过所述指定频率的脉冲信号控制镭射灯工作。

在一个实施例中，关系建立模块1106还用于获取所述摄像头模组对应的模组标识，并建立所述指定温度、模组标识和参考图像的对应关系。

在一个实施例中，关系建立模块1106还用于将采集的参考图像及对应的指定温度，存储在处于安全运行环境下的第一处理单元中。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；

检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；

根据所述散斑图像和参考图像计算得到深度图像。

2.根据权利要求1所述的方法，其特征在于，所述当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像之前，还包括：

在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

在所述指定温度下控制所述摄像头模组采集参考图像；

建立所述指定温度和参考图像的对应关系；

所述根据所述目标温度获取对应的参考图像，包括：

获取所述目标温度与各个指定温度的差值，获取所述差值最小的指定温度所对应的参考图像。

3.根据权利要求1所述的方法，其特征在于，所述当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像之前，还包括：

当第一处理单元检测到图像采集指令时，获取所述图像采集指令中包含的时间戳，所述时间戳用于表示发起图像采集指令的时刻；

若所述时间戳到目标时刻之间的间隔时长小于时长阈值，则控制摄像头模组打开，所述目标时刻用于表示检测到图像采集指令的时刻。

4.根据权利要求1所述的方法，其特征在于，所述检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，包括：

第二处理单元获取所述摄像头模组的目标温度，并将所述目标温度发送给第一处理单元；

所述第一处理单元根据所述目标温度获取对应的参考图像。

5.根据权利要求1所述的方法，其特征在于，所述根据所述目标温度获取对应的参考图像，包括：

获取所述摄像头模组对应的模组标识，根据所述目标温度和模组标识获取对应的参考图像。

6.根据权利要求1所述的方法，其特征在于，所述根据所述散斑图像和参考图像计算得到深度图像，包括：

将所述参考图像与散斑图像进行比较得到偏移信息，所述偏移信息用于表示所述散斑图像中散斑点相对于所述参考图像中对应散斑点的水平偏移量；

根据所述偏移信息和参考深度信息计算得到深度图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：

获取发起图像采集指令的目标应用程序所对应的应用等级，并根据所述应用等级调整所述深度图像的精度；

将调整后的深度图像发送给所述目标应用程序。

8.一种图像处理装置，其特征在于，包括：

散斑图像采集模块，用于当检测到摄像头模组被打开时，控制所述摄像头模组采集散斑图像，所述散斑图像是由激光散斑照射到物体上所形成的图像；

参考图像获取模块，用于检测所述摄像头模组的目标温度，并根据所述目标温度获取对应的参考图像，所述参考图像是在对摄像头模组进行标定时采集到的带有参考深度信息的图像；

深度图像获取模块，用于根据所述散斑图像和参考图像计算得到深度图像。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法。

11.一种图像处理方法，其特征在于，包括：

在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像；

建立所述指定温度和参考图像的对应关系。

12.根据权利要求11所述的方法，其特征在于，所述控制所述摄像头模组的温度到达指定温度，包括：

控制镭射灯在指定频率下工作，通过在所述指定频率下工作的镭射灯控制所述摄像头模组的温度到达指定温度。

13.根据权利要求12所述的方法，其特征在于，所述控制镭射灯在指定频率下工作，包括：

通过第一处理单元输出指定频率的脉冲信号，并通过所述指定频率的脉冲信号控制镭射灯工作。

14.根据权利要求11所述的方法，其特征在于，所述建立所述指定温度和参考图像的对应关系，包括：

获取所述摄像头模组对应的模组标识，并建立所述指定温度、模组标识和参考图像的对应关系。

15.根据权利要求11至14中任一项所述的方法，其特征在于，所述方法还包括：

将采集的参考图像及对应的指定温度，存储在处于安全运行环境下的第一处理单元中。

16.一种图像处理装置，其特征在于，包括：

温度控制模块，用于在对摄像头模组进行标定的过程中，控制所述摄像头模组的温度到达指定温度；

参考图像采集模块，用于在所述指定温度下控制所述摄像头模组采集参考图像，所述参考图像为带有参考深度信息的图像；

关系建立模块，用于建立所述指定温度和参考图像的对应关系。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求11至15中任一项所述的方法。

18.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求11至15中任一项所述的方法。