CN108924421B - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括：应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识；所述摄像头驱动根据所述图像采集指令控制摄像头打开；所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用，通过所述可信应用将所述控制指令发送到第一处理单元；所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。上述图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像采集的安全性。

Description

图像处理方法、装置、计算机可读存储介质和电子设备

技术领域

本申请涉及计算机技术领域，特别是涉及图像处理方法、装置、计算机可读存储介质和电子设备。

背景技术

用户可以通过电子设备安装的摄像头拍摄照片、视频等，还可以通过摄像头采集的图像进行支付、解锁等认证操作。电子设备可以安装不同类型的摄像头，摄像头安装的位置也可以不同，然后再控制不同的摄像头来采集图像。例如，在进行支付的时候，可以通过前置摄像头来采集图像；拍照的时候，可以通过后置摄像头来采集图像。

发明内容

本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像采集的安全性。

一种图像处理方法，所述方法包括：

应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型；

所述摄像头驱动根据所述图像采集指令控制摄像头打开；

所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用，通过所述可信应用将所述控制指令发送到第一处理单元；

所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；

通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

一种图像处理装置，所述装置包括：

指令发起模块，用于应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型；

摄像头控制模块，用于所述摄像头驱动根据所述图像采集指令控制摄像头打开；

指令发送模块，用于所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用，通过所述可信应用将所述控制指令发送到第一处理单元；

光发射器控制模块，用于所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；

图像采集模块，用于通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：

应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型；

所述摄像头驱动根据所述图像采集指令控制摄像头打开；

所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用，通过所述可信应用将所述控制指令发送到第一处理单元；

所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；

通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：

应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型；

所述摄像头驱动根据所述图像采集指令控制摄像头打开；

所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用，通过所述可信应用将所述控制指令发送到第一处理单元；

所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；

通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

上述图像处理方法、装置、计算机可读存储介质和电子设备，当应用程序发起图像采集指令之后，可以通过摄像头驱动控制摄像头打开，然后通过安全运行环境中的可信应用发送打开光发射器的控制指令，以使摄像头可以采集光发射器照射时生成的图像。在采集图像时，通过处于安全运行环境中的可信应用来发送打开光发射器的控制指令，可以防止其他恶意进程向光发射器发送控制指令，提高了图像采集过程中的安全性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像处理方法的应用场景图；

图2为一个实施例中图像处理方法的流程图；

图3为另一个实施例中图像处理方法的流程图；

图4为一个实施例中控制光发射器的结构示意图；

图5为一个实施例中获取目标图像的电子设备的结构示意图；

图6为又一个实施例中图像处理方法的流程图；

图7为又一个实施例中图像处理方法的流程图；

图8为一个实施例中计算深度信息的原理图；

图9为一个实施例中实现图像处理方法的硬件结构图；

图10为一个实施例中图像处理装置的结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括电子设备104，电子设备104中可安装摄像头和光发射器，还可以安装若干个应用程序。当应用程序发起图像采集指令时，应用程序将图像采集指令发送到摄像头驱动，摄像头驱动可以根据图像采集指令控制摄像头打开。摄像头驱动根据图像采集指令中包含的类型标识生成控制指令，并将控制指令下发至处于安全运行环境中的可信应用，通过可信应用将控制指令发送到第一处理单元。第一处理单元会根据控制指令中包含的类型标识打开对应的光发射器，然后通过摄像头采集光发射器照射物体时所形成的目标图像。其中，电子设备104可为智能手机、平板电脑、个人数字助理、穿戴式设备等。

图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤210。其中：

步骤202，应用程序发送图像采集指令到摄像头驱动，图像采集指令中包含类型标识，类型标识用于表示应用程序所需采集的目标图像的类型。

电子设备中可安装若干个应用程序，应用程序是指电子设备中针对某种应用目的所撰写的软体，通过应用程序可以实现对用户的需求服务。例如，用户可以通过游戏类应用程序玩游戏，也可以通过支付类应用程序进行交易支付，还可以通过音乐类应用程序播放音乐等。

当应用程序需要采集图像的时候，会发起图像采集指令，电子设备会根据图像采集指令获取图像。图像采集指令是指用于触发图像采集操作的指令。例如，当用户要拍摄的时候，用户可以点击拍照按钮，电子设备识别到拍照按钮被按下时，就会生成图像采集指令，从而调用摄像头采集图像。当用户需要通过人脸进行支付验证的时候，用户可以点击支付按钮，并将脸部对准摄像头进行拍摄，电子设备采集到人脸之后可以进行支付验证。

具体的，应用程序发起的图像采集指令中可以包含发起时刻、类型标识、应用标识等内容，发起时刻是指应用程序发起图像采集指令的时刻，类型标识表示应用程序所需采集的目标图像的类型，应用标识用于标示发起该图像采集指令的应用程序。当电子设备检测到应用程序发起图像采集指令时，可以将图像采集指令发送到摄像头驱动，通过摄像头驱动来控制摄像头的开关。

步骤204，摄像头驱动根据图像采集指令控制摄像头打开。

需要说明的是，摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光摄像头可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头，且安装的位置不做限定。

例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置摄像头可以从电子设备的背面视角获取图像。

图像采集指令发送到摄像头驱动之后，摄像头驱动可以根据图像采集指令控制摄像头打开。具体的，摄像头驱动在接收到图像采集指令之后，会向摄像头输入控制信号，并通过输入的控制信号控制摄像头开启。例如，向摄像头输入一个脉冲波信号，通过输入的脉冲波信号控制摄像头开启。

步骤206，摄像头驱动根据类型标识生成控制指令，并将控制指令下发至处于安全运行环境中的可信应用，通过可信应用将控制指令发送到第一处理单元。

步骤208，第一处理单元根据控制指令中包含的类型标识打开对应的光发射器。

在本申请提供的实施例中，电子设备在打开摄像头采集图像的时候，会同时打开光发射器。光发射器可以发射光线，当光发射器生成的光线照射到物体上时，通过摄像头采集光线照射到物体上所生成的图像。例如，摄像头可以是激光摄像头，光发射器可以激光发射器，激光发射器可以生成激光，通过激光摄像头可以采集激光照射到物体上所形成的红外图像。

具体的，不同类型的光发射器，所发射的光线的类型也不同。例如，光发射器可以包括闪光灯、泛光灯、镭射灯等不同的类型，闪光灯可以生成可见光，泛光灯可以生成激光，镭射灯可以生成激光散斑。其中，激光散斑是激光透过衍射元件衍射所形成的。

应用程序在生成图像采集指令时，会将类型标识写入图像采集指令中，类型标识用于表示采集的图像的类型。采集的图像的类型不同时，打开的光发射器也不同。第一处理单元连接到光发射器，通过第一处理单元来控制光发射器的开关。具体的，第一处理单元可处于安全运行环境中，这样通过第一处理单元来控制光发射器的开关，能保证图像采集的安全性。

需要说明的是，为保证输入的控制指令的安全性，本申请实施例中会将摄像头驱动生成的控制指令通过处于安全运行环境中的可信应用(trusted application，TA)发送给第一处理单元，然后第一处理单元再根据控制指令控制光发射器的开关。具体的，可信应用为处于TEE(Trusted execution environment，可信运行环境)下的CPU(CentralProcessing Unit，中央处理器)内核中的应用，通过可信应用向第一处理单元发送控制指令，可以保证安全性。

第一处理单元在接收到控制指令之后，会根据控制指令打开类型标识对应的光发射器。例如，采集可见光图像时，控制闪光灯打开；采集红外图像时，控制泛光灯打开。

步骤210，通过摄像头采集光发射器照射物体时所形成的目标图像。

光发射器被打开之后会生成光线，光线照射到物体上时，可以通过摄像头采集光线照射到物体时所形成的目标图像。采集到目标图像之后，可以将目标图像进行处理，处理方式不限。例如，可以将采集的目标图像发送给应用程序，也可以通过电子设备的处理单元进行处理，并将处理的结果返回给应用程序。

在一个实施例中，为了保证采集的目标图像的准确性，可以在采集目标图像的时候，获取采集目标图像时的采集时刻，并将采集时刻与发起图像采集指令时的发起时刻进行比较。若上述采集时刻到发起时刻的时间间隔大于间隔阈值，则认为在采集目标图像的过程中产生了延时，即采集目标图像不准确，可以直接将采集的目标图像丢弃。若上述采集时刻到发起时刻的时间间隔小于或等于间隔阈值，则认为采集的目标图像是准确的，可以将采集的目标图像进行处理。

上述实施例提供的图像处理方法，当应用程序发起图像采集指令之后，可以通过摄像头驱动控制摄像头打开，然后通过安全运行环境中的可信应用发送打开光发射器的控制指令，以使摄像头可以采集光发射器照射时生成的图像。在采集图像时，通过处于安全运行环境中的可信应用来发送打开光发射器的控制指令，可以防止其他恶意进程向光发射器发送控制指令，提高了图像采集过程中的安全性。

图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法包括步骤302至步骤320。其中：

步骤302，应用程序发送图像采集指令到摄像头驱动，图像采集指令中包含类型标识和模式标识，类型标识用于表示应用程序所需采集的目标图像的类型。

可以理解的是，应用程序发起的图像采集指令，可以是电子设备在检测到满足条件时自动发起的，也可以是用户手动发起的。例如，电子设备在检测到用户的抬手动作时，自动发起图像采集指令。或者用户可以通过按键的点击操作，触发生成图像采集指令。生成图像采集指令时，可以在图像采集指令中写入类型标识和模式标识，模式标识可表示图像采集指令的安全等级。

具体的，模式标识可包括安全模式和非安全模式，安全模式下采集的图像对运行环境的安全性要求较高，非安全模式下采集的图像对运行环境的安全性要求较低。应用程序将图像采集指令发送到摄像头驱动之后，摄像头驱动可以根据模式标识切换不同的数据通道。不同数据通道的安全性不同，从而通过不同的数据通道来控制摄像头采集图像。

步骤304，摄像头驱动根据图像采集指令控制摄像头打开。

步骤306，若模式标识为安全模式，则摄像头驱动根据类型标识生成控制指令，并将控制指令下发至处于安全运行环境中的可信应用。

在本申请提供的实施例中，电子设备的运行环境可以包括安全运行环境和非安全运行环境。摄像头驱动处于非安全运行环境中，可信应用处于安全运行环境中，通过处于安全运行环境中的可信应用发送控制指令，可保证控制的安全性。例如，非安全运行环境可以是REE(Rich Execution Environment，自然运行环境)，安全运行环境可以是TEE，在REE中运行时的安全性低于在TEE中运行时的安全性。

摄像头驱动可以向第一处理单元发送控制指令，第一处理单元再通过控制指令控制光发射器开启。当图像采集指令中的模式标识为安全模式时，为防止其他恶意程序对光发射器的操作，摄像头驱动可以将控制指令发送到处于安全运行环境中的可信应用，并通过可信应用将控制指令发送给第一处理单元；当图像采集指令中的模式标识为非安全模式时，摄像头驱动可以直接将控制指令发送到第一处理单元。

其中，控制指令可以控制第一处理单元来打开光发射器。具体的，类型标识可以表示所需采集的图像的类型，根据类型标识生成控制指令，根据控制指令中携带的类型标识可以打开对应的光发射器，然后采集类型标识对应的目标图像。例如，类型标识为红外图像时，打开泛光灯，采集泛光灯照射时生成的可见光图像。

步骤308，可信应用通过安全串行外设接口将控制指令发送到第一处理单元。

具体的，第一处理单元可以通过串行外设接口(Serial Peripheral Interface，SPI)和安全串行外设接口(Secuer Serial Peripheral Interface，Secuer SPI)接收控制指令，当检测到图像采集指令中的模式标识为安全模式时，电子设备会将第一处理单元的接口切换到安全串行外设接口，通过上述安全串行外设接口接收可信应用发送的控制指令。当检测到图像采集指令中的模式标识为非安全模式时，会将第一处理单元的接口切换到串行外设接口，并通过串行外设接口接收摄像头驱动发送的控制指令。

步骤310，第一处理单元根据控制指令中包含的类型标识选择对应的控制器，并向控制器输入脉冲宽度调制PWM。

在一个实施例中，第一处理单元连接到控制器，控制器连接到光发射器。当第一处理单元接收到控制指令时，可以根据控制指令中的类型标识选择对应的控制器，然后向控制器输入一个脉冲宽度调制PWM(Pulse Width Modulation)，并通过输入的脉冲宽度调制PWM来控制光发射器开启。

步骤312，通过脉冲宽度调制PWM打开控制器所连接的光发射器。

在本申请的实施例中，光发射器可以包括第一光发射器和/或第二光发射器，采集不同类型的目标图像时，打开的光发射器也不同。具体的，若控制指令中包含的类型标识为第一类型标识，则第一处理单元控制第一光发射器打开；若控制指令中包含的类型标识为第二类型标识或第三类型标识，则第一处理单元控制第二光发射器打开。

上述摄像头可以为激光摄像头，上述第一光发射器可以为泛光灯，第二光发射器可以为镭射灯。具体的，若控制指令中包含的类型标识为第一类型标识，则第一处理单元控制泛光灯打开；若控制指令中包含的类型标识为第二类型标识或第三类型标识，则第一处理单元控制镭射灯打开。

例如，第一类型标识可以为红外图像标识，泛光灯可以生成激光，通过激光摄像头可以采集泛光灯照射时生成的红外图像。第二类型标识可以为散斑图像标识，镭射灯可以生成激光散斑，通过激光摄像头可以采集激光散斑照射时生成的散斑图像。第三类型标识可以为深度图像标识，通过激光摄像头可以采集激光散斑照射时生成的散斑图像，根据散斑图像计算可以得到深度图像。

在一个实施例中，若控制指令中包含的类型标识为第一类型标识，则第一处理单元向第一控制器输入第一脉冲宽度调制PWM，通过第一脉冲宽度调制PWM打开第一控制器所连接的第一光发射器；若控制指令中包含的类型标识为第二类型标识或第三类型标识，则第一处理单元向第二控制器输入第二脉冲宽度调制PWM，通过第二脉冲宽度调制PWM打开第二控制器所连接的第二光发射器。

图4为一个实施例中控制光发射器的结构示意图。如图4所示，第一光发射器可以是泛光灯，第二光发射器可以是镭射灯。第一处理单元可以输入两路脉冲宽度调制PWM，即PWM1和PWM2。当第一处理单元输出PWM1时，可以通过PWM1控制第一控制器，并通过第一控制器控制泛光灯开启。当第一处理单元输出PWM2时，可以通过PWM2控制第二控制器，并通过第二控制器控制镭射灯开启。

步骤314，通过摄像头采集光发射器照射物体时所形成的原始图像，将原始图像发送到第一处理单元。

在一个实施例中，摄像头并不能直接采集到目标图像，而要对采集图像经过一定的处理之后，才能得到目标图像。具体的，首先会通过摄像头采集一张原始图像，然后再将原始图像发送到第一处理单元，第一处理单元再根据原始图像生成目标图像。例如，在使用双摄像头采集图像时，为了保证图像的一致性，需要将两个摄像头采集的图像进行对齐，这样才能保证采集的两张图像是来自同一个拍摄场景。那么这时通过摄像头采集的图像就要经过对齐校准，才能够进行正常的处理。

步骤316，在第一处理单元中根据原始图像获取目标图像。

摄像头采集到原始图像之后，将原始图像返回给第一处理单元，再由第一处理单元根据原始图像获取目标图像。例如，将摄像头采集的红外图像进行对齐校正，将校正之后的红外图像作为目标图像。或者根据摄像头采集的散斑图像计算深度图像，并将该深度图像作为目标图像。

图5为一个实施例中获取目标图像的电子设备的结构示意图。如图5所示，电子设备的运行环境包括REE和TEE。REE下的应用程序发起图像采集指令之后，会将图像采集指令发送到摄像头驱动。摄像头驱动可控制摄像头打开，并根据图像采集指令中的类型标识生成控制指令。摄像头驱动判断图像采集指令中的模式标识为非安全模式时，会将控制指令直接传给第一处理单元，并通过第一处理单元控制光发射器打开，光发射器打开之后通过摄像头采集目标图像。摄像头驱动判断图像采集指令中的模式标识为安全模式时，会将控制指令传给TEE中的可信应用，并通过可信应用将控制指令传给第一处理单元。通过第一处理单元再控制光发射器打开，光发射器打开之后通过摄像头采集目标图像。

步骤318，将目标图像发送给第二处理单元，通过第二处理单元对目标图像进行处理；其中，第一处理单元和第二处理单元都处于安全运行环境中。

在本申请提供的其他实施例中，电子设备中还可以包括第二处理单元，第一处理单元和第二处理单元相连接。其中，第一处理单元可以是MCU(Microcontroller Unit，微控制单元)，第二处理单元可以是CPU(Central Processing Unit，中央处理器)。第一处理单元与光发射器连接，通过第一处理单元控制光发射器的开关。

当图像采集指令中的模式标识为安全模式时，第一处理单元会将目标图像返回给第二处理单元，由第二处理单元对目标图像进行处理。当图像采集指令中的模式标识为非安全模式时，第一处理单元会将目标图像返回给摄像头驱动，由摄像头驱动对目标图像进行处理。

可以理解的是，应用程序所需采集的图像可以是一种或多种类型，比如可以同时采集红外图像和深度图像，或者只采集可见光图像。采集到目标图像之后，对目标图像进行处理。例如，可以根据红外图像和深度图像进行人脸识别处理，根据红外图像进行人脸检测和人脸认证，根据深度图像可以对检测到的人脸进行活体检测，看检测到的人脸是否为活体人脸。

第一处理单元在根据原始图像获取目标图像时，可以获取生成目标图像的时刻作为采集时刻，将采集时刻与发起时刻进行比较。若采集时刻与发起时刻之间的时间间隔小于间隔阈值，则将目标图像发送给第二处理单元。若采集时刻与发起时刻之间的时间间隔大于间隔阈值，说明采集图像的时间有延时，此时采集的图像不准确，则可以直接将图像进行丢弃。

步骤320，第二处理单元将处理结果返回给应用程序。

在一个实施例中，第二处理单元具体可以是处于TEE下的CPU内核，第一处理单元是独立于CPU的处理单元，在安全模式下第一处理单元的输入是由处于安全运行环境下的可信应用控制的，因此第一处理单元和第二处理单元都处于安全运行环境中。当模式标识为安全模式时，由于第二处理单元也处于安全运行环境下，所以第一处理单元会将目标图像发送给第二处理单元。第二处理单元将目标图像处理之后，可以将处理结果发送给应用程序。

第二处理单元还可以将目标图像发送给应用程序，在将目标图像发送给应用程序之前，第二处理单元会判断目标图像的类型，当目标图像的类型为预设图像类型时，第二处理单元才会将目标图像发送给上述应用程序。例如，当目标图像为散斑图像时，第二处理单元不会将该目标图像发送给应用程序；当目标图像为红外图像、深度图像或可见光图像时，第二处理单元才会将该目标图像发送给应用程序。

进一步的，第二处理单元发送目标图像之前，可以将目标图像进行压缩，然后将压缩之后的目标图像发送给应用程序。具体包括：第二处理单元获取应用程序的应用等级，并根据所述应用程序的应用等级获取对应的压缩等级；对所述目标图像进行所述压缩等级对应的压缩处理；将压缩之后的目标图像发送给应用程序。例如，应用程序可以分为系统安全类应用程序、系统非安全类应用程序、第三方安全类应用、第三方非安全类应用，对应的压缩等级可以由高到低。

具体的，如图6所示，采集原始图像的步骤包括：

步骤602，若类型标识为第一类型标识，则控制摄像头采集第一光发射器照射物体时所形成的红外图像，将红外图像发送到第一处理单元。

若类型标识为第一类型标识，则说明应用程序需采集的图像为红外图像。第一处理单元可控制第一光发射器打开，然后通过摄像头采集第一光发射器照射物体时所形成的红外图像。具体的，第一光发射器可以是泛光灯，泛光灯生成的激光照射到物体上时，形成红外图像。

步骤604，若类型标识为第二类型标识或第三类型标识，则控制摄像头采集第二光发射器照射物体时所形成的散斑图像，将散斑图像发送到第一处理单元。

若类型标识为第二类型标识，则说明应用程序需采集的图像为散斑图像；若类型标识为第三类型标识，则说明应用程序需采集的图像为深度图像。由于深度图像也是由采集的散斑图像计算得到的，所以类型标识为第二类型标识或第三类型标识时，第一处理单元就会控制第二光发射器打开，然后通过摄像头采集第二光发射器照射物体时所形成的散斑图像。第二光发射器可以是镭射灯，镭射灯生成的激光散斑照射到物体上时，形成散斑图像。

在一个实施例中，获取目标图像的步骤具体包括：

步骤702，若类型标识为第一类型标识，则在第一处理单元中将红外图像进行校正，并将校正后的红外图像作为目标图像。

电子设备可安装多个摄像头，而多个摄像头的摆放位置不同，那么通过不同的摄像头采集的图像就会形成一定的视差。激光摄像头采集到红外图像之后，为了消除视差的影响，会将红外图像进行校正，使不同的摄像头采集的图像对应到同一个视场范围内。

具体的，激光摄像头采集到红外图像之后，会将红外图像发送到第一处理单元。第一处理单元会根据校正算法将采集到的红外图像进行校正，然后将校正之后的红外图像作为目标图像。

步骤704，若类型标识为第二类型标识，则在第一处理单元中将散斑图像进行校正，并将校正后的散斑图像作为目标图像。

电子设备可以打开镭射灯和激光摄像头，镭射灯形成的激光散斑可以照射到物体上，然后通过激光摄像头来采集的激光散斑照射到物体上所形成的散斑图像。具体的，当激光照射在平均起伏大于波长数量级的光学粗糙表面上时，这些表面上分布的面元散射的子波相互叠加使反射光场具有随机的空间光强分布，呈现出颗粒状的结构，这就是激光散斑。形成的激光散斑中包含若干个激光散斑点，因此通过激光摄像头采集的散斑图中也包含若干个散斑点，例如散斑图像中可包括30000个散斑点。

形成的激光散斑具有高度随机性，因此不同的激光发射器发射出来的激光所生成的激光散斑不同。当形成的激光散斑照射到不同深度和形状的物体上时，生成的散斑图像是不一样的。通过不同的激光发射器形成的激光散斑具有唯一性，从而得到的散斑图像也具有唯一性。

如果应用程序采集的是散斑图像，那么激光摄像头采集到散斑图像之后，会将散斑图像发送给第一处理单元，第一处理单元再将散斑图像进行校正，将校正之后的散斑图像作为目标图像。

步骤706，若类型标识为第三类型标识，则获取第一处理单元中存储的参考图像，并根据散斑图像和参考图像计算得到深度图像，将深度图像进行校正，并将校正后的深度图像作为目标图像。

若应用程序采集的是深度图像，那么第一处理单元在接收到激光摄像头采集的散斑图像之后，会根据散斑图像进行计算得到深度图像。深度图像也要进行视差的校正，然后再将校正后的深度图像作为目标图像。具体的，第一处理单元中会存储一张参考图像，参考图像是在对摄像头进行标定的时候，采集镭射灯照射参考平面时所形成的图像。参考图像中带有参考深度信息，根据参考图像和散斑图像进行计算就可以得到深度图像。

计算深度图像的步骤具体包括：获取第一处理单元中存储的参考图像；将参考图像与散斑图像进行比较得到偏移信息，偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量；根据偏移信息和参考深度信息计算得到深度图像。

图8为一个实施例中计算深度信息的原理图。如图8所示，镭射灯802可以生成激光散斑，激光散斑经过物体进行反射后，通过激光摄像头804获取形成的图像。在摄像头的标定过程中，镭射灯802发射的激光散斑会经过参考平面808进行反射，然后通过激光摄像头804采集反射光线，通过成像平面810成像得到参考图像。参考平面808到镭射灯802的参考深度为L，该参考深度为已知的。在实际计算深度信息的过程中，镭射灯802发射的激光散斑会经过物体806进行反射，再由激光摄像头804采集反射光线，通过成像平面810成像得到实际的散斑图像。则可以得到实际的深度信息的计算公式为：

其中，L是镭射灯802到与参考平面808之间的距离，f为激光摄像头804中透镜的焦距，CD为镭射灯802到激光摄像头804之间的距离，AB为物体806的成像与参考平面808的成像之间的偏移距离。AB可为像素偏移量n与像素点的实际距离p的乘积。当物体806到镭射灯802之间的距离Dis大于参考平面806到镭射灯802之间的距离L时，AB为负值；当物体806到镭射灯802之间的距离Dis小于参考平面806到镭射灯802之间的距离L时，AB为正值。

具体的，上述图像处理方法可以包括：应用程序发送图像采集指令到摄像头驱动，图像采集指令中包含类型标识；摄像头驱动根据图像采集指令控制摄像头打开；摄像头驱动根据类型标识生成控制指令，并将控制指令下发至第一处理单元；第一处理单元根据控制指令中包含的类型标识打开对应的光发射器；通过摄像头采集光发射器照射物体时所形成的原始图像。

上述实施例提供的图像处理方法，当应用程序发起图像采集指令之后，可以通过摄像头驱动控制摄像头打开，然后通过安全运行环境中的可信应用发送打开光发射器的控制指令，以使摄像头可以采集光发射器照射时生成的图像。在采集图像时，通过处于安全运行环境中的可信应用来发送打开光发射器的控制指令，可以防止其他恶意进程向光发射器发送控制指令，提高了图像采集过程中的安全性。

应该理解的是，虽然图2、图3、图6、图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图6、图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图9为一个实施例中实现图像处理方法的硬件结构图。如图9所示，该电子设备中可包括摄像头模组910、中央处理器(CPU)920和微控制单元(MCU)930，上述摄像头模组910中包括激光摄像头912、泛光灯914、RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头916和镭射灯918。微控制单元930包括PWM模块932、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)模块934、RAM(Random Access Memory，随机存取存储器)模块936、Depth Engine模块938。其中，第一处理单元为上述微控制单元930，第二处理单元可为上述处于TEE下的CPU内核。可以理解的是，中央处理器920可以为多核运行模式，中央处理器920中的CPU内核可以在TEE或REE下运行。TEE和REE均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。通常情况下，电子设备中安全性较高的操作行为需要在TEE下执行，其他操作行为则可在REE下执行。

图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括指令发起模块1002、摄像头控制模块1004、指令发送模块1006、光发射器控制模块1008和图像采集模块1010。其中：

指令发起模块1002，用于应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型。

摄像头控制模块1004，用于所述摄像头驱动根据所述图像采集指令控制摄像头打开。

指令发送模块1006，用于所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用，通过所述可信应用将所述控制指令发送到第一处理单元。

光发射器控制模块1008，用于所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器。

图像采集模块1010，用于通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

上述实施例提供的图像处理装置，当应用程序发起图像采集指令之后，可以通过摄像头驱动控制摄像头打开，然后通过安全运行环境中的可信应用发送打开光发射器的控制指令，以使摄像头可以采集光发射器照射时生成的图像。在采集图像时，通过处于安全运行环境中的可信应用来发送打开光发射器的控制指令，可以防止其他恶意进程向光发射器发送控制指令，提高了图像采集过程中的安全性。

在一个实施例中，所述图像采集指令中包含模式标识，指令发送模块1006还用于若所述模式标识为安全模式，则所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用；所述可信应用通过安全串行外设接口将所述控制指令发送到第一处理单元。

在一个实施例中，所述光发射器包括第一光发射器和/或第二光发射器；光发射器控制模块1008还用于若所述控制指令中包含的类型标识为第一类型标识，则所述第一处理单元控制第一光发射器打开；若所述控制指令中包含的类型标识为第二类型标识或第三类型标识，则所述第一处理单元控制第二光发射器打开。

在一个实施例中，光发射器控制模块1008还用于所述第一处理单元根据所述控制指令中包含的类型标识选择对应的控制器，并向所述控制器输入脉冲宽度调制PWM；通过所述脉冲宽度调制PWM打开所述控制器所连接的光发射器。

在一个实施例中，图像采集模块1010还用于通过所述摄像头采集所述光发射器照射物体时所形成的原始图像，将所述原始图像发送到所述第一处理单元；在所述第一处理单元中根据所述原始图像获取目标图像。

在一个实施例中，图像采集模块1010还用于若所述类型标识为第一类型标识，则控制所述摄像头采集所述第一光发射器照射物体时所形成的红外图像，将所述红外图像发送到所述第一处理单元；若所述类型标识为第二类型标识或第三类型标识，则控制所述摄像头采集所述第二光发射器照射物体时所形成的散斑图像，将所述散斑图像发送到所述第一处理单元。

在一个实施例中，图像采集模块1010还用于若所述类型标识为第一类型标识，则在所述第一处理单元中将所述红外图像进行校正，并将校正后的红外图像作为目标图像；若所述类型标识为第二类型标识，则在所述第一处理单元中将所述散斑图像进行校正，并将校正后的散斑图像作为目标图像；若所述类型标识为第三类型标识，则获取所述第一处理单元中存储的参考图像，并根据所述散斑图像和参考图像计算得到深度图像，将所述深度图像进行校正，并将校正后的深度图像作为目标图像。

在一个实施例中，上述图像处理装置1000中还可以包括图像处理模块，图像处理模块用于将所述目标图像发送给第二处理单元，通过所述第二处理单元对目标图像进行处理；其中，所述第一处理单元和第二处理单元都处于安全运行环境中；所述第二处理单元将处理结果返回给所述应用程序。

上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像处理方法。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种图像处理方法，其特征在于，所述方法包括：

应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型；

所述摄像头驱动根据所述图像采集指令控制摄像头打开；所述图像采集指令中包含模式标识；

若所述模式标识为安全模式，则所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用；

所述可信应用通过安全串行外设接口将所述控制指令发送到第一处理单元；

所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；

通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述光发射器包括第一光发射器和/或第二光发射器；

所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器，包括：

若所述控制指令中包含的类型标识为第一类型标识，则所述第一处理单元控制第一光发射器打开；

若所述控制指令中包含的类型标识为第二类型标识或第三类型标识，则所述第一处理单元控制第二光发射器打开。

3.根据权利要求1所述的方法，其特征在于，所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器，包括：

所述第一处理单元根据所述控制指令中包含的类型标识选择对应的控制器，并向所述控制器输入脉冲宽度调制PWM；

通过所述脉冲宽度调制PWM打开所述控制器所连接的光发射器。

4.根据权利要求2所述的方法，其特征在于，所述通过所述摄像头采集所述光发射器照射物体时所形成的目标图像，包括：

通过所述摄像头采集所述光发射器照射物体时所形成的原始图像，将所述原始图像发送到所述第一处理单元；

在所述第一处理单元中根据所述原始图像获取目标图像。

5.根据权利要求4所述的方法，其特征在于，所述通过所述摄像头采集所述光发射器照射物体时所形成的原始图像，将所述原始图像发送到所述第一处理单元，包括：

若所述类型标识为第一类型标识，则控制所述摄像头采集所述第一光发射器照射物体时所形成的红外图像，将所述红外图像发送到所述第一处理单元；

若所述类型标识为第二类型标识或第三类型标识，则控制所述摄像头采集所述第二光发射器照射物体时所形成的散斑图像，将所述散斑图像发送到所述第一处理单元。

6.根据权利要求5所述的方法，其特征在于，所述在所述第一处理单元中根据所述原始图像获取目标图像，包括：

若所述类型标识为第一类型标识，则在所述第一处理单元中将所述红外图像进行校正，并将校正后的红外图像作为目标图像；

若所述类型标识为第二类型标识，则在所述第一处理单元中将所述散斑图像进行校正，并将校正后的散斑图像作为目标图像；

若所述类型标识为第三类型标识，则获取所述第一处理单元中存储的参考图像，并根据所述散斑图像和参考图像计算得到深度图像，将所述深度图像进行校正，并将校正后的深度图像作为目标图像。

7.根据权利要求4所述的方法，其特征在于，所述在所述第一处理单元中根据所述原始图像获取目标图像之后，还包括：

将所述目标图像发送给第二处理单元，通过所述第二处理单元对目标图像进行处理；其中，所述第一处理单元和第二处理单元都处于安全运行环境中；

所述第二处理单元将处理结果返回给所述应用程序。

8.一种图像处理装置，其特征在于，所述装置包括：

指令发起模块，用于应用程序发送图像采集指令到摄像头驱动，所述图像采集指令中包含类型标识，所述类型标识用于表示所述应用程序所需采集的目标图像的类型；

摄像头控制模块，用于所述摄像头驱动根据所述图像采集指令控制摄像头打开；所述图像采集指令中包含模式标识；

指令发送模块，用于若所述模式标识为安全模式，则所述摄像头驱动根据所述类型标识生成控制指令，并将所述控制指令下发至处于安全运行环境中的可信应用；所述可信应用通过安全串行外设接口将所述控制指令发送到第一处理单元；

光发射器控制模块，用于所述第一处理单元根据所述控制指令中包含的类型标识打开对应的光发射器；

图像采集模块，用于通过所述摄像头采集所述光发射器照射物体时所形成的目标图像。

9.根据权利要求8所述的装置，其特征在于，所述光发射器包括第一光发射器和/或第二光发射器；

所述光发射器控制模块，还用于若所述控制指令中包含的类型标识为第一类型标识，则所述第一处理单元控制第一光发射器打开；若所述控制指令中包含的类型标识为第二类型标识或第三类型标识，则所述第一处理单元控制第二光发射器打开。

10.根据权利要求8所述的装置，其特征在于，

所述光发射器控制模块，还用于所述第一处理单元根据所述控制指令中包含的类型标识选择对应的控制器，并向所述控制器输入脉冲宽度调制PWM；通过所述脉冲宽度调制PWM打开所述控制器所连接的光发射器。

11.根据权利要求9所述的装置，其特征在于，

所述图像采集模块，还用于通过所述摄像头采集所述光发射器照射物体时所形成的原始图像，将所述原始图像发送到所述第一处理单元；在所述第一处理单元中根据所述原始图像获取目标图像。

12.根据权利要求11所述的装置，其特征在于，

所述图像采集模块，还用于若所述类型标识为第一类型标识，则控制所述摄像头采集所述第一光发射器照射物体时所形成的红外图像，将所述红外图像发送到所述第一处理单元；若所述类型标识为第二类型标识或第三类型标识，则控制所述摄像头采集所述第二光发射器照射物体时所形成的散斑图像，将所述散斑图像发送到所述第一处理单元。

13.根据权利要求12所述的装置，其特征在于，

所述图像采集模块，还用于若所述类型标识为第一类型标识，则在所述第一处理单元中将所述红外图像进行校正，并将校正后的红外图像作为目标图像；若所述类型标识为第二类型标识，则在所述第一处理单元中将所述散斑图像进行校正，并将校正后的散斑图像作为目标图像；若所述类型标识为第三类型标识，则获取所述第一处理单元中存储的参考图像，并根据所述散斑图像和参考图像计算得到深度图像，将所述深度图像进行校正，并将校正后的深度图像作为目标图像。

14.根据权利要求11所述的装置，其特征在于，还包括：

图像处理模块，用于将所述目标图像发送给第二处理单元，通过所述第二处理单元对目标图像进行处理；其中，所述第一处理单元和第二处理单元都处于安全运行环境中；所述第二处理单元将处理结果返回给所述应用程序。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

16.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的方法。

Images