CN108804895B - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN108804895B
CN108804895B CN201810404509.0A CN201810404509A CN108804895B CN 108804895 B CN108804895 B CN 108804895B CN 201810404509 A CN201810404509 A CN 201810404509A CN 108804895 B CN108804895 B CN 108804895B
Authority
CN
China
Prior art keywords
image
face recognition
acquisition instruction
speckle
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810404509.0A
Other languages
English (en)
Other versions
CN108804895A (zh
Inventor
周海涛
郭子青
欧锦荣
惠方方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810404509.0A priority Critical patent/CN108804895B/zh
Publication of CN108804895A publication Critical patent/CN108804895A/zh
Priority to PCT/CN2019/083260 priority patent/WO2019206020A1/zh
Priority to EP19791784.2A priority patent/EP3624006A4/en
Priority to US16/671,856 priority patent/US11275927B2/en
Application granted granted Critical
Publication of CN108804895B publication Critical patent/CN108804895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/66—Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667—Preventing unauthorised calls from a telephone set
    • H04M1/67—Preventing unauthorised calls from a telephone set by electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括：若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作。上述图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的安全性。

Description

图像处理方法、装置、计算机可读存储介质和电子设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术
由于人脸具有唯一性特征，因此人脸识别技术在智能终端中的应用越来越广泛。智能终端的很多应用程序都会通过人脸进行认证，例如通过人脸进行智能终端的解锁、通过人脸进行支付认证。同时，智能终端还可以对包含人脸的图像进行处理。例如，对人脸特征进行识别，根据人脸表情制作表情包，或者通过人脸特征进行美颜处理等。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的安全性。
一种图像处理方法，包括：
若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；
若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；
根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；
将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作。
一种图像处理装置，包括：
指令检测模块，用于若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；
图像采集模块，用于若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；
人脸识别模块，用于根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；
结果发送模块，用于将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；
若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；
根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；
将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：
若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；
若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；
根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；
将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作。
上述图像处理方法、装置、计算机可读存储介质和电子设备，在检测到图像采集指令时，判断图像采集指令对应的应用操作是否为安全操作。若图像采集指令对应的应用操作为安全操作，则根据图像采集指令采集红外图像和散斑图像。然后在安全运行环境下对采集的图像进行人脸识别处理，并将人脸识别结果发送给目标应用程序。这样就可以保证目标应用程序在进行安全操作的时候，在一个安全性较高的环境下对图像进行处理，从而保证提高图像处理的安全性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图；
图2为一个实施例中图像处理方法的流程图；
图3为另一个实施例中图像处理方法的流程图；
图4为一个实施例中计算深度信息的原理图；
图5为又一个实施例中图像处理方法的流程图；
图6为又一个实施例中图像处理方法的流程图；
图7为一个实施例中实现图像处理方法的硬件结构图；
图8为另一个实施例中实现图像处理方法的硬件结构图；
图9为一个实施例中实现图像处理方法的软件架构示意图；
图10为一个实施例中图像处理装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括电子设备104。电子设备104中可安装摄像头模组，还可以安装若干个应用程序。电子设备104检测到图像采集指令，会判断图像采集指令对应的应用操作是否为安全操作。若图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据图像采集指令采集红外图像和散斑图像102。根据红外图像和散斑图像102获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理。将人脸识别结果发送给发起图像采集指令的目标应用程序，人脸识别结果用于指示目标应用程序执行应用操作。其中，电子设备104可为智能手机、平板电脑、个人数字助理、穿戴式设备等。
图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤208。其中：
步骤202，若检测到图像采集指令，则判断图像采集指令对应的应用操作是否为安全操作。
在一个实施例中，电子设备上可以安装摄像头，并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头，且安装的位置不做限定。例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置摄像头可以从电子设备的背面视角获取图像。
图像采集指令是指用于触发图像采集操作的指令。例如，当用户对智能手机进行解锁的时候，可以通过获取人脸图像进行验证解锁；当用户通过智能手机进行支付的时候，可以人脸图像进行认证。应用操作是指应用程序需要完成的操作，用户打开应用程序后，可以通过应用程序完成不同的应用操作。例如，应用操作可以是支付操作、拍摄操作、解锁操作、游戏操作等。安全性要求比较高的应用操作被认为是安全操作，安全性要求较低的应用操作被认为是非安全操作。
步骤204，若图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据图像采集指令采集红外图像和散斑图像。
电子设备的处理单元可以接收来自上层应用程序的指令，当处理单元接收到图像采集指令时，就可以控制摄像头模组进行工作，通过摄像头采集红外图像和散斑图像。处理单元连接于摄像头，摄像头获取的图像就可以传输给处理单元，并通过处理单元进行裁剪、亮度调节、人脸检测、人脸识别等处理。具体地，摄像头模组中可以但不限于包括激光摄像头、镭射灯和泛光灯。当处理单元接收到图像采集指令时，处理单元会控制镭射灯和泛光灯进行分时工作，当镭射灯开启时，通过激光摄像头采集散斑图像；当泛光灯开启时，通过激光摄像头采集红外图像。
可以理解的是，当激光照射在平均起伏大于波长数量级的光学粗糙表面上时，这些表面上无规分布的面元散射的子波相互叠加使反射光场具有随机的空间光强分布，呈现出颗粒状的结构，这就是激光散斑。形成的激光散斑具有高度随机性，因此不同的激光发射器发射出来的激光所生成的激光散斑不同。当形成的激光散斑照射到不同深度和形状的物体上时，生成的散斑图像是不一样的。通过不同的激光发射器形成的激光散斑具有唯一性，从而得到的散斑图像也具有唯一性。镭射灯形成的激光散斑可以照射到物体上，然后通过激光摄像头来采集的激光散斑照射到物体上所形成的散斑图像。
具体地，电子设备中可包括第一处理单元和第二处理单元，第一处理单元和第二处理单元都运行在安全运行环境中。安全运行环境可以包括第一安全环境和第二安全环境，第一处理单元运行在第一安全环境中，第二处理单元运行在第二安全环境中。第一处理单元和第二处理单元为分布在不同的处理器上处理单元，且处于不同的安全环境下。例如，第一处理单元可以是外置的MCU(Microcontroller Unit，微控制单元)模块，或者DSP(Digital Signal Processing，数字信号处理器)中的安全处理模块，第二处理单元可以是处于TEE(Trust Execution Environment，可信执行环境)下的CPU(Central ProcessingUnit，中央处理器)内核。
电子设备中CPU有2种运行模式：TEE和REE(Rich Execution Environment，自然执行环境)。通常情况下，CPU运行在REE下，但当电子设备需要获取安全级别较高的数据时，例如电子设备需要获取人脸数据进行识别验证时，CPU可由REE切换到TEE进行运行。当电子设备中CPU为单核时，可直接将上述单核由REE切换到TEE；当电子设备中CPU为多核时，电子设备将一个内核由REE切换到TEE，其他内核仍运行在REE中。
步骤206，根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理。
在一个实施例中，目标图像可以包括红外图像和深度图像。目标应用程序发起的图像采集指令可以发给第一处理单元，当第一处理单元检测到图像采集指令对应的应用操作为安全操作时，可以控制摄像头模组采集散斑图图像和红外图像，并根据散斑图像计算深度图像。然后将深度图像和红外图像发送到第二处理单元，第二处理单元根据深度图像和红外图像进行人脸识别处理。
可以理解的是，镭射灯可以发射出若干个激光散斑点，激光散斑点照射到不同距离的物体上时，在图像上所呈现的斑点位置不同。电子设备可以预先采集一个标准的参考图像，参考图像是激光散斑照射到平面上所形成的图像。所以参考图像上的散斑点一般是均匀分布的，然后建立该参考图像中每一个散斑点与参考深度的对应关系。可以理解的是，参考图像上的散斑点还可以不是均匀分布的，在此不做限定。当需要采集散斑图像时，控制镭射灯发出激光散斑，激光散斑照射到物体上之后，通过激光摄像头采集得到散斑图像。然后将散斑图像中的每一个散斑点与参考图像中的散斑点进行比较，获取散斑图像中的散斑点相对于参考图像中对应的散斑点的位置偏移量，并散斑点的位置偏移量与参考深度来获取散斑点对应的实际深度信息。
摄像头采集的红外图像与散斑图像是对应的，散斑图像可以用于计算红外图像中每一个像素点对应的深度信息。这样可以通过红外图像对人脸进行检测和识别，根据散斑图像可以计算得到人脸对应的深度信息。具体地，在根据散斑图像计算深度信息的过程中，首先要根据散斑图像相对与参考图像的散斑点的位置偏移量计算相对深度，相对深度可以表示实际拍摄物体到参考平面的深度信息。然后再根据获取的相对深度和参考深度计算物体的实际深度信息。深度图像用于表示红外图像对应的深度信息，可以是表示的物体到参考平面的相对深度，也可以是物体到摄像头的绝对深度。
人脸识别处理是指对图像所包含的人脸进行识别的处理。具体地，可以首先根据红外图像进行人脸检测处理，提取红外图像中人脸所在的区域，并对提取的人脸进行识别处理，分辨该人脸的身份。深度图像与红外图像是对应的，根据深度图像可以得到人脸对应的深度信息，从而识别人脸是否为活体。根据人脸识别处理，可以对当前采集的人脸的身份进行认证。
步骤208，将人脸识别结果发送给发起图像采集指令的目标应用程序，人脸识别结果用于指示目标应用程序执行应用操作。
第二处理单元可以根据深度图像和红外图像进行人脸识别处理，然后将人脸识别结果发送给发起图像采集指令的目标应用程序。可以理解的是，目标应用程序在生成图像采集指令时，会在图像采集指令中写入目标应用标识、指令发起时刻、采集的图像类型等内容。电子设备在检测到图像采集指令时，根据其中包含的目标应用标识就可以获取对应的目标应用程序。
人脸识别结果中可以包含人脸匹配结果和活体检测结果，人脸匹配结果用于图像中的人脸与预设人脸是否匹配，活体检测结果用于表示图像中包含的人脸是否为活体人脸。目标应用程序可以根据人脸识别结果执行相应的应用操作。例如，根据人脸识别结果进行解锁，当采集的图像中的人脸与预设人脸匹配，且该人脸为活体人脸时，解除电子设备的锁定状态。
上述实施例提供的图像处理方法，在检测到图像采集指令时，判断图像采集指令对应的应用操作是否为安全操作。若图像采集指令对应的应用操作为安全操作，则根据图像采集指令采集红外图像和散斑图像。然后在安全运行环境下对采集的图像进行人脸识别处理，并将人脸识别结果发送给目标应用程序。这样就可以保证目标应用程序在进行安全操作的时候，在一个安全性较高的环境下对图像进行处理，从而保证提高图像处理的安全性。
图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法包括步骤302至步骤318。其中：
步骤302，若检测到图像采集指令，则判断图像采集指令对应的应用操作是否为安全操作。
步骤304，若图像采集指令对应的应用操作为安全操作，则获取图像采集指令中包含的时间戳，时间戳用于表示发起图像采集指令的时刻。
具体地，应用程序在生成图像采集指令时，可以在图像采集指令中写入一个时间戳，该时间戳用于记录应用程序发起该图像采集指令的时刻。当第一处理单元接收到图像采集指令时，第一处理单元可从图像采集指令中获取时间戳，根据该时间戳判断生成该图像采集指令的时刻。例如，当应用程序发起图像采集指令时，应用程序可读取电子设备的时钟所记录的时刻，作为一个时间戳，并将获取的时间戳写入到图像采集指令中。比如在Android系统中就可通过System.currentTimeMillis()函数来获取系统时刻。
步骤306，若时间戳到目标时刻之间的间隔时长小于时长阈值，则控制摄像头模组根据图像采集指令采集红外图像和散斑图像，目标时刻用于表示检测到图像采集指令的时刻。
目标时刻是指电子设备检测到图像采集指令的时刻，具体是第一处理单元检测到图像采集指令的时刻。时间戳到目标时刻之间的间隔时长，具体是指从发起图像采集指令的时刻到电子设备检测到图像采集指令的时刻所间隔的时长。若该间隔时长超过时长阈值，则认为指令的响应异常，就可以停止获取图像，并向应用程序返回异常消息。若间隔时长小于时长阈值，再控制摄像头采集红外图像和散斑图像。
在一个实施例中，摄像头模组是由第一摄像头模组和第二摄像头模组构成的，第一摄像头模组用于采集红外图像，第二摄像头模组用于采集散斑图像。在根据红外图像和散斑图像进行人脸识别的时候，需要保证红外图像和散斑图像是相对应的，那么就需要控制摄像头模组同时采集红外图像和散斑图像。具体地，根据图像采集指令控制第一摄像头模组采集红外图像，并控制第二摄像头模组采集散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。
第一摄像头模组是由泛光灯和激光摄像头构成的，第二摄像头模组是由镭射灯和激光摄像头构成的，第一摄像头模组的激光摄像头和第二摄像头模组的激光摄像头可以是同一个激光摄像头，也可以是不同的激光摄像头，在此不做限定。当第一处理单元接收到图像采集指令的时候，第一处理单元会控制第一摄像头模组和第二摄像头模组进行工作。第一摄像头模组和第二摄像头模组可以并行处理，也可以分时处理，工作的先后顺序不做限定。例如，可以先控制第一摄像头模组采集红外图像，也可以先控制第二摄像头模组采集散斑图像。
可以理解的是，红外图像和散斑图像是对应的，也就必须保证红外图像和散斑图像的一致性。假设第一摄像头模组和第二摄像头模组为分时工作的话，就必须保证采集红外图像和散斑图像的时间间隔非常短。采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。第一阈值一般是一个比较小的值，当时间间隔小于第一阈值时，认为被摄物体没有发生变化，采集的红外图像和散斑图像是对应的。可以理解的是，还可以根据被拍摄物体的变化规律进行调整。被拍摄物体的变化越快，对应获取的第一阈值越小。假设被拍摄物体长时间处于静止状态的话，该第一阈值就可以设置为一个较大的值。具体的，获取被拍摄物体的变化速度，根据该变化速度获取对应的第一阈值。
举例来说，当手机需要通过人脸进行认证解锁时，用户可以点击解锁键发起解锁指令，并将前置摄像头对准脸部进行拍摄。手机会将解锁指令发送到第一处理单元，第一处理单元再控制摄像头进行工作。首先通过第一摄像头模组采集红外图像，间隔1毫秒时间后，再控制第二摄像头模组采集散斑图像，并通过采集的红外图像和散斑图像进行认证解锁。
更进一步地，在第一时刻控制摄像头模组采集红外图像，并在第二时刻控制摄像头模组采集散斑图像；第一时刻与目标时刻之间的时间间隔小于第二阈值；第二时刻与目标时刻之间的时间间隔小于第三阈值。若第一时刻与目标时刻之间的时间间隔小于第二阈值，则控制摄像头模组采集红外图像；若第一时刻与目标时刻之间的时间间隔大于第二阈值，则可向应用程序返回响应超时的提示信息，并等待应用程序重新发起图像采集指令。
摄像头模组采集红外图像之后，第一处理单元可控制摄像头模组采集散斑图像，采集散斑图像的第二时刻与第一时刻之间的时间间隔小于第一阈值，同时第二时刻与目标时刻之间的时间间隔小于第三阈值。若第二时刻与第一时刻之间的时间间隔大于第一阈值，或第二时刻与目标时刻之间的时间间隔大于第三阈值，则可向应用程序返回响应超时的提示信息，并等待应用程序重新发起图像采集指令。可以理解的是，采集散斑图像的第二时刻可以大于采集红外图像的第一时刻，也可以小于采集红外图像的第一时刻，在此不做限定。
具体地，电子设备可分别设置泛光灯控制器和镭射灯控制器，第一处理单元通过两路PWM分别连接泛光灯控制器和镭射灯控制器，当第一处理单元需要控制泛光灯开启或镭射灯开启时，可通过PWM向泛光灯控制器发射脉冲波控制泛光灯开启或向镭射灯控制器发射脉冲波控制镭射灯开启，通过PWM分别向两个控制器发射脉冲波来控制采集红外图像和散斑图像之间的时间间隔。采集到的红外图像和散斑图像之间的时间间隔低于第一阈值，可保证采集到的红外图像和散斑图像的一致性，避免红外图像和散斑图像之间存在较大的误差，提高了对图像处理的准确性。
步骤308，获取参考图像，参考图像为标定得到的带有参考深度信息的图像。
电子设备会预先对激光散斑进行标定得到一张参考图像，并将参考图像存储在电子设备中。一般地，参考图像是将激光散斑照射到一个参考平面而形成的，参考图像也是一张带有若干个散斑点的图像，每个散斑点都有对应的参考深度信息。当需要获取被拍摄物体的深度信息时，就可以将实际采集的散斑图像与参考图像进行比较，并根据实际采集的散斑图像中散斑点的偏移量来计算实际的深度信息。
图4为一个实施例中计算深度信息的原理图。如图4所示，镭射灯402可以生成激光散斑，激光散斑经过物体进行反射后，通过激光摄像头404获取形成的图像。在摄像头的标定过程中，镭射灯402发射的激光散斑会经过参考平面408进行反射，然后通过激光摄像头404采集反射光线，通过成像平面410成像得到参考图像。参考平面408到镭射灯402的参考深度为L，该参考深度为已知的。在实际计算深度信息的过程中，镭射灯402发射的激光散斑会经过物体406进行反射，再由激光摄像头404采集反射光线，通过成像平面410成像得到实际的散斑图像。则可以得到实际的深度信息的计算公式为：
Figure GDA0002655243460000111
其中，L是镭射灯402到与参考平面408之间的距离，f为激光摄像头404中透镜的焦距，CD为镭射灯402到激光摄像头404之间的距离，AB为物体406的成像与参考平面408的成像之间的偏移距离。AB可为像素偏移量n与像素点的实际距离p的乘积。当物体406到镭射灯402之间的距离Dis大于参考平面408到镭射灯402之间的距离L时，AB为负值；当物体406到镭射灯402之间的距离Dis小于参考平面408到镭射灯402之间的距离L时，AB为正值。
步骤310，将参考图像与散斑图像进行比较得到偏移信息，偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量。
具体地，遍历散斑图像中每一个像素点(x,y)，以该像素点为中心，选择一个预设大小像素块。例如，可以是选取31pixel*31pixel大小的像素块。然后在参考图像上搜索相匹配的像素块，计算在参考图像上匹配的像素点的坐标与像素点(x,y)坐标的水平偏移量，向右偏移即为正，向左偏移记为负。再把计算出的水平偏移量带入公式(1)可以得到像素点(x,y)的深度信息。这样依次计算散斑图像中每个像素点的深度信息，就可以得到带有散斑图像中各个像素点所对应的深度信息。
步骤312，根据偏移信息和参考深度信息计算得到深度图像，将深度图像和红外图像作为目标图像。
深度图像可以用于表示红外图像对应的深度信息，深度图像中包含的每一个像素点表示一个深度信息。具体地，参考图像中的每一个散斑点都对应一个参考深度信息，当获取到参考图像中散斑点与散斑图像中散斑点的水平偏移量后，可以根据该水平偏移量计算得到散斑图像中的物体到参考平面的相对深度信息，然后再根据相对深度信息和参考深度信息，就可以计算得到物体到摄像头的实际深度信息，即得到最后的深度图像。
步骤314，在安全运行环境下将目标图像进行校正，得到校正目标图像。
在一个实施例中，获取到红外图像和散斑图像之后，可以根据散斑图像计算得到深度图像。还可以分别将红外图像和深度图像进行校正，得到校正红外图像和校正深度图像。再根据校正红外图像和校正深度图像进行人脸识别处理。对上述红外图像和深度图像分别进行校正，是指校正上述红外图像和深度图像中内外参数。例如，激光摄像头产生偏转，那么获取的红外图像和深度图像就需要对该偏转视差产生的误差进行校正，从而得到标准的红外图像和深度图像。在对上述红外图像校正后可得到校正红外图像，上述深度图像进行校正可得到校正深度图像。具体地，可以根据红外图像计算得到红外视差图像，再根据红外视差图像进行内外参数校正，得到校正红外图像。根据深度图像计算得到深度视差图像，再根据深度视差图像进行内外参数校正，得到校正深度图像。
步骤316，根据校正目标图像进行人脸识别处理。
第一处理单元在获取到深度图像和红外图像之后，可将深度图像和红外图像发送至第二处理单元进行人脸识别处理。第二处理单元在进行人脸识别之前，会将深度图像和红外图像进行校正，得到校正深度图像和校正红外图像，再根据校正深度图像和校正红外图像进行人脸识别处理。人脸识别的过程包括人脸认证阶段和活体检测阶段，人脸认证阶段是指识别人脸身份的过程，活体检测阶段是指识别被拍摄人脸是否为活体的过程。在人脸认证阶段，第二处理单元可以对校正红外图像进行人脸检测，检测校正红外图像中是否存在人脸；若校正红外图像中存在人脸，则提取校正红外图像中包含的人脸图像；再将提取的人脸图像与电子设备中存储的人脸图像进行匹配，若匹配成功，则人脸认证成功。
在对人脸图像进行匹配的时候，可以提取人脸图像的人脸属性特征，在将提取的人脸属性特征与电子设备中存储的人脸图像的人脸属性特征进行匹配，若匹配值超过匹配阈值，则认为人脸认证成功。例如，可以提取人脸图像中人脸的偏转角度、亮度信息、五官特征等特征作为人脸属性特征，若提取的人脸属性特征与存储的人脸属性特征匹配度超过90％，则认为人脸认证成功。
一般地，在对人脸进行认证的过程中，可以根据采集的红外图像认证人脸图像是否与预设的人脸图像匹配。假设拍摄的为照片、雕塑等人脸时，也可能认证成功。因此，可以需要根据采集的深度图像和红外图像进行活体检测处理，这样必须保证采集的是活体的人脸才能认证成功。可以理解的是，采集的红外图像可以表示人脸的细节信息，采集深度图像可以表示红外图像对应的深度信息，根据深度图像和红外图像可以进行活体检测处理。例如，被拍摄的人脸为照片中的人脸的话，根据深度图像就可以判断采集的人脸不是立体的，则可以认为采集的人脸为非活体的人脸。
具体地，根据上述校正深度图像进行活体检测包括：在校正深度图像中查找与上述人脸图像对应的人脸深度信息，若上述深度图像中存在与上述人脸图像对应的人脸深度信息，且上述人脸深度信息符合人脸立体规则，则上述人脸图像为活体人脸图像。上述人脸立体规则是带有人脸三维深度信息的规则。可选地，第二处理单元还可采用人工智能模型对上述校正红外图像和校正深度图像进行人工智能识别，获取上述人脸图像对应的活体属性特征，并根据获取的活体属性特征判断上述人脸图像是否为活体人脸图像。活体属性特征可以包括人脸图像对应的肤质特征、纹理的方向、纹理的密度、纹理的宽度等，若上述活体属性特征符合人脸活体规则，则认为上述人脸图像具有生物活性，即为活体人脸图像。可以理解的是，第二处理单元进行人脸检测、人脸认证、活体检测等处理时，处理顺序可以根据需要进行调换。例如，可以先对人脸进行认证，再检测人脸是否为活体。也可以先检测人脸是否为活体，再对人脸进行认证。
第二处理单元根据红外图像和深度图像进行活体检测的方法具体可以包括：获取连续多帧红外图像和深度图像，根据上述红外图像和深度图像检测人脸是否有对应的深度信息，若人脸有对应的深度信息，再通过连续多帧红外图像和深度图像检测人脸是否有变化，例如人脸是否眨眼、摆动、张嘴等。若检测到人脸存在对应的深度信息且人脸有变化，则判断该人脸为活体人脸。上述第一处理单元在进行人脸识别处理时，若人脸认证未通过则不再进行活体检测，或活体检测未通过则不再进行人脸认证。
步骤318，将人脸识别结果进行加密处理，并将加密处理后的人脸识别结果发送给发起图像采集指令的目标应用程序。
将人脸识别结果进行加密处理，具体的加密算法不做限定。例如，可以是根据DES(Data Encryption Standard，数据加密标准)、MD5(Message-Digest Algorithm 5，信息-摘要算法5)、HAVAL(Diffie-Hellman，密钥交换算法)。在一个实施例中，对人脸识别结果进行加密处理的方法具体可以包括：
步骤502，获取电子设备当前所处的网络环境的网络安全等级。
应用程序在获取图像进行操作的时候，一般需要进行联网操作。例如，对人脸进行支付认证的时候，可以将人脸识别结果发送给应用程序，应用程序再发送给对应的服务器完成相应的支付操作。应用程序在发送人脸识别结果时，需要连接网络，再通过网络将人脸识别结果发送给对应的服务器。因此，在发送人脸识别结果时，可以首先对人脸识别结果进行加密。检测电子设备当前所处的网络环境的网络安全等级，并根据网络安全等级进行加密处理。
步骤504，根据网络安全等级获取加密等级，将人脸识别结果进行加密等级对应的加密处理。
网络安全等级越低，认为网络环境的安全性越低，对应的加密等级越高。电子设备预先建立网络安全等级与加密等级的对应关系，根据网络安全等级可以获取对应的加密等级，并根据加密等级对人脸识别结果进行加密处理。可以根据获取的参考图像对人脸识别结果进行加密处理。人脸识别结果中可包含人脸认证结果、活体检测结果、红外图像、散斑图像和深度图像中的一种或多种。
参考图像是电子设备在对摄像头模组进行标定时采集的散斑图像，由于参考图像具有高度唯一性，不同的电子设备采集的参考图像是不同的。所以参考图像本身就可以作为一个加密的密钥，用来对数据进行加密处理。电子设备可以将参考图像存放在安全环境中，这样可以防止数据泄露。具体地，获取的参考图像是由一个二维的像素矩阵构成的，每一个像素点都有对应的像素值。可以根据参考图像的全部或部分像素点对人脸识别结果进行加密处理。例如，可以将参考图像直接与目标图像进行叠加，得到一张加密图像。也可以目标图像对应的像素矩阵与参考图像对应的像素矩阵进行乘积运算，得到加密图像。还可以取参考图像中某一个或多个像素点对应的像素值作为加密密钥，对目标图像进行加密处理，具体加密算法在本实施例不做限定。
参考图像是在电子设备标定时生成的，则电子设备可以将参考图像预先存储在安全环境中，在需要对人脸识别结果进行加密的时候，可以在安全环境下读取参考图像，并根据参考图像对人脸识别结果进行加密处理。同时，会在目标应用程序对应的服务器上存储一张相同的参考图像，当电子设备将加密处理后的人脸识别结果发送给目标应用程序对应的服务器之后，目标应用程序的服务器获取参考图像，并根据获取的参考图像对加密后的人脸识别结果进行解密处理。
可以理解的是，目标应用程序的服务器中可能会存储多张不同电子设备采集的参考图像，每个电子设备对应的参考图像不同。因此，服务器中可以对每一张参考图像定义一个参考图像标识，并存储电子设备的设备标识，然后建立参考图像标识与设备标识之间的对应关系。当服务器接收到人脸识别结果时，接收到的人脸识别结果会同时携带电子设备的设备标识。服务器就可以根据设备标识查找对应的参考图像标识，并根据参考图像标识找到对应的参考图像，然后根据找到的参考图像对人脸识别结果进行解密处理。
在本申请提供的其他实施例中，根据参考图像进行加密处理的方法具体可以包括：获取参考图像对应的像素矩阵，根据该像素矩阵获取加密密钥；根据加密密钥对人脸识别结果进行加密处理。
具体地，参考图像是由一个二维像素矩阵构成的，由于获取的参考图像是唯一的，因此参考图像对应的像素矩阵也是唯一的。该像素矩阵本身可以作为一个加密密钥对人脸识别结果进行加密，也可以对像素矩阵进行一定的转换得到加密密钥，再通过转换得到的加密密钥对人脸识别结果进行加密处理。举例来说，像素矩阵是一个由多个像素值构成的二维矩阵，每一个像素值在像素矩阵中的位置可以通过一个二维坐标进行表示，则可以通过一个或多个位置坐标获取对应的像素值，并将获取的这一个或多个像素值组合成一个加密密钥。获取到加密密钥之后，可以根据加密密钥对人脸识别结果进行加密处理，具体地加密算法在本实施例中不做限定。例如，可以直接将加密密钥与数据进行叠加或乘积，或者可以将加密密钥作为一个数值插入数据中，得到最终的加密数据。
电子设备还可以对不同的应用程序采用不同的加密算法。具体地，电子设备可以预先建立应用程序的应用标识与加密算法的对应关系，图像采集指令中可包含目标应用程序的目标应用标识。在接收到图像采集指令后，可以获取图像采集指令中包含的目标应用标识，并根据目标应用标识获取对应的加密算法，根据获取的加密算法对人脸识别结果进行加密处理。
在将红外图像、散斑图像和深度图像发送给目标应用程序之前，还可以将红外图像、散斑图像和深度图像的精度进行调整。具体地，上述图像处理方法还可包括：获取红外图像、散斑图像和深度图像中的一种或多种作为待发送图像；获取发起图像采集指令的目标应用程序的应用等级，根据应用等级获取对应的精度等级；根据精度级别调整待发送图像的精度，将调整后的待发送图像发送给目标应用程序。
应用等级可以表示目标应用程序对应的重要等级。一般目标应用程序的应用等级越高，发送的图像的精度越高。电子设备可以预先设置应用程序的应用等级，并建立应用等级与精度等级的对应关系，根据应用等级可以获取对应的精度等级。例如，可以将应用程序分为系统安全类应用程序、系统非安全类应用程序、第三方安全类应用程序、第三方非安全类应用程序等四个应用等级，对应的精度等级逐渐降低。
待发送图像的精度可以表现为图像的分辨率，或者散斑图像中包含的散斑点的个数，这样根据散斑图像得到的深度图像的精度也会不同。具体地，调整图像精度可以包括：根据精度级别调整待发送图像的分辨率；或，根据精度级别调整采集的散斑图像中包含的散斑点的个数。其中，散斑图像中包含的散斑点的个数可以通过软件的方式进行调整，也可以通过硬件的方式进行调整。软件方式调整时，可直接检测采集的散斑图中的散斑点，并将部分散斑点进行合并或消除处理，这样调整后的散斑图中包含的散斑点的数量就减少了。硬件方式调整时，可以调整镭射灯衍射生成的激光散斑点的个数。例如，精度高时，生成的激光散斑点的个数为30000个；精度较低时，生成的激光散斑点的个数为20000个。这样对应计算得到的深度图像的精度就会相应地降低。
具体的，可在镭射灯中预置不同的衍射光学元件(Diffractive OpticalElements，DOE)，其中不同DOE衍射形成的散斑点的个数不同。根据精度级别切换不同的DOE进行衍射生成散斑图像，并根据得到的散斑图像得到不同精度的深度图。当应用程序的应用等级较高时，对应的精度级别也比较高，镭射灯可控制散斑点个数较多的DOE来发射激光散斑，从而获取散斑点个数较多的散斑图像；当应用程序的应用等级较低时，对应的精度级别也比较低，镭射灯可控制散斑点个数较少的DOE来发射激光散斑，从而获取散斑点个数较少的散斑图像。
在上述图像处理方法中，对人脸识别处理的过程还可以包括：
步骤602，获取电子设备当前所处的运行环境。
步骤604，若电子设备当前处于安全运行环境下，则在该安全运行环境下根据目标图像进行人脸识别处理。
电子设备的运行环境包括安全运行环境和普通运行环境。例如，CPU的运行环境可分为TEE和REE，TEE就是一种安全运行环境，REE就是一种非安全运行环境，对于一些安全性要求比较高的应用操作，就需要在安全运行环境中完成。对于一些安全性要求比较低的应用操作，可以在非安全运行环境中进行。
步骤606，若电子设备当前处于非安全运行环境下，则将电子设备从非安全运行环境切换到安全运行环境，在安全运行环境下根据目标图像进行人脸识别处理。
在一个实施例中，电子设备中可包括第一处理单元和第二处理单元，第一处理单元可以是可以MCU处理器，第二处理单元可以是CPU内核。由于MCU处理器是外置于CPU处理器的，因此MCU本身是处于安全环境下的。具体地，若判断图像采集指令对应的应用操作为安全操作，则可以判断第一处理单元是否连接到处于安全运行环境下的第二处理单元。若是，则直接将获取的图像发送给第二处理单元进行处理；若否，则将第一处理单元连接到处于安全运行环境下的第二处理单元，并将获取的图像发送给第二处理单元进行处理。
上述实施例提供的图像处理方法，在检测到图像采集指令时，若判断图像采集指令对应的应用操作为安全操作，则可以根据图像采集指令中包含的时间戳判断指令的响应时间是否超时。如果指令的响应时间没有超时，则根据图像采集指令采集图像。可以在安全运行环境下对采集的图像进行人脸识别处理。然后将人脸识别结果进行加密处理，并将加密处理后的人脸识别结果发送给目标应用程序。这样就可以保证目标应用程序在进行安全操作的时候，在一个安全性较高的环境下对图像进行处理，并在数据传输的过程中通过加密处理来提高数据的安全性，从而保证提高图像处理的安全性。
应该理解的是，虽然图2、图3、图5、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图5、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例中实现图像处理方法的硬件结构图。如图7所示，该电子设备中可包括摄像头模组710、中央处理器(CPU)720和第一处理单元730，上述摄像头模组710中包括激光摄像头712、泛光灯714、RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头716和镭射灯718。第一处理单元730包括PWM(Pulse Width Modulation，脉冲宽度调制)模块732、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)模块734、RAM(Random Access Memory，随机存取存储器)模块736、Depth Engine模块738。其中，第二处理单元722可为处于TEE(Trusted executionenvironment，可信运行环境)下的CPU内核，第一处理单元730为MCU(MicrocontrollerUnit，微控制单元)处理器。可以理解的是，中央处理器720可以为多核运行模式，中央处理器720中的CPU内核可以在TEE或REE(Rich Execution Environment，自然运行环境)下运行。TEE和REE均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。通常情况下，电子设备中安全性较高的操作行为需要在TEE下执行，其他操作行为则可在REE下执行。本申请实施例中，当中央处理器720接收到目标应用程序发起的图像采集指令，TEE下运行的CPU内核即第二处理单元722，会通过SECURE SPI/I2C向MCU730中SPI/I2C模块734发送图像采集指令至第一处理单元730。第一处理单元730在接收到图像采集指令后，若判断图像采集指令对应的应用操作为安全操作，则通过PWM模块732发射脉冲波控制摄像头模组710中泛光灯714开启来采集红外图像、控制摄像头模组710中镭射灯718开启来采集散斑图像。摄像头模组710可将采集到的红外图像和散斑图像传送给第一处理单元730中Depth Engine模块738，Depth Engine模块738可根据红外图像计算红外视差图像，根据散斑图像计算深度图像，并根据深度图像得到深度视差图像。然后将红外视差图像和深度视差图像发送给TEE下运行的第二处理单元722。第二处理单元722会根据红外视差图像进行校正得到校正红外图像，并根据深度视差图像进行校正得到校正深度图像。然后根据校正红外图像进行人脸识别，检测上述校正红外图像中是否存在人脸以及检测到的人脸与存储的人脸是否匹配；若人脸识别通过，再根据上述校正红外图像和校正深度图像来进行活体检测，检测上述人脸是否为活体人脸。在一个实施例中，在获取到校正红外图像和校正深度图像后，可先进行活体检测再进行人脸识别，或同时进行人脸识别和活体检测。在人脸识别通过且检测到的人脸为活体人脸后，第二处理单元722可将上述校正红外图像、校正深度图像以及人脸识别结果中的一种或多种发送给目标应用程序。
图8为另一个实施例中实现图像处理方法的硬件结构图。如图8所示，该硬件结构中包括第一处理单元80、摄像头模组82和第二处理单元84。摄像头模组82中包括激光摄像头820、泛光灯822、RGB摄像头824和镭射灯826。其中，中央处理器中可包括处于TEE下的CPU内核与处于REE下的CPU内核，第一处理单元80为中央处理器中开辟的DSP处理模块，第二处理单元84即为处于TEE下的CPU内核，第二处理单元84和第一处理单元80可以通过一个安全缓冲区(secure buffer)进行连接，这样可以保证图像传输过程中的安全性。通常情况下，中央处理器在处理安全性较高的操作行为时，需要将处理器内核切换到TEE下执行，安全性较低的操作行为则可在REE下执行。本申请实施例中，可通过第二处理单元84接收上层应用发送的图像采集指令，当第二处理单元84接收的图像采集指令对应的应用操作为安全操作时，可通过PWM模块发射脉冲波控制摄像头模组82中泛光灯822开启来采集红外图像，然后控制摄像头模组82中镭射灯826开启来采集散斑图像。摄像头模组82可将采集到的红外图像和散斑图像传送给第一处理单元80中，第一处理单元80可根据散斑图像计算得到深度图像，然后根据深度图像计算得到深度视差图像，并根据红外图像计算得到红外视差图像。然后将红外视差图像和深度视差图像发送给第二处理单元84。第二处理单元84可以根据红外视差图像进行校正得到校正红外图像，并根据深度视差图像进行校正得到校正深度图像。第二处理单元84会根据红外图像进行人脸认证，检测上述校正红外图像中是否存在人脸，以及检测到的人脸与存储的人脸是否匹配；若人脸认证通过，再根据上述校正红外图像和校正深度图像来进行活体检测，判断上述人脸是否为活体人脸。在第二处理单元84进行人脸认证和活体检测处理后，会将处理结果发送给目标应用程序，目标应用程序再根据检测结果进行解锁、支付等应用操作。
图9为一个实施例中实现图像处理方法的软件架构示意图。如图9所示，该软件架构包括应用层910、操作系统920和安全运行环境930。其中，处于安全运行环境930中的模块包括第一处理单元931、摄像头模组932、第二处理单元933和加密模块934等；操作系统930中包含安全管理模块921、人脸管理模块922、摄像头驱动923和摄像头框架924；应用层910中包含应用程序911。应用程序911可以发起图像采集指令，并将图像采集指令发送给第一处理单元931进行处理。例如，在通过采集人脸进行支付、解锁、美颜、增强现实技术(Augmented Reality，AR)等操作时，应用程序会发起采集人脸图像的图像采集指令。可以理解的是，应用程序911发起的图像指令可以首先发送到第二处理单元933，再由第二处理单元933发送给第一处理单元931。
第一处理单元931接收到图像采集指令之后，若判断图像采集指令对应的应用操作为安全操作(如支付、解锁操作)，则会根据图像采集指令控制摄像头模组932采集红外图像和散斑图像，摄像头模组932采集的红外图像和散斑图像传输给第一处理单元931。第一处理单元931根据散斑图像计算得到包含深度信息的深度图像，并根据深度图像计算得到深度视差图像，根据红外图像计算得到红外视差图像。然后通过安全传输通道将深度视差图像和红外视差图像发送给第二处理单元933。第二处理单元933会根据红外视差图像进行校正得到校正红外图像，根据深度视差图像进行校正得到校正深度图像。然后根据校正红外图像进行人脸认证，检测上述校正红外图像中是否存在人脸，以及检测到的人脸与存储的人脸是否匹配；若人脸认证通过，再根据上述校正红外图像和校正深度图像来进行活体检测，判断上述人脸是否为活体人脸。第二处理单元933得到的人脸识别结果可以发送给加密模块934，通过加密模块934进行加密后，将加密后的人脸识别结果发送给安全管理模块921。一般地，不同的应用程序911都有对应的安全管理模块921，安全管理模块921会将加密后的人脸识别结果进行解密处理，并将解密处理后得到的人脸识别结果发送给相应的人脸管理模块922。人脸管理模块922会将人脸识别结果发送给上层的应用程序911，应用程序911再根据人脸识别结果进行相应的操作。
若第一处理单元931接收到的图像采集指令对应的应用操作为非安全操作(如美颜、AR操作)，则第一处理单元931可以控制摄像头模组932采集散斑图像，并根据散斑图像计算深度图像，然后根据深度图像得到深度视差图像。第一处理单元931会通过非安全传输通道将深度视差图像发送给摄像头驱动923，摄像头驱动923再根据深度视差图像进行校正处理得到校正深度图像，然后将校正深度图像发送给摄像头框架924，再由摄像头框架924发送给人脸管理模块922或应用程序911。
图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括指令检测模块1002、图像采集模块1004、人脸识别模块1006和结果发送模块1008。其中：
指令检测模块1002，用于若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作。
图像采集模块1004，用于若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像。
人脸识别模块1006，用于根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理。
结果发送模块1008，用于将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作。
上述实施例提供的图像处理装置，在检测到图像采集指令时，判断图像采集指令对应的应用操作是否为安全操作。若图像采集指令对应的应用操作为安全操作，则根据图像采集指令采集红外图像和散斑图像。然后在安全运行环境下对采集的图像进行人脸识别处理，并将人脸识别结果发送给目标应用程序。这样就可以保证目标应用程序在进行安全操作的时候，在一个安全性较高的环境下对图像进行处理，从而保证提高图像处理的安全性。
在一个实施例中，图像采集模块1004还用于获取所述图像采集指令中包含的时间戳，所述时间戳用于表示发起图像采集指令的时刻；若所述时间戳到目标时刻之间的间隔时长小于时长阈值，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像，所述目标时刻用于表示检测到图像采集指令的时刻。
在一个实施例中，人脸识别模块1006还用于获取参考图像，所述参考图像为标定得到的带有参考深度信息的图像；将所述参考图像与散斑图像进行比较得到偏移信息，所述偏移信息用于表示所述散斑图像中散斑点相对于所述参考图像中对应散斑点的水平偏移量；根据所述偏移信息和参考深度信息计算得到深度图像，将所述深度图像和红外图像作为目标图像。
在一个实施例中，人脸识别模块1006还用于获取电子设备当前所处的运行环境；若电子设备当前处于安全运行环境下，则在所述安全运行环境下根据目标图像进行人脸识别处理；若电子设备当前处于非安全运行环境下，则将电子设备从非安全运行环境切换到安全运行环境，在所述安全运行环境下根据目标图像进行人脸识别处理。
在一个实施例中，人脸识别模块1006还用于在安全运行环境下将目标图像进行校正，得到校正目标图像；根据所述校正目标图像进行人脸识别处理。
在一个实施例中，结果发送模块1008还用于将人脸识别结果进行加密处理，并将加密处理后的人脸识别结果发送给发起所述图像采集指令的目标应用程序。
在一个实施例中，结果发送模块1008还用于获取电子设备当前所处的网络环境的网络安全等级；根据所述网络安全等级获取加密等级，将人脸识别结果进行所述加密等级对应的加密处理。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种图像处理方法，其特征在于，包括：
若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；
若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；
根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；其中，CPU包括两种运行模式：TEE和REE，当电子设备需要获取人脸数据进行识别验证时，CPU由REE切换到TEE进行运行；TEE为可信执行环境，REE为自然执行环境；
将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作；包括：将人脸识别结果进行加密处理，并将加密处理后的人脸识别结果发送给发起所述图像采集指令的目标应用程序；
其中，将摄像头模组进行标定时采集的散斑图像作为参考图像，根据上述参考图像对所述人脸识别结果进行加密处理。
2.根据权利要求1所述的方法，其特征在于，所述控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像，包括：
获取所述图像采集指令中包含的时间戳，所述时间戳用于表示发起图像采集指令的时刻；
若所述时间戳到目标时刻之间的间隔时长小于时长阈值，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像，所述目标时刻用于表示检测到图像采集指令的时刻。
3.根据权利要求1所述的方法，其特征在于，所述根据红外图像和散斑图像获取目标图像，包括：
获取参考图像，所述参考图像为标定得到的带有参考深度信息的图像；
将所述参考图像与散斑图像进行比较得到偏移信息，所述偏移信息用于表示所述散斑图像中散斑点相对于所述参考图像中对应散斑点的水平偏移量；
根据所述偏移信息和参考深度信息计算得到深度图像，将所述深度图像和红外图像作为目标图像。
4.根据权利要求1所述的方法，其特征在于，所述在安全运行环境下根据目标图像进行人脸识别处理，包括：
获取电子设备当前所处的运行环境；
若电子设备当前处于安全运行环境下，则在所述安全运行环境下根据目标图像进行人脸识别处理；
若电子设备当前处于非安全运行环境下，则将电子设备从非安全运行环境切换到安全运行环境，在所述安全运行环境下根据目标图像进行人脸识别处理。
5.根据权利要求1所述的方法，其特征在于，所述在安全运行环境下根据目标图像进行人脸识别处理，包括：
在安全运行环境下将目标图像进行校正，得到校正目标图像；
根据所述校正目标图像进行人脸识别处理。
6.根据权利要求1所述的方法，其特征在于，所述将人脸识别结果进行加密处理，包括：
获取电子设备当前所处的网络环境的网络安全等级；
根据所述网络安全等级获取加密等级，将人脸识别结果进行所述加密等级对应的加密处理。
7.一种图像处理装置，其特征在于，包括：
指令检测模块，用于若检测到图像采集指令，则判断所述图像采集指令对应的应用操作是否为安全操作；
图像采集模块，用于若所述图像采集指令对应的应用操作为安全操作，则控制摄像头模组根据所述图像采集指令采集红外图像和散斑图像；
人脸识别模块，用于根据红外图像和散斑图像获取目标图像，并在安全运行环境下根据目标图像进行人脸识别处理；其中，CPU包括两种运行模式：TEE和REE，当电子设备需要获取人脸数据进行识别验证时，CPU由REE切换到TEE进行运行；TEE为可信执行环境，REE为自然执行环境；
结果发送模块，用于将人脸识别结果发送给发起所述图像采集指令的目标应用程序，所述人脸识别结果用于指示所述目标应用程序执行所述应用操作；包括：将人脸识别结果进行加密处理，并将加密处理后的人脸识别结果发送给发起所述图像采集指令的目标应用程序；
其中，将摄像头模组进行标定时采集的散斑图像作为参考图像，根据上述参考图像对所述人脸识别结果进行加密处理。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的方法。
CN201810404509.0A 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备 Active CN108804895B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810404509.0A CN108804895B (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备
PCT/CN2019/083260 WO2019206020A1 (zh) 2018-04-28 2019-04-18 图像处理方法、装置、计算机可读存储介质和电子设备
EP19791784.2A EP3624006A4 (en) 2018-04-28 2019-04-18 IMAGE PROCESSING, DEVICE, COMPUTER-READABLE STORAGE MEDIA AND ELECTRONIC DEVICE
US16/671,856 US11275927B2 (en) 2018-04-28 2019-11-01 Method and device for processing image, computer readable storage medium and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810404509.0A CN108804895B (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108804895A CN108804895A (zh) 2018-11-13
CN108804895B true CN108804895B (zh) 2021-01-15

Family

ID=64093200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810404509.0A Active CN108804895B (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN108804895B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019206020A1 (zh) 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109284597A (zh) * 2018-11-22 2019-01-29 北京旷视科技有限公司 一种人脸解锁方法、装置、电子设备和计算机可读介质
CN110474874B (zh) * 2019-07-11 2023-02-17 中国银联股份有限公司 数据安全处理终端、系统及方法
CN111091063B (zh) * 2019-11-20 2023-12-29 北京迈格威科技有限公司 活体检测方法、装置及系统
CN112861584B (zh) * 2019-11-27 2024-05-07 深圳市万普拉斯科技有限公司 对象图像处理方法、终端设备及可读存储介质
CN111046365B (zh) * 2019-12-16 2023-05-05 腾讯科技（深圳）有限公司 人脸图像传输方法、数值转移方法、装置及电子设备
CN111597933B (zh) * 2020-04-30 2023-07-14 合肥的卢深视科技有限公司 人脸识别方法和装置
CN112132765A (zh) * 2020-09-28 2020-12-25 北京计算机技术及应用研究所 一种并行视频图像动态范围增强装置及方法
CN112215113A (zh) * 2020-09-30 2021-01-12 张成林 人脸识别方法及装置
CN112633181B (zh) * 2020-12-25 2022-08-12 北京嘀嘀无限科技发展有限公司 数据处理方法、系统、装置、设备和介质
CN113779588B (zh) * 2021-08-12 2023-03-24 荣耀终端有限公司 面部识别方法及装置
CN113626788A (zh) * 2021-10-13 2021-11-09 北京创米智汇物联科技有限公司 数据处理方法、系统及智能安防设备、存储介质
CN114117514B (zh) * 2021-10-29 2022-09-13 香港理工大学深圳研究院 一种基于光学散斑的加密人脸识别方法和系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1737820A (zh) * 2004-06-17 2006-02-22 罗纳德·内维尔·兰福德 验证由软件应用程序识别的图像

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147249B2 (en) * 2012-10-23 2015-09-29 Electronics And Telecommunications Research Institute Apparatus and method for calibrating depth image based on relationship between depth sensor and color camera
CN104239816A (zh) * 2014-09-28 2014-12-24 联想(北京)有限公司 可切换工作状态电子设备及其切换方法
US10764563B2 (en) * 2014-11-13 2020-09-01 Intel Corporation 3D enhanced image correction
CN106331462A (zh) * 2015-06-25 2017-01-11 宇龙计算机通信科技(深圳)有限公司 一种轨迹照片的拍摄方法、装置及移动终端
CN107292283A (zh) * 2017-07-12 2017-10-24 深圳奥比中光科技有限公司 混合人脸识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1737820A (zh) * 2004-06-17 2006-02-22 罗纳德·内维尔·兰福德 验证由软件应用程序识别的图像

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于TrustZone技术的TEE安全方案的研究;郝先林 等;《北京电子科技学院学报》;20160615;第24卷(第2期);38-44 *

Also Published As

Publication number Publication date
CN108804895A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108804895B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108764052B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108549867B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805024B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11275927B2 (en) Method and device for processing image, computer readable storage medium and electronic device
US11256903B2 (en) Image processing method, image processing device, computer readable storage medium and electronic device
CN108668078B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108711054B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019205890A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110248111B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108921903B (zh) 摄像头标定方法、装置、计算机可读存储介质和电子设备
CN108573170B (zh) 信息处理方法和装置、电子设备、计算机可读存储介质
CN109213610B (zh) 数据处理方法、装置、计算机可读存储介质和电子设备
CN111523499B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
WO2019196684A1 (zh) 数据传输方法、装置、计算机可读存储介质、电子设备和移动终端
CN108650472B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108830141A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108985255B (zh) 数据处理方法、装置、计算机可读存储介质和电子设备
CN108712400B (zh) 数据传输方法、装置、计算机可读存储介质和电子设备
WO2019196669A1 (zh) 基于激光的安全验证方法、装置及终端设备
WO2020015403A1 (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108881712B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11308636B2 (en) Method, apparatus, and computer-readable storage medium for obtaining a target image
CN109145772B (zh) 数据处理方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant