CN108764052B - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质和电子设备 Download PDF

Info

Publication number
CN108764052B
CN108764052B CN201810404505.2A CN201810404505A CN108764052B CN 108764052 B CN108764052 B CN 108764052B CN 201810404505 A CN201810404505 A CN 201810404505A CN 108764052 B CN108764052 B CN 108764052B
Authority
CN
China
Prior art keywords
target
image
face
depth
living body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810404505.2A
Other languages
English (en)
Other versions
CN108764052A (zh
Inventor
郭子青
周海涛
欧锦荣
惠方方
谭筱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810404505.2A priority Critical patent/CN108764052B/zh
Publication of CN108764052A publication Critical patent/CN108764052A/zh
Priority to PCT/CN2019/070845 priority patent/WO2019205742A1/zh
Priority to US16/393,778 priority patent/US10771689B2/en
Priority to EP19171189.4A priority patent/EP3561724A1/en
Priority to TW108114617A priority patent/TWI736883B/zh
Application granted granted Critical
Publication of CN108764052B publication Critical patent/CN108764052B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Abstract

本申请涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。所述方法包括：获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；根据所述活体检测结果得到人脸验证结果。上述图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的准确性。

Description

图像处理方法、装置、计算机可读存储介质和电子设备
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。
背景技术
由于人脸具有唯一性特征，因此人脸识别技术在智能终端中的应用越来越广泛。智能终端的很多应用程序都会通过人脸进行认证，例如通过人脸进行智能终端的解锁、通过人脸进行支付认证。同时，智能终端还可以对包含人脸的图像进行处理。例如，对人脸特征进行识别，根据人脸表情制作表情包，或者通过人脸特征进行美颜处理等。
发明内容
本申请实施例提供一种图像处理方法、装置、计算机可读存储介质和电子设备，可以提高图像处理的准确率。
一种图像处理方法，包括：
获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；
获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；
若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；
根据所述活体检测结果得到人脸验证结果。
一种图像处理装置，包括：
人脸检测模块，用于获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；
人脸匹配模块，用于获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；
活体检测模块，用于若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；
人脸验证模块，用于根据所述活体检测结果得到人脸验证结果。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如下步骤：
获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；
获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；
若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；
根据所述活体检测结果得到人脸验证结果。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如下步骤：
获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；
获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；
若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；
根据所述活体检测结果得到人脸验证结果。
上述图像处理方法、装置、计算机可读存储介质和电子设备，可以获取目标红外图像和目标深度图像，根据目标红外图像进行人脸检测得到目标人脸区域。然后获取目标人脸区域的目标人脸属性参数，并根据目标人脸属性参数进行人脸匹配处理。当人脸匹配成功之后，再根据目标深度图像进行活体检测，根据活体检测结果得到最后的人脸验证结果。这样在人脸验证的过程中，可以根据红外图像进行人脸匹配，根据深度图像进行活体检测，提高了人脸验证的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图；
图2为一个实施例中图像处理方法的流程图；
图3为另一个实施例中图像处理方法的流程图；
图4为一个实施例中计算深度信息的原理图；
图5为又一个实施例中图像处理方法的流程图；
图6为又一个实施例中图像处理方法的流程图；
图7为一个实施例中实现图像处理方法的硬件结构图；
图8为另一个实施例中实现图像处理方法的硬件结构图；
图9为一个实施例中实现图像处理方法的软件架构示意图；
图10为一个实施例中图像处理装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中图像处理方法的应用场景图。如图1所示，该应用场景中包括用户102和电子设备104。电子设备104中可安装摄像头模组，并获取用户102对应的目标红外图像和目标深度图像，并根据目标红外图像进行人脸检测确定目标人脸区域，其中目标深度图像用于表示目标红外图像对应的深度信息。获取目标人脸区域对应的目标人脸属性参数，根据目标人脸属性参数对目标人脸区域进行人脸匹配处理。若人脸匹配成功，则根据目标深度图像对目标人脸区域进行活体检测处理，得到活体检测结果。根据活体检测结果得到人脸验证结果。其中，电子设备104可为智能手机、平板电脑、个人数字助理、穿戴式设备等。
图2为一个实施例中图像处理方法的流程图。如图2所示，该图像处理方法包括步骤202至步骤208。其中：
步骤202，获取目标红外图像和目标深度图像，并根据目标红外图像进行人脸检测确定目标人脸区域，其中目标深度图像用于表示目标红外图像对应的深度信息。
在一个实施例中，电子设备上可以安装摄像头，并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型，激光摄像头可以获取激光照射到物体上所形成的图像，可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头，且安装的位置不做限定。例如，可以在电子设备的正面面板上安装一个摄像头，在背面面板上安装两个摄像头，摄像头还可以以内嵌的方式安装于电子设备的内部，然后通过旋转或滑动的方式打开摄像头。具体地，电子设备上可安装前置摄像头和后置摄像头，前置摄像头和后置摄像头可以从不同的视角获取图像，一般前置摄像头可以从电子设备的正面视角获取图像，后置摄像头可以从电子设备的背面视角获取图像。
电子设备获取的目标红外图像和目标深度图像是对应的，目标深度图像用于表示目标红外图像对应的深度信息。目标红外图像可以显示采集的拍摄物体的细节信息，目标深度图像可以表示拍摄图像的深度信息。在获取到目标红外图像之后，可以根据目标红外图像进行人脸检测，从而检测出上述目标红外图像中是否包含人脸。若上述目标红外图像中包含人脸，则提取该目标红外图像中人脸所在的目标人脸区域。由于目标红外图像和目标深度图像是对应的，因此在提取出目标人脸区域之后，就可以根据目标深度图像中的对应区域获取目标人脸区域中各个像素点对应的深度信息。
步骤204，获取目标人脸区域对应的目标人脸属性参数，根据目标人脸属性参数对目标人脸区域进行人脸匹配处理。
目标人脸属性参数是指可以表示目标人脸的属性的参数，根据目标人脸属性参数可以对目标人脸进行识别和匹配处理。目标人脸属性参数可以但不限于包括人脸偏转角度、人脸亮度参数、五官参数、肤质参数、几何特征参数等。电子设备可以预先存储用于匹配的预设人脸区域，然后获取预设人脸区域的人脸属性参数。在获取到目标人脸属性参数之后，就可以将目标人脸属性参数与预先存储的人脸属性参数进行比较。若目标人脸属性参数与预先存储的人脸属性参数匹配，则该相匹配的人脸属性参数所对应的的预设人脸区域，就为与目标人脸区域相对应的预设人脸区域。
电子设备中存储的预设人脸区域，被认为是具有操作权限的人脸区域。若目标人脸区域与预设人脸区域相匹配，那么就认为目标人脸区域对应的用户是具有操作权限的。即当目标人脸区域与预设人脸区域相匹配时，则认为人脸匹配成功；当目标人脸区域与预设人脸区域不匹配时，则认为人脸匹配失败。
步骤206，若人脸匹配成功，则根据目标深度图像对目标人脸区域进行活体检测处理，得到活体检测结果。
目标红外图像和目标深度图像是对应的，根据目标红外图像提取目标人脸区域之后，可以根据目标人脸区域的位置找到目标深度图像中目标人脸所在的区域。具体地，图像是一个二维的像素矩阵，每一个像素点在图像中的位置都可以通过一个二维坐标来表示。例如，将图像最左下角的像素点作为坐标原点建立坐标系，在该坐标原点的基础上每向右移动一个像素点即为向X轴正方向移动一个单位，每向上移动一个像素点即为向Y轴正方向移动一个单位，因此通过一个二维坐标可以表示图像中每个像素点的位置坐标。
当在目标红外图像中检测到目标人脸区域之后，可以通过人脸坐标来表示目标人脸区域中任意一个像素点在目标红外图像中的位置，然后根据该人脸坐标来定位目标深度图像中目标人脸所在的位置，从而获取目标人脸区域对应的人脸深度信息。一般地，活体人脸是立体的，而例如图片、屏幕等显示的人脸则是平面的。同时，不同肤质，所采集到的深度信息也可能是不同一样的。因此根据获取的人脸深度信息可以判断采集的目标人脸区域是立体还是平面的，还可以根据获取的人脸深度信息得到人脸的肤质特征，从而对目标人脸区域进行活体检测。
步骤208，根据活体检测结果得到人脸验证结果。
在一个实施例中，根据目标红外图像进行人脸匹配处理，若人脸匹配成功，再根据目标深度图像进行活体检测。只有人脸匹配和活体检测都成功之后，才认为人脸验证成功。电子设备的处理单元可以接收来自上层应用程序发起的人脸验证指令，当处理单元检测到人脸验证指令之后，根据目标红外图像和目标深度图像进行人脸验证处理，最后将人脸验证结果返回给上层的应用程序，应用程序再根据人脸验证结果进行后续的处理。
上述实施例提供的图像处理方法，可以获取目标红外图像和目标深度图像，根据目标红外图像进行人脸检测得到目标人脸区域。然后获取目标人脸区域的目标人脸属性参数，并根据目标人脸属性参数进行人脸匹配处理。当人脸匹配成功之后，再根据目标深度图像进行活体检测，根据活体检测结果得到最后的人脸验证结果。这样在人脸验证的过程中，可以根据红外图像进行人脸匹配，根据深度图像进行活体检测，这样提高了人脸验证的准确性。
图3为另一个实施例中图像处理方法的流程图。如图3所示，该图像处理方法包括步骤302至步骤316。其中：
步骤302，当第一处理单元检测到人脸验证指令时，控制摄像头模组采集红外图像和深度图像；其中，采集红外图像的第一时刻与采集深度图像的第二时刻之间的时间间隔小于第一阈值。
在一个实施例中，电子设备的处理单元可以接收来自上层应用程序的指令，当处理单元接收到人脸验证指令时，就可以控制摄像头模组进行工作，通过摄像头采集红外图像和深度图像。处理单元连接于摄像头，摄像头获取的图像就可以传输给处理单元，并通过处理单元进行裁剪、亮度调节、人脸检测、人脸识别等处理。摄像头模组中可以但不限于包括激光摄像头、镭射灯和泛光灯。当处理单元接收到人脸验证指令时，可以直接获取红外图像和深度图像，也可以获取红外图像和散斑图像，根据散斑图像计算得到深度图像。具体地，处理单元会控制镭射灯和泛光灯进行分时工作，当镭射灯开启时，通过激光摄像头采集散斑图像；当泛光灯开启时，通过激光摄像头采集红外图像。
可以理解的是，当激光照射在平均起伏大于波长数量级的光学粗糙表面上时，这些表面上无规分布的面元散射的子波相互叠加使反射光场具有随机的空间光强分布，呈现出颗粒状的结构，这就是激光散斑。形成的激光散斑具有高度随机性，因此不同的激光发射器发射出来的激光所生成的激光散斑不同。当形成的激光散斑照射到不同深度和形状的物体上时，生成的散斑图像是不一样的。通过不同的激光发射器形成的激光散斑具有唯一性，从而得到的散斑图像也具有唯一性。镭射灯形成的激光散斑可以照射到物体上，然后通过激光摄像头来采集的激光散斑照射到物体上所形成的散斑图像。
镭射灯可以发射出若干个激光散斑点，激光散斑点照射到不同距离的物体上时，在图像上所呈现的斑点位置不同。电子设备可以预先采集一个标准的参考图像，参考图像是激光散斑照射到平面上所形成的图像。所以参考图像上的散斑点一般是均匀分布的，然后建立该参考图像中每一个散斑点与参考深度的对应关系。当需要采集散斑图像时，控制镭射灯发出激光散斑，激光散斑照射到物体上之后，通过激光摄像头采集得到散斑图像。然后将散斑图像中的每一个散斑点与参考图像中的散斑点进行比较，获取散斑图像中的散斑点相对于参考图像中对应的散斑点的位置偏移量，并散斑点的位置偏移量与参考深度来获取散斑点对应的实际深度信息。
摄像头采集的红外图像与散斑图像是对应的，散斑图像可以用于计算红外图像中每一个像素点对应的深度信息。这样可以通过红外图像对人脸进行检测和识别，根据散斑图像可以计算得到人脸对应的深度信息。具体地，根据散斑图像计算深度信息的过程中，首先要根据散斑图像相对与参考图像的散斑点的位置偏移量计算相对深度，相对深度可以表示实际拍摄物体到参考平面的深度信息。然后再根据获取的相对深度和参考深度计算物体的实际深度信息。深度图像用于表示红外图像对应的深度信息，可以是表示的物体到参考平面的相对深度，也可以是物体到摄像头的绝对深度。
根据散斑图像计算得到深度图像的步骤具体可以包括：获取参考图像，参考图像为标定得到的带有参考深度信息的图像；将参考图像与散斑图像进行比较得到偏移信息，偏移信息用于表示散斑图像中散斑点相对于参考图像中对应散斑点的水平偏移量；根据偏移信息和参考深度信息计算得到深度图像。
图4为一个实施例中计算深度信息的原理图。如图4所示，镭射灯402可以生成激光散斑，激光散斑经过物体进行反射后，通过激光摄像头404获取形成的图像。在摄像头的标定过程中，镭射灯402发射的激光散斑会经过参考平面408进行反射，然后通过激光摄像头404采集反射光线，通过成像平面410成像得到参考图像。参考平面408到镭射灯402的参考深度为L，该参考深度为已知的。在实际计算深度信息的过程中，镭射灯402发射的激光散斑会经过物体406进行反射，再由激光摄像头404采集反射光线，通过成像平面410成像得到实际的散斑图像。则可以得到实际的深度信息的计算公式为：
Figure BDA0001646529460000081
其中，L是镭射灯402到与参考平面408之间的距离，f为激光摄像头404中透镜的焦距，CD为镭射灯402到激光摄像头404之间的距离，AB为物体406的成像与参考平面408的成像之间的偏移距离。AB可为像素偏移量n与像素点的实际距离p的乘积。当物体404到镭射灯402之间的距离Dis大于参考平面406到镭射灯402之间的距离L时，AB为负值；当物体404到镭射灯402之间的距离Dis小于参考平面406到镭射灯402之间的距离L时，AB为正值。
具体地，遍历散斑图像中每一个像素点(x,y)，以该像素点为中心，选择一个预设大小像素块。例如，可以是选取31pixel*31pixel大小的像素块。然后在参考图像上搜索相匹配的像素块，计算在参考图像上匹配的像素点的坐标与像素点(x,y)坐标的水平偏移量，向右偏移即为正，向左偏移记为负。再把计算出的水平偏移量带入公式(1)可以得到像素点(x,y)的深度信息。这样依次计算散斑图像中每个像素点的深度信息，就可以得到带有散斑图像中各个像素点所对应的深度信息。
深度图像可以用于表示红外图像对应的深度信息，深度图像中包含的每一个像素点表示一个深度信息。具体地，参考图像中的每一个散斑点都对应一个参考深度信息，当获取到参考图像中散斑点与散斑图像中散斑点的水平偏移量后，可以根据该水平偏移量计算得到散斑图像中的物体到参考平面的相对深度信息，然后再根据相对深度信息和参考深度信息，就可以计算得到物体到摄像头的实际深度信息，即得到最后的深度图像。
步骤304，根据红外图像获取目标红外图像，根据深度图像获取目标深度图像。
在本申请提供的实施例中，获取到红外图像和散斑图像之后，可以根据散斑图像计算得到深度图像。还可以分别将红外图像和深度图像进行校正，对上述红外图像和深度图像分别进行校正，是指校正上述红外图像和深度图像中内外参数。例如，激光摄像头产生偏转，那么获取的红外图像和深度图像就需要对该偏转视差产生的误差进行校正，从而得到标准的红外图像和深度图像。在对上述红外图像校正后可得到目标红外图像，上述深度图像进行校正可得到目标深度图像。具体地，可以根据红外图像计算得到红外视差图像，再根据红外视差图像进行内外参数校正，得到目标红外图像。根据深度图像计算得到深度视差图像，再根据深度视差图像进行内外参数校正，得到目标深度图像。
步骤306，检测目标红外图像中的人脸区域。
步骤308，若目标红外图像中存在两个或两个以上的人脸区域，则将区域面积最大的人脸区域作为目标人脸区域。
可以理解的是，目标红外图像中可能不存在人脸区域，也可能存在一个人脸区域，还可能存在两个或两个以上的人脸区域。当目标红外图像中不存在人脸区域时，则可以不用进行人脸验证处理。当目标红外图像中存在一个人脸区域时，可以直接对该人脸区域进行人脸验证处理。当目标红外图像中存在两个或两个以上的人脸区域时，则可以获取其中一个人脸区域作为目标人脸区域进行人脸验证处理。具体地，若目标红外图像中存在两个或两个以上的人脸区域，在可以计算各个人脸区域对应的区域面积。该区域面积可以通过人脸区域中包含的像素点的数量进行表示，区域面积最大的人脸区域可作为用于验证的目标人脸区域。
步骤310，获取目标人脸区域对应的目标人脸属性参数，根据目标人脸属性参数对目标人脸区域进行人脸匹配处理。
在一个实施例中，人脸验证的过程包括人脸匹配阶段和活体检测阶段，人脸匹配阶段是指识别人脸身份的过程，活体检测阶段是指检测被拍摄人脸是否为活体的过程。在人脸匹配阶段，第二处理单元可以将提取的目标人脸区域与预设人脸区域进行匹配。在对目标人脸图像进行匹配的时候，可以提取目标人脸图像的目标人脸属性参数，再将提取的目标人脸属性参数与电子设备中存储的预设人脸图像的人脸属性参数进行匹配，若匹配值超过匹配阈值，则认为人脸匹配成功。例如，可以提取人脸图像中人脸的偏转角度、亮度信息、五官特征等特征作为人脸属性参数，若提取的目标人脸属性参数与存储的人脸属性参数匹配度超过90％，则认为人脸匹配成功。具体地，判断目标人脸区域的目标人脸属性参数与预设人脸区域的人脸属性参数否匹配；若是，则目标人脸区域的人脸匹配成功；若否，则目标人脸区域的人脸匹配失败。
步骤312，若人脸匹配成功，则提取目标人脸区域在目标深度图像中对应的目标人脸深度区域，根据目标人脸深度区域获取目标活体属性参数。
一般地，在对人脸进行匹配处理的过程中，可以根据采集的目标红外图像认证人脸区域是否与预设的人脸区域匹配。假设拍摄的为照片、雕塑等人脸时，也可能匹配成功。因此，需要根据采集的目标深度图像进行活体检测处理，这样必须保证采集的是活体的人脸才能验证成功。可以理解的是，采集的目标红外图像可以表示人脸的细节信息，采集目标深度图像可以表示目标红外图像对应的深度信息，根据目标深度图像可以进行活体检测处理。例如，被拍摄的人脸为照片中的人脸的话，根据目标深度图像就可以判断采集的人脸不是立体的，则可以认为采集的人脸为非活体的人脸。
步骤314，根据目标活体属性参数进行活体检测处理。
具体地，根据上述目标深度图像进行活体检测包括：在目标深度图像中查找与上述目标人脸区域对应的目标人脸深度区域，根据目标人脸深度区域提取目标活体属性参数，根据目标活体属性参数进行活体检测处理。可选地，目标活体属性参数可以包括人脸对应的人脸深度信息、肤质特征、纹理的方向、纹理的密度、纹理的宽度等。例如，目标活体属性参数可以为人脸深度信息，若上述人脸深度信息符合人脸活体规则，则认为上述目标人脸区域具有生物活性，即为活体人脸区域。
步骤316，根据活体检测结果得到人脸验证结果。
在本申请提供的实施例中，在对人脸进行人脸匹配处理后，若人脸匹配成功，则再对人脸进行活体识别。只有人脸匹配成功且活体检测成功时，才认为人脸验证成功。具体的，步骤316可包括：若活体检测成功，则得到人脸验证成功的结果；若活体检测失败，则得到人脸验证失败的结果。上述图像处理方法还可以包括：若人脸匹配失败，则得到人脸验证失败的结果。处理单元在得到人脸验证结果之后，可以再将人脸验证结果发送给上层的应用程序，应用程序可根据该人脸验证结果进行相应的处理。
例如，在根据人脸进行支付验证的时候，当处理单元将人脸验证结果发送给应用程序之后，应用程序可以根据人脸验证结果进行支付处理。若人脸验证成功，则应用程序就可以继续进行支付操作，并向用户展示支付成功的信息；若人脸验证失败，则应用程序就可以停止进行支付操作，并向用户展示支付失败的信息。
在一个实施例中，获取目标红外图像和目标深度图像的步骤可包括：
步骤502，第一处理单元根据红外图像计算得到红外视差图像，并根据深度图像计算得到深度视差图像。
具体地，电子设备中可包括第一处理单元和第二处理单元，第一处理单元和第二处理单元都运行在安全运行环境中。安全运行环境可以包括第一安全环境和第二安全环境，第一处理单元运行在第一安全环境中，第二处理单元运行在第二安全环境中。第一处理单元和第二处理单元为分布在不同的处理器上处理单元，且处于不同的安全环境下。例如，第一处理单元可以是外置的MCU(Microcontroller Unit，微控制单元)模块，或者DSP(Digital Signal Processing，数字信号处理器)中的安全处理模块，第二处理单元可以是处于TEE(Trust Execution Environment，可信执行环境)下的CPU(Central ProcessingUnit，中央处理器)内核。
电子设备中CPU有2种运行模式：TEE和REE(Rich Execution Environment，自然执行环境)。通常情况下，CPU运行在REE下，但当电子设备需要获取安全级别较高的数据时，例如电子设备需要获取人脸数据进行识别验证时，CPU可由REE切换到TEE进行运行。当电子设备中CPU为单核时，可直接将上述单核由REE切换到TEE；当电子设备中CPU为多核时，电子设备将一个内核由REE切换到TEE，其他内核仍运行在REE中。
步骤504，第一处理单元将红外视差图像和深度视差图像发送给第二处理单元。
具体地，第一处理单元连接了两个数据传输的通道，包括安全传输通道和非安全传输通道。在进行人脸验证处理时，通常需要在安全运行环境下进行处理，第二处理单元即为安全运行环境下的处理单元，所以第一处理单元连接到第二处理单元时，说明第一处理单元当前连接的是安全传输通道。第一处理单元连接到非安全运行环境下的处理单元时，说明第一处理单元当前连接的是非安全传输通道。第一处理单元在检测到人脸验证指令时，可以切换到安全传输通道来传输数据。则步骤504可以包括：判断第一处理单元是否连接到第二处理单元，若是，则将红外视差图像和深度视差图像发送给第二处理单元；若否，则控制第一处理单元连接到第二处理单元，并通过第一处理单元将红外视差图像和深度视差图像发送给第二处理单元。
步骤506，第二处理单元根据红外视差图像进行校正得到目标红外图像，并根据深度视差图像进行校正得到目标深度图像。
在一个实施例中，进行活体检测的步骤可包括：
步骤602，提取目标人脸区域在目标深度图像中对应的目标人脸深度区域，根据目标人脸深度区域获取第一目标活体属性参数。
在一个实施例中，可以根据目标深度图像进行活体检测，还可以根据目标深度图像和散斑图像进行活体检测。具体地，根据目标深度图像获取第一目标活体属性参数，根据散斑图像获取第二目标活体属性参数，然后根据第一目标活体属性参数和第二目标活体属性参数进行活体检测。
步骤604，获取散斑图像，散斑图像是通过激光摄像头采集的激光散斑照射到物体上所形成的图像，目标深度图像是根据散斑图像计算得到的。
步骤606，提取目标人脸区域在散斑图像中对应的目标人脸散斑区域，根据目标人脸散斑区域获取第二目标活体属性参数。
散斑图像和红外图像是对应的，所以根据目标人脸区域可以在散斑图像中找到目标人脸散斑区域，然后根据目标人脸散斑区域获取第二目标活体属性参数。电子设备可以控制镭射灯开启，并通过激光摄像头来采集散斑图像。一般地，电子设备可以同时安装两个或两个以上的摄像头，若安装两个以上的摄像头，那么每个摄像头采集的视场就会有差异。为了保证不同的摄像头采集是同一场景对应的图像，需要将不同摄像头采集的图像进行对齐，使摄像头采集的图像是对应的。因此，摄像头采集到原始散斑图像后，一般还会将原始散斑图像进行校正，得到校正之后的散斑图像。那么该用于进行活体检测的散斑图像，可以是原始的散斑图像，也可以是校正之后的散斑图像。
具体地，若获取的散斑图像为摄像头采集的原始散斑图像，则步骤606之前还可包括：根据散斑图像计算得到散斑视差图像，根据散斑视差图像进行校正得到目标散斑图像。则步骤606可包括：提取目标人脸区域在目标散斑图像中对应的目标人脸散斑区域，根据目标人脸散斑区域获取第二目标活体属性参数。
步骤608，根据第一目标活体属性参数和第二目标活体属性参数进行活体检测处理。
可以理解的是，第一目标活体属性参数和第二目标活体属性参数都可以是根据网络学习算法得到的，得到第一目标活体属性参数和第二目标活体属性参数后，可以根据第一目标活体属性参数和第二目标活体属性参数进行活体检测处理。例如，第一目标活体属性参数可以是人脸深度信息，第二目标活体属性参数可以是肤质特征参数，可以通过网络学习算法对散斑图像进行训练，从而得到采集的散斑图像对应的肤质特征参数，再根据人脸深度信息和肤质特征参数来判断目标人脸是否为活体。
在本申请提供的实施例中，人脸验证处理可以在第二处理单元中进行，第二处理单元在得到人脸验证结果之后，可以将人脸验证结果发送给发起人脸验证指令的目标应用程序。具体的，可将人脸验证结果进行加密处理，并将加密处理后的人脸验证结果发送给发起人脸验证指令的目标应用程序。将人脸验证结果进行加密处理，具体的加密算法不做限定。例如，可以是根据DES(Data Encryption Standard，数据加密标准)、MD5(Message-Digest Algorithm 5，信息-摘要算法5)、HAVAL(Diffie-Hellman，密钥交换算法)。
具体地，可以根据电子设备的网络环境进行加密处理：获取电子设备当前所处的网络环境的网络安全等级；根据网络安全等级获取加密等级，将人脸验证结果进行加密等级对应的加密处理。可以理解的是，应用程序在获取图像进行操作的时候，一般需要进行联网操作。例如，对人脸进行支付认证的时候，可以将人脸验证结果发送给应用程序，应用程序再发送给对应的服务器完成相应的支付操作。应用程序在发送人脸验证结果时，需要连接网络，再通过网络将人脸验证结果发送给对应的服务器。因此，在发送人脸验证结果时，可以首先对人脸验证结果进行加密。检测电子设备当前所处的网络环境的网络安全等级，并根据网络安全等级进行加密处理。
网络安全等级越低，认为网络环境的安全性越低，对应的加密等级越高。电子设备预先建立网络安全等级与加密等级的对应关系，根据网络安全等级可以获取对应的加密等级，并根据加密等级对人脸验证结果进行加密处理。可以根据获取的参考图像对人脸验证结果进行加密处理。
在一个实施例中，参考图像是电子设备在对摄像头模组进行标定时采集的散斑图像，由于参考图像具有高度唯一性，不同的电子设备采集的参考图像是不同的。所以参考图像本身就可以作为一个加密的密钥，用来对数据进行加密处理。电子设备可以将参考图像存放在安全环境中，这样可以防止数据泄露。具体地，获取的参考图像是由一个二维的像素矩阵构成的，每一个像素点都有对应的像素值。可以根据参考图像的全部或部分像素点对人脸验证结果进行加密处理。例如，人脸验证结果中可包含深度图像，则可以将参考图像直接与深度图像进行叠加，得到一张加密图像。也可以深度图像对应的像素矩阵与参考图像对应的像素矩阵进行乘积运算，得到加密图像。还可以取参考图像中某一个或多个像素点对应的像素值作为加密密钥，对深度图像进行加密处理，具体加密算法在本实施例不做限定。
参考图像是在电子设备标定时生成的，则电子设备可以将参考图像预先存储在安全环境中，在需要对人脸验证结果进行加密的时候，可以在安全环境下读取参考图像，并根据参考图像对人脸验证结果进行加密处理。同时，会在目标应用程序对应的服务器上存储一张相同的参考图像，当电子设备将加密处理后的人脸验证结果发送给目标应用程序对应的服务器之后，目标应用程序的服务器获取参考图像，并根据获取的参考图像对加密后的人脸验证结果进行解密处理。
可以理解的是，目标应用程序的服务器中可能会存储多张不同电子设备采集的参考图像，每个电子设备对应的参考图像不同。因此，服务器中可以对每一张参考图像定义一个参考图像标识，并存储电子设备的设备标识，然后建立参考图像标识与设备标识之间的对应关系。当服务器接收到人脸验证结果时，接收到的人脸验证结果会同时携带电子设备的设备标识。服务器就可以根据设备标识查找对应的参考图像标识，并根据参考图像标识找到对应的参考图像，然后根据找到的参考图像对人脸验证结果进行解密处理。
在本申请提供的其他实施例中，根据参考图像进行加密处理的方法具体可以包括：获取参考图像对应的像素矩阵，根据该像素矩阵获取加密密钥；根据加密密钥对人脸验证结果进行加密处理。参考图像是由一个二维像素矩阵构成的，由于获取的参考图像是唯一的，因此参考图像对应的像素矩阵也是唯一的。该像素矩阵本身可以作为一个加密密钥对人脸验证结果进行加密，也可以对像素矩阵进行一定的转换得到加密密钥，再通过转换得到的加密密钥对人脸验证结果进行加密处理。举例来说，像素矩阵是一个由多个像素值构成的二维矩阵，每一个像素值在像素矩阵中的位置可以通过一个二维坐标进行表示，则可以通过一个或多个位置坐标获取对应的像素值，并将获取的这一个或多个像素值组合成一个加密密钥。获取到加密密钥之后，可以根据加密密钥对人脸验证结果进行加密处理，具体地加密算法在本实施例中不做限定。例如，可以直接将加密密钥与数据进行叠加或乘积，或者可以将加密密钥作为一个数值插入数据中，得到最终的加密数据。
电子设备还可以对不同的应用程序采用不同的加密算法。具体地，电子设备可以预先建立应用程序的应用标识与加密算法的对应关系，人脸验证指令中可包含目标应用程序的目标应用标识。在接收到人脸验证指令后，可以获取人脸验证指令中包含的目标应用标识，并根据目标应用标识获取对应的加密算法，根据获取的加密算法对人脸验证结果进行加密处理。
具体地，上述图像处理方法还可包括：获取目标红外图像、目标散斑图像和目标深度图像中的一种或多种作为待发送图像；获取发起人脸验证指令的目标应用程序的应用等级，根据应用等级获取对应的精度等级；根据精度级别调整待发送图像的精度，将调整后的待发送图像发送给上述目标应用程序。应用等级可以表示目标应用程序对应的重要等级。一般目标应用程序的应用等级越高，发送的图像的精度越高。电子设备可以预先设置应用程序的应用等级，并建立应用等级与精度等级的对应关系，根据应用等级可以获取对应的精度等级。例如，可以将应用程序分为系统安全类应用程序、系统非安全类应用程序、第三方安全类应用程序、第三方非安全类应用程序等四个应用等级，对应的精度等级逐渐降低。
待发送图像的精度可以表现为图像的分辨率，或者散斑图像中包含的散斑点的个数，这样根据散斑图像得到的目标深度图像和目标散斑图像的精度也会不同。具体地，调整图像精度可以包括：根据精度级别调整待发送图像的分辨率；或，根据精度级别调整采集的散斑图像中包含的散斑点的个数。其中，散斑图像中包含的散斑点的个数可以通过软件的方式进行调整，也可以通过硬件的方式进行调整。软件方式调整时，可直接检测采集的散斑图中的散斑点，并将部分散斑点进行合并或消除处理，这样调整后的散斑图中包含的散斑点的数量就减少了。硬件方式调整时，可以调整镭射灯衍射生成的激光散斑点的个数。例如，精度高时，生成的激光散斑点的个数为30000个；精度较低时，生成的激光散斑点的个数为20000个。这样对应计算得到的深度图像的精度就会相应地降低。
具体的，可在镭射灯中预置不同的衍射光学元件(Diffractive OpticalElements，DOE)，其中不同DOE衍射形成的散斑点的个数不同。根据精度级别切换不同的DOE进行衍射生成散斑图像，并根据得到的散斑图像得到不同精度的深度图。当应用程序的应用等级较高时，对应的精度级别也比较高，镭射灯可控制散斑点个数较多的DOE来发射激光散斑，从而获取散斑点个数较多的散斑图像；当应用程序的应用等级较低时，对应的精度级别也比较低，镭射灯可控制散斑点个数较少的DOE来发射激光散斑，从而获取散斑点个数较少的散斑图像。
上述实施例提供的图像处理方法，第一处理单元在检测到人脸验证指令时，可以控制摄像头模组采集红外图像和深度图像，然后根据红外图像和深度图像得到目标红外图像和目标深度图像，并根据目标红外图像进行人脸检测得到目标人脸区域。然后获取目标人脸区域的目标人脸属性参数，并根据目标人脸属性参数进行人脸匹配处理。当人脸匹配成功之后，再根据目标深度图像进行活体检测，根据活体检测结果得到最后的人脸验证结果。这样在人脸验证的过程中，可以根据红外图像进行人脸匹配，根据深度图像进行活体检测，提高了人脸验证的准确性。
应该理解的是，虽然图2、图3、图5、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图5、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图7为一个实施例中实现图像处理方法的硬件结构图。如图7所示，该电子设备中可包括摄像头模组710、中央处理器(CPU)720和第一处理单元730，上述摄像头模组710中包括激光摄像头712、泛光灯714、RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头716和镭射灯718。第一处理单元730包括PWM(Pulse Width Modulation，脉冲宽度调制)模块732、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)模块734、RAM(Random Access Memory，随机存取存储器)模块736、Depth Engine 模块738。其中，第二处理单元722可为处于TEE(Trusted executionenvironment，可信运行环境)下的CPU内核，第一处理单元730为MCU(MicrocontrollerUnit，微控制单元)处理器。可以理解的是，中央处理器720可以为多核运行模式，中央处理器720中的CPU内核可以在TEE或REE(Rich Execution Environment，自然运行环境)下运行。TEE和REE均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。通常情况下，电子设备中安全性较高的操作行为需要在TEE下执行，其他操作行为则可在REE下执行。本申请实施例中，当中央处理器720接收到目标应用程序发起的人脸验证指令，TEE下运行的CPU内核即第二处理单元722，会通过SECURE SPI/I2C向MCU730中SPI/I2C模块734发送人脸验证指令至第一处理单元730。第一处理单元730在接收到人脸验证指令后，通过PWM模块732发射脉冲波控制摄像头模组710中泛光灯714开启来采集红外图像、控制摄像头模组710中镭射灯718开启来采集散斑图像。摄像头模组710可将采集到的红外图像和散斑图像传送给第一处理单元730中Depth Engine模块738，Depth Engine模块738可根据红外图像计算红外视差图像，根据散斑图像计算深度图像，并根据深度图像得到深度视差图像。然后将红外视差图像和深度视差图像发送给TEE下运行的第二处理单元722。第二处理单元722会根据红外视差图像进行校正得到目标红外图像，并根据深度视差图像进行校正得到目标深度图像。然后根据目标红外图像进行人脸检测，检测上述目标红外图像中是否存在目标人脸区域以及检测到的目标人脸区域与预设人脸区域是否匹配；若人脸匹配成功，再根据上述目标深度图像来进行活体检测，检测上述目标人脸区域是否为活体人脸。根据活体检测结果得到最后的人脸验证结果，若活体检测成功，则得到人脸验证成功的结果；若活体检测失败，则得到人脸验证失败的结果。可以理解的是，上述人脸匹配失败后，则得到人脸验证失败的结果，并不再继续进行活体检测处理。第二处理单元722在得到人脸验证结果后，会将人脸验证结果发送至目标应用程序。
图8为另一个实施例中实现图像处理方法的硬件结构图。如图8所示，该硬件结构中包括第一处理单元80、摄像头模组82和第二处理单元84。摄像头模组82中包括激光摄像头820、泛光灯822、RGB摄像头824和镭射灯826。其中，中央处理器中可包括处于TEE下的CPU内核与处于REE下的CPU内核，第一处理单元80为中央处理器中开辟的DSP处理模块，第二处理单元84即为处于TEE下的CPU内核，第二处理单元84和第一处理单元80可以通过一个安全缓冲区(secure buffer)进行连接，这样可以保证图像传输过程中的安全性。通常情况下，中央处理器在处理安全性较高的操作行为时，需要将处理器内核切换到TEE下执行，安全性较低的操作行为则可在REE下执行。本申请实施例中，可通过第二处理单元84接收上层应用发送的人脸验证指令，然后通过PWM模块发射脉冲波控制摄像头模组82中泛光灯822开启来采集红外图像，控制摄像头模组82中镭射灯826开启来采集散斑图像。摄像头模组82可将采集到的红外图像和散斑图像传送给第一处理单元80中，第一处理单元80可根据散斑图像计算得到深度图像，然后根据深度图像计算得到深度视差图像，并根据红外图像计算得到红外视差图像。然后将红外视差图像和深度视差图像发送给第二处理单元84。第二处理单元84可以根据红外视差图像进行校正得到目标红外图像，并根据深度视差图像进行校正得到目标深度图像。第二处理单元84会根据目标红外图像进行人脸匹配，检测上述目标红外图像中是否存在目标人脸区域，以及检测到的目标人脸区域与预设人脸区域是否匹配；若人脸匹配成功，再根据上述目标深度图像来进行活体检测，判断上述目标人脸区域是否为活体人脸。在第二处理单元84进行人脸匹配和活体检测处理后，会将人脸验证结果发送给目标应用程序，目标应用程序再根据检测结果进行解锁、支付等应用操作。
图9为一个实施例中实现图像处理方法的软件架构示意图。如图9所示，该软件架构包括应用层910、操作系统920和安全运行环境930。其中，处于安全运行环境930中的模块包括第一处理单元931、摄像头模组932、第二处理单元933和加密模块934等；操作系统930中包含安全管理模块921、人脸管理模块922、摄像头驱动923和摄像头框架924；应用层910中包含应用程序911。应用程序911可以发起图像采集指令，并将图像采集指令发送给第一处理单元931进行处理。例如，在通过采集人脸进行支付、解锁、美颜、增强现实技术(Augmented Reality，AR)等操作时，应用程序会发起采集人脸图像的图像采集指令。可以理解的是，应用程序911发起的图像采集指令可以首先发送到第二处理单元933，再由第二处理单元933发送给第一处理单元931。
第一处理单元931接收到图像采集指令之后，若判断图像采集指令为对人脸进行验证的人脸验证指令，则会根据人脸验证指令控制摄像头模组932采集红外图像和散斑图像，摄像头模组932采集的红外图像和散斑图像传输给第一处理单元931。第一处理单元931根据散斑图像计算得到包含深度信息的深度图像，并根据深度图像计算得到深度视差图像，根据红外图像计算得到红外视差图像。然后通过安全传输通道将深度视差图像和红外视差图像发送给第二处理单元933。第二处理单元933会根据红外视差图像进行校正得到目标红外图像，根据深度视差图像进行校正得到目标深度图像。然后根据目标红外图像进行人脸匹配，检测上述目标红外图像中是否存在目标人脸区域，以及检测到的目标人脸区域与预设人脸区域是否匹配；若人脸匹配成功，再根据上述目标红外图像和目标深度图像来进行活体检测，判断上述目标人脸区域是否为活体人脸。第二处理单元933得到的人脸验证结果可以发送给加密模块934，通过加密模块934进行加密后，将加密后的人脸验证结果发送给安全管理模块921。一般地，不同的应用程序911都有对应的安全管理模块921，安全管理模块921会将加密后的人脸验证结果进行解密处理，并将解密处理后得到的人脸验证结果发送给相应的人脸管理模块922。人脸管理模块922会将人脸验证结果发送给上层的应用程序911，应用程序911再根据人脸验证结果进行相应的操作。
若第一处理单元931接收到的人脸验证指令不是人脸验证指令，则第一处理单元931可以控制摄像头模组932采集散斑图像，并根据散斑图像计算深度图像，然后根据深度图像得到深度视差图像。第一处理单元931会通过非安全传输通道将深度视差图像发送给摄像头驱动923，摄像头驱动923再根据深度视差图像进行校正处理得到目标深度图像，然后将目标深度图像发送给摄像头框架924，再由摄像头框架924发送给人脸管理模块922或应用程序911。
图10为一个实施例中图像处理装置的结构示意图。如图10所示，该图像处理装置1000包括人脸检测模块1002、人脸匹配模块1004、活体检测模块1006和人脸验证模块1008。其中：
人脸检测模块1002，用于获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息。
人脸匹配模块1004，用于获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理。
活体检测模块1006，用于若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果。
人脸验证模块1008，用于根据所述活体检测结果得到人脸验证结果。
上述实施例提供的图像处理装置，可以获取目标红外图像和目标深度图像，根据目标红外图像进行人脸检测得到目标人脸区域。然后获取目标人脸区域的目标人脸属性参数，并根据目标人脸属性参数进行人脸匹配处理。当人脸匹配成功之后，再根据目标深度图像进行活体检测，根据活体检测结果得到最后的人脸验证结果。这样在人脸验证的过程中，可以根据红外图像进行人脸匹配，根据深度图像进行活体检测，这样提高了人脸验证的准确性。
在一个实施例中，人脸检测模块1002还用于当第一处理单元检测到人脸验证指令时，控制摄像头模组采集红外图像和深度图像；其中，采集所述红外图像的第一时刻与采集所述深度图像的第二时刻之间的时间间隔小于第一阈值；根据所述红外图像获取目标红外图像，根据所述深度图像获取目标深度图像。
在一个实施例中，人脸检测模块1002还用于所述第一处理单元根据所述红外图像计算得到红外视差图像，并根据深度图像计算得到深度视差图像；所述第一处理单元将红外视差图像和深度视差图像发送给第二处理单元；所述第二处理单元根据红外视差图像进行校正得到目标红外图像，并根据深度视差图像进行校正得到目标深度图像。
在一个实施例中，人脸检测模块1002还用于检测所述目标红外图像中的人脸区域；若所述目标红外图像中存在两个或两个以上的人脸区域，则将区域面积最大的人脸区域作为目标人脸区域。
在一个实施例中，活体检测模块1006还用于提取所述目标人脸区域在所述目标深度图像中对应的目标人脸深度区域，根据所述目标人脸深度区域获取目标活体属性参数；根据所述目标活体属性参数进行活体检测处理。
在一个实施例中，活体检测模块1006还用于提取所述目标人脸区域在所述目标深度图像中对应的目标人脸深度区域，根据所述目标人脸深度区域获取第一目标活体属性参数；获取散斑图像，所述散斑图像是通过激光摄像头采集的激光散斑照射到物体上所形成的图像，所述目标深度图像是根据所述散斑图像计算得到的；提取所述目标人脸区域在所述散斑图像中对应的目标人脸散斑区域，根据所述目标人脸散斑区域获取第二目标活体属性参数；根据所述第一目标活体属性参数和第二目标活体属性参数进行活体检测处理。
在一个实施例中，人脸验证模块1008还用于若活体检测成功，则得到人脸验证成功的结果；若活体检测失败，则得到人脸验证失败的结果；若人脸匹配失败，则得到人脸验证失败的结果。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施例提供的图像处理方法。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；
获取发起人脸验证指令的目标应用程序的应用等级，根据应用等级获取对应的精度等级；根据精度级别调整待发送图像的精度，将调整后的待发送图像发送给目标应用程序；所述待发送图像为目标红外图像、目标散斑图像和目标深度图像中的一种或多种；
获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；
若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；
根据所述活体检测结果得到人脸验证结果；
根据获取的参考图像对人脸验证结果进行加密处理，所述参考图像是电子设备在对摄像头模组进行标定时采集的散斑图像；
将加密处理后的人脸验证结果发送给目标应用程序对应的服务器，目标应用程序的服务器获取预先存储的参考图像，根据预先存储的参考图像对加密后的人脸验证结果进行解密处理；
所述根据所述目标深度图像对所述目标人脸区域进行活体检测处理，包括：
提取所述目标人脸区域在所述目标深度图像中对应的目标人脸深度区域，根据所述目标人脸深度区域获取第一目标活体属性参数；
获取散斑图像，所述散斑图像是通过激光摄像头采集的激光散斑照射到物体上所形成的图像，所述目标深度图像是根据所述散斑图像计算得到的；
根据散斑图像计算得到散斑视差图像，根据散斑视差图像进行校正得到目标散斑图像使得目标散斑图像的视场对应于所述目标红外图像；
提取所述目标人脸区域在所述目标散斑图像中对应的目标人脸散斑区域，根据所述目标人脸散斑区域获取第二目标活体属性参数；
根据所述第一目标活体属性参数和第二目标活体属性参数进行活体检测处理；
所述获取目标红外图像和目标深度图像，包括：
当第一处理单元检测到人脸验证指令时，控制摄像头模组采集红外图像和深度图像；其中，采集所述红外图像的第一时刻与采集所述深度图像的第二时刻之间的时间间隔小于第一阈值；
根据所述红外图像获取目标红外图像，根据所述深度图像获取目标深度图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述红外图像获取目标红外图像，根据所述深度图像获取目标深度图像，包括：
所述第一处理单元根据所述红外图像计算得到红外视差图像，并根据深度图像计算得到深度视差图像；
所述第一处理单元将红外视差图像和深度视差图像发送给第二处理单元；
所述第二处理单元根据红外视差图像进行校正得到目标红外图像，并根据深度视差图像进行校正得到目标深度图像。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标红外图像进行人脸检测确定目标人脸区域，包括：
检测所述目标红外图像中的人脸区域；
若所述目标红外图像中存在两个或两个以上的人脸区域，则将区域面积最大的人脸区域作为目标人脸区域。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标深度图像对所述目标人脸区域进行活体检测处理，包括：
提取所述目标人脸区域在所述目标深度图像中对应的目标人脸深度区域，根据所述目标人脸深度区域获取目标活体属性参数；
根据所述目标活体属性参数进行活体检测处理。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述活体检测结果得到人脸验证结果，包括：
若活体检测成功，则得到人脸验证成功的结果；
若活体检测失败，则得到人脸验证失败的结果；
所述方法还包括：
若人脸匹配失败，则得到人脸验证失败的结果。
6.一种图像处理装置，其特征在于，包括：
人脸检测模块，用于获取目标红外图像和目标深度图像，并根据所述目标红外图像进行人脸检测确定目标人脸区域，其中所述目标深度图像用于表示目标红外图像对应的深度信息；获取发起人脸验证指令的目标应用程序的应用等级，根据应用等级获取对应的精度等级；根据精度级别调整待发送图像的精度，将调整后的待发送图像发送给目标应用程序；所述待发送图像为目标红外图像、目标散斑图像和目标深度图像中的一种或多种；
人脸匹配模块，用于获取所述目标人脸区域对应的目标人脸属性参数，根据所述目标人脸属性参数对所述目标人脸区域进行人脸匹配处理；
活体检测模块，用于若人脸匹配成功，则根据所述目标深度图像对所述目标人脸区域进行活体检测处理，得到活体检测结果；
人脸验证模块，用于根据所述活体检测结果得到人脸验证结果；
所述根据所述目标深度图像对所述目标人脸区域进行活体检测处理，包括：
提取所述目标人脸区域在所述目标深度图像中对应的目标人脸深度区域，根据所述目标人脸深度区域获取第一目标活体属性参数；
获取散斑图像，所述散斑图像是通过激光摄像头采集的激光散斑照射到物体上所形成的图像，所述目标深度图像是根据所述散斑图像计算得到的；
据散斑图像计算得到散斑视差图像，根据散斑视差图像进行校正得到目标散斑图像使得目标散斑图像的视场对应于所述目标红外图像；
提取所述目标人脸区域在所述目标散斑图像中对应的目标人脸散斑区域，根据所述目标人脸散斑区域获取第二目标活体属性参数；
根据所述第一目标活体属性参数和第二目标活体属性参数进行活体检测处理；
所述人脸检测模块还用于当第一处理单元检测到人脸验证指令时，控制摄像头模组采集红外图像和深度图像；其中，采集所述红外图像的第一时刻与采集所述深度图像的第二时刻之间的时间间隔小于第一阈值；根据所述红外图像获取目标红外图像，根据所述深度图像获取目标深度图像。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。
8.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述的图像处理方法。
CN201810404505.2A 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备 Expired - Fee Related CN108764052B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810404505.2A CN108764052B (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备
PCT/CN2019/070845 WO2019205742A1 (zh) 2018-04-28 2019-01-08 图像处理方法、装置、计算机可读存储介质和电子设备
US16/393,778 US10771689B2 (en) 2018-04-28 2019-04-24 Image processing method and device, computer-readable storage medium and electronic device
EP19171189.4A EP3561724A1 (en) 2018-04-28 2019-04-25 Image processing method and device, computer-readable storage medium and electronic device
TW108114617A TWI736883B (zh) 2018-04-28 2019-04-26 影像處理方法和電子設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810404505.2A CN108764052B (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN108764052A CN108764052A (zh) 2018-11-06
CN108764052B true CN108764052B (zh) 2020-09-11

Family

ID=64008891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810404505.2A Expired - Fee Related CN108764052B (zh) 2018-04-28 2018-04-28 图像处理方法、装置、计算机可读存储介质和电子设备

Country Status (5)

Country Link
US (1) US10771689B2 (zh)
EP (1) EP3561724A1 (zh)
CN (1) CN108764052B (zh)
TW (1) TWI736883B (zh)
WO (1) WO2019205742A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10726245B2 (en) * 2017-12-12 2020-07-28 Black Sesame International Holding Limited Secure facial authentication system using active infrared light source and RGB-IR sensor
KR102374747B1 (ko) * 2017-12-15 2022-03-15 삼성전자주식회사 객체를 인식하는 장치 및 방법
CN110008783A (zh) * 2018-01-04 2019-07-12 杭州海康威视数字技术股份有限公司 基于神经网络模型的人脸活体检测方法、装置及电子设备
CN108764052B (zh) 2018-04-28 2020-09-11 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109684925B (zh) * 2018-11-21 2023-10-27 奥比中光科技集团股份有限公司 一种基于深度图像的人脸活体检测方法及设备
CN109639983B (zh) * 2019-01-03 2020-09-04 Oppo广东移动通信有限公司 拍照方法、装置、终端及计算机可读存储介质
CN109871819A (zh) * 2019-02-28 2019-06-11 百度在线网络技术（北京）有限公司 用于发送信息的方法和装置
CN112861568A (zh) * 2019-11-12 2021-05-28 Oppo广东移动通信有限公司 认证方法和装置、电子设备、计算机可读存储介质
CN110956114A (zh) * 2019-11-25 2020-04-03 展讯通信（上海）有限公司 人脸活体检测方法、装置、检测系统及存储介质
CN113673285B (zh) * 2020-05-15 2023-09-12 深圳市光鉴科技有限公司 深度相机抓拍时的深度重建方法、系统、设备及介质
CN113673286B (zh) * 2020-05-15 2024-04-16 深圳市光鉴科技有限公司 基于目标区域的深度重建方法、系统、设备及介质
CN113537993B (zh) * 2020-08-27 2024-02-13 腾讯科技（深圳）有限公司 一种基于脸部支付的数据检测方法及装置
CN112036376A (zh) * 2020-10-01 2020-12-04 深圳奥比中光科技有限公司 一种检测红外图像与深度图像的方法、装置及人脸识别系统
CN112257538A (zh) * 2020-10-15 2021-01-22 杭州锐颖科技有限公司 基于双目深度信息的活体检测方法、设备及存储介质
CN112232324B (zh) * 2020-12-15 2021-08-03 杭州宇泛智能科技有限公司 人脸验伪方法、装置、计算机设备和存储介质
CN112633181B (zh) * 2020-12-25 2022-08-12 北京嘀嘀无限科技发展有限公司 数据处理方法、系统、装置、设备和介质
WO2022150874A1 (en) * 2021-01-13 2022-07-21 Seeing Machines Limited System and method for skin detection in images
CN112906587A (zh) * 2021-02-26 2021-06-04 上海云从企业发展有限公司 一种数据处理方法、装置、机器可读介质及设备
CN113255587B (zh) * 2021-06-24 2021-10-15 深圳市光鉴科技有限公司 基于深度相机的刷脸支付系统
CN113936050B (zh) * 2021-10-21 2022-08-12 合肥的卢深视科技有限公司 散斑图像生成方法、电子设备及存储介质
CN114491657A (zh) * 2021-12-24 2022-05-13 中国银联股份有限公司 一种模型保护方法、数据处理方法、装置、设备及介质
WO2023156375A1 (en) * 2022-02-15 2023-08-24 Trinamix Gmbh Method and system for detecting a vital sign
CN114783041B (zh) * 2022-06-23 2022-11-18 合肥的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质
CN115797995B (zh) * 2022-11-18 2023-09-01 北京的卢铭视科技有限公司 人脸活体检测方法、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2645302A2 (en) * 2012-03-27 2013-10-02 Fujitsu Limited Noncontact biometric identification device
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN205140028U (zh) * 2015-07-31 2016-04-06 北京旷视科技有限公司 门禁系统
CN105516613A (zh) * 2015-12-07 2016-04-20 凌云光技术集团有限责任公司 基于人脸识别的智能曝光方法及系统
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107832677A (zh) * 2017-10-19 2018-03-23 深圳奥比中光科技有限公司 基于活体检测的人脸识别方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7652251B1 (en) * 2008-11-17 2010-01-26 Fluke Corporation Registration methods for fusing corresponding infrared and visible light images
TWM412400U (en) * 2011-02-10 2011-09-21 Yuan-Hong Li Augmented virtual reality system of bio-physical characteristics identification
TWI464692B (zh) * 2012-07-03 2014-12-11 Wistron Corp 操作物辨識方法、操作物深度資訊建立方法及電子裝置
US9338544B2 (en) * 2014-06-03 2016-05-10 Cisco Technology, Inc. Determination, display, and adjustment of best sound source placement region relative to microphone
US9767358B2 (en) * 2014-10-22 2017-09-19 Veridium Ip Limited Systems and methods for performing iris identification and verification using mobile devices
US20180211096A1 (en) * 2015-06-30 2018-07-26 Beijing Kuangshi Technology Co., Ltd. Living-body detection method and device and computer program product
US10335045B2 (en) * 2016-06-24 2019-07-02 Universita Degli Studi Di Trento Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions
CN106407914B (zh) * 2016-08-31 2019-12-10 北京旷视科技有限公司 用于检测人脸的方法、装置和远程柜员机系统
EP3534328A4 (en) * 2016-10-31 2019-11-06 Nec Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, FACIAL RECOGNITION SYSTEM, PROGRAM, AND RECORDING MEDIUM
CN106533667B (zh) * 2016-11-08 2019-07-19 深圳大学 基于双光束干涉的多级密钥生成方法和用户分级认证方法
CN106874871B (zh) 2017-02-15 2020-06-05 广东光阵光电科技有限公司 一种活体人脸双摄像头识别方法及识别装置
KR102350781B1 (ko) * 2017-06-15 2022-01-14 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107341481A (zh) 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别
CN107590430A (zh) 2017-07-26 2018-01-16 百度在线网络技术（北京）有限公司 活体检测方法、装置、设备及存储介质
CN108764052B (zh) * 2018-04-28 2020-09-11 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2645302A2 (en) * 2012-03-27 2013-10-02 Fujitsu Limited Noncontact biometric identification device
CN205140028U (zh) * 2015-07-31 2016-04-06 北京旷视科技有限公司 门禁系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN105516613A (zh) * 2015-12-07 2016-04-20 凌云光技术集团有限责任公司 基于人脸识别的智能曝光方法及系统
CN107451510A (zh) * 2016-05-30 2017-12-08 北京旷视科技有限公司 活体检测方法和活体检测系统
CN107590463A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 人脸识别方法及相关产品
CN107832677A (zh) * 2017-10-19 2018-03-23 深圳奥比中光科技有限公司 基于活体检测的人脸识别方法及系统

Also Published As

Publication number Publication date
CN108764052A (zh) 2018-11-06
TW201945980A (zh) 2019-12-01
TWI736883B (zh) 2021-08-21
US10771689B2 (en) 2020-09-08
EP3561724A1 (en) 2019-10-30
US20190335098A1 (en) 2019-10-31
WO2019205742A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
CN108764052B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805024B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108804895B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108549867B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11275927B2 (en) Method and device for processing image, computer readable storage medium and electronic device
US11146735B2 (en) Image processing methods and apparatuses, computer readable storage media, and electronic devices
US11256903B2 (en) Image processing method, image processing device, computer readable storage medium and electronic device
CN108668078B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108711054B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN110248111B (zh) 控制拍摄的方法、装置、电子设备及计算机可读存储介质
CN108921903B (zh) 摄像头标定方法、装置、计算机可读存储介质和电子设备
WO2019196684A1 (zh) 数据传输方法、装置、计算机可读存储介质、电子设备和移动终端
CN109213610B (zh) 数据处理方法、装置、计算机可读存储介质和电子设备
CN108830141A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108712400B (zh) 数据传输方法、装置、计算机可读存储介质和电子设备
EP3621294B1 (en) Method and device for image capture, computer readable storage medium and electronic device
WO2019196669A1 (zh) 基于激光的安全验证方法、装置及终端设备
CN108881712B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
US11308636B2 (en) Method, apparatus, and computer-readable storage medium for obtaining a target image
EP3633546A1 (en) Image processing method and apparatus, and electronic device and computer-readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200911

CF01 Termination of patent right due to non-payment of annual fee