CN112668547A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN112668547A CN112668547A CN202110045933.2A CN202110045933A CN112668547A CN 112668547 A CN112668547 A CN 112668547A CN 202110045933 A CN202110045933 A CN 202110045933A CN 112668547 A CN112668547 A CN 112668547A
- Authority
- CN
- China
- Prior art keywords
- image
- processing unit
- image data
- processing
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 292
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000001514 detection method Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000004071 biological effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Abstract
本申请涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。上述方法包括：若接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。上述方法，第一处理单元在获取到图像数据后，可对图像数据划分安全等级，根据图像数据的安全等级确定图像数据对应的运行环境，将图像数据划分到对应运行环境下的第一处理单元进行处理，通过对图像数据的不同划分提高了对图像数据处理的效率。
Description
本申请是申请日为2018年04月28日、发明名称为“图像处理方法、装置、电子设备和计算机可读存储介质”、申请号为201810403022.0的专利申请的分案申请。
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着人脸识别技术和结构光技术的发展，人脸解锁、人脸支付等在电子设备中越来越常见。通过结构光技术，电子设备可采集人脸图像以及人脸的3D信息，根据采集到的人脸图像及人脸3D信息可进行人脸支付、人脸解锁等。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备和计算机可读存储介质，可以提高第一处理单元对图像数据处理的效率。
一种图像处理方法，包括：
若电子设备的第一处理单元接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；所述第一处理单元中预设有各个图像数据对应的安全等级；
根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；所述第一处理单元包括可信运行环境下运行的CPU内核和自然运行环境下运行的CPU内核，所述可信运行环境的安全级别高于自然运行环境的安全级别；所述电子设备还包括第二处理单元，所述第一处理单元与所述第二处理单元之间通过安全接口进行数据通信；
将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。
一种图像处理装置，其特征在于，包括：
接收模块，用于若电子设备的第一处理单元接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；所述第一处理单元中预设有各个图像数据对应的安全等级；
确定模块，用于根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；所述第一处理单元包括可信运行环境下运行的CPU内核和自然运行环境下运行的CPU内核，所述可信运行环境的安全级别高于自然运行环境的安全级别；所述电子设备还包括第二处理单元，所述第一处理单元与所述第二处理单元之间通过安全接口进行数据通信；
处理模块，用于将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。
一种电子设备，其特征在于，包括：第一处理单元、第二处理单元和摄像头模组；所述第二处理单元分别连接所述第一处理单元和所述摄像头模组；
所述第一处理单元，用于若接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；所述第一处理单元中预设有各个图像数据对应的安全等级；
所述第一处理单元，用于根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；所述第一处理单元包括可信运行环境下运行的CPU内核和自然运行环境下运行的CPU内核，所述可信运行环境的安全级别高于自然运行环境的安全级别；
所述第一处理单元，用于将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
上述图像处理方法、装置、电子设备和计算机可读存储介质，第一处理单元在获取到图像数据后，可对图像数据划分安全等级，根据图像数据的安全等级确定图像数据对应的运行环境，将图像数据划分到对应运行环境下的第一处理单元进行处理，通过对图像数据的不同划分提高了对图像数据处理的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用场景图；
图2为一个实施例中图像处理方法的流程图；
图3为另一个实施例中图像处理方法的流程图；
图4为一个实施例中图像处理装置的结构框图；
图5为另一个实施例中图像处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像处理方法的应用场景图。如图1所示，电子设备10可包括摄像头模组110、第一处理单元120，第二处理单元130。上述第一处理单元120可为CPU(Central Processing Unit，中央处理器)。上述第二处理单元130可为MCU(Microcontroller Unit，微控制单元)等。其中，第二处理单元130连接在第一处理单元120和摄像头模组110之间，上述第二处理单元130可控制摄像头模组110中激光摄像头112、泛光灯114和镭射灯118，上述第一处理单元120可控制摄像头模组110中RGB(Red/Green/Blue，红/绿/蓝色彩模式)摄像头116。
摄像头模组110中包括激光摄像头112、泛光灯114、RGB摄像头116和镭射灯118。上述激光摄像头112为红外摄像头，用于获取红外图像。上述泛光灯114为可发射红外光的点光源；上述镭射灯118为可发生激光的点光源且为带有图案的点光源。其中，当泛光灯114发射点光源时，激光摄像头112可根据反射回的光线获取红外图像。当镭射灯118发射点光源时，激光摄像头112可根据反射回的光线获取散斑图像。上述散斑图像是镭射灯118发射的带有图案的点光源被反射后图案发生形变的图像。
第一处理单元120可包括在TEE(Trusted execution environment，可信运行环境)环境下运行的CPU内核和在REE(Rich Execution Environment，自然运行环境)环境下运行的CPU内核。其中，TEE环境和REE环境均为ARM模块(Advanced RISC Machines，高级精简指令集处理器)的运行模式。其中，TEE环境的安全级别较高，第一处理单元120中有且仅有一个CPU内核可同时运行在TEE环境下。通常情况下，电子设备10中安全级别较高的操作行为需要在TEE环境下的CPU内核中执行，安全级别较低的操作行为可在REE环境下的CPU内核中执行。
第二处理单元130包括PWM(Pulse Width Modulation，脉冲宽度调制)模块132、SPI/I2C(Serial Peripheral Interface/Inter－Integrated Circuit，串行外设接口/双向二线制同步串行接口)接口134、RAM(Random Access Memory，随机存取存储器)模块136和深度引擎138。上述PWM模块132可向摄像头模组发射脉冲，控制泛光灯114或镭射灯118开启，使得激光摄像头112可采集到红外图像或散斑图像。上述SPI/I2C接口134用于接收第一处理单元120发送的图像采集指令。上述深度引擎138可对散斑图像进行处理得到深度视差图。
当第一处理单元120接收到应用程序的数据获取请求时，例如，当应用程序需要进行人脸解锁、人脸支付时，可通过运行在TEE环境下的CPU内核向第二处理单元130发送图像采集指令。当第二处理单元130接收到图像采集指令后，可通过PWM模块132发射脉冲波控制摄像头模组110中泛光灯114开启并通过激光摄像头112采集红外图像、控制摄像头模组110中镭射灯118开启并通过激光摄像头112采集散斑图像。摄像头模组110可将采集到的红外图像和散斑图像发送给第二处理单元130。第二处理单元130可对接收到的红外图像进行处理得到红外视差图；对接收到的散斑图像进行处理得到散斑视差图或深度视差图。其中，第二处理单元130对上述红外图像和散斑图像进行处理是指对红外图像或散斑图像进行校正，去除摄像头模组110中内外参数对图像的影响。其中，第二处理单元130可设置成不同的模式，不同模式输出的图像不同。当第二处理单元130设置为散斑图模式时，第二处理单元130对散斑图像处理得到散斑视差图，根据上述散斑视差图可得到目标散斑图像；当第二处理单元130设置为深度图模式时，第二处理单元130对散斑图像处理得到深度视差图，根据上述深度视差图可得到深度图像，上述深度图像是指带有深度信息的图像。第二处理单元130可将上述红外视差图和散斑视差图发送给第一处理单元120，第二处理单元130也可将上述红外视差图和深度视差图发送给第一处理单元120。第一处理单元120可根据上述红外视差图获取目标红外图像、根据上述深度视差图获取深度图像。进一步的，第一处理单元120可根据目标红外图像、深度图像来进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。
第二处理单元130与第一处理单元120之间通信是通过固定的安全接口，用以确保传输数据的安全性。如图1所示，第一处理单元120发送给第二处理单元130的数据是通过SECURE SPI/I2C 140，第二处理单元130发送给第一处理单元120的数据是通过SECUREMIPI(Mobile Industry Processor Interface，移动产业处理器接口)150。
在一个实施例中，第二处理单元130也可根据上述红外视差图获取目标红外图像、上述深度视差图计算获取深度图像，再将上述目标红外图像、深度图像发送给第一处理单元120。
在一个实施例中，第二处理单元130可根据上述目标红外图像、深度图像进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。其中，第二处理单元130将图像发送给第一处理单元120是指第二处理单元130将图像发送给第一处理单元120中处于TEE环境下的CPU内核。
本申请实施例中电子设备可为手机、平板电脑、个人数字助理或可穿戴设备等。
图2为一个实施例中图像处理方法的流程图。如图2所示，一种图像处理方法，包括：
步骤202，若接收到用于获取人脸深度信息的图像数据，对图像数据划分安全等级。
当电子设备中第一处理单元接收到应用程序侧获取人脸数据的指令后，可将上述指令发送给与第一处理单元连接的第二处理单元，使第二处理单元控制摄像头模组采集红外图像和散斑图像；电子设备中第一处理单元还可根据获取的人脸数据的指令直接控制摄像头模组，控制摄像头模组采集红外图像和散斑图像。可选地，若上述获取人脸数据的指令中还包括获取可见光图像，则电子设备中第一处理单元还可控制摄像头模组采集可见光图像，即RGB图像。上述第一处理单元为电子设备中处理数据的集成电路，例如CPU；上述第二处理单元分别连接第二处理单元与摄像头模组，可对摄像头模组采集的人脸图像进行预处理，再将预处理得到的中间图像发送给第一处理单元，可选的上述第二处理单元可为MCU。
摄像头模组在根据上述指令采集到图像后，可将上述图像传送给第二处理单元或第一处理单元。可选地，摄像头模组可将红外图像和散斑图像传送给第二处理单元，将RGB图像传送给第一处理单元；摄像头模组也可将红外图像、散斑图像和RGB图像都传送给第一处理单元。其中，当摄像头模组将红外图像和散斑图像传送给第二处理单元时，第二处理单元可对获取的图像进行处理得到红外视差图和深度视差图，再将获取的红外视差图和深度视差图传送给第一处理单元。
当上述第一处理单元接收到摄像头模组直接传输的图像数据或经过第二处理单元进行处理后的中间图像时，可对接收到的图像数据划分安全等级。其中，第一处理单元中可预设各个图像数据对应的安全等级。可选地，第一处理单元接收到的图像数据可包括红外图像、散斑图像、红外视差图、深度视差图和RGB图像。第一处理单元中可预设三个安全等级包括第一等级、第二等级和第三等级，由第一等级到第三等级安全级别逐渐降低。根据散斑图像和深度视差图像可得到人脸深度信息，因此可将散斑图像和深度视差图设定第一等级；根据红外图像和红外视差图像可进行人脸识别，因此可将红外图像和红外视差图像设定为第二等级；上述RGB图像可设定为第三等级。
步骤204，根据安全等级确定图像数据对应的运行环境；运行环境是第一处理单元的运行环境。
第一处理单元可在不同的运行环境下运行，例如TEE环境和REE环境。其中，第一处理单元可运行在TEE环境或REE环境下。以第一处理单元是CPU为例，当电子设备中CPU包括多个CPU内核时，有且仅有一个CPU内核可运行在TEE环境下，其他CPU内核可运行在REE环境下。其中，当CPU内核运行在TEE环境下时，CPU内核的安全级别较高；当CPU内核运行在REE环境下时，CPU内核的安全级别较低；可选地，电子设备可确定第一等级的图像数据对应TEE运行环境，第三等级的图像数据对应REE运行环境，第二等级的图像数据对应TEE运行环境或REE运行环境。
步骤206，将图像数据划分到对应运行环境下的第一处理单元进行处理，得到人脸深度信息。
在获取到各个图像数据的安全等级以及安全等级对应的运行环境后，电子设备可将获取的图像数据划分到对应运行环境下的第一处理单元进行处理。可选地，上述散斑图像和深度视差图可划分到TEE环境下的第一处理单元进行处理，RGB图像可划分到REE环境下的第一处理单元进行处理，红外图像和红外视差图可划分到TEE环境下的第一处理单元进行处理或REE环境下的第一处理单元进行处理。其中，第一处理单元可根据红外图像或红外视差图进行人脸识别，检测获取的红外图像或红外视差图中是否包含人脸，若上述红外图像或红外视差图中包含人脸，在电子设备可将上述红外图像或红外视差图中包含的人脸与电子设备已存储的人脸进行匹配，检测上述红外图像或红外视差图中包含的人脸是否是已存储的人脸。第一处理单元可根据散斑图像或深度视差图获取人脸的深度信息，上述人脸的深度信息是指人脸的三维立体信息。第一处理单元也可根据RGB图像进行人脸识别，检测上述RGB图像中是否存在人脸以及RGB图像中人脸与已存储的人脸是否匹配。
通常情况下，当第一处理单元为CPU时，CPU中有且仅有一个CPU内核可运行在TEE环境中，当图像数据全由TEE环境中CPU处理时，CPU处理效率较为低下。
本申请实施例中方法，第一处理单元在获取到图像数据后，可对图像数据划分安全等级，根据图像数据的安全等级确定图像数据对应的运行环境，将图像数据划分到对应运行环境下的第一处理单元进行处理，通过对图像数据的不同划分提高了对图像数据处理的效率。
在一个实施例中，图像数据包括：摄像头模组采集的人脸图像和/或第二处理单元对人脸图像处理得到的中间图像。
电子设备中摄像头模组可采集红外图像和散斑图像；上述摄像头模组可采集红外图像、散斑图像和RGB图像。其中，摄像头模组可直接将上述采集到的红外图像和散斑图像发送给第一处理单元，或摄像头模组可直接将上述采集到的红外图像、散斑图像和RGB图像发送给第一处理单元；摄像头模组也可将红外图像和散斑图像发送给第二处理单元，将RGB图像发送给第一处理单元，第二处理单元在将对上述红外图像和散斑图像进行处理得到的中间图像发送给第一处理单元。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。
第一处理单元可控制摄像头模组中红外灯开启并通过激光摄像头采集红外图像，第一处理单元还可控制摄像头模组中镭射灯开启并通过激光摄像头采集散斑图像。为保证上述红外图像和散斑图像的画面内容的一致，摄像头模组采集上述红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔应小于第一阈值。例如，第一时刻与第二时刻之间的时间间隔小于5毫秒。其中，在摄像头模组中可设置泛光灯控制器和镭射灯控制器，第一处理单元通过控制向上述泛光灯控制器或镭射灯控制器发射脉冲波的时间间隔可控制采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔。
本申请实施例中方法，采集到的红外图像和散斑图像之间的时间间隔低于第一阈值，可保证采集到的红外图像和散斑图像的一致，避免红外图像和散斑图像之间存在较大的误差，提高了对数据处理的准确性。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和RGB图像；其中，红外图像和RGB图像是摄像头模组同时采集的图像。
当图像采集指令中还包括采集RGB图像时，第二处理单元可控制摄像头模组中RGB摄像头采集RGB图像。其中，第一处理单元控制激光摄像头采集红外图像和散斑图像，第二处理单元控制RGB摄像头采集RGB图像。为确保采集图像的一致，可在上述激光摄像头和RGB摄像头之间添加时序同步线，使得摄像头模组可同时采集上述红外图像和RGB图像。
本申请实施例中方法，通过控制摄像头模组同时采集红外图像和RGB图像，使得采集的红外图像和RGB图像一致，提高了图像处理的准确性。
在一个实施例中，将图像数据划分到对应运行环境下的第一处理单元进行处理包括：提取图像数据中特征集；将特征集划分到图像数据对应运行环境下的第一处理单元进行处理。
第一处理单元获取到图像数据后，可提取图像数据中特征集，再将图像数据中特征集划分到图像数据对应运行环境下的第一处理单元进行处理。可选地，第一处理单元可识别接收到的图像数据中各个图像中人脸区域，将人脸区域提取出再划分到各个图像数据对应运行环境下的第一处理单元进行处理。进一步地，第一处理单元还可提取各个图像数据中人脸特征点的信息，再将各个图像数据中人脸特征点的信息划分到图像数据对应运行环境下的第一处理单元进行处理。其中，第一处理单元在将特征集划分到图像数据对应运行环境下的第一处理单元时，先查找提取特征集的图像数据，再获取上述图像数据对应的运行环境，再将从上述图像数据中提取的特征集划分到图像数据对应的运行环境中第一处理单元进行处理。
本申请实施例中方法，第一处理单元在接收到图像数据后，可提取出图像数据中特征集，将图像数据中特征集划分到第一处理单元进行处理，减少了第一处理单元的处理量，提高了处理效率。
在一个实施例中，在得到人脸深度信息之前，上述方法还包括：
根据图像数据进行人脸识别和活体检测；
确定对图像数据人脸识别通过且检测到的人脸具有生物活性。
第一处理单元在接收到图像数据，可根据上述图像数据进行人脸识别和活体检测。其中，第一处理单元可检测红外图像或红外视差图中是否存在人脸。当上述红外图像或红外视差图中存在人脸时，第一处理单元可将上述红外图像或红外视差图中存在的人脸与已存储人脸进行匹配，检测上述红外图像或红外视差图中存在的人脸与已存储人脸是否匹配成功。若匹配成功，则第一处理单元可根据散斑图像或深度视差图获取人脸深度图像，根据上述人脸深度图像践行活体检测。其中，根据上述人脸深度图像进行活体检测包括：在人脸深度图像中查找人脸区域，检测人脸区域是否有深度信息，且上述深度信息是否符合人脸立体规则。若上述人脸深度图像中人脸区域有深度信息，且上述深度信息符合人脸立体规则，则人脸具有生物活性。上述人脸立体规则是带有人脸三维深度信息的规则。可选地，第一处理单元还可采用人工智能模型对上述图像数据进行人工智能识别，获取人脸表面的纹理，检测上述纹理的方向、纹理的密度、纹理的宽度等是否符合人脸规则，若符合人脸规则，则判定人脸具有生物活性。
在一个实施例中，上述方法还包括：
步骤208，获取接收人脸深度信息的应用程序的类型。
步骤210，根据类型确定应用程序对应的数据通道。
步骤212，将人脸深度信息通过对应的数据传输通道发送给应用程序。
第一处理单元可将获取到的人脸深度信息发送给应用程序，供应用程序进行人脸解锁、人脸支付等操作。可选地，第一处理单元可通过安全通道或普通通道将深度图像传输给应用程序，上述安全通道和普通通道的安全级别不同。其中，上述安全通道的安全级别较高，普通通道的安全级别较低。当数据在安全通道中传输时，可对数据进行加密，避免数据泄露或被窃取。电子设备可根据应用程序的类型设置对应的数据通道。可选地，安全性要求高的应用程序可对应安全通道，安全性要求低的应用程序可对应普通通道。例如，支付类应用程序对应安全通道，图像类应用程序对应普通通道。第一处理单元中可预设各个应用程序的类型以及各个类型对应的数据通道，在获取应用程序的类型对应的数据通道后，可将人脸深度信息通过对应的数据通道发送给应用程序，使得应用程序根据上述深度图像进行下一步操作。
本申请实施例中方法，根据应用程序的类型选取对应的数据通道来传输数据，既可以保证对安全性要求高的应用程序进行数据传输的安全性，也提高了对安全性要求低的应用程序进行传输数据的速度。
在一个实施例中，一种图像处理方法，包括：
(1)若接收到用于获取人脸深度信息的图像数据，对图像数据划分安全等级。
(2)根据安全等级确定图像数据对应的运行环境；运行环境是第一处理单元的运行环境。
(3)将图像数据划分到对应运行环境下的第一处理单元进行处理，得到人脸深度信息。
在一个实施例中，图像数据包括摄像头模组采集的人脸图像和/或第二处理单元对人脸图像处理得到的中间图像。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和RGB图像；其中，红外图像和RGB图像是摄像头模组同时采集的图像。
在一个实施例中，将图像数据划分到对应运行环境下的第一处理单元进行处理包括：提取图像数据中特征集；将特征集划分到图像数据对应运行环境下的第一处理单元进行处理。
在一个实施例中，在得到人脸深度信息之前，上述方法还包括：根据图像数据进行人脸识别和活体检测；确定对图像数据人脸识别通过且检测到的人脸具有生物活性。
在一个实施例中，上述方法还包括：获取接收人脸深度信息的应用程序的类型；根据类型确定应用程序对应的数据通道；将人脸深度信息通过对应的数据传输通道发送给应用程序。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图4为一个实施例中图像处理装置的结构框图。如图4所示，一种图像处理装置，包括：
接收模块402，用于若接收到用于获取人脸深度信息的图像数据，对图像数据划分安全等级。
确定模块404，用于根据安全等级确定图像数据对应的运行环境；运行环境是第一处理单元的运行环境。
处理模块406，用于将图像数据划分到对应运行环境下的第一处理单元进行处理，得到人脸深度信息。
在一个实施例中，图像数据包括摄像头模组采集的人脸图像和/或第二处理单元对人脸图像处理得到的中间图像。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和RGB图像；其中，红外图像和RGB图像是摄像头模组同时采集的图像。
在一个实施例中，处理模块406图像数据划分到对应运行环境下的第一处理单元进行处理包括：提取图像数据中特征集；将特征集划分到图像数据对应运行环境下的第一处理单元进行处理。
在一个实施例中，确定模块404还用于在得到人脸深度信息之前，根据图像数据进行人脸识别和活体检测；确定对图像数据人脸识别通过且检测到的人脸具有生物活性。
图5为另一个实施例中图像处理装置的结构框图。如图5所示，一种图像处理装置，包括：接收模块502、确定模块504、处理模块506、获取模块508、发送模块510。其中，接收模块502、确定模块504、处理模块506与图4中对应的模块功能相同。
获取模块508，用于获取接收人脸深度信息的应用程序的类型。
确定模块504，用于根据类型确定应用程序对应的数据通道。
发送模块510，用于将人脸深度信息通过对应的数据传输通道发送给应用程序。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像处理装置按照需要划分为不同的模块，以完成上述图像处理装置的全部或部分功能。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行本申请实施例中图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例中图像处理方法的步骤。
本申请实施例还提供了一种电子设备，上述电子设备包括：第一处理单元、第二处理单元和摄像头模组。其中，第二处理单元分别连接上述第一处理单元和摄像头模组。
第一处理单元，用于若接收到用于获取人脸深度信息的图像数据，对图像数据划分安全等级；
第一处理单元，用于根据安全等级确定图像数据对应的运行环境；运行环境是第一处理单元的运行环境；
第一处理单元，用于将图像数据划分到对应运行环境下的第一处理单元进行处理，得到人脸深度信息。
在一个实施例中，图像数据包括摄像头模组采集的人脸图像和/或第二处理单元对人脸图像处理得到的中间图像。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和散斑图像；其中，采集红外图像的第一时刻与采集散斑图像的第二时刻之间的时间间隔小于第一阈值。
在一个实施例中，图像数据包括摄像头模组采集的红外图像和RGB图像；其中，红外图像和RGB图像是摄像头模组同时采集的图像。
在一个实施例中，第一处理单元将图像数据划分到对应运行环境下的第一处理单元进行处理包括：提取图像数据中特征集；将特征集划分到图像数据对应运行环境下的第一处理单元进行处理。
在一个实施例中，在得到人脸深度信息之前，第一处理单元还用于根据图像数据进行人脸识别和活体检测；确定对图像数据人脸识别通过且检测到的人脸具有生物活性。
在一个实施例中，第一处理单元还用于获取接收人脸深度信息的应用程序的类型；根据类型确定应用程序对应的数据通道；将人脸深度信息通过对应的数据传输通道发送给应用程序。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (16)
1.一种图像处理方法，其特征在于，包括：
若电子设备的第一处理单元接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；所述第一处理单元中预设有各个图像数据对应的安全等级；
根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；所述第一处理单元包括可信运行环境下运行的CPU内核和自然运行环境下运行的CPU内核，所述可信运行环境的安全级别高于自然运行环境的安全级别；所述电子设备还包括第二处理单元，所述第一处理单元与所述第二处理单元之间通过安全接口进行数据通信；
将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。
2.根据权利要求1所述的方法，其特征在于：
所述图像数据包括摄像头模组采集的人脸图像和/或第二处理单元对所述人脸图像处理得到的中间图像。
3.根据权利要求1所述的方法，其特征在于：
所述图像数据包括摄像头模组采集的红外图像和散斑图像；
其中，采集所述红外图像的第一时刻与采集所述散斑图像的第二时刻之间的时间间隔小于第一阈值。
4.根据权利要求1所述的方法，其特征在于：
所述图像数据包括摄像头模组采集的红外图像和RGB图像；
其中，所述红外图像和所述RGB图像是所述摄像头模组同时采集的图像。
5.根据权利要求1所述的方法，其特征在于，将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理包括：
提取所述图像数据中特征集；
将所述特征集划分到所述图像数据对应运行环境下的所述第一处理单元进行处理。
6.根据权利要求1至5中任一项所述的方法，其特征在于，在所述得到人脸深度信息之前，所述方法还包括：
根据所述图像数据进行人脸识别和活体检测；
确定对所述图像数据人脸识别通过且检测到的人脸具有生物活性。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
获取接收所述人脸深度信息的应用程序的类型；
根据所述类型确定所述应用程序对应的数据通道；
将所述人脸深度信息通过所述对应的数据传输通道发送给所述应用程序。
8.一种图像处理装置，其特征在于，包括：
接收模块，用于若电子设备的第一处理单元接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；所述第一处理单元中预设有各个图像数据对应的安全等级；
确定模块，用于根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；所述第一处理单元包括可信运行环境下运行的CPU内核和自然运行环境下运行的CPU内核，所述可信运行环境的安全级别高于自然运行环境的安全级别；所述电子设备还包括第二处理单元，所述第一处理单元与所述第二处理单元之间通过安全接口进行数据通信；
处理模块，用于将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。
9.一种电子设备，其特征在于，包括：第一处理单元、第二处理单元和摄像头模组；所述第二处理单元分别连接所述第一处理单元和所述摄像头模组；
所述第一处理单元，用于若接收到用于获取人脸深度信息的图像数据，对所述图像数据划分安全等级；所述第一处理单元中预设有各个图像数据对应的安全等级；
所述第一处理单元，用于根据所述安全等级确定所述图像数据对应的运行环境；所述运行环境是第一处理单元的运行环境；所述第一处理单元包括可信运行环境下运行的CPU内核和自然运行环境下运行的CPU内核，所述可信运行环境的安全级别高于自然运行环境的安全级别；
所述第一处理单元，用于将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理，得到人脸深度信息。
10.根据权利要求9所述的电子设备，其特征在于：
所述图像数据包括摄像头模组采集的人脸图像和/或第二处理单元对所述人脸图像处理得到的中间图像。
11.根据权利要求9所述的电子设备，其特征在于：
所述图像数据包括摄像头模组采集的红外图像和散斑图像；其中，采集所述红外图像的第一时刻与采集所述散斑图像的第二时刻之间的时间间隔小于第一阈值。
12.根据权利要求9所述的电子设备，其特征在于：
所述图像数据包括所述摄像头模组采集的红外图像和RGB图像；其中，所述红外图像和所述RGB图像是所述摄像头模组同时采集的图像。
13.根据权利要求9所述的电子设备，其特征在于：
所述第一处理单元将所述图像数据划分到对应运行环境下的所述第一处理单元进行处理包括：提取所述图像数据中特征集；将所述特征集划分到所述图像数据对应运行环境下的所述第一处理单元进行处理。
14.根据权利要求9至13中任一项所述的电子设备，其特征在于：
所述第一处理单元还用于在所述得到人脸深度信息之前，根据所述图像数据进行人脸识别和活体检测；确定对所述图像数据人脸识别通过且检测到的人脸具有生物活性。
15.根据权利要求9至13中任一项所述的电子设备，其特征在于：
所述第一处理单元还用于获取接收所述人脸深度信息的应用程序的类型；根据所述类型确定所述应用程序对应的数据通道；将所述人脸深度信息通过所述对应的数据传输通道发送给所述应用程序。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110045933.2A CN112668547A (zh) | 2018-04-28 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810403022.0A CN108846310B (zh) | 2018-04-28 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN202110045933.2A CN112668547A (zh) | 2018-04-28 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810403022.0A Division CN108846310B (zh) | 2018-04-12 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112668547A true CN112668547A (zh) | 2021-04-16 |
Family
ID=64212362
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110045933.2A Pending CN112668547A (zh) | 2018-04-28 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN201810403022.0A Expired - Fee Related CN108846310B (zh) | 2018-04-12 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810403022.0A Expired - Fee Related CN108846310B (zh) | 2018-04-12 | 2018-04-28 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (2) | CN112668547A (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3633546A4 (en) | 2018-04-12 | 2020-10-21 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | IMAGE PROCESSING METHOD AND DEVICE, ELECTRONIC DEVICE AND COMPUTER READABLE STORAGE MEDIUM |
| CN110335303B (zh) * | 2019-06-24 | 2021-10-26 | Oppo广东移动通信有限公司 | 图像处理方法和装置、及存储介质 |
| CN111292488A (zh) * | 2020-02-13 | 2020-06-16 | 展讯通信（上海）有限公司 | 图像数据的处理方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106487775A (zh) * | 2015-09-01 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种基于云平台的业务数据的处理方法和装置 |
| CN106815494A (zh) * | 2016-12-28 | 2017-06-09 | 中软信息系统工程有限公司 | 一种基于cpu时空隔离机制实现应用程序安全认证的方法 |
| CN107105217A (zh) * | 2017-04-17 | 2017-08-29 | 深圳奥比中光科技有限公司 | 多模式深度计算处理器以及3d图像设备 |
| CN107169343A (zh) * | 2017-04-25 | 2017-09-15 | 深圳市金立通信设备有限公司 | 一种控制应用程序的方法及终端 |
| CN107292283A (zh) * | 2017-07-12 | 2017-10-24 | 深圳奥比中光科技有限公司 | 混合人脸识别方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104702577B (zh) * | 2013-12-09 | 2018-03-16 | 华为技术有限公司 | 数据流安全处理方法及装置 |
| CN105120257B (zh) * | 2015-08-18 | 2017-12-15 | 宁波盈芯信息科技有限公司 | 一种基于结构光编码的垂直深度感知装置 |
| CN106685997A (zh) * | 2017-02-24 | 2017-05-17 | 深圳市金立通信设备有限公司 | 一种数据传输方法及终端 |
| CN106991377B (zh) * | 2017-03-09 | 2020-06-05 | Oppo广东移动通信有限公司 | 结合深度信息的人脸识别方法、人脸识别装置和电子装置 |
| CN107292183B (zh) * | 2017-06-29 | 2019-08-23 | 国信优易数据有限公司 | 一种数据处理方法及设备 |
| CN107169483A (zh) * | 2017-07-12 | 2017-09-15 | 深圳奥比中光科技有限公司 | 基于人脸识别的任务执行 |
| CN107480613B (zh) * | 2017-07-31 | 2021-03-02 | Oppo广东移动通信有限公司 | 人脸识别方法、装置、移动终端和计算机可读存储介质 |
| CN107832677A (zh) * | 2017-10-19 | 2018-03-23 | 深圳奥比中光科技有限公司 | 基于活体检测的人脸识别方法及系统 |
-
2018
- 2018-04-28 CN CN202110045933.2A patent/CN112668547A/zh active Pending
- 2018-04-28 CN CN201810403022.0A patent/CN108846310B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106487775A (zh) * | 2015-09-01 | 2017-03-08 | 阿里巴巴集团控股有限公司 | 一种基于云平台的业务数据的处理方法和装置 |
| CN106815494A (zh) * | 2016-12-28 | 2017-06-09 | 中软信息系统工程有限公司 | 一种基于cpu时空隔离机制实现应用程序安全认证的方法 |
| CN107105217A (zh) * | 2017-04-17 | 2017-08-29 | 深圳奥比中光科技有限公司 | 多模式深度计算处理器以及3d图像设备 |
| CN107169343A (zh) * | 2017-04-25 | 2017-09-15 | 深圳市金立通信设备有限公司 | 一种控制应用程序的方法及终端 |
| CN107292283A (zh) * | 2017-07-12 | 2017-10-24 | 深圳奥比中光科技有限公司 | 混合人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108846310B (zh) | 2021-02-02 |
| CN108846310A (zh) | 2018-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108564032B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| US20220083795A1 (en) | Face living body detection method and apparatus, device, and storage medium | |
| CN110324521B (zh) | 控制摄像头的方法、装置、电子设备及存储介质 | |
| CN108846310B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN108549867B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| US20210049347A1 (en) | Feature point positioning method, storage medium, and computer device | |
| CN110191266B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN110248111B (zh) | 控制拍摄的方法、装置、电子设备及计算机可读存储介质 | |
| CN110383288A (zh) | 人脸识别的方法、装置和电子设备 | |
| WO2019196683A1 (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN108650472B (zh) | 控制拍摄的方法、装置、电子设备及计算机可读存储介质 | |
| CN103985172A (zh) | 一种基于三维人脸识别的出入口控制系统 | |
| CN108595942B (zh) | 应用程序的安全控制方法、装置及移动终端、存储介质 | |
| CN110781770B (zh) | 基于人脸识别的活体检测方法、装置及设备 | |
| EP3576016A1 (en) | Face recognition method and apparatus, and mobile terminal and storage medium | |
| CN111144284A (zh) | 深度人脸图像的生成方法、装置、电子设备及介质 | |
| CN112487922A (zh) | 一种多模态人脸活体检测方法及系统 | |
| CN108833887B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN108985255B (zh) | 数据处理方法、装置、计算机可读存储介质和电子设备 | |
| US20200151436A1 (en) | Method and Apparatus for Processing Data, and Computer Readable Storage Medium | |
| CN107715477A (zh) | 多功能舞台设备控制系统 | |
| US11170204B2 (en) | Data processing method, electronic device and computer-readable storage medium | |
| CN109064503B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| JP7328144B2 (ja) | 切羽性状推定装置および推定方法 | |
| CN108810516B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |