CN108563936A - 任务执行方法、终端设备及计算机可读存储介质 - Google Patents

任务执行方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN108563936A
CN108563936A CN201810336302.4A CN201810336302A CN108563936A CN 108563936 A CN108563936 A CN 108563936A CN 201810336302 A CN201810336302 A CN 201810336302A CN 108563936 A CN108563936 A CN 108563936A
Authority
CN
China
Prior art keywords
face
terminal device
image
camera
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810336302.4A
Other languages
English (en)
Other versions
CN108563936B (zh
Inventor
黄源浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Publication of CN108563936A publication Critical patent/CN108563936A/zh
Priority to PCT/CN2018/113784 priority Critical patent/WO2019109767A1/zh
Priority to US16/892,094 priority patent/US20200293754A1/en
Application granted granted Critical
Publication of CN108563936B publication Critical patent/CN108563936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/71—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer to assure secure computing or processing of information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Abstract

本申请提供一种任务执行方法、终端设备及计算机可读存储介质。该方法包括：当终端设备的应用程序被激活后，向空间投射主动不可见光；获取包含深度信息的图像；分析图像以实现：判断图像是否含有非授权人脸；以及，判断非授权人脸的视线方向是否指向终端设备；当视线指向终端设备时，控制终端设备执行防偷看操作。本申请采用主动光照明并结合深度信息来进行人脸识别，可以提高人脸识别的精度，此外，本申请根据图像中是否包含非授权人脸进行防偷看操作，可以提高终端设备的安全性。

Description

任务执行方法、终端设备及计算机可读存储介质
技术领域
本申请属于计算机技术领域，更具体地说，是涉及一种任务执行方法、终端设备及计算机可读存储介质。
背景技术
人体有诸多唯一的特征，比如人脸、指纹、虹膜、人耳等，这些特征被统称为生物特征。生物特征识别被广泛用于安防、家居、智能硬件等众多领域。目前较为成熟的生物特征识别(比如指纹识别、虹膜识别等)已被普遍应用于手机、电脑等终端设备。
对于人脸等特征，尽管相关的研究已经非常深入，而对于人脸等特征的识别则仍未普及。
目前的人脸识别方式主要是基于彩色图像的人脸识别方式，这种人脸识别方式会受环境光光强、光照方向等因素的影响，导致识别精度低。
发明内容
本申请提供一种终端设备的任务执行方法、终端设备及计算机可读存储介质，以提高人脸识别的精度。
第一方面，提供一种终端设备的任务执行方法，包括：当终端设备的应用程序被激活后，向空间投射主动不可见光；获取包含深度信息的图像；分析所述图像以实现：判断所述图像是否含有非授权人脸；以及，判断所述非授权人脸的视线方向是否指向所述终端设备；当所述视线指向所述终端设备时，控制所述终端设备执行防偷看操作。
在一种可能的实现方式中，所述主动不可见光为红外泛光，所述图像包含纯红外图像。
在一种可能的实现方式中，所述图像包含深度图像。
在一种可能的实现方式中，所述主动不可见光包含红外结构光。
在一种可能的实现方式中，所述分析还包括当所述图像同时含有授权人脸与非授权人脸时，获取所述授权人脸与所述非授权人脸的距离信息；当所述距离信息指示所述非授权人脸与所述终端设备的距离大于所述授权人脸与所述终端设备的距离时，执行所述非授权人脸的视线方向检测。
在一种可能的实现方式中，所述距离信息是利用所述深度信息所获取。
在一种可能的实现方式中，所述视线方向是利用所述深度信息所获取。
在一种可能的实现方式中，所述防偷看操作包括将所述终端设备关闭、睡眠或发出偷看提醒。
第二方面，提供一种计算机可读存储介质，存储有用于执行第一方面或第一方面中的任意一种可能的实现方式所述的方法的指令。
第三方面，提供一种计算机程序产品，包括用于执行第一方面或第一方面任意一种可能的实现方式所述的方法的指令。
第四方面，提供一种终端设备，包括：主动光照明器；相机；存储器，存储有指令；处理器，用于执行所述指令，以执行第一方面或第一方面中的任意一种可能的实现方式所述的方法。
在一种可能的实现方式中，所述主动光照明器为红外结构光投影模组，所述相机为红外相机，所述红外相机与所述主动光照明器组成了深度相机，所述图像包括深度图像。
相对于已有技术，本申请利用主动不可见光照明以解决环境光干扰问题，并利用包含深度信息的图像进行人脸识别，提高了人脸识别的精度。此外，本申请根据图像中是否包含非授权人脸进行防偷看操作，可以提高终端设备的安全性。
附图说明
图1是根据本申请一个实施例的人脸识别应用示意图。
图2是根据本申请一个实施例的终端设备的结构示意图。
图3是根据本申请一个实施例的任务执行方法的示意性流程图。
图4是根据本申请一个实施例的基于深度信息的人脸识别方法的示意性流程图。
图5是根据本申请另一个实施例的任务执行方法的示意性流程图。
图6是根据本申请一个实施例的终端设备的结构示意图。
具体实施方式
为了使本申请实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
人脸识别技术可以被用于安检、监控等领域。目前随着智能的终端设备(比如手机、平板)的普及，人脸识别可以被应用于执行解锁、支付等操作，也可以被应用于娱乐游戏等多个方面。智能终端设备，比如手机、平板、电脑、电视等大都配备了彩色相机，利用彩色相机采集包含人脸的图像后，可以利用该图像进行人脸检测及识别，从而进一步利用识别的结果执行其他相关的应用。然而，终端设备(尤其是像手机、平板等移动终端设备)的环境常常变化，环境变化会影响彩色相机的成像，比如光线较弱时则无法对人脸进行很好的成像。另一方面，在进行人脸识别时，人脸姿态和/或人脸与相机的距离的随机性增加了人脸识别的难度及稳定性。
本申请首先提供一种基于深度信息的人脸识别方法和终端设备，其利用主动不可见光采集包含深度信息的图像，并基于该图像进行人脸识别。由于深度信息对光照不敏感，因此，能够提升人脸识别的精度。进一步地，在此基础上，本申请提供一种终端设备的任务执行方法及终端设备，可以利用上述人脸识别方法的识别结果执行不同的操作，比如解锁、支付等操作。下面结合具体的附图对本申请实施例进行详细地举例说明。
图1是根据本申请一个实施例的人脸识别应用示意图。用户10手持移动终端11(如手机、平板电脑、播放器等)，移动终端11内部含有可以获取目标(人脸)图像的相机111。若当前的人脸识别应用为解锁时，移动终端11处于锁定状态，在解锁程序启动后，相机111采集包含人脸101的图像，并对该图像中的人脸进行识别，当所识别的人脸为授权人脸时，移动终端11执行解锁，否则依旧处于锁定状态。若当前的人脸识别应用为支付或其他应用时，其原理与解锁应用相近。
图2是根据本申请一个实施例的终端设备的结构示意图。在某些实施例中，本申请提及的终端设备也可称为人脸识别装置。终端设备例如可以是如图1所示的移动终端11。终端设备可以包含处理器20以及与之连接的环境光/接近传感器21、显示器22、麦克风23、射频及基带处理器24、接口25、存储器26、电池27、微电子机械系统(micro electromechanical system，MEMS)传感器28、音频装置29、相机30等。图2中的不同的单元之间可以通过电路连接实现数据传输与信号通讯。图2仅是终端设备的结构的一个示例，在其他实施例中，终端设备也可以包含更少的结构或者包含更多的其他组成结构。
处理器20可用于对终端设备进行整体控制，处理器20可以是单个的处理器，也可以包含多个处理器单元。比如，处理器20可以包括不同功能的处理器单元。
显示器22可用于显示图像以将应用等呈现给用户。另外，在某些实施例中，显示器22也可以包含触控功能，此时显示器22也可作为人机交互接口，用于接收用户的输入。
麦克风23可用于接收语音信息，可以用来实现与用户的语音交互。
射频及基带处理器24可负责终端设备的通讯功能，比如接收及翻译语音或文字等信号以实现远程用户之间的信息交流。
接口25可用于使得终端设备与外部进行连接，以进一步实现数据传输、电力传输等功能。接口25例如可以是通用串行总线(universal serial bus，USB)接口、无线保真(wireless fidelity，WIFI)接口等。
存储器26可用于保存应用程序，比如解锁程序261、支付程序262等。存储器26还可以用于保存应用程序执行所需的相关数据，如人脸图像、特征等数据263。存储器26还可用于存储处理器20在执行过程中涉及的代码和数据。
存储器26可以包括单个或多个存储器，其可以是随机存取存储器(random accessmemory，RAM)、FLASH(闪存)等任何可用于保存数据的存储器形式。可以理解的是，存储器26既可以作为终端设备的一部分，也可以独立于终端设备存在，比如云端存储器，其保存的数据可以通过接口25等与终端设备通信。解锁程序261、支付程序262等应用程序一般被保存在计算机可读存储介质(如非易失性可读存储介质)中，当执行该应用时，处理器20可以从该存储介质中调用相应的程序来执行。在程序执行过程中涉及到的一些数据，比如授权人脸图像或者授权人脸特征数据也可以被保存在存储器26中。应理解，计算机可读存储介质中的计算机是一个广义的概念，可以指具有信息处理功能的任意设备，在本申请实施例中，该计算机可以指终端设备。
终端设备还可包含环境光/接近传感器。环境光传感器和接近传感器可以是集成的单一传感器，也可以是独立的环境光传感器以及接近传感器。其中环境光传感器可用来获取终端设备所处当前环境的光照信息。在一个实施例中，基于该光照信息可以实现屏幕亮度的自动调整以提供对人眼更加舒适的显示亮度。接近传感器可以测量是否有物体靠近终端设备，基于此可以实现一些特定功能。比如，在接听电话过程中，当人脸足够靠近终端设备时，可以关闭屏幕的触控功能，以防止误触。在一些实施例中，接近传感器还可以快速判断人脸与终端设备之间的大致距离。
电池27可用于提供电力。音频装置29可用于实现语音输入。音频装置29例如可以是话筒等。
MEMS传感器28可用于获取终端设备当前的状态信息，比如位置、方向、加速度、重力等。MEMS传感器28可以包含加速度计、重力计、陀螺仪等传感器。在一个实施例中，MEMS传感器28可以用来激活一些人脸识别应用。比如，当用户拿起终端设备时，MEMS传感器28可以获取这一变化，同时将这一变化传输到处理器20，处理器20可以调用存储器26的解锁应用程序以激活解锁应用。
相机30可用于采集图像，在一些应用中，比如自拍应用执行时，处理器20可以控制相机30采集图像，并将图像传输到显示器22进行显示。在一些实施例中，比如基于人脸识别的解锁程序，当解锁程序激活时，相机30可以采集图像，处理器20可以对图像进行处理(包括人脸检测与识别)，并根据识别结果执行相应的解锁任务。相机30可以是单个相机也可以包括多个相机；在一些实施例中，相机30既可以包含用于采集可见光信息的RGB相机、灰度相机，也可以包含采集不可见光信息的红外相机和/或紫外相机等。在一些实施例中，相机30可以包含用于获取深度图像的深度相机，该深度相机例如可以是以下相机中的一种或多种：结构光深度相机、时间飞行法(time of flight，TOF)深度相机、双目深度相机等。在一些实施例中，相机30可以包含以下相机中的一种或多种：光场相机、广角相机、长焦相机等。
相机30可以设置在终端设备的任意位置，比如前置平面(即显示器22所在平面)的顶端或底端等、后置平面等位置。在一个实施例中，相机30可以被设置在前置平面，用于采集用户的人脸图像。在一个实施例中，相机30可以被设置在后置平面，用于对场景进行拍照等。在一个实施例中，相机30可以被设置在前置以及后置平面，二者可以独立采集图像，也可以被处理器20控制以同步采集图像。
主动光照明器31可以采用如激光二极管、半导体激光、发光二极管(lightemitting diode，LED)等形式作为其光源，用于投射主动光。主动光照明器31所投射的主动光可以是红外光、紫外光等。可选地，主动光照明器31可用于投射波长为940nm的红外光，从而可以使得该主动光照明器31能在不同环境下工作，且受较小的环境光干扰。主动光照明器31的数量根据实际需要配置，如可以配置一个或多个主动光照明器。主动光照明器31可以是独立的模块安装在终端设备上，也可以与其他模块集成，比如该主动光照明器31可以作为接近传感器的一部分。
对于基于人脸识别的应用，比如解锁、支付等，已有的基于彩色图像的人脸识别技术遇到诸多问题。比如，环境光强弱、光照方向均会影响人脸图像的采集、特征提取与特征比对，另外，无可见光照明条件下，基于彩色图像的人脸识别技术无法获取人脸图像，亦即无法进行人脸识别，导致应用执行失败。人脸识别的精度与速度影响了基于人脸识别的应用的体验，比如对于解锁应用，识别精度越高将带来更高的安全性，识别速度越快将带来更舒适的用户体验，在一个实施例中，十万分之一甚至百万分之一的误识率以及几十毫秒甚至更快的识别速度被认为是较佳的人脸识别体验。而基于彩色图像的人脸识别技术，在人脸图像采集环节，由于光照、角度、距离等因素严重影响了识别精度与速度。比如，若当前被采集人脸的角度、距离与被授权人脸(一般是提前录入且保存的目标比对人脸)的不一致时，在进行特征提取及比对时将会更耗时、识别精度也会下降。
图3是根据本申请一个实施例的基于人脸识别的解锁应用示意图。解锁应用可以以软件或硬件的形式保存在终端设备中，若终端设备当前处于锁定状态，解锁应用在激活后执行。在一种实施例中，解锁应用根据MEMS传感器的输出来激活，比如当MEMS传感器检测到一定的加速度后激活解锁应用、当MEMS传感器检测到终端设备的特定方位(比如图1中的设备方位)时激活解锁应用。当解锁应用激活后，终端设备将利用主动光照明器投射主动不可见光(301)至目标物，如人脸；所投射的主动不可见光可以是红外、紫外等波长的光，也可以是泛光、结构光等形式的光。主动不可见光将对目标进行照明，避免因为环境光方向、缺乏环境光等因素导致无法获取目标图像的问题。其次利用相机采集目标图像，为了改善传统彩色图像的人脸识别精度与速度问题，本申请中，所采集的图像中包含了目标的深度信息(302)。在一个实施例中，相机为RGBD相机，所采集的图像包含目标的RGB图像与深度图像；在一个实施例中，相机为红外相机，所采集的图像包含目标的红外图像与深度图像，这里的红外图像包含纯红外泛光图像；在一个实施例中，相机所采集的图像为结构光图像与深度图像。可以理解的是，深度图像反映了目标的深度信息，基于深度信息可以获取目标的距离、尺寸、姿态等信息。因此，接下来可以基于获取的图像进行分析，以实现人脸的检测、识别。当检测到人脸并且对人脸识别后确认当前人脸为授权人脸时，解锁应用通过、终端设备解锁。
在一个实施例中，考虑终端设备存在被误激活等相关情况，此时可以设置等待时间，在该等待时间范围内进行主动不可见光的投射、图像采集与分析，当在等待时间结束时未检测到人脸，将解锁应用关闭，等待下次激活。
人脸检测与识别可以仅基于深度图像，也可以结合二维图像与深度图像，这里的二维图像可以是RGB图像、红外图像以及结构光图像等。比如在一个实施例中，红外LED泛光灯以及结构光投影仪分别投射红外泛光以及结构光，利用红外相机先后获取红外图像以及结构光图像，进一步基于结构光图像可获取深度图像，在进行人脸检测时将分别利用红外图像以及深度图像。可以理解的是，这里的不可见光包括红外泛光以及红外结构光，在进行投影时可以采用分时投影或同步投影的方式。
在一个实施例中，对图像中的深度信息进行分析包含获取人脸的距离值，结合该距离值进行人脸检测与识别，以提高人脸检测与识别精度与速度。在一个实施例中，对图像中的深度信息进行分析包含获取人脸的姿态信息，结合该姿态信息进行人脸检测与识别，以提高人脸检测与识别的精度与速度。
利用深度信息可以加速人脸检测，在一个实施例中，对于深度图像中各个像素上的深度值，利用相机的焦距等属性，可以初步确定人脸所占的像素区域大小，在随后将直接对该大小的区域进行人脸判定。由此可以快速寻找到人脸的位置及区域。
图4是根据本申请一个实施例的基于深度信息的人脸检测与识别示意图。在本实施例中，以人脸的红外图像以及深度图像为例进行说明。在检测到当前人脸(401)后，随之可以进行当前人脸红外图像与授权人脸红外图像的相似度比对。由于当前人脸与授权人脸在红外图像中的大小、姿态大都不一样，在进行人脸比对时会影响到人脸识别的精度。因此，在本实施例中，可以利用深度信息获取人脸的距离与姿态(402)，接下来利用距离及姿态对当前人脸红外图像或授权人脸红外图像进行调整，以使得二者的大小、姿态保持一致(即基本相同)。对于图像中人脸区域的大小，根据成像原理可知，距离越远，人脸区域越小，因此只要知道授权人脸的距离，并结合当前人脸的距离就可以对授权人脸图像或当前人脸图像进行调整(403)，即放大或缩小，以使得二者的区域大小相近。而对于姿态，则可以同样利用深度信息进行调整(403)。一种方式是，在人脸录入阶段录入授权人脸的3D模型以及红外图像，在进行人脸识别时，根据当前人脸的深度图像识别出当前人脸姿态，并基于该姿态信息将授权人脸的3D模型进行二维投影以投影出与当前人脸姿态相同的授权人脸红外图像，再将该授权人脸红外图像与当前人脸红外图像进行特征提取(404)以及特征相似度比对(405)，由于二者姿态相近，因此图像中所包含的人脸区域及特征也相近，人脸识别精度将提高。另一种方式是，获取人脸姿态信息后，对当前人脸红外图像进行校正，比如统一校正成正面人脸红外图像，再与授权人脸的正面红外图像进行特征提到与比对。
总之，基于深度信息，可以获取人脸的距离以及姿态信息，利用距离和/或姿态信息进一步对人脸图像进行调整，以使得当前人脸图像与授权人脸图像的大小和/或姿态一致，以加速人脸识别速度以及提高人脸识别精度。
可以理解的是，以上的基于人脸识别的解锁应用同样适用于支付、认证等其他应用中。
在一个实施例中，基于深度信息的人脸识别还可以应用到防偷看应用中。图5是根据本申请一个实施例的防偷看方法的示意性流程图。防偷看应用以软件或硬件形式被保存在存储器中，当应用被激活后(比如，基于MEMS传感器数据或者当私密性较高的应用或程序在打开时)，处理器将调用并执行该应用。
考虑到偷看一般需要满足两个条件，一是偷看者人脸位于授权人脸(即允许看的人脸，比如设备的拥有者)之后，即距离更远；二是，偷看者的视线位于被偷看设备之上。在本申请中，将因此，利用深度信息进行距离以及视线检测以实现防偷看应用。
在一个实施例中，在应用被激活后，由相机采集包含深度信息的图像(501)并随后对包含深度信息的图像进行分析(502)，这里的分析主要包含人脸检测与识别，当检测到有多个人脸且其中含有非授权人脸时，判断非授权人脸与终端设备之间的距离是否大于授权人脸与终端设备之间的距离，若是则进一步检测非授权人脸的视线方向，当视线方向指向设备时，则采取防偷看措施，比如发出警报或关闭设备显示器等。
在一个实施例中，也可以无需对是否有多个人脸进行判定，当有非授权人脸被检测到且其视线位于设备上时，即采取防偷看措施。
可以理解的是，图5所示的流程仅是一种实施方式，其各个步骤及其先后顺序仅是说明，并非限定。
图6是根据本申请一个实施例的终端设备的示意性结构图。终端设备可以包括由投影模组602、采集模组607，其中投影模组602可用于投射红外结构光图像(如向目标所在空间投影红外结构光图像)，采集模组607可用于采集结构光图像。终端设备还可以包括处理器(图中未示出)，处理器接收到结构光图像后，可以利用结构光图像用于计算出目标的深度图像。这里的结构光图像中除了包含结构光信息外，还可以包含人脸纹理信息。因此，结构光图像也可以作为人脸红外图像与深度图像一起参与人脸身份录入与认证。此时，采集模组607既是深度相机的一部分，也是红外相机。换句话说，这里的深度相机与红外相机可以认为是同一个相机。
在一些实施例中，终端设备还可以包括有红外泛光灯606，其可以发射出与投影模组602所发射结构光具有相同波长的红外光。在进行人脸图像采集过程中，可以通过将投影模组602与红外泛光灯606分时开关以分别获取目标的深度图像与红外图像。此时所获取的红外图像为纯红外图像，相对于结构光图像而言，其含有的人脸特征信息更加明显，可以使得人脸识别精度更高。
这里的红外泛光灯606与投影模组602可对应于图2所示的主动光照明器。
在一些实施例中，可以利用基于TOF技术的深度相机采集深度信息。此时投影模组602可用于发射光脉冲，而采集模组607可用于接收光脉冲。处理器可用于记录脉冲发射以及接收的时间差，并根据时间差计算出目标的深度图像。在该实施例中，采集模组607可以同时获取目标的深度图像与红外图像，并且二者几乎没有视差。
在一些实施例中，可以设置额外的红外相机603，以获取红外图像。当红外泛光灯606发射的光束波长与投影模组602所发射的光束波长不同时，可以同步利用采集模组607与红外相机603获取目标的深度图像与红外图像。这一终端设备与前文所述的终端设备的区别在于，由于获取深度图像与红外图像的相机不同，因此二者之间会有视差，如果后续的人脸识别所进行的计算处理中需要没有视差的图像，则需要提前将深度图像与红外图像进行配准。
终端设备还可以包括听筒604、环境光/接近传感器605等器件以实现更多的功能。比如在一些实施例中，考虑到红外光对人体的危害性，当人脸靠的过近时，可以通过接近传感器605对人脸的接近度进行检测，当太近时关闭投影模组602的投影或减小投影功率。在一些实施例中，可以结合人脸识别以及听筒实现自动通话，比如当终端设备收到来电后，可以启动人脸识别应用同时打开所需要的深度相机与红外相机采集深度图像与红外图像，当识别通过后，接通通话并打开听筒等器件以实现通话。
终端设备还可以包括屏幕601，即显示器，屏幕601可以用来显示图像内容也可以用来进行触摸交互。比如，对于人脸识别的解锁应用，在一个实施例中，当终端设备处于睡眠等状态时，用户通过拿起终端设备，终端设备中的惯性测量单元识别到由于拿起引起的加速度时会点亮屏幕，同时启动解锁应用程序，屏幕会出现待解锁指令，此时终端设备打开深度相机以及红外相机用于采集深度图像和/或红外图像，进一步进行人脸检测与识别。在一些实施例中，还可以在人脸检测过程中通过检测人眼视线方向中，可以将预设的人眼视线方向设置为人眼注视屏幕601的方向，且只有当人眼注视屏幕时才会进一步进行解锁。
终端设备还可以包括存储器(图中未示出)，存储器用于存储如录入阶段录入的特征信息，还可以存储应用程序、指令等。比如将前面所述的人脸识别相关应用(比如解锁、支付、防偷看等)以软件程序的形式保存到存储器中，当应用程序需要时，处理器调用存储器中的指令并执行录入以及认证方法。可以理解的是，应用程序也可以被直接以指令代码形式写入到处理器中形成具体特定功能的处理器功能模块或相应的独立处理器，由此提高执行效率。另外，随着技术的不断发展，软、硬件之间的界限将逐渐消失，因此本申请中所述的方法既可以以软件形式也可以是以硬件形式配置在装置中。
以上内容是结合具体的优选实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的技术人员来说，在不脱离本申请构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本申请的保护范围。

Claims (11)

1.一种终端设备的任务执行方法，其特征在于，包括：
当终端设备的应用程序被激活后，向空间投射主动不可见光；
获取包含深度信息的图像；
分析所述图像以实现：
判断所述图像是否含有非授权人脸；
以及，判断所述非授权人脸的视线方向是否指向所述终端设备；
当所述视线指向所述终端设备时，控制所述终端设备执行防偷看操作。
2.如权利要求1所述的方法，其特征在于，所述主动不可见光为红外泛光，所述图像包含纯红外图像。
3.如权利要求1所述的方法，其特征在于，所述图像包含深度图像。
4.如权利要求3所述的方法，其特征在于，所述主动不可见光包含红外结构光。
5.如权利要求1所述的方法，其特征在于，所述分析还包括当所述图像同时含有授权人脸与非授权人脸时，获取所述授权人脸与所述非授权人脸的距离信息；当所述距离信息指示所述非授权人脸与所述终端设备的距离大于所述授权人脸与所述终端设备的距离时，执行所述非授权人脸的视线方向检测。
6.如权利要求5所述的方法，其特征在于，所述距离信息是利用所述深度信息所获取。
7.如权利要求1所述的方法，其特征在于，所述视线方向是利用所述深度信息所获取。
8.如权利要求1-7中任一项所述的方法，其特征在于，所述防偷看操作包括将所述终端设备关闭、睡眠或发出偷看提醒。
9.一种计算机可读存储介质，其特征在于，存储有用于执行如权利要求1-8中任一项所述的方法的指令。
10.一种终端设备，其特征在于，包括：
主动光照明器；
相机；
存储器，存储有指令；
处理器，用于执行所述指令，以执行如权利要求1-8中任一项所述的方法。
11.如权利要求10所述的终端设备，其特征在于，所述主动光照明器为红外结构光投影模组，所述相机为红外相机，所述红外相机与所述主动光照明器组成了深度相机，所述图像包括深度图像。
CN201810336302.4A 2017-12-04 2018-04-16 任务执行方法、终端设备及计算机可读存储介质 Active CN108563936B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2018/113784 WO2019109767A1 (zh) 2017-12-04 2018-11-02 任务执行方法、终端设备及计算机可读存储介质
US16/892,094 US20200293754A1 (en) 2017-12-04 2020-06-03 Task execution method, terminal device, and computer readable storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711262543 2017-12-04
CN2017112625430 2017-12-04

Publications (2)

Publication Number Publication Date
CN108563936A true CN108563936A (zh) 2018-09-21
CN108563936B CN108563936B (zh) 2020-12-18

Family

ID=63480245

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810336302.4A Active CN108563936B (zh) 2017-12-04 2018-04-16 任务执行方法、终端设备及计算机可读存储介质
CN201810336303.9A Pending CN108537187A (zh) 2017-12-04 2018-04-16 任务执行方法、终端设备及计算机可读存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201810336303.9A Pending CN108537187A (zh) 2017-12-04 2018-04-16 任务执行方法、终端设备及计算机可读存储介质

Country Status (3)

Country Link
US (1) US20200293754A1 (zh)
CN (2) CN108563936B (zh)
WO (2) WO2019109767A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109445231A (zh) * 2018-11-20 2019-03-08 深圳奥比中光科技有限公司 一种深度相机及深度相机保护方法
WO2019109767A1 (zh) * 2017-12-04 2019-06-13 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质
CN110333779A (zh) * 2019-06-04 2019-10-15 Oppo广东移动通信有限公司 控制方法、终端和存储介质
EP3872658A4 (en) * 2018-10-30 2021-12-15 Honor Device Co., Ltd. FACIAL RECOGNITION PROCESS AND ELECTRONIC DEVICE

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3644261B1 (en) 2018-04-28 2023-09-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method, apparatus, computer-readable storage medium, and electronic device
CN109635682B (zh) * 2018-11-26 2021-09-14 上海集成电路研发中心有限公司 一种人脸识别装置和方法
US11250144B2 (en) * 2019-03-29 2022-02-15 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for operating a display in privacy mode
TWI709130B (zh) * 2019-05-10 2020-11-01 技嘉科技股份有限公司 自動調整顯示畫面的顯示裝置及其方法
CN112036222B (zh) * 2019-06-04 2023-12-29 星宸科技股份有限公司 脸部辨识系统及方法
CN111131872A (zh) * 2019-12-18 2020-05-08 深圳康佳电子科技有限公司 一种集成深度相机的智能电视及其控制方法与控制系统
KR102291593B1 (ko) * 2019-12-26 2021-08-18 엘지전자 주식회사 영상표시장치 및 그의 동작방법
CN112183480A (zh) * 2020-10-29 2021-01-05 深圳奥比中光科技有限公司 一种人脸识别方法、装置、终端设备及存储介质
US11394825B1 (en) * 2021-03-15 2022-07-19 Motorola Mobility Llc Managing mobile device phone calls based on facial recognition
CN113378139B (zh) * 2021-06-11 2022-11-29 平安国际智慧城市科技股份有限公司 界面内容的防窥方法、装置、设备以及存储介质
CN113687899A (zh) * 2021-08-25 2021-11-23 读书郎教育科技有限公司 一种解决查看通知与人脸解锁冲突的方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354960A (zh) * 2015-10-30 2016-02-24 夏翊 一种金融自助服务终端安全区域控制方法
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107194288A (zh) * 2017-04-25 2017-09-22 上海与德科技有限公司 显示屏的控制方法及终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932847A (zh) * 2006-10-12 2007-03-21 上海交通大学 复杂背景下彩色图像人脸检测的方法
JP2008310515A (ja) * 2007-06-13 2008-12-25 Nippon Telegr & Teleph Corp <Ntt> 情報機器監視装置
US8447098B1 (en) * 2010-08-20 2013-05-21 Adobe Systems Incorporated Model-based stereo matching
CN104850842B (zh) * 2015-05-21 2018-05-18 北京中科虹霸科技有限公司 移动终端虹膜识别的人机交互方法
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN107169483A (zh) * 2017-07-12 2017-09-15 深圳奥比中光科技有限公司 基于人脸识别的任务执行
CN108563936B (zh) * 2017-12-04 2020-12-18 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354960A (zh) * 2015-10-30 2016-02-24 夏翊 一种金融自助服务终端安全区域控制方法
CN107105217A (zh) * 2017-04-17 2017-08-29 深圳奥比中光科技有限公司 多模式深度计算处理器以及3d图像设备
CN107194288A (zh) * 2017-04-25 2017-09-22 上海与德科技有限公司 显示屏的控制方法及终端

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109767A1 (zh) * 2017-12-04 2019-06-13 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质
EP3872658A4 (en) * 2018-10-30 2021-12-15 Honor Device Co., Ltd. FACIAL RECOGNITION PROCESS AND ELECTRONIC DEVICE
CN109445231A (zh) * 2018-11-20 2019-03-08 深圳奥比中光科技有限公司 一种深度相机及深度相机保护方法
CN110333779A (zh) * 2019-06-04 2019-10-15 Oppo广东移动通信有限公司 控制方法、终端和存储介质

Also Published As

Publication number Publication date
CN108563936B (zh) 2020-12-18
WO2019109768A1 (zh) 2019-06-13
WO2019109767A1 (zh) 2019-06-13
US20200293754A1 (en) 2020-09-17
CN108537187A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108563936A (zh) 任务执行方法、终端设备及计算机可读存储介质
US11367307B2 (en) Method for processing images and electronic device
US10922395B2 (en) Facial authentication systems and methods utilizing time of flight sensing
US10657363B2 (en) Method and devices for authenticating a user by image, depth, and thermal detection
US9304594B2 (en) Near-plane segmentation using pulsed light source
US9607138B1 (en) User authentication and verification through video analysis
CN108664783B (zh) 基于虹膜识别的识别方法和支持该方法的电子设备
KR102471916B1 (ko) 모바일 디바이스 및 그 제어 방법
US11100204B2 (en) Methods and devices for granting increasing operational access with increasing authentication factors
CN107341481A (zh) 利用结构光图像进行识别
US20160300108A1 (en) Iris acquisition using visible light imaging
CN107169483A (zh) 基于人脸识别的任务执行
EP2595402A2 (en) System for controlling light enabled devices
CN107292283A (zh) 混合人脸识别方法
CN209328043U (zh) 具有全面屏的电子设备
CN209170442U (zh) 具有高屏占比的电子设备
CN108647504B (zh) 实现信息安全显示的方法及系统
US20210407205A1 (en) Augmented reality eyewear with speech bubbles and translation
JP2017027595A (ja) 近接センサを用いたバイオメトリック認証システム
US11854310B2 (en) Face liveness detection method and related apparatus
WO2017054196A1 (zh) 一种启动眼球追踪功能的方法及移动设备
CN109788174A (zh) 一种补光方法及终端
CN108629278B (zh) 基于深度相机实现信息安全显示的系统及方法
CN110647797A (zh) 一种访客检测方法及装置
CN108415875A (zh) 深度成像移动终端及人脸识别应用的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant