CN107004073A - 一种面部验证的方法和电子设备 - Google Patents

一种面部验证的方法和电子设备 Download PDF

Info

Publication number
CN107004073A
CN107004073A CN201580042704.8A CN201580042704A CN107004073A CN 107004073 A CN107004073 A CN 107004073A CN 201580042704 A CN201580042704 A CN 201580042704A CN 107004073 A CN107004073 A CN 107004073A
Authority
CN
China
Prior art keywords
face
image
electronic equipment
content
parameter value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580042704.8A
Other languages
English (en)
Other versions
CN107004073B (zh
Inventor
秦超
魏卓
范姝男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107004073A publication Critical patent/CN107004073A/zh
Application granted granted Critical
Publication of CN107004073B publication Critical patent/CN107004073B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/36User authentication by graphic or iconic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

一种面部验证的方法,电子设备可以在显示屏上显示一个或多个内容,并且在该内容的显示期间通过摄像头获取k个面部图像,根据获取的k个面部图像确定t个表情参数值,若t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值,以及,若根据获取的这k个面部图像中的至少一个面部图像判定人脸匹配通过,确定面部验证的结果是通过,相比现有技术通过提示眨眼、或单一交互进行活体验证而言,降低了被照片、视频、3D打印等技术进行攻击的可能性。

Description

一种面部验证的方法和电子设备 技术领域
本发明涉及信息处理技术领域,尤其涉及一种面部验证的方法和电子设备。
背景技术
随着人脸匹配准确率的不断提高,人脸匹配技术已经广泛应用于多种领域。人脸匹配的一般过程是先采集面部图像,从该面部图像中提取出特征,并进行标记作为面部图像模板。然后在识别人脸的时候,对待识别的人脸用同样的方法提取特征,与面部图像模板进行匹配,根据匹配的可信度来确定识别结果。人脸匹配中的一个难点是活体验证,如果不进行活体验证,人脸匹配容易被照片、3D打印等技术进行攻击。
现有技术的活体验证方法,如Android手机中的人脸解锁,通过检测用户的眨眼动作是否与提示相符,来进行验证,如提示眨眼5次,若检测内容在规定时间内眨眼5次,则判定活体验证通过。这种方法很容易被视频攻击,如攻击者只要预先制作不同眨眼次数的视频,再根据提示播放对应视频。
发明内容
本文提供一种面部验证的方法和电子设备,可以解决被照片、视频、3D打印等技术进行攻击的技术问题。
第一方面提供了一种面部验证的方法,应用于包括显示屏和摄像头的电子设备,所述方法包括:
在所述显示屏上显示一个或多个内容,所述内容包括文字、图片或视频,在所述一个或多个内容的显示期间通过所述摄像头获取k个面部图像,k为不小于2的整数,根据获取的k个面部图像确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种,t为不小于2的整数,且t≤k,若确定的t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设 阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
在一个可能的设计中,电子设备预先设定的第一参考序列包括第一表情子序列和第一瞳孔子序列中的至少一种。
若第一参考序列只包括第一表情子序列,电子设备在根据获取的k个面部图像确定的t个表情参数值为t个表情编码值,若确定的t个表情编码值与第一表情子序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过;
若第一参考序列只包括第一瞳孔子序列,电子设备在根据获取的k个面部图像确定的t个表情参数值为t个瞳孔相对值,若确定的t个瞳孔相对值与第一瞳孔子序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过;
在一个可能的设计中,若第一参考序列包括第一瞳孔子序列和第一表情子序列,具体又可以分为以下三种情况:
第一种可能的设计中:电子设备先根据获取的k个面部图像确定t个表情编码值,若确定的t个表情编码值与第一表情子序列的匹配度小于第一预设阈值,再根据获取的k个面部图像确定t个瞳孔相对值;
第二种可能的设计中:电子设备先根据获取的k个面部图像确定t个瞳孔相对值,若确定的t个瞳孔相对值与第一瞳孔子序列的匹配度小于第一预设阈值,再根据获取的k个面部图像确定t个表情编码值;
第三种可能的设计中:电子设备根据获取的k个面部图像同时确定t个表情编码值和t个瞳孔相对值,针对第三种情况,若确定的t个瞳孔相对值与第一瞳孔子序列的匹配度不小于第一预设阈值,且确定的t个表情编码值与第一表情子序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过;或者,若确定的t个瞳孔相对值与第一瞳孔子序列的匹配度和确定的t个表情编码值与第一表情子序列的匹配度的乘积不小于第一预设阈值,且根据获取的k 个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
在该技术方案中,电子设备通过在显示屏上显示内容,捕捉用户针对该内容的表情和/或瞳孔的变化来进行活体验证,相比现有技术通过提示眨眼或单一交互进行活体验证而言,提高了活体验证的难度,从而降低了被照片、视频、3D打印等技术进行攻击的可能性,并且,在进行活体验证时,不需要刻意提示用户,与用户的互动更自然,提升了用户体验。
在一个可能的设计中,若确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值,在所述显示屏上显示另一个或另外多个内容,在所述另一个或另外多个内容的显示期间通过所述摄像头重新获取k个面部图像,根据重新获取的k个面部图像重新确定t个表情参数值,若重新确定的t个表情参数值与预先设定的第二参考序列的匹配度不小于第二预设阈值,且根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
在该技术方案中,若第一次进行活体验证失败,有可能是某些客观原因导致的,如采集的面部图像不清晰,或经常显示同样的内容使得获得的面部图像不真实等等,因此,为了避免判断失误,电子设备则在显示屏上显示另一个或另外多个内容,再一次以同样的方法进行活体验证。需要说明的是,电子设备以这种方式重复进行活体验证的次数可以是预先设置的,并可以根据实际情况调整,本发明不限定。
在一个可能的设计中,若根据获取的所述k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过,电子设备可以再一次根据获取所述k个面部图像中的至少一个面部图像进行人脸匹配。
在该技术方案中,若第一次进行人脸匹配未通过,有可能是某些客观原因导致的,如用户验证的面部图像不清晰,或用于验证的面部图像中没有人脸等等,因此,为了避免判断失误,电子设备则根据获取的另外的面部图像进行人脸匹配。需要说明的是,电子设备以这种方式重复进行人脸匹配的次数可以是 预先设置的,并可以根据实际情况调整,本发明不限定。
在一个可能的设计中,若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,电子设备则确定面部验证的结果是未通过。
在一个可能的设计中,若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,确定面部验证的结果是未通过。
在一个可能的设计中,若在所述显示屏上同时显示一个或多个内容,电子设备在所述一个内容或多个内容开始显示后按照预设间隔获取k个面部图像。
在一个可能的设计中,若在所述显示屏上依次显示多个内容,电子设备在每个内容的显示期间获取至少一个面部图像,获取的面部图像的总数为k个。
在一个可能的设计中,所述一个内容是所述电子设备保存的多个内容中随机选取的一个,每个内容对应一个参考序列,或者,所述多个内容是所述电子设备保存的多组内容中随机选取的一组内容,每组内容对应一个参考序列。
在该技术方案中,电子设备预先存储多个内容,预先存储的内容的数量越多,越不容易被图像、视频以及3D打印的技术攻击。
第二方面还提供了一种电子设备,所述电子设备至少包括显示屏、摄像头和至少一个处理器,所述电子设备通过显示屏、摄像头和至少一个处理器执行第一方面的部分或全部方法。
第三方面还提供了一种电子设备,所述电子设备包括显示屏、摄像头、存储器、总线系统和至少一个处理器,所述显示屏、所述摄像头、所述存储器、和至少一个处理器所述通过所述总线系统相连;
所述存储器中存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述电子设备执行时使所述电子设备执行如第一方面的部分或全部方法。
第四方面还提供了一种计算机存储介质,存储一个或多个程序的计算机可 读存储介质,所述一个或多个程序包括指令,所述指令当被电子设备执行时使所述电子设备执行第一方面的部分或全部方法。
第五方面还提供了一种电子设备,所述电子设备包括显示屏、摄像头、至少一个处理器和存储器,所述存储器中存储一个或多个程序,且至少一个处理器用于调用所述存储器中存储的一个或多个程序,使得所述电子设备执行如第一方面的部分或全部方法。
附图说明
为了更清楚地说明本发明实施例,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种电子设备的结构示意图;
图2是本发明第一实施例提供的一种面部验证的方法流程示意图;
图3a是图2所示实施例中显示一段文字的一种示意图;
图3b是图2所示实施例中显示一段文字的另一种示意图;
图3c是图2所示实施例中显示多段文字的一种示意图;
图3d是图2所示实施例中显示一个图片的一种示意图;
图4是本发明第二实施例提供的一种面部验证的方法流程示意图;
图5是本发明第三实施例提供的一种面部验证的方法流程示意图;
图6是本发明第四实施例提供的一种面部验证的方法流程示意图;
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在此部分,首先对本发明中各个实施例均涉及的一些基本概念进行说明。
本发明实施例提供的电子设备可以如图1所示,所述电子设备1包括输入单元11、至少一个处理器12、输出单元13、存储器14、电源15、通信单元16等组件。这些组件通过一条或多条总线进行通信。
本领域技术人员可以理解,图中示出的电子设备的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施方式中,所述电子设备1可以是任何移动或便携式电子设备,包括但不限于移动电话、移动电脑、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、媒体播放器、智能电视,以及上述两项或两项以上的组合等。
输入单元11用于实现用户与电子设备的交互和/或信息输入到电子设备中。例如,输入单元11可以接收用户输入的数字或字符信息,以产生与用户设置或功能控制有关的信号输入。在本发明具体实施方式中,输入单元11至少包括摄像头111;所述输入单元11还可以包括触控面板112和/或其他人机交互界面113,例如实体输入键、麦克风等。
触控面板112,也称为触摸屏或触控屏,可收集用户在其上触摸或接近的操作动作。比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或接近触控面板的位置的操作动作,并根据预先设定的程式驱动相应的连接装置。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸操作,并将检测到的触摸操作转换为电信号,以及将所述电信号传送给触摸控制器;触摸控制器从触摸检测装置上接收所述电信号,并将它转换成触点坐标,再送给处理器。所述触摸控制器还可以接收处理器发来的命令并执行。此外,可以采用电阻式、电容式、红外线(Infrared)以及表面声波等多种类型实现触控面板。在本发明的其他实施方式中,输入单元11所采用的实体输入键可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。麦克风形式 的输入单元11可以收集用户或环境输入的语音并将其转换成电信号形式的、处理器可执行的命令。
处理器12为电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子设备的各种功能和/或处理数据。所述处理器12可以由集成电路(Integrated Circuit,简称IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器12可以仅包括中央处理器(Central Processing Unit,简称CPU),也可以是GPU、数字信号处理器(Digital Signal Processor,简称DSP)、及通信单元16中的控制芯片(例如基带芯片)的组合。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
输出单元13包括但不限于影像输出单元131和声音输出单元132。影像输出单元用于输出文字、图片和/或视频。本发明实施例中的影像输出单元131至少包括显示屏1311,例如采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)、场发射显示器(field emission display,简称FED)等形式来配置的显示屏。或者所述影像输出单元可以包括反射式显示器,例如电泳式(electrophoretic)显示器,或利用光干涉调变技术(Interferometric Modulation of Light)的显示器。所述影像输出单元可以包括单个显示器或不同尺寸的多个显示器。在本发明的具体实施方式中,上述输入单元11所采用的触控面板和输出单元13所采用的显示屏可以统称为显示器。当触控面板检测到在其上的触摸或接近的手势操作后,传送给处理器12以确定触摸事件的类型,随后处理器12根据触摸事件的类型在显示屏上提供相应的视觉输出。虽然在图1中,输入单元11与输出单元13是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板与显示屏集成一体而实现电子设备的输入和输出功能。例如,所述影像输出单元可以显示各种图形化用户接口(Graphical User Interface,简称GUI)以作为虚拟控制组件,包括但不限于窗口、卷动轴、图标及剪贴簿,以供用户通 过触控方式进行操作。
在本发明具体实施方式中,影像输出单元包括滤波器及放大器,用来将处理器所输出的视频滤波及放大。音频输出单元包括数字模拟转换器,用来将处理器所输出的音频信号从数字格式转换为模拟格式。
存储器14可用于存储软件程序以及模块,处理器12通过运行存储在存储器14的软件程序以及模块,从而执行电子设备的各种功能应用以及实现数据处理。存储器14主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程序,比如声音播放程序、图像播放程序等等;数据存储区可存储根据电子设备的使用所创建的数据(比如音频数据、电话本等)等。在本发明具体实施方式中,存储器14可以包括易失性存储器,例如非挥发性动态随机存取内存(Nonvolatile Random Access Memory,简称NVRAM)、相变化随机存取内存(Phase Change RAM,简称PRAM)、磁阻式随机存取内存(Magetoresistive RAM,简称MRAM)等,还可以包括非易失性存储器,例如至少一个磁盘存储器件、电子可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)、闪存器件,例如反或闪存(NOR flash memory)或是反及闪存(NAND flash memory)。非易失存储器储存处理器所执行的操作系统及应用程序。存储器14从所述非易失存储器加载运行程序与数据到内存并将数字内容储存于大量储存装置中。所述操作系统包括用于控制和管理常规系统任务,例如内存管理、存储设备控制、电源管理等,以及有助于各种软硬件之间通信的各种组件和/或驱动器。在本发明实施方式中,所述操作系统可以是Google公司的Android系统、Apple公司开发的iOS系统或Microsoft公司开发的Windows操作系统等,或者是Vxworks这类的嵌入式操作系统。
所述应用程序包括安装在电子设备上的任何应用,包括但不限于浏览器、电子邮件、即时消息服务、文字处理、键盘虚拟、窗口小部件(Widget)、加密、数字版权管理、语音识别、语音复制、定位(例如由全球定位系统提供的功能)、音乐播放等等。
电源15用于给电子设备的不同部件进行供电以维持其运行。作为一般性理解,所述电源可以是内置的电池,例如常见的锂离子电池、镍氢电池等,也包括直接向电子设备供电的外接电源,例如AC适配器等。在本发明的一些实施方式中,所述电源还可以作更为广泛的定义,例如还可以包括电源管理系统、充电系统、电源故障检测电路、电源转换器或逆变器、电源状态指示器(如发光二极管),以及与电子设备的电能生成、管理及分布相关联的其他任何组件。
通信单元16用于建立通信信道,使电子设备通过所述通信信道以连接至远程服务器,并从所述远程服务器下媒体数据。所述通信单元16可以包括无线局域网(Wireless Local Area Network,简称wireless LAN)模块、蓝牙模块、基带(Base Band)模块等通信模块,以及所述通信模块对应的射频(Radio Frequency,简称RF)电路,用于进行无线局域网络通信、蓝牙通信、红外线通信及/或蜂窝式通信系统通信,例如宽带码分多重接入(Wideband Code Division Multiple Access,简称W-CDMA)及/或高速下行封包存取(High Speed Downlink Packet Access,简称HSDPA)。所述通信模块用于控制电子设备中的各组件的通信,并且可以支持直接内存存取(Direct Memory Access)。
在本发明的不同实施方式中,所述通信单元16中的各种通信模块一般以集成电路芯片(Integrated Circuit Chip)的形式出现,并可进行选择性组合,而不必包括所有通信模块及对应的天线组。例如,所述通信单元16可以仅包括基带芯片、射频芯片以及相应的天线以在一个蜂窝通信系统中提供通信功能。经由所述通信单元16建立的无线通信连接,例如无线局域网接入或WCDMA接入,所述电子设备可以连接至蜂窝网(Cellular Network)或因特网(Internet)。在本发明的一些可选实施方式中,所述通信单元16中的通信模块,例如基带模块可以集成到处理器单元中,典型的如高通(Qualcomm)公司提供的APQ+MDM系列平台。
射频电路用于信息收发或通话过程中接收和发送信号。例如,将基站的下行信息接收后,给处理器处理;另外,将设计上行的数据发送给基站。通常,所述射频电路包括用于执行这些功能的公知电路,包括但不限于天线系统、射 频收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码(Codec)芯片组、用户身份模块(SIM)卡、存储器等等。此外,射频电路还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(Code Division Multiple Access,码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、高速上行行链路分组接入技术(High Speed Uplink Packet Access,HSUPA)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service,短消息服务)等。
在一种可能的实现方式中,电子设备1可以显示屏1311上显示一个或多个内容,所述内容包括文字、图片或视频,在所述一个或多个内容的显示期间通过摄像头111获取k个面部图像,k为不小于2的整数,处理器12调用存储器14中存储的代码执行以下操作:
根据获取的k个面部图像确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种,若确定的t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过,t为不小于2的整数,且t≤k。
若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,处理器12可以确定面部验证的结果是未通过。
进一步的,若确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值,显示屏1311还可以显示另一个内容或另外多个内容,摄像头111还可以在所述另一个内容或另外多个内容的显示期间重新获取k个面部图像,所述处理器12可以根据重新获取的k个面部图像重新确定t个表情参数值;若重新确定的t个表情参数值与预先设定的第二参考序列的匹配度不小 于第二预设阈值,且根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
若满足重新确定的t个表情参数值与所述第二参考序列的匹配度小于所述第二预设阈值以及根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,处理器12确定面部验证的结果是未通过。
可选的,若显示屏1311同时显示一个或多个内容,摄像头111可以在所述一个内容或多个内容开始显示后按照预设间隔获取k个面部图像。
可选的,若显示屏1311依次显示多个内容,摄像头111可以在每个内容的显示期间获取至少一个面部图像,获取的面部图像的总数为k个。
其中,所述一个内容是所述电子设备保存的多个内容中随机选取的一个,每个内容对应一个参考序列,或者,所述多个内容是所述电子设备保存的多组内容中随机选取的一组内容,每组内容对应一个参考序列。
可理解的是,在该实现方式中,电子设备1的各功能模块的功能可根据图2-图6所示方法实施例中的方法具体实现,可以具体对应图2-图6的相关描述,此处不再赘述。
在此部分,对本发明各个实施例均涉及的几个名词进行解释说明。
表情参数值包括表情编码值和瞳孔相对值中的至少一种。其中,表情编码值和瞳孔相对值可以参见下述描述。
研究发现,人类主要拥有至少七种表情,每种表情的面部特征都不一样。高兴的面部特征包括嘴角翘起,面颊上抬起皱,眼睑收缩,眼睛尾部会形成“鱼尾纹”。伤心的面部特征包括眯眼,眉毛收紧,嘴角下拉,下巴抬起或收紧。害怕的面部特征包括嘴巴和眼睛张开,眉毛上扬,鼻孔张大。愤怒的面部特征包括眉毛下垂,前额紧皱,眼睑和嘴唇紧张。厌恶的面部特征包括嗤鼻,上嘴唇上抬,眉毛下垂,眯眼。惊讶的面部特征包括下颚下垂,嘴唇和嘴巴放松,眼睛张大,眼睑和眉毛微抬。轻蔑的面部特征是嘴角一侧抬起,作讥笑或得意笑状。可以对上述表情用数字进行编码,假设对高兴、伤心、害怕、愤怒、厌 恶、惊讶、轻蔑依次编码为1、2、3、4、5、6、7,电子设备在显示屏上显示了一个图像,在所述图像的显示期间通过摄像头获取了一个面部图像,若电子设备对所述面部图像进行分析获得用户的表情为伤心,即可以确定一个编码2,本发明实施例将这个编码称为表情编码值。
研究还发现,人在不同表情下,其瞳孔的大小也不同,电子设备可以测量瞳孔的直径和眼睛的角点间隔,将相对同一参考角点间隔下的瞳孔的直径称为瞳孔相对值,例如,在第一预设时刻检测到角点间隔为28mm,瞳孔的直径为4mm,第二预设时刻检测到角点间隔28mm,瞳孔的直径为5mm,在第三预设时刻检测到为角点间隔30mm,瞳孔的直径为6mm,假设,参考角点间隔为28mm,其瞳孔相对值依次为:4mm,5mm,5.6mm,其中,参考角点间隔可以以第一预设时刻(即开始显示内容后第一次获取面部图像的时刻)检测到的为准,也可以是以检测到的多数角点间隔为准。其中,电子设备可以通过canny算子边缘检测,霍夫变换提取形状得到眼睛的角点。
人脸匹配是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸匹配过程一般分三步:首先建立人脸的面部图像数据库。即用摄像头采集人脸获得面部图像或通过照片获得面部图像,并将这些面部图像生成面纹(Faceprint)编码贮存起来;获取当前被检测人员的面部图像,即用摄像头捕捉当前被检测人员的面部图像,或通过当前被检测人员的照片获得面部图像,并将当前获得的面部图像生成面纹编码,用当前的面纹编码与面部图像数据库中的面纹编码进行比对。
人脸匹配是对被检测人员的面部图像进行身份确认或在面部图像数据库中进行目标搜索。这实际上就是说,将采样到的面部图像与数据库中的面部图像依次进行比对,并找出最佳的匹配内容。所以,人脸的描述决定了人脸匹配的具体方法与性能。主要采用特征向量与面纹模板两种描述方法:一、特征向量法方法。该方法是先确定眼虹膜、鼻翼、嘴角等人脸五官轮廓的大小、位置、距离等属性,然后再计算出它们的几何特征量,而这些特征量形成一描述该人脸的特征向量。二、面纹模板法。该方法是在数据库中存贮若干标准面部图像 模板或人脸器官模板,在进行比对时,将采集到的面部图像与数据库中所有的模板采用归一化相关量度量进行匹配。此外,还有采用模式识别的自相关网络或特征与模板相结合的方法。人脸匹配技术的核心实际为“局部人体特征分析”和“图形/神经识别算法。”这种算法是利用人体面部各器官及特征部位的方法。如对应几何关系多数据形成识别参数与数据库中所有的原始参数进行比较、判断与确认。
作为一种可能的设计,可以在显示屏上同时显示一个或多个内容,或者,依次显示多个内容,同时显示一个或多个内容的相关描述请参见图2和图4对应的实施例,依次显示多个内容的相关描述请参见图5和图6对应的实施例。其中,所述内容包括文字、图片或视频。
请参阅图2,图2是本发明第一实施例提供的一种面部验证的方法流程示意图。本发明实施例提供的面部验证的方法应用于包括显示屏和摄像头的电子设备。如图2所示所述方法可以包括:
步骤S201,电子设备在显示屏上同时显示一个或多个内容,所述内容包括文字、图片或视频。
具体的,当电子设备接收到面部验证指令时,可以在其显示屏上同时显示一个或多个内容。所述电子设备以手机为例,如手机在解锁时可以认为是接收到面部验证指令;所述电子设备以门禁设备为例,如门禁设备在进行身份验证时可以认为是接收到面部验证指令。
在一种可选的实施方式中,电子设备预先可以保存多个内容,每个内容对应一个参考序列,当电子设备接收到面部验证指令时,可以在预先保存的多个内容中随机获取一个内容显示在显示屏上。
在另一种可选的实施方式中,电子设备预先可以保存多组内容,每组内容包括多个内容,每组内容对应一个参考序列,当电子设备接收到面部验证指令时,可以在预先保存的多组内容中随机获取一组,将该组的内容同时显示在显示屏上。
若所述内容为文字,电子设备在其显示屏上显示一个内容具体可以为:在其显示屏上显示一段文字,例如显示由文字组成的题目,如图3a所示;又如显示清晰度不同的文字,如图3b所示;电子设备在其显示屏上显示多个内容具体可以为:电子设备确定需要显示的内容的数量,根据该数量确定显示屏的显示区域,一个显示区域显示一个内容,并提示用户以一定的顺序注视不同区域,如图3c所示。
若所述内容为图片,电子设备在其显示屏上显示一个内容具体可以为:在其显示屏上显示一幅静态图片,图片内容在空间上的复杂度不均匀,并在图片中提示用户以一定的顺序注视图片的不同位置,如图3d所示;电子设备在其显示屏上显示多个内容具体可以为:电子设备确定需要显示的内容的数量,根据该数量确定显示屏的显示区域,一个显示区域显示一个内容,并提示用户以一定的顺序注视不同区域。
若所述内容为视频,电子设备在其显示屏上显示一个内容具体可以为:在其显示屏上显示一段视频。
应指出的是,图3a、3b、3c、3d的电子设备是手机,在其他可选实施例中,还可以是PAD、媒体播放器等等,上述只是本发明可能的实施例中的一个具体实施例,不能以此限定本发明。
本发明实施例通过显示内容,捕捉用户针对该内容的表情和瞳孔的变化,并通过表情和/或瞳孔的变化来进行活体验证,降低了视频攻击的影响,避免了刻意提示用户,与用户的互动更自然,提升了用户的体验。
应指出的是,在其他可选实施例中,还可以通过声音输出单元播放一段音频替代在显示屏上显示内容,从而捕捉用户针对该段音频的表情和瞳孔的变化,并通过表情和/或瞳孔的变化来进行活体验证。
步骤S202,电子设备在所述一个内容或多个内容的显示期间通过摄像头获取k个面部图像,k为不小于2的整数。
具体的,电子设备在显示屏上开始同时显示一个内容或多个内容时,可以调用自身的摄像头获取用户的面部图像。电子设备预先可以设置至少两个时刻, 并在所述内容开始显示后的对应时刻开始获取用户的面部图像,各个时刻之间的间隔可以相等或不相等;电子设备也可以根据预设间隔确定各个时刻,即在内容开始显示后按照预设间隔获取面部图像。
需要说明的是,摄像头在每个时刻分别获取的面部图像的数量可以相同或不相同,本发明不做限定。
为了方便描述,本发明实施例以预先设置两个时刻为例,即第一预设时刻和第二预设时刻。摄像头可以在所述内容开始显示后的第一预设时刻开始获取m个面部图像,在所述内容开始显示后的第二预设时刻开始获取n个面部图像,其中,m和n都为不小于1的整数,且m和n可以相同或不同,k=m+n。假设,第一预设时刻为第1s,第二预设时刻为第3s,m和n都为3,电子设备在所述内容开始显示后的第1s,调用摄像头连续获取3张面部图像,在所述内容开始显示后的第3s,调用摄像头连续获取3张面部图像。
可选的,电子设备在显示内容的期间,可以通过k次获取面部图像,每次获取一个面部图像,总共则获取k个面部图像。
步骤S203,电子设备根据获取的所述k个面部图像确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种,t为不小于2的整数,且t≤k。
若每个预设时刻只获取了一个面部图像,那么,k和t相等。
若摄像头在所述内容开始显示后的第一预设时刻开始获取了m个面部图像,在所述内容开始显示后的第二预设时刻开始获取了n个面部图像,所述电子设备可以根据在所述第一预设时刻开始获取的m个面部图像中的至少一个面部图像确定一个表情参数值,并根据在所述第二预设时刻开始获取的n个面部图像中的至少一个面部图像确定一个表情参数值。
由于,电子设备根据每个时刻获取的面部图像确定表情参数值的处理流程相同,本发明实施例以第一预设时刻为例进行详细说明,其他预设时刻以此类推,在此不再赘述。
在一种可选的实施方式中,电子设备可以在第一预设时刻开始获取的m 个面部图像中选择最清晰的一个面部图像,根据选择的所述面部图像确定一个表情参数值。
在另一种可选的实施方式中,电子设备也可以在第一预设时刻开始获取的m个面部图像中获取至少两个面部图像,再获取每个所述面部图像的表情参数值,比较获取的表情参数值,以数量最多的表情参数值为准。假设,电子设备在获取了5个表情参数值,且这5个表情参数值分别为(3,3,3,2,4),电子设备则可以确定在表情参数值为3。
其中,所述表情参数值可以包括表情编码值和瞳孔相对值中的至少一个。电子设备可以根据显示的所述内容预先保存的第一参考序列,确定在面部图像中是只获取表情编码值,还是只获取瞳孔相对值,还是获取表情编码值和瞳孔相对值。
第一参考序列包括第一表情子序列和第一瞳孔子序列中的至少一种。
若第一参考序列只包括第一表情子序列,电子设备在根据获取的面部图像确定的表情参数值为表情编码值。具体的,电子设备可以在第一预设时刻开始获取的m个面部图像中选择最清晰的一个面部图像,根据所述选择的一个面部图像确定一个表情编码值;或者,所述电子设备也可以在第一预设时刻开始获取的m个面部图像中获取至少两个面部图像,再获取每个所述面部图像的表情编码值,比较获取的表情编码值,以数量最多的表情编码值为准。
若第一参考序列只包括第一瞳孔子序列,电子设备在根据获取的面部图像确定的表情参数值为瞳孔相对值。具体的,若所述表情参数值为瞳孔相对值,所述电子设备可以在第一预设时刻开始获取的m个面部图像中选择最清晰的一个面部图像,根据所述选择的一个面部图像确定一个瞳孔相对值;或者,所述电子设备也可以在第一预设时刻开始获取的m个面部图像中获取至少两个面部图像,再获取每个所述面部图像的瞳孔相对值,比较获取的瞳孔相对值,以数量最多的瞳孔相对值为准。
若第一参考序列包括第一瞳孔子序列和第一表情子序列,具体又可以分为以下三种情况:
第一种情况:电子设备先根据获取的k个面部图像确定t个表情编码值,若确定的t个表情编码值与第一表情子序列的匹配度小于第一预设阈值,再根据获取的k个面部图像确定t个瞳孔相对值。
第二种情况:电子设备先根据获取的k个面部图像确定t个瞳孔相对值,若确定的t个瞳孔相对值与第一瞳孔子序列的匹配度小于第一预设阈值,再根据获取的k个面部图像确定t个表情编码值;
第三种情况,电子设备根据获取的k个面部图像同时确定t个表情编码值和t个瞳孔相对值。
需要说明的是,电子设备如何在k个面部图像确定t个表情编码值和t个瞳孔相对值可以参考上述描述,在此不再赘述。
步骤S204,电子设备判断确定的t个表情参数值与预先设定的第一参考序列的匹配度是否不小于第一预设阈值。
电子设备在获取到t个表情参数值之后,可以将获取的所述t个表情参数值与第一参考序列进行匹配,若匹配度不小于第一预设阈值,则判定活体验证结果是通过。其中,第一预设阈值可以根据实际情况调整。
若所述表情参数值为表情编码值,所述电子设备可以将t个表情编码值与第一参考序列进行匹配,假设,电子设备针对所述内容预先保存的第一参考序列为(7,3,2,2,1),第一预设阈值为80%,若获取的5个表情编码值有至少两个表情编码值与第一参考序列对应的编码值不同,则判定匹配度小于所述第一预设阈值,如t个表情编码值为(7,2,2,2,2);否则,判定匹配度达到第一预设阈值。
若所述表情参数值为瞳孔相对值,所述电子设备可以将t个瞳孔相对值与第一参考序列进行匹配,假设,电子设备针对所述内容预先保存的第一参考序列为(7,7,5,3,4),第一预设阈值为80%,若获取的5个表情编码值有至少两个表情编码值与第一参考序列对应的编码值不同,则判定匹配度小于所述第一预设阈值,如t个表情编码值为(7,6,5,6,4);否则,判定匹配度达到第一预设阈值。
需要说明的是,若所述表情参数值为瞳孔相对值,电子设备还可以将t个瞳孔相对值与第一参考序列的变化趋势进行匹配,若相同,则判定t个瞳孔相对值与第一参考序列的匹配度达到第一预设阈值。具体实施时,趋势的变化可以用序列的前后差值序列来直接比较。如(7,7,5,3,4)差值序列为(0,-2,-2,1),而(5,5,3,1,2)差值序列也为(0,-2,-2,1),两者完全相同。差值序列的相似度可以用两个差值序列的欧几里得距离(Euclidean Distance)、明可夫斯基距离(Minkowski Distance)、曼哈顿距离(Manhattan Distance)、切比雪夫距离(Chebyshev Distance)或马哈拉诺比斯距离(Mahalanobis Distance)来度量评价。
若所述表情参数值为表情编码值和瞳孔相对值,第一参考序列对应也存在两个子序列,即与表情编码值对应的表情子序列以及与瞳孔相对值对应的瞳孔子序列,电子设备可以将t个表情编码值与表情子序列进行匹配,以及将t个瞳孔相对值与瞳孔子序列的进行匹配,若表情编码值与表情子序列的匹配度达到第一预设阈值,以及瞳孔相对值与瞳孔子序列的匹配度达到第一预设阈值,或者,表情编码值与表情子序列的匹配度与瞳孔相对值与瞳孔子序列的匹配度的乘积达到第一预设阈值,则判定t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值。
步骤S205,电子设备根据获取的k个面部图像中的至少一个面部图像判断人脸匹配是否通过。具体的,电子设备可以在获取的k个面部图像中选择最清晰的至少一个面部图像进行人脸匹配。需要说明的是,电子设备如何进行人脸匹配是本领域技术人员可理解的,在此不再赘述。
需要说明的是:步骤S204和步骤S205可以同时执行,也可以先执行步骤S204再执行步骤S205,或者先执行步骤S205再执行步骤S204,这两个步骤之前没有严格的先后执行顺序,不能以此限定本发明。
步骤S206,若确定的t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,电子设备确定面部验证的结果是通过。
步骤S207,若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,电子设备确定面部验证的结果是未通过。
在图2所示的实施例中,电子设备通过在显示屏上显示一个内容,捕捉用户针对该内容的表情和瞳孔的变化来进行活体验证,相比现有技术通过提示眨眼、或单一交互进行活体验证而言,本发明实施例大大提高了活体验证的难度,从而降低了被照片、视频、3D打印等技术进行攻击的可能性,并且,在进行活体验证时,不需要刻意提示用户,与用户的互动更自然,提升了用户体验。
请参阅图4,图4是本发明第二实施例提供的一种面部验证的方法流程示意图。本发明实施例与第一实施例大致相同,区别在于,如图4所示,本实施例的所述方法除了包括与第一实施例步骤S201~S204对应的步骤S401~404之外,还包括以下具体步骤:
步骤S405,电子设备在所述显示屏上显示另一个或另外多个内容。
步骤S406,电子设备在所述另一个或另外多个内容的显示期间通过所述摄像头重新获取k个面部图像。
步骤S407,电子设备根据重新获取的k个面部图像重新确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种。
需要说明的是,步骤S403和步骤S407中的表情参数值可以相同,如都为表情编码值,或者瞳孔相对值,或者表情编码值和瞳孔相对值;也可以不相同,如步骤S403中为表情编码值,步骤S403中为瞳孔相对值等等,本发明不限定。
步骤S408,电子设备判断重新获取的t个表情参数值与预先设定的第二参考序列的匹配度是否不小于第二预设阈值;若t个表情参数值与第二参考序列的匹配度不小于第二预设阈值,则执行步骤S409;否则,执行步骤S411。
需要说明的是,在其他可选实施例中,若t个表情参数值与第二参考序列的匹配度小于第二预设阈值,电子设备可以返回执行步骤S405,即在显示屏 上显示另一个内容,再一次进行活体验证;在本发明实施例中,活体验证的次数可以根据实际情况调整。
所述第二预设阈值和所述第一预设阈值可以相同或不同,本发明不限定。
步骤S409,电子设备根据重新获取的k个面部图像中的至少一个面部图像判断人脸匹配是否通过;若人脸匹配通过,则执行步骤S410;否则,执行步骤S411。需要说明的是,在其他可选实施例中,若所述人脸匹配失败,还可以再次根据重新获取的k个面部图像中的至少一个面部图像判断人脸匹配是否通过,人脸匹配的次数可以根据实际情况调整。
需要说明的是:步骤S408和步骤S409可以同时执行,也可以先执行步骤S408再执行步骤S409,或者先执行步骤S409再执行步骤S408,这两个步骤之前没有严格的先后执行顺序,不能以此限定本发明。
步骤S410,电子设备确定面部验证的结果是通过。
步骤S411,电子设备确定面部验证的结果是未通过。
在图4所示的实施例中,若第一次进行活体验证失败,有可能是某些客观原因导致的,如采集的面部图像不清晰,或经常显示同样的内容使得获得的面部图像不真实等等,因此,为了避免判断失误,电子设备则在显示屏上显示另一个或另外多个内容,再一次以同样的方法进行活体验证。需要说明的是,电子设备以这种方式重复进行活体验证的次数可以是预先设置的,并可以根据实际情况调整,本发明不限定。
请参阅图5,图5是本发明第三实施例提供的一种面部验证的方法流程示意图。本发明实施例提供的面部验证的方法应用于包括显示屏和摄像头的电子设备。如图5所示所述方法可以包括:
步骤S501,电子设备在显示屏上依次显示多个内容,所述内容包括文字、图片或视频。依次显示的多个内容是预先存储的一组中的内容,每个内容之间有先后顺序,显示屏根据其先后顺序依次显示。
具体的,当电子设备接收到面部验证指令时,电子设备可以在其显示屏上 依次显示多个内容。所述电子设备以智能手机为例,如智能手机在解锁时可以认为是接收到面部验证指令;所述电子设备以门禁设备为例,如门禁设备在进行身份验证时可以认为是接收到面部验证指令。
电子设备预先可以保存多组内容,每组内容包括多个内容,每组内容对应一个参考序列,当电子设备接收到面部验证指令时,可以在预先保存的多组内容中随机获取一组,将该组的内容依次显示在显示屏上,每次显示一个内容。
若所述内容为文字,电子设备在其显示屏上依次显示多个内容具体可以为:根据该组中每段文字排列的先后顺序,在显示屏上依次显示各段文字,其中,两段文字之间显示的时间间隔是预先设定的。具体的,电子设备可以显示由文字组成的题目,或者,可以显示清晰度不同的文字。需要说明的是,若所述内容为文字,每次在显示屏上显示的文字的数量可以不限制。
若所述内容为图片,电子设备在其显示屏上依次显示多个内容具体可以为:根据该组中每个图片排列的先后顺序,在显示屏上依次显示各个图片,其中,两个图片之间显示的时间间隔是预先设定的。
若所述内容为视频,在所述显示屏上依次显示多个内容具体可以为:根据该组中每段视频排列的先后顺序,在显示屏上依次显示各段视频。
本发明实施例通过显示多个内容,捕捉用户针对该内容的表情和瞳孔的变化,并通过表情和/或瞳孔的变化来进行活体验证,避免了刻意提示用户,与用户的互动更自然,提升了用户的体验。
应指出的是,在其他可选实施例中,还可以通过声音输出单元播放至少两段音频替代在显示屏上显示至少两个内容,从而捕捉用户针对音频的表情和瞳孔的变化,并通过表情和/或瞳孔的变化来进行活体验证。
步骤S502,电子设备在每个内容的显示期间获取至少一个面部图像,获取的面部图像的总数为k个。
若电子设备在其显示屏上依次显示的多个内容的数量可以为k个,那么,电子设备在每个所述内容的显示期间只需获取一个面部图像。
应指出的是,电子设备在每个内容的显示期间获取的面部图像可以相同或 不相同,本发明不限定。
步骤S503,电子设备根据获取的k个面部图像确定t个表情参数值。
具体的,电子设备根据所述每个内容的显示顺序,分别根据每个内容显示期间获取的面部图像中的至少一个面部图像确定一个表情参数值,得到t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种。
由于,每个内容都获取了至少一个面部图像,电子设备如何根据每个内容显示期间获取的至少一个面部图像确定一个表情参数值的处理流程相同,因此本发明实施例以根据第一个内容显示期间获取的面部图像确定表情参数值为例进行相关描述,其他内容以此类推,在此不再赘述。
在一种可选的实施方式中,电子设备可以在第一个内容显示期间获取的至少一个面部图像中选择最清晰的一个面部图像,根据选择的所述面部图像确定一个表情参数值。
在另一种可选的实施方式中,电子设备也可以在第一个内容显示期间获取的至少一个面部图像中获取至少两个面部图像,再获取每个所述面部图像的表情参数值,比较获取的表情参数值,以数量最多的表情参数值为准。假设,电子设备在获取了5个表情参数值,且这5个表情参数值分别为(3,3,3,2,4),电子设备则可以确定在表情参数值为3。
需要说明的是,电子设备如何根据一个内容显示期间获取的面部图像确定表情参数值可以参照图2所示的实施例,在此不再赘述。
步骤S504,电子设备判断确定的t个表情参数值与预先设定的第一参考序列的匹配度是否不小于第一预设阈值。
步骤S505,电子设备根据获取的所述k个面部图像中的至少一个面部图像判断人脸匹配是否通过。
需要说明的是:步骤S504和步骤S505可以同时执行,也可以先执行步骤S504再执行步骤S505,或者先执行步骤S505再执行步骤S504,这两个步骤之前没有严格的先后执行顺序,不能以此限定本发明。
步骤S506,若确定的t个表情参数值与预先设定的第一参考序列的匹配度 不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,电子设备确定面部验证的结果是通过。
步骤S507,若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,电子设备确定面部验证的结果是未通过。
在图5所示的实施例中,电子设备通过在显示屏上依次显示多个内容,捕捉用户针对该组内容的表情和瞳孔的变化来进行活体验证,相比现有技术通过提示眨眼、或单一交互进行活体验证而言,以及,相比图2所示的实施例提供的技术方案而言,本发明实施例更进一步提高了活体验证的难度,从而降低了被照片、视频、3D打印等技术进行攻击的可能性,并且,在进行活体验证时,不需要刻意提示用户,与用户的互动更自然,提升了用户体验。
请参阅图6,图6是本发明第四实施例提供的一种面部验证的方法流程示意图。本发明实施例与第三实施例大致相同,区别在于,如图6所示,本实施例的所述方法除了包括与第三实施例步骤S501~S504对应的步骤S601~604之外,还包括以下具体步骤:
步骤S605,电子设备在显示屏上依次显示另外多个内容。
步骤S606,电子设备在所述另外多个内容中的每个内容的显示期间通过所述摄像头重新获取k个面部图像。
步骤S607,电子设备根据重新获取的k个面部图像重新确定t个表情参数值。
需要说明的是,步骤S603和步骤S607中的表情参数值可以相同,如都为表情编码值,或者瞳孔相对值,或者表情编码值和瞳孔相对值;也可以不相同,如步骤S603中为表情编码值,步骤S603中为瞳孔相对值等等,本发明不限定。
步骤S608,电子设备判断重新确定的t个表情参数值与预先设定的第二参考序列的匹配度是否不小于第二预设阈值;若重新确定的t个表情参数值与第 二参考序列的匹配度不小于所述第二预设阈值,则执行步骤S609;否则,执行步骤S611。
需要说明的是,在其他可选实施例中,若重新确定的t个表情参数值与所述第二参考序列的匹配度小于所述第二预设阈值,电子设备可以返回执行步骤S605,即在所述显示屏上显示另外多个内容,再一次进行活体验证;在本发明实施例中,活体验证的次数可以根据实际情况调整。
所述第二预设阈值和所述第一预设阈值可以相同或不同,本发明不限定。
步骤S609,电子设备根据重新获取的k个面部图像中的至少一个面部图像判断人脸匹配是否通过;若所述人脸匹配通过,则执行步骤S610;否则,执行步骤S611。需要说明的是,在其他可选实施例中,若所述人脸匹配失败,还可以再次根据重新获取的k个面部图像中的至少一个面部图像判断人脸匹配是否通过,人脸匹配的次数可以根据实际情况调整。
需要说明的是:步骤S608和步骤S609可以同时执行,也可以先执行步骤S608再执行步骤S609,或者先执行步骤S609再执行步骤S608,这两个步骤之前没有严格的先后执行顺序,不能以此限定本发明。
步骤S610,电子设备确定面部验证的结果是通过。
步骤S611,电子设备确定面部验证的结果是未通过。
在图6所示的实施例中,若第一次进行活体验证失败,有可能是某些客观原因导致的,如采集的面部图像不清晰,或经常显示同样的内容使得获得的面部图像不真实等等,因此,为了避免判断失误,电子设备则在显示屏上显示另外多个内容,再一次以同样的方法进行活体验证。需要说明的是,电子设备以这种方式重复进行活体验证的次数可以是预先设置的,并可以根据实际情况调整,本发明不限定。
请参与图7,图7是本发明实施例提供的一种电子设备的结构示意图。如图7所示,所述电子设备7至少可以包括显示屏71、摄像头72以及至少一个处理器73,其中:
显示屏71显示一个或多个内容,所述内容包括文字、图片或视频,摄像 头72在所述内容的显示期间获取k个面部图像,k为不小于2的整数,至少一个处理器73,用于根据获取的所述k个面部图像确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种,t为不小于2的整数,且t≤k;若确定的t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
可理解的是,本该实现方式中,电子设备7的各功能模块的功能可根据图2-图6所示方法实施例中的方法具体实现,可以具体对应图2-图6的相关描述,此处不再赘述。
需要说明的是,在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详细描述的部分,可以参见其他实施例的相关描述。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明实施例所必须的。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例装置中的可以根据实际需要进行合并、划分和删减。
本发明实施例中所述单元,可以通过通用集成电路,例如CPU(Central Processing Unit,中央处理器),或通过ASIC(Application Specific Integrated Circuit,专用集成电路)来实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (16)

  1. 一种面部验证的方法,应用于包括显示屏和摄像头的电子设备,其特征在于,所述方法包括:
    在所述显示屏上显示一个或多个内容,所述内容包括文字、图片或视频;
    在所述一个或多个内容的显示期间通过所述摄像头获取k个面部图像,k为不小于2的整数;
    根据获取的k个面部图像确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种,t为不小于2的整数,且t≤k;
    若确定的t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
  2. 如权利要求1所述的方法,其特征在于,所述方法还包括:
    若确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值,在所述显示屏上显示另一个或另外多个内容;
    在所述另一个或另外多个内容的显示期间通过所述摄像头重新获取k个面部图像;
    根据重新获取的k个面部图像重新确定t个表情参数值;
    若重新确定的t个表情参数值与预先设定的第二参考序列的匹配度不小于第二预设阈值,且根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
  3. 如权利要求1所述的方法,其特征在于,所述方法还包括:
    若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,确定面部验证的结果是未通过。
  4. 如权利要求2所述的方法,其特征在于,所述方法还包括:
    若满足重新确定的t个表情参数值与所述第二参考序列的匹配度小于所述第二预设阈值以及根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,确定面部验证的结果是未通过。
  5. 如权利要求1至4中任一项所述的方法,其特征在于,
    若在所述显示屏上同时显示一个或多个内容,在所述一个或多个内容的显示期间通过所述摄像头获取k个面部图像,包括:
    在所述一个内容或多个内容开始显示后按照预设间隔获取k个面部图像。
  6. 如权利要求1至4中任一项所述的方法,其特征在于,
    若在所述显示屏上依次显示多个内容,在所述多个内容的显示期间通过所述摄像头获取k个面部图像,包括:
    在每个内容的显示期间获取至少一个面部图像,获取的面部图像的总数为k个。
  7. 如权利要求1至6中任一项所述的方法,其特征在于,
    所述一个内容是所述电子设备保存的多个内容中随机选取的一个,每个内容对应一个参考序列,或者
    所述多个内容是所述电子设备保存的多组内容中随机选取的一组内容,每组内容对应一个参考序列。
  8. 一种电子设备,其特征在于,所述电子设备包括:
    显示屏,用于显示一个或多个内容,所述内容包括文字、图片或视频;
    摄像头,用于在所述内容的显示期间获取k个面部图像,k为不小于2的整数;
    至少一个处理器,用于根据获取的所述k个面部图像确定t个表情参数值,所述表情参数值包括表情编码值和瞳孔相对值中的至少一种,t为不小于2的整数,且t≤k;若确定的t个表情参数值与预先设定的第一参考序列的匹配度不小于第一预设阈值,且根据获取的k个面部图像中的至少一个面部图像得到 的人脸匹配结果是通过,确定面部验证的结果是通过。
  9. 如权利要求8所述的电子设备,其特征在于,
    所述显示屏还用于:
    若确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值,显示另一个内容或另外多个内容;
    所述摄像头还用于:
    在所述另一个内容或另外多个内容的显示期间重新获取k个面部图像;
    所述至少一个处理器还用于:
    根据重新获取的k个面部图像重新确定t个表情参数值;若重新确定的t个表情参数值与预先设定的第二参考序列的匹配度不小于第二预设阈值,且根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是通过,确定面部验证的结果是通过。
  10. 如权利要求8所述的电子设备,其特征在于,所述至少一个处理器还用于:
    若满足确定的t个表情参数值与所述第一参考序列的匹配度小于所述第一预设阈值以及根据获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,确定面部验证的结果是未通过。
  11. 如权利要求9所述的电子设备,其特征在于,所述至少一个处理器还用于:
    若满足重新确定的t个表情参数值与所述第二参考序列的匹配度小于所述第二预设阈值以及根据重新获取的k个面部图像中的至少一个面部图像得到的人脸匹配结果是未通过中的至少一个,确定面部验证的结果是未通过。
  12. 如权利要求8至11中任一项所述的电子设备,其特征在于,
    若所述显示屏同时显示一个或多个内容,所述摄像头具体用于:
    在所述一个内容或多个内容开始显示后按照预设间隔获取k个面部图像。
  13. 如权利要求8至11中任一项所述的电子设备,其特征在于,
    若所述显示屏依次显示多个内容,所述摄像头具体用于:
    在每个内容的显示期间获取至少一个面部图像,获取的面部图像的总数为k个。
  14. 如权利要求8至13中任一种所述的电子设备,其特征在于,
    所述一个内容是所述电子设备保存的多个内容中随机选取的一个,每个内容对应一个参考序列,或者
    所述多个内容是所述电子设备保存的多组内容中随机选取的一组内容,每组内容对应一个参考序列。
  15. 一种电子设备,其特征在于,所述电子设备包括显示屏、摄像头、存储器、总线系统和至少一个处理器,所述显示屏、所述摄像头、所述存储器、和至少一个处理器所述通过所述总线系统相连;
    所述存储器中存储一个或多个程序,所述一个或多个程序包括指令,所述指令当被所述电子设备执行时使所述电子设备执行如权利要求1至7任一项所述的方法。
  16. 一种存储一个或多个程序的计算机可读存储介质,所述一个或多个程序包括指令,所述指令当被电子设备执行时使所述电子设备执行根据权利要求1至7任一项所述方法。
CN201580042704.8A 2015-10-31 2015-10-31 一种面部验证的方法和电子设备 Expired - Fee Related CN107004073B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/093528 WO2017070971A1 (zh) 2015-10-31 2015-10-31 一种面部验证的方法和电子设备

Publications (2)

Publication Number Publication Date
CN107004073A true CN107004073A (zh) 2017-08-01
CN107004073B CN107004073B (zh) 2021-03-05

Family

ID=58629697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580042704.8A Expired - Fee Related CN107004073B (zh) 2015-10-31 2015-10-31 一种面部验证的方法和电子设备

Country Status (6)

Country Link
US (1) US10552593B2 (zh)
EP (1) EP3355220A4 (zh)
JP (1) JP2018538608A (zh)
KR (1) KR102077198B1 (zh)
CN (1) CN107004073B (zh)
WO (1) WO2017070971A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299692A (zh) * 2018-09-26 2019-02-01 深圳壹账通智能科技有限公司 一种身份识别方法、计算机可读存储介质及终端设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10534955B2 (en) * 2016-01-22 2020-01-14 Dreamworks Animation L.L.C. Facial capture analysis and training system
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技(深圳)有限公司 人脸验证方法及装置
CN107590375A (zh) * 2017-09-12 2018-01-16 广东欧珀移动通信有限公司 解锁方法及相关产品
US10599824B2 (en) * 2017-11-16 2020-03-24 Bank Of America Corporation Authenticating access to a computing resource using pattern-based facial recognition
US10594690B2 (en) * 2017-11-16 2020-03-17 Bank Of America Corporation Authenticating access to a computing resource using facial recognition based on involuntary facial movement
US20200084392A1 (en) * 2018-09-11 2020-03-12 Sony Corporation Techniques for improving photograph quality for poor focus situations
US10686991B2 (en) 2018-09-11 2020-06-16 Sony Corporation Techniques for improving photograph quality for fouled lens or sensor situations
US11809546B2 (en) * 2021-03-01 2023-11-07 Rovi Guides, Inc. Adaptive biometric authentication
CN113536270B (zh) * 2021-07-26 2023-08-08 网易(杭州)网络有限公司 一种信息验证的方法、装置、计算机设备及存储介质
WO2023073838A1 (ja) * 2021-10-27 2023-05-04 日本電気株式会社 認証装置、認証システム、認証方法、及び非一時的なコンピュータ可読媒体
WO2024123218A1 (en) * 2022-12-05 2024-06-13 Telefonaktiebolaget Lm Ericsson (Publ) Two-factor facial recognition authentication

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710383A (zh) * 2009-10-26 2010-05-19 北京中星微电子有限公司 一种身份认证的方法及认证装置
CN102385703A (zh) * 2010-08-27 2012-03-21 北京中星微电子有限公司 一种基于人脸的身份认证方法及系统
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN103678984A (zh) * 2013-12-20 2014-03-26 湖北微模式科技发展有限公司 一种利用摄像头实现用户身份验证的方法
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
CN104348778A (zh) * 2013-07-25 2015-02-11 信帧电子技术(北京)有限公司 一种在手机端进行人脸初步验证的远程身份认证的系统、终端和方法
CN104834900A (zh) * 2015-04-15 2015-08-12 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625303B1 (en) * 1999-02-01 2003-09-23 Eastman Kodak Company Method for automatically locating an image pattern in digital images using eigenvector analysis
JP2003233816A (ja) 2002-02-13 2003-08-22 Nippon Signal Co Ltd:The アクセスコントロールシステム
KR100473598B1 (ko) * 2002-11-04 2005-03-11 삼성전자주식회사 가려진 얼굴영상을 판단하는 시스템 및 방법
JP3848953B2 (ja) 2003-07-04 2006-11-22 松下電器産業株式会社 生体眼判定方法および生体眼判定装置
JP2006133930A (ja) 2004-11-04 2006-05-25 Fuji Xerox Co Ltd 認証処理装置、および認証処理方法、並びにコンピュータ・プログラム
JP4760049B2 (ja) * 2005-02-22 2011-08-31 日本電気株式会社 顔認証装置、その顔認証方法、その顔認証装置を組み込んだ電子機器およびその顔認証プログラムを記録した記録媒体
JP4752660B2 (ja) 2006-07-28 2011-08-17 沖電気工業株式会社 個人認証方法及び個人認証装置
JP5045128B2 (ja) 2007-02-01 2012-10-10 オムロン株式会社 顔認証装置
JP2010182056A (ja) * 2009-02-05 2010-08-19 Fujifilm Corp パスワード入力装置及びパスワード照合システム
EP2553657A4 (en) 2010-04-02 2015-04-15 Nokia Corp METHODS AND APPARATUS FOR FACIAL DETECTION
CN101908140A (zh) * 2010-07-29 2010-12-08 中山大学 一种在人脸识别中应用的活体检测方法
US8935719B2 (en) * 2011-08-25 2015-01-13 Comcast Cable Communications, Llc Application triggering
US9025830B2 (en) 2012-01-20 2015-05-05 Cyberlink Corp. Liveness detection system based on face behavior
US8457367B1 (en) 2012-06-26 2013-06-04 Google Inc. Facial recognition
US20140007224A1 (en) * 2012-06-29 2014-01-02 Ning Lu Real human detection and confirmation in personal credential verification
US9032510B2 (en) * 2012-09-11 2015-05-12 Sony Corporation Gesture- and expression-based authentication
US8856541B1 (en) * 2013-01-10 2014-10-07 Google Inc. Liveness detection
CN104683302A (zh) * 2013-11-29 2015-06-03 国际商业机器公司 认证方法、认证装置、终端设备、认证服务器及系统
CN104751110B (zh) * 2013-12-31 2018-12-04 汉王科技股份有限公司 一种活体检测方法和装置
CN103824089B (zh) 2014-02-17 2017-05-03 北京旷视科技有限公司 一种基于级联回归的人脸3d姿态识别方法
US9147117B1 (en) * 2014-06-11 2015-09-29 Socure Inc. Analyzing facial recognition data and social network data for user authentication
CN104361326A (zh) 2014-11-18 2015-02-18 新开普电子股份有限公司 一种判别活体人脸的方法
US9547763B1 (en) * 2015-03-31 2017-01-17 EMC IP Holding Company LLC Authentication using facial recognition

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101710383A (zh) * 2009-10-26 2010-05-19 北京中星微电子有限公司 一种身份认证的方法及认证装置
CN102385703A (zh) * 2010-08-27 2012-03-21 北京中星微电子有限公司 一种基于人脸的身份认证方法及系统
US20130015946A1 (en) * 2011-07-12 2013-01-17 Microsoft Corporation Using facial data for device authentication or subject identification
CN103778360A (zh) * 2012-10-26 2014-05-07 华为技术有限公司 一种基于动作分析的人脸解锁的方法和装置
CN104348778A (zh) * 2013-07-25 2015-02-11 信帧电子技术(北京)有限公司 一种在手机端进行人脸初步验证的远程身份认证的系统、终端和方法
CN103440479A (zh) * 2013-08-29 2013-12-11 湖北微模式科技发展有限公司 一种活体人脸检测方法与系统
CN103678984A (zh) * 2013-12-20 2014-03-26 湖北微模式科技发展有限公司 一种利用摄像头实现用户身份验证的方法
CN104834900A (zh) * 2015-04-15 2015-08-12 常州飞寻视讯信息科技有限公司 一种联合声像信号进行活体检测的方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ARMAN BOEHM: "SAFE:Secure Authentication with Face and Eyes", 《2013 INTERNATIONAL CONFERENCE ON PRIVACY AND SECURITY IN MOBILE SYSTEMS (PRISMS)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299692A (zh) * 2018-09-26 2019-02-01 深圳壹账通智能科技有限公司 一种身份识别方法、计算机可读存储介质及终端设备

Also Published As

Publication number Publication date
WO2017070971A1 (zh) 2017-05-04
US20180314812A1 (en) 2018-11-01
US10552593B2 (en) 2020-02-04
CN107004073B (zh) 2021-03-05
EP3355220A1 (en) 2018-08-01
JP2018538608A (ja) 2018-12-27
KR20180067654A (ko) 2018-06-20
KR102077198B1 (ko) 2020-02-13
EP3355220A4 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
CN107004073A (zh) 一种面部验证的方法和电子设备
US11513608B2 (en) Apparatus, method and recording medium for controlling user interface using input image
CN108304758B (zh) 人脸特征点跟踪方法及装置
CN107085479B (zh) 提供手写风格校正功能的方法和适用于其的电子装置
EP2879095B1 (en) Method, apparatus and terminal device for image processing
CN111985265A (zh) 图像处理方法和装置
US20150324004A1 (en) Electronic device and method for recognizing gesture by electronic device
KR20150121949A (ko) 제스처를 인식하는 방법 및 장치
KR20150128377A (ko) 지문 처리 방법 및 그 전자 장치
US9423908B2 (en) Distinguishing between touch gestures and handwriting
KR20150098158A (ko) 지문인식 장치 및 방법
CN107463903B (zh) 人脸关键点定位方法及装置
WO2018059328A1 (zh) 一种终端控制方法及终端、存储介质
EP3287924B1 (en) Electronic device and method for measuring heart rate based on infrared rays sensor using the same
US20220350404A1 (en) Method for image display and related products
WO2017088434A1 (zh) 人脸模型矩阵训练方法、装置及存储介质
US9560272B2 (en) Electronic device and method for image data processing
KR20150137504A (ko) 영상처리 방법 및 이를 구현한 전자 장치
US20150049035A1 (en) Method and apparatus for processing input of electronic device
US20150278207A1 (en) Electronic device and method for acquiring image data
US20150139496A1 (en) Method for processing image and electronic device thereof
CN110472459B (zh) 提取特征点的方法和装置
KR102348366B1 (ko) 전자 장치 및 전자 장치에서 눈의 중심을 판단하는 방법
US20150205372A1 (en) Method and apparatus for providing input interface for mobile terminal
CN107239195A (zh) 基于计算机的桌面图标管理方法及桌面图标管理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210305