CN117011922B - 人脸识别方法、设备和存储介质 - Google Patents
人脸识别方法、设备和存储介质 Download PDFInfo
- Publication number
- CN117011922B CN117011922B CN202311252084.3A CN202311252084A CN117011922B CN 117011922 B CN117011922 B CN 117011922B CN 202311252084 A CN202311252084 A CN 202311252084A CN 117011922 B CN117011922 B CN 117011922B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- target person
- face
- statistical period
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 239000013598 vector Substances 0.000 claims abstract description 277
- 238000004891 communication Methods 0.000 claims description 26
- 230000006854 communication Effects 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 36
- 239000010410 layer Substances 0.000 description 31
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000007726 management method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 7
- 238000010295 mobile communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请实施例提供一种人脸识别方法、设备和存储介质。该方法包括:确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量;获取目标人物对应的第一统计特征向量,第一统计特征向量用于反映第二统计周期内采集到的成功匹配目标人物的多个人脸图像的特征向量的统计值,第二统计周期早于所述第一统计周期;若待检测特征向量与第一统计特征向量之间的相似度大于设定相似度阈值,则确定待检测人脸图像与目标人物匹配。本方案中,在进行人脸识别时,用于与待检测特征向量进行对比的第一统计特征向量反映了距离当前统计周期最近的统计周期内目标人物的人脸特征,从而能够有效提高人脸识别的准确率。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种人脸识别方法、设备和存储介质。
背景技术
人脸识别是指基于人的脸部特征进行身份识别。一般地,在进行人脸识别之前,会预先对目标人物进行面部图像采集,以获取目标人物的人脸特征;在进行人脸识别时,通过判断当前采集到的面部图像所反映的人脸特征与目标人物的人脸特征是否匹配,确定人脸识别结果。比如:若当前采集到的面部图像所反映的人脸特征与目标人物的人脸特征之间的相似度大于设定阈值,则认为人脸识别成功,当前采集到的面部图像即为目标人物的面部图像。
然而,在实际应用中,目标人物的姿态、发型、妆容等都可能会发生变化,如果始终基于预先获取的目标人物的人脸特征进行人脸识别,则会导致人脸识别的结果不准确,容易出现误判的情况。
发明内容
本申请的多个方面提供一种人脸识别方法、设备和存储介质,用以提高人脸识别的准确率。
本申请实施例提供一种人脸识别方法,包括:
确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量;
获取目标人物对应的第一统计特征向量,所述第一统计特征向量用于反映第二统计周期内采集到的成功匹配所述目标人物的多个人脸图像的特征向量的统计值,所述第二统计周期早于所述第一统计周期;
若所述待检测特征向量与所述第一统计特征向量之间的相似度大于设定相似度阈值,则确定所述待检测人脸图像与所述目标人物匹配。
本申请实施例还提供一种人脸识别方法,包括:
响应于用户触发的锁屏界面解锁请求,确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量;
获取目标人物对应的第一统计特征向量,所述第一统计特征向量用于反映第二统计周期内采集到的成功匹配所述目标人物的多个人脸图像的特征向量的统计值,所述第二统计周期早于所述第一统计周期;
若所述待检测特征向量与所述第一统计特征向量之间的相似度大于设定相似度阈值,则确定所述待检测人脸图像与所述目标人物匹配;
响应于所述待检测人脸图像与所述目标任务匹配,解锁所述锁屏界面。
本申请实施例还提供一种电子设备,包括:存储器、处理器、通信接口;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时实现上述的人脸识别方法。
本申请实施例还提供一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现上述的人脸识别方法。
本申请实施例提供的人脸识别方法中,当需要进行人脸识别时,首先,确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量,并获取目标人物对应的第一统计特征向量,第一统计特征向量用于反映第二统计周期内采集到的成功匹配目标人物的多个人脸图像的特征向量的统计值,第二统计周期早于所述第一统计周期;若待检测特征向量与第一统计特征向量之间的相似度大于设定相似度阈值,则确定待检测人脸图像与目标人物匹配。本方案中,用于与待检测特征向量进行相似度计算的第一统计特征向量反映了距离当前统计周期(即第一统计周期)最近的统计周期(即第二统计周期)内目标人物的人脸特征,在此情形下,即使目标人物当前的人脸特征受妆容、环境、姿态等因素影响发生变化,但由于第一统计特征向量反应了近期目标人物的人脸特征,从而目标人物在进行人脸识别时,依然可以保证较高的人脸识别准确率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种人脸识别的场景示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种软件模块架构示意图;
图4为本申请实施例提供的一种软件模块间的交互示意图;
图5为本申请实施例提供的一种人脸识别的过程示意图;
图6为本申请实施例提供的一种人脸识别方法的流程图;
图7为本申请实施例提供的一种参考人脸特征的更新示意图;
图8为本申请实施例提供的另一种人脸识别方法的流程图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
针对现有的技术问题,本申请实施例提供一种解决方案,该方案的基本思路是:在人脸识别的过程中,按照时间顺序设置不同的统计周期,在每个统计周期内,统计当前周期内采集到的成功匹配目标人物的多个人脸图像的特征向量的统计值,称为统计特征向量。在任一个统计周期内,对当前采集的待检测人脸图像对应的待检测特征向量进行特征相似度判断时,以距离当前统计周期最近的已结束的统计周期内确定的统计特征向量为参考,确定其与待检测特征向量的相似度,当相似度大于设定相似度阈值时,确定当前待检测的人脸图像与目标任务匹配,人脸匹配成功。由于在进行相似度计算时用作参考的是距离当前统计周期最近的已结束的统计周期内确定的统计特征向量,该统计特征向量最能够表达目标人物的近期的人脸特征,从而能够提升人脸识别的准确率。
下面再结合附图对本申请各实施例提供的技术方案作详细说明。在各实施例之间不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。另外,下述各方法实施例中的步骤时序仅为一种举例,而非严格限定。
图1为本申请实施例提供的一种人脸识别的场景示意图。如图1所示,用户在通过具有摄像功能的电子设备进行人脸识别时,电子设备响应于用于触发的人脸识别操作,控制相机模组采集用户的人脸图像,然后对采集到的人脸图像进行人脸识别。其中,人脸识别操作可在多种应用场景中触发,比如:电子设备的屏幕解锁场景、“刷脸支付”场景、应用程序登陆场景等等,在这些不同的场景中,人脸识别用于对当前用户的身份进行验证。
本申请实施例提供的人脸识别方法可以应用于电子设备上,电子设备包括但不限于手机、平板电脑、笔记本电脑、可穿戴设备等支持具有摄像功能的设备。
以手机为例,图2为本申请实施例提供的一种电子设备的结构示意图。
如图2所示,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,简称AP),调制解调处理器,图形处理器(GraphicsProcessingUnit,简称GPU),图像信号处理器(Image Signal Processor,简称ISP),控制器,视频编解码器,数字信号处理器(Digital Signal Processor,简称DSP),和/或基带处理器,等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(Inter-integrated Circuit,简称I2C)接口,集成电路内置音频(Inter-integratedCircuit Sound,简称I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,简称UART)接口,移动产业处理器接口(Mobile Industry Processor Interface,简称MIPI) ,通用输入输出(General-purpose Input/Output,简称GPIO)接口,用户标识模块(SubscriberIdentityModule,简称SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
其中,I2C接口是一种双向同步串行总线,包括一根串行数据线(Serial DataLine,SDA)和一根串行时钟线(Derail Clock Line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。在一些实施例中,处理器110和摄像头193通过MIPI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过MIPI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。
USB接口130是符合USB标准规范的接口,USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。
充电管理模块140用于从无线充电器或有线充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,简称WLAN),蓝牙(Bluetooth,简称BT),全球导航卫星系统(GlobalNavigation Satellite System,简称GNSS),调频(Frequency Modulation,简称FM),近距离无线通信技术(Near Field Communication,简称NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(Global System for Mobile Communications,GSM) ,通用分组无线服务(General Packet Radio Service,简称GPRS) ,码分多址接入(Code Division Multiple Access,简称CDMA),宽带码分多址(Wideband CodeDivisionMultiple Access,简称WCDMA),时分码分多址(Time-Division Code DivisionMultipleAccess,简称TD-SCDMA)等。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图形处理器,连接显示屏194和应用处理器。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,简称LCD) ,有机发光二极管(Organic Light-Emitting Diod e ,简称OLED) ,有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-Matrix Organic Light Emitting Diode,简称AMOLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。
摄像头193用于捕获静态图像或视频。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform,简称OMTP)标准接口,或者美国蜂窝电信工业协会(Cellular Telecommunications Industry Association oftheUSA,简称CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体,否则电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。在一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热或对电池142的输出电压执行升压,以避免低温导致电子设备100异常关机。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。
以下实施例中的人脸识别方法均可以在具有上述硬件结构的电子设备100中实现。
上述电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过接口通信。在一些实施例中,Android系统可以包括应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,硬件抽象层(hardware abstraction layer,HAL)以及内核层。需要说明的是,本申请实施例以Android系统举例来说明,在其他操作系统中(例如鸿蒙系统,IOS系统等等),只要各个功能模块实现的功能和本申请的实施例类似也能实现本申请的方案。
其中,应用程序层可以包括一系列应用程序包。
图3为本申请实施例提供的一种软件模块架构示意图。如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,音乐,视频,短信息、锁屏应用、设置应用等应用程序。当然,应用程序层还可以包括其他应用程序包,例如支付应用,购物应用、银行应用等,本申请不做限定。
其中,设置应用具有录入人脸的功能,该录入的人脸用于人脸识别,比如人脸解锁等。锁屏应用具有响应于用户的解锁操作(例如,按压电源键)进行解锁的功能。锁屏应用可以进行人脸解锁、指纹解锁、密码解锁等解锁处理,本申请实施例主要以人脸解锁为例进行说明。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。例如可以包括窗口管理器,内容提供器,视图系统,资源管理器,通知管理器,相机服务(Camera Service)和人脸识别服务等,本申请实施例对此不做任何限制。
系统库可以包括多个功能模块。例如:表面管理器(surface manager) ,媒体库(Media Libraries),OpenGL ES,SGL等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H .264,MP3,AAC,AMR,JPG,PNG等。
OpenGL ES用于实现三维图形绘图,图像渲染,合成,和图层处理等。
SGL是2D绘图的绘图引擎。
安卓运行时(Android Runtime)包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
HAL层是对Linux内核驱动程序的封装,向上提供接口,屏蔽低层硬件的实现细节。HAL层中可以包括Wi-Fi HAL,音频(audio)HAL,相机HAL(Camera HAL)和人脸识别控制模块等。
其中,相机HAL是Camera的核心软件框架,相机HAL中可以包括传感器节点(sensornode)和图像前处理(image front end,IFE)。传感器节点和IFE节点是相机HAL创建的图像数据和控制指令传输通路(也可以称为传输管道)中的组件(节点)。
人脸识别控制模块是人脸识别的核心软件框架/应用。
人脸可信应用(Face Trusted Application,Face TA):运行在TEE环境下的用于人脸识别的应用。本申请实施例中,将Face TA称为人脸识别TA。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。其中,摄像头驱动是Camera器件的驱动层,主要负责和硬件的交互。
硬件层包括显示器、摄像头、IFE模块和安全内存(Secure Buffer)等。其中,安全内存是指具有安全保护功能的内存,可以用于存放摄像头采集的图像数据raw data。IFE模块(IFE-Lite)可以称为图像前处理模块,可以用于转发图像数据,转发过程中不对图像数据进行处理。
下面对本申请实施例提供的人脸识别方法所涉及的软件模块和模块间的交互进行说明。
以人脸识别方法所涉及的应用为锁屏应用为例,图4为本申请实施例提供的一种软件模块间的交互示意图。如图4所示,应用层中的锁屏应用可以与人脸识别SDK交互,人脸识别SDK可以通过调用预设的应用程序接口(application programming interface,API)接口与框架层中的人脸识别服务交互,人脸识别服务可以与HAL层中的人脸识别控制模块交互,人脸识别控制模块可以通过框架层中的相机服务与HAL层中的相机HAL交互,或者,人脸识别控制模块可以直接与HAL层中的相机HAL交互。相机HAL中可以包括传感器节点和IFE节点。传感器节点可以与内核层中的摄像头驱动模块交互,摄像头驱动模块可以用于驱动硬件层中的摄像头采集图像数据。
IFE模块可以将摄像头采集的图像数据存储至安全内存中。摄像头采集的图像数据在安全内存中的存储位置,可以使用文件描述符(file descriptor,FD)表示。IFE模块可以将该图像数据对应的FD通过IFE模块、摄像头驱动模块、IFE节点、相机服务和人脸控制模块传递到人脸识别TA,人脸识别TA可以根据FD从安全内存中读取图像数据并进行处理,将处理结果(即人脸识别结果:人脸识别成功或人脸识别失败)反馈给人脸识别控制模块。人脸识别控制模块可以通过人脸识别服务、人脸识别SDK将处理结果反馈给锁屏应用,以便锁屏应用确定是否解锁(若人脸识别成功,解锁;若人脸识别失败,不解锁,即解锁失败)。其中,图4中的实线箭头可以用于表示控制流,虚线箭头可以用于表示数据流。
其中,人脸识别TA在进行人脸识别时采用本申请实施例提供的人脸识别方法,以下结合附图对本申请实施例提供的人脸识别方法进行具体介绍。
为便于理解本申请实施例提供的人脸识别方法,先结合图5对人脸识别的基本过程做简要介绍。
图5为本申请实施例提供的一种人脸识别的过程示意图,如图5所示,在进行人脸识别之前,先采集目标人物的人脸图像,并基于目标人物的人脸图像提取目标人物的人脸特征;之后,将目标人物的人脸特征录入数据库,以作为进行人脸识别时,判断当前进行人脸识别的对象是目标人物还是陌生人的参考依据。其中,目标人物人脸特征的录入过程,也可理解为人脸识别的初始化过程。
初始化完成之后,具体的人脸识别过程中,针对当前进行人脸识别的对象,采集待检测(待识别)的人脸图像,并进行人脸检测、睁闭眼/注视检测、活体检测等操作,以进行人脸对齐和安全验证;之后,提取待检测的人脸图像进行人脸对齐后的人脸特征,为便于表述,将其称为待检测的人脸特征。最后,计算录入的目标人物的人脸特征与待检测的人脸特征之间的相似度,根据相似度确定人脸识别结果。比如:当相似度大于设定相似度阈值时,确定人脸识别成功,当前待检测的人脸图像与目标人物匹配,即进行人脸识别的对象是目标人物本人;当相似度小于或等于设定相似度阈值时,确定人脸识别失败,当前待检测的人脸图像与目标人物不匹配,即进行人脸识别的对象为陌生人而非目标人物。
可选地,上述人脸特征可用特征向量表示,比如:用包含有128个元素的(128×1)维特征向量表示人脸特征。
若录入的目标人物的人脸特征对应的特征向量称为参考特征向量,待检测的人脸特征对应的特征向量称为待检测特征向量,则可通过参考特征向量与待检测特征向量之间的距离,比如:欧氏距离、曼哈顿距离、余弦距离等,表征录入的目标人物的人脸特征与待检测的人脸特征之间的相似度。
在图5所示的人脸识别过程中,以初始化时录入的目标人物的人脸特征为进行人脸识别的参考依据。可以理解的是,人的面部特征往往是会随着时间动态变化的,实际应用中,其可能会随着环境、姿态、妆容、发型等发生变化。如果始终以初始化时录入的目标人物的人脸特征为人脸识别的参考依据,则在使用过程中,可能会发生识别结果不准确的情况,比如目标人物人脸识别不成功。
为解决这一技术问题,可选地,可以对预先录入的目标人物的人脸特征进行更新,比如:定期提醒目标用户重新录入人脸特征,即重新执行上述初始化过程。但是这种方式,无疑会增加用户的使用负担,使其产生不好的使用体验。
为此,本申请实施例提供一种人脸识别方法,能够自动化、用户无感的更新被用作人脸识别参考依据的目标人物人脸特征,提高人脸识别的准确率。以下结合具体实施例对本申请提供的人脸识别方法进行说明。
图6为本申请实施例提供的一种人脸识别方法的流程图,如图6所示,该人脸识别方法包括如下步骤:
601、确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量。
602、获取目标人物对应的第一统计特征向量,第一统计特征向量用于反映第二统计周期内采集到的成功匹配目标人物的多个人脸图像的特征向量的统计值,第二统计周期早于第一统计周期。
603、若待检测特征向量与第一统计特征向量之间的相似度大于设定相似度阈值,则确定待检测人脸图像与目标人物匹配。
为便于表述,本实施例中,将被用作人脸识别参考依据的目标人物人脸特征称为参考人脸特征。
可以理解的是,一段时间内,目标人物可能会进行多次人脸识别,对应的也会有多个与目标人物成功匹配的人脸图像,即有多个人脸识别成功的人脸图像。
本实施例中,在人脸识别的过程中,设置有统计周期,该统计周期可以理解为对与目标人物成功匹配的人脸图像所反映的人脸特征进行特征统计的周期,也可理解为目标人物对应的参考人脸特征的更新周期。
可选地,该统计周期可以以时间为基准进行设置,比如:可以固定时长为统计周期的周期长度,按照时间顺序设置连续的多个统计周期。假设统计周期的周期长度为△t,起始时刻为t0,则t0至(t0+△t)为一个统计周期、(t0+△t)至(t0+2△t)为一个统计周期,以此类推。或者,该统计周期也可以以预设判断条件为基准进行设置,比如:该预设判断条件为累计人脸识别成功P次(P为大于等于1的整数)。假设在一段时间内人脸识别成功2P次,则前P次对应一个统计周期,后P次对应一个统计周期。
基于统计周期的设置,针对任一个统计周期,可以获取该统计周期内与目标人物成功匹配的人脸图像所对应的人脸特征。进一步地,可以通过对该统计周期内与目标人物成功匹配的人脸图像所对应的人脸特征进行特征统计,确定该统计周期对应的目标人物的人脸统计特征。每个统计周期对应的人脸统计特征反映了目标人物在统计周期对应目标时间段内的人脸特征。
将每个统计周期对应的目标人物的人脸统计特征用统计特征向量表示,该统计特征向量为统计周期内采集到的成功匹配目标人物的多个人脸图像的人脸特征对应特征向量的统计值。本实施例中,先聚焦于基于统计周期更新参考人脸特征的过程,每个统计周期对应的统计特征向量的计算过程在后续实施例中进行说明。
图7为本申请实施例提供的一种参考人脸特征的更新示意图,其中,N0为统计周期T1之前的其他统计周期内确定的统计特征向量,或者初始化阶段录入的目标人物的人脸特征对应的人脸特征向量;N1为统计周期T1内确定的统计特征向量,N2为统计周期T2内确定的统计特征向量,N3为统计周期T3内确定的特征统计向量。如图7所示,在人脸识别的过程中,当统计周期T1结束进入统计周期T2后,将参考人脸特征对应的特征向量从N0变更为N1;当统计周期T2结束进入统计周期T3后,将参考人脸特征对应的特征向量从N1变更为N2,以此类推,可以不断的更新参考人脸特征。
实际应用中,可通过设置相应的参考人脸特征更新条件,使得当满足更新条件时将上述N0更新为N1、N1更新为N2等。
可选地,参考人脸特征更新条件可以为统计周期的结束条件。在具体实施过程中,响应于统计周期G的结束,将人脸参考特征更新为统计周期G对应的统计特征向量。
假设图6中的第一统计周期为统计周期T2,第二统计周期为T1,用于反映统计周期T1内采集到的成功匹配目标人物的多个人脸图像的特征向量的统计值为上述N1。
以屏幕解锁场景为例,在统计周期T2内进行人脸识别过程中,首先,响应于用户触发的锁屏界面解锁请求,采集待检测的人脸图像,并确定当前采集的待检测的人脸图像对应的待检测特征向量;然后,获取目标人物当前参考人脸特征即N1;最后,计算待检测特征向量与N1之间的相似度。若该相似度大于设定相似度阈值比如0.95,则确定待检测的人脸图像与目标人物匹配,反之则不匹配。响应于待检测人脸图像与目标人物匹配,解锁锁屏界面。
具体实施过程中,如果当前采集的待检测人脸图像是统计周期T2内采集到的最后一个成功匹配目标人物的人脸图像,则在确定待检测人脸图像与目标人物匹配之后,将参考人脸特征从N1更新为N2,以使在统计周期T3内以N2为参考人脸特征进行人脸识别。如果当前采集的待检测人脸图像不是统计周期T2内采集到的最后一个成功匹配目标人物的人脸图像,则参考人脸特征仍为N1。
本实施例中,通过基于每个统计周期内确定的统计特征向量对参考人脸特征进行不断更新,可以保证当前用于人脸识别的参考人脸特征能够反映目标人物近期的人脸特征,从而保证人脸识别的准确率。
以下对每个统计周期对应的统计特征向量的计算过程进行说明。
可选地,每个统计周期对应的统计特征向量包括:均值特征向量,均值特征向量为统计周期内采集到的成功匹配目标人物的多个人脸图像的人脸特征对应特征向量的均值。本实施例中,均值特征向量、成功匹配目标人物的多个人脸图像的对应的多个特征向量均包含有多个元素,均值特征向量中每个元素的值为多个特征向量中相应位置的元素的均值。
图8为本申请实施例提供的另一种人脸识别方法的流程图,如图8所示,包括如下步骤:
801、确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量。
802、获取目标人物对应的第一均值特征向量,第一均值特征向量用于反映第二统计周期内采集到的成功匹配目标人物的多个人脸图像的特征向量的均值,第二统计周期早于第一统计周期。
803、若待检测特征向量与第一均值特征向量之间的相似度大于设定相似度阈值,则确定待检测人脸图像与目标人物匹配。
804、根据第一统计周期内前n个成功匹配目标人物的人脸图像各自对应的特征向量,确定第一统计周期内前n个成功匹配所述目标人物的人脸图像对应的第二均值特征向量M;
805、根据第二均值特征向量M、待检测特征向量和第一统计周期内成功匹配目标人物的人脸图像总数,确定第三均值特征向量M’。
其中,步骤801-步骤803的具体实施过程,可参考前述实施例,本实施例中不在进行赘述。
本实施例中,在确定待检测特征向量对应的待检测人脸图像与目标人物匹配后,该待检测特征向量可用于计算当前统计周期对应的均值特征向量。
可选地,可以将每次人脸识别成功对应的待检测特征向量均用于均值特征向量计算;也可以设置采样间隔,在多次人脸识别成功对应的多个待检测特征向量中选取一个待检测特征向量用于均值特征向量计算。
实际应用中,在一个统计周期内,每次人脸识别成功后,都会确认出一个能够用于计算当前统计周期对应均值特征向量的待检测特征向量。可选地,可以在获取一个统计周期对应的所有成功匹配目标人物的人脸图像的特征向量之后,根据这些特征向量计算该统计周期对应的均值特征向量。但是,这种方式需要对一个统计周期内的所有成功匹配目标人物的人脸图像的特征向量进行存储,会占用较多的存储空间。
本实施例中,为了节约存储空间,每确定一个新的成功匹配目标人物的人脸图像的特征向量,就进行一次均值特征向量计算。
步骤804和步骤805为其中一次均值特征向量的计算过程,实际应用中,步骤804和步骤805中的n、第二均值特征向量M和第三均值特征向量M’,会随着新的成功匹配目标人物的人脸图像的特征向量的获取不断进行更新。
为了便于理解,举例进行说明。假设当前的统计周期为统计周期T,截止当前时刻,根据n(n为正整数)个成功匹配目标人物的人脸图像各自对应的特征向量,确定出了均值特征向量M。
在确定均值特征向量M之后,若获取到了新的成功匹配目标人物的人脸图像特征向量X,则统计周期T内用于计算均值特征向量的成功匹配目标人物的人脸图像特征向量数量由n增为了(n+1),此时,根据均值特征向量M、特征向量X、n和(n+1),计算(n+1)个成功匹配目标人物的人脸图像对应的均值特征向量M’。
具体实施过程中,可以通过如下过程计算均值特征向量M’:确定特征向量M与n的第一乘积;确定特征向量X与第一乘积的第一求和结果;将第一求和结果与(n+1)比值作为均值特征向量M’。均值特征向量M’的计算过程可通过以下公式(1)表示:
M’=(n*M+X)/(n+1) (1)
可以理解的是,在统计周期T内,若在计算出(n+1)个成功匹配目标人物的人脸图像对应的均值特征向量M’之后,又获取到了新的成功匹配目标人物的人脸图像特征向量Y,则在计算新增特征向量Y之后(n+2)个成功匹配目标人物的人脸图像对应的均值特征向量M’’时,其计算过程与上述均值特征向量M’的计算过程类似,只是公式(1)中的M’更新为M’’,n更新为(n+1),X更新为Y。
以此类推,可以在每获取到一个新的成功匹配目标人物的人脸图像特征向量之后,进行一次均值特征向量计算。
可选地,若特征向量X对应的人脸图像是统计周期T内采集到的最后一个成功匹配目标人物的人脸图像,则确定均值特征向量M’为统计周期T对应的均值特征向量。
可选地,在统计周期的开始时刻,均值特征向量可初始化为零向量。
本实施例中,在确定统计周期对应的均值特征向量时,在已知当前成功匹配目标人物的人脸图像对应的均值特征向量的情况下,当有新的成功匹配目标人物的人脸图像特征向量时,可以直接基于已有的均值特征向量和新增特征向量,确定新的均值特征向量。由于在这一过程中,不需要保存所有的成功匹配目标人物的人脸图像特征向量,也不需要重新对所有的成功匹配目标人物的人脸图像特征向量执行算,从而可以有效节省内存,提高计算效率。
响应于一个统计周期的结束,比如:统计周期对应持续时间达到设定时间长度或者统计周期内人脸识别成功的次数达到设定数量阈值(达到50次)等,将参考人脸特征更新为当前结束的统计周期对应的统计向量均值。
但是,这种直接对参考人脸特征进行更新的方式,可信度会存在问题,比如:某一个统计周期对应的统计特征向量可能并不能很好的反映目标人物的人脸特征,在将参考人脸特征更新为该统计周期对应的统计特征向量,人脸识别成功的准确率有所下降。
为了提升人脸识别成功的准确率,在每确定一个新的成功匹配目标人物的人脸图像的特征向量,就进行一次均值特征向量计算的同时,还会进行方差特征向量的计算。
本实施例中,方差特征向量为统计周期内采集到的成功匹配目标人物的多个人脸图像的人脸特征对应特征向量的方差。本实施例中,方差特征向量、成功匹配目标人物的多个人脸图像的对应的多个特征向量均包含有多个元素,方差特征向量中每个元素的值为多个特征向量中相应位置的元素的方差。
806、根据第一统计周期内前n个成功匹配所述目标人物的人脸图像各自对应的特征向量,确定第一统计周期内前n个成功匹配目标人物的人脸图像对应的第一方差特征向量S。
807、根据第一方差特征向量S、待检测特征向量、第二均值特征向量M和第一统计周期内成功匹配目标人物的人脸图像总数,确定第二方差特征向量S’。
步骤806和步骤807为其中一次方差特征向量的计算过程,实际应用中,步骤806和步骤807中的n、第二均值特征向量M、第一方差特征向量S和第二方差特征向量S’,会随着新的成功匹配目标人物的人脸图像的特征向量的获取不断进行更新。
为便于理解,举例来说,假设当前的统计周期为统计周期T,截止当前时刻,根据n个成功匹配目标人物的人脸图像各自对应的特征向量,确定出了均值特征向量M和方差特征向量为S。
在确定均值特征向量M和方差特征向量为S之后,若获取到了新的成功匹配目标人物的人脸图像特征向量X,则统计周期T内用于计算方差特征向量的成功匹配目标人物的人脸图像特征向量数量由n增为了(n+1),此时,根据方差特征向量为S、均值特征向量M、特征向量X、n和(n+1),计算(n+1)个成功匹配目标人物的人脸图像对应的方差特征向量S’。
具体实施过程中,可以通过如下过程计算方差特征向量S’:确定n与方差特征向量S的第二乘积;确定特征向量X与均值特征向量M差值的平方;确定第二乘积与差值的平方的第二求和结果;将第二求和结果与(n+1)的比值作为方差特征向量S’。方差特征向量S’的计算过程可通过以下公式(2)表示:
S’=[n*S+(X-M)2]/(n+1) (2)
可以理解的是,在统计周期T内,若在计算出(n+1)个成功匹配目标人物的人脸图像对应的均值特征向量M’和方差特征向量S’之后,又获取到了新的成功匹配目标人物的人脸图像特征向量Y,则在计算新增特征向量Y之后(n+2)个成功匹配目标人物的人脸图像对应的方差特征向量S’’时,其计算过程与上述过程类似,只是公式(2)中的S更新为S’,S’更新为S’’,M’更新为M’’,n更新为(n+1),X更新为Y。
以此类推,可以在每获取到一个新的成功匹配目标人物的人脸图像特征向量之后,进行一次方差特征向量计算。
可选地,在统计周期的开始时刻,方差特征向量可初始化为零向量。
可选地,若特征向量X对应的人脸图像是统计周期T内采集到的最后一个成功匹配目标人物的人脸图像,则确定方差特征向量S’为统计周期T对应的方差特征向量。
方差特征向量中的各个元素反映了一个统计周期内各个元素对应维度上的人脸特征波动情况,方差越小,波动越小,对应的统计特征向量更能代表目标人物的人脸特征。
本实施例中,假设待检测人脸图像是第一统计周期内采集到的最后一个成功匹配目标人物的人脸图像,第一统计周期对应的均值特征向量为第三均值特征向量M’,方差特征向量为第二方差特征向量S’。响应于统计周期的结束执行步骤808。
808、若第二方差特征向量S’中的多个元素之间的波动程度小于设定阈值,则将第一均值特征向量更新为第三均值特征向量M’。
在具体实施过程中,可通过方差特征向量中包含的多个元素之间的方差表征多个元素之间的波动程度。具体地,确定第二方差特征向量S’中多个元素的方差;若多个元素的方差小于设定阈值,则将第一均值特征向量更新为第三均值特征向量。
可选地,还可以在确定第二方差特征向量S’中多个元素的方差小于设定阈值之后,计算第三均值特征向量与第一均值特征向量之间的相似度,若第一均值特征向量与第三均值特征向量的相似度大于目标阈值(比如0.85),则将第一均值特征向量更新为第三均值特征向量。通过计算第三均值特征向量和第一均值特征向量之间的相似度,能够避免某个统计周期内的均值特征向量与前一统计周期对应的均值特征向量偏差过大。
可以理解的是,如果第二方差特征向量S’中多个元素的方差大于或等于设定阈值,或者,第一均值特征向量与第三均值特征向量的相似度小于或等于目标阈值,则保留第一均值特征向量,即参考人脸特征仍为第一均值特征向量。当第一统计周期之后的其他统计周期确定出新的均值特征向量和方差特征向量之后,再判断是否将第一均值特征向量更新为其他统计周期对应的新的均值特征向量。
综上,在本申请实施例提供的人脸识别方法中,通过基于统计周期对人脸识别时参考人脸特征对应的均值特征向量进行更新,并在更新时通过方差特征向量对应元素的方差与设定阈值的比较、统计周期对应的统计特征向量与当前参考人脸特征之间的相似度比较,确定用于更新的均值特征向量能够准确反映近期目标人物的人脸特征。从而,当需要进行人脸识别时,即使目标人物当前的人脸特征受妆容、环境、姿态等因素影响发生变化,但由于当前用于人脸识别判断的均值特征向量反应了近期目标人物的人脸特征,从而目标人物在进行人脸识别时,依然可以保证较高的人脸识别准确率。另外,本方案中,由于均值特征向量的更新过程,并不需要用户进行多余的操作,从而可以在用户无感的情况下进行更新,且更新过程仅占用少量的内存。
本申请一些实施例提供了一种电子设备,该电子设备可以包括:存储器、处理器、通信接口。该存储器上存储有可执行代码,当所述可执行代码被处理器执行时,使处理器至少可以实现如前述实施例中提供的人脸识别方法。该电子设备的结构可以参考图2所示的电子设备100的结构。
另外,本申请实施例还提供了一种非暂时性机器可读存储介质,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器至少可以实现如前述实施例中提供的人脸识别方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器 (RAM) 和/或非易失性内存等形式,如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体 (transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (5)
1.一种人脸识别方法,其特征在于,包括:
确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量;
获取目标人物对应的第一均值特征向量,所述第一均值特征向量用于反映第二统计周期内采集到的成功匹配所述目标人物的多个人脸图像的特征向量的均值,所述第二统计周期早于所述第一统计周期;
若所述待检测特征向量与所述第一均值特征向量之间的相似度大于设定相似度阈值,则确定所述待检测人脸图像与所述目标人物匹配;
若所述待检测人脸图像是所述第一统计周期内采集到的最后一个成功匹配所述目标人物的人脸图像,则根据所述第一统计周期内前n个成功匹配所述目标人物的人脸图像各自对应的特征向量,确定所述第一统计周期内前n个成功匹配所述目标人物的人脸图像对应的第二均值特征向量M;
根据所述第二均值特征向量M、所述待检测特征向量和所述第一统计周期内成功匹配所述目标人物的人脸图像总数,确定第三均值特征向量M’;
根据所述第一统计周期内前n个成功匹配所述目标人物的人脸图像各自对应的特征向量,确定所述第一统计周期内前n个成功匹配所述目标人物的人脸图像对应的第一方差特征向量S;
根据所述第一方差特征向量S、所述待检测特征向量、所述第二均值特征向量M和所述第一统计周期内成功匹配所述目标人物的人脸图像总数,确定第二方差特征向量S’;
确定所述第二方差特征向量S’中多个元素的方差;
若所述多个元素的方差小于设定阈值,则将所述第一均值特征向量更新为所述第三均值特征向量M’。
2.根据权利要求1所述的方法,其特征在于,所述将所述第一均值特征向量更新为所述第三均值特征向量M’,包括:
若所述第一均值特征向量与所述第三均值特征向量M’的相似度大于目标阈值,则将所述第一均值特征向量更新为所述第三均值特征向量M’。
3.一种人脸识别方法,其特征在于,包括:
响应于用户触发的锁屏界面解锁请求,确定第一统计周期内当前采集的待检测人脸图像对应的待检测特征向量;
获取目标人物对应的第一均值特征向量,所述第一均值特征向量用于反映第二统计周期内采集到的成功匹配所述目标人物的多个人脸图像的特征向量的均值,所述第二统计周期早于所述第一统计周期;
若所述待检测特征向量与所述第一均值特征向量之间的相似度大于设定相似度阈值,则确定所述待检测人脸图像与所述目标人物匹配;
响应于所述待检测人脸图像与所述目标人物匹配,解锁所述锁屏界面;
若所述待检测人脸图像是所述第一统计周期内采集到的最后一个成功匹配所述目标人物的人脸图像,则根据所述第一统计周期内前n个成功匹配所述目标人物的人脸图像各自对应的特征向量,确定所述第一统计周期内前n个成功匹配所述目标人物的人脸图像对应的第二均值特征向量M;
根据所述第二均值特征向量M、所述待检测特征向量和所述第一统计周期内成功匹配所述目标人物的人脸图像总数,确定第三均值特征向量M’;
根据所述第一统计周期内前n个成功匹配所述目标人物的人脸图像各自对应的特征向量,确定所述第一统计周期内前n个成功匹配所述目标人物的人脸图像对应的第一方差特征向量S;
根据所述第一方差特征向量S、所述待检测特征向量、所述第二均值特征向量M和所述第一统计周期内成功匹配所述目标人物的人脸图像总数,确定第二方差特征向量S’;
确定所述第二方差特征向量S’中多个元素的方差;若所述多个元素的方差小于设定阈值,则将所述第一均值特征向量更新为所述第三均值特征向量M’。
4.一种电子设备,其特征在于,包括:存储器、处理器、通信接口;其中,所述存储器上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至2中任一项所述的人脸识别方法。
5.一种非暂时性机器可读存储介质,其特征在于,所述非暂时性机器可读存储介质上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至2中任一项所述的人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311252084.3A CN117011922B (zh) | 2023-09-26 | 2023-09-26 | 人脸识别方法、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311252084.3A CN117011922B (zh) | 2023-09-26 | 2023-09-26 | 人脸识别方法、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117011922A CN117011922A (zh) | 2023-11-07 |
CN117011922B true CN117011922B (zh) | 2024-03-08 |
Family
ID=88574651
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311252084.3A Active CN117011922B (zh) | 2023-09-26 | 2023-09-26 | 人脸识别方法、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117011922B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5581276A (en) * | 1992-09-08 | 1996-12-03 | Kabushiki Kaisha Toshiba | 3D human interface apparatus using motion recognition based on dynamic image processing |
CN107112011A (zh) * | 2014-12-22 | 2017-08-29 | 英特尔公司 | 用于音频特征提取的倒谱方差归一化 |
CN110363150A (zh) * | 2019-07-16 | 2019-10-22 | 深圳市商汤科技有限公司 | 数据更新方法及装置、电子设备和存储介质 |
CN111339990A (zh) * | 2020-03-13 | 2020-06-26 | 乐鑫信息科技(上海)股份有限公司 | 一种基于人脸特征动态更新的人脸识别系统和方法 |
CN111460893A (zh) * | 2020-03-02 | 2020-07-28 | 平安科技(深圳)有限公司 | 人脸特征向量动态调整方法及相关设备 |
CN111626173A (zh) * | 2020-05-21 | 2020-09-04 | 上海集成电路研发中心有限公司 | 一种更新数据库中人脸特征向量的方法 |
CN111931718A (zh) * | 2020-09-22 | 2020-11-13 | 深圳市视美泰技术股份有限公司 | 基于人脸识别更新人脸特征的方法、装置和计算机设备 |
CN113792668A (zh) * | 2021-09-16 | 2021-12-14 | 深圳市商汤科技有限公司 | 人脸识别及门禁控制方法、装置、计算机设备及存储介质 |
CN114529962A (zh) * | 2020-11-23 | 2022-05-24 | 深圳爱根斯通科技有限公司 | 图像特征处理方法、装置、电子设备及存储介质 |
CN115761842A (zh) * | 2022-10-31 | 2023-03-07 | 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) | 一种人脸底库自动更新方法、装置 |
-
2023
- 2023-09-26 CN CN202311252084.3A patent/CN117011922B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5581276A (en) * | 1992-09-08 | 1996-12-03 | Kabushiki Kaisha Toshiba | 3D human interface apparatus using motion recognition based on dynamic image processing |
CN107112011A (zh) * | 2014-12-22 | 2017-08-29 | 英特尔公司 | 用于音频特征提取的倒谱方差归一化 |
CN110363150A (zh) * | 2019-07-16 | 2019-10-22 | 深圳市商汤科技有限公司 | 数据更新方法及装置、电子设备和存储介质 |
CN111460893A (zh) * | 2020-03-02 | 2020-07-28 | 平安科技(深圳)有限公司 | 人脸特征向量动态调整方法及相关设备 |
CN111339990A (zh) * | 2020-03-13 | 2020-06-26 | 乐鑫信息科技(上海)股份有限公司 | 一种基于人脸特征动态更新的人脸识别系统和方法 |
CN111626173A (zh) * | 2020-05-21 | 2020-09-04 | 上海集成电路研发中心有限公司 | 一种更新数据库中人脸特征向量的方法 |
CN111931718A (zh) * | 2020-09-22 | 2020-11-13 | 深圳市视美泰技术股份有限公司 | 基于人脸识别更新人脸特征的方法、装置和计算机设备 |
CN114529962A (zh) * | 2020-11-23 | 2022-05-24 | 深圳爱根斯通科技有限公司 | 图像特征处理方法、装置、电子设备及存储介质 |
CN113792668A (zh) * | 2021-09-16 | 2021-12-14 | 深圳市商汤科技有限公司 | 人脸识别及门禁控制方法、装置、计算机设备及存储介质 |
CN115761842A (zh) * | 2022-10-31 | 2023-03-07 | 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) | 一种人脸底库自动更新方法、装置 |
Also Published As
Publication number | Publication date |
---|---|
CN117011922A (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110058777B (zh) | 快捷功能启动的方法及电子设备 | |
CN109890067B (zh) | 对特定路线上的特定位置进行识别的方法及电子设备 | |
US20230029683A1 (en) | Authentication Method, Medium, and Electronic Device | |
CN114095599B (zh) | 消息显示方法和电子设备 | |
CN113704205B (zh) | 日志存储的方法、芯片、电子设备和可读存储介质 | |
CN116070035B (zh) | 数据处理方法和电子设备 | |
CN115914461B (zh) | 位置关系识别方法和电子设备 | |
CN113741993A (zh) | 编译插件dex文件的方法及装置 | |
CN114077519A (zh) | 一种系统服务恢复方法、装置和电子设备 | |
CN117011922B (zh) | 人脸识别方法、设备和存储介质 | |
CN115017498B (zh) | 小应用程序的操作方法和电子设备 | |
CN114828098B (zh) | 数据传输方法和电子设备 | |
CN115706916A (zh) | 一种基于位置信息的Wi-Fi连接方法及装置 | |
CN113467821A (zh) | 应用程序的修复方法、装置、设备及可读存储介质 | |
CN114077323B (zh) | 电子设备的触摸屏防误触方法、电子设备及芯片系统 | |
CN115016666B (zh) | 触控处理方法、终端设备以及存储介质 | |
CN114942741B (zh) | 数据传输方法及电子设备 | |
CN116346982B (zh) | 处理音频的方法、电子设备及可读存储介质 | |
CN116795476B (zh) | 一种删除壁纸的方法及电子设备 | |
CN115495716B (zh) | 一种本地鉴权方法和电子设备 | |
CN116048594B (zh) | 软件升级方法及相关装置 | |
CN115329299A (zh) | 屏幕解锁方法和电子设备 | |
CN116662130A (zh) | 统计应用使用时长的方法、电子设备及可读存储介质 | |
CN117668863A (zh) | 一种数据保护方法及电子设备 | |
CN113688368A (zh) | 一种跨设备认证的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |