CN112818909A - 图像更新方法、装置、电子设备及计算机可读介质 - Google Patents
图像更新方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN112818909A CN112818909A CN202110199718.8A CN202110199718A CN112818909A CN 112818909 A CN112818909 A CN 112818909A CN 202110199718 A CN202110199718 A CN 202110199718A CN 112818909 A CN112818909 A CN 112818909A
- Authority
- CN
- China
- Prior art keywords
- image
- recognized
- face image
- database
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000001815 facial effect Effects 0.000 claims abstract description 185
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013441 quality evaluation Methods 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 description 41
- 238000012790 confirmation Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000009471 action Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请公开了一种图像更新方法、装置、电子设备及计算机可读介质,涉及图像处理技术领域,该方法包括:获取待识别的人脸图像;将待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果;若匹配结果小于第一阈值且大于第二阈值,则将待识别的人脸图像作为新的人脸图像更新至数据库,其中,匹配结果大于第二阈值的情况下,待识别的人脸图像与已注册用户的人脸图像对应相同的用户,匹配结果小于第一阈值的情况下,二者之间存在差异。因此,在确定待识别的人脸图像属于已注册用户且与差异较大的情况下,对数据库中的已注册用户的人脸图像更新,不仅能够提高识别性能,还能够降低对数据库的频繁写入造成的损耗。
Description
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种图像更新方法、装置、电子设备及计算机可读介质。
背景技术
现有技术中的人脸识别系统在首次录入注册图像之后,后续一般不对人脸注册库中的注册人脸图像进行更新。而在人脸识别系统使用的过程中,光照,是否化妆、是否戴眼镜/墨镜,是否戴口罩、年龄的增长,发型的变化等因素都有可能使得用户的脸部特征发生变化,这种变化可能会导致人脸识别的准确率下降。
发明内容
本申请提出了一种图像更新方法、装置、电子设备及计算机可读介质,以改善上述缺陷。
第一方面,本申请实施例提供了一种图像更新方法,包括:获取待识别的人脸图像;将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果;若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,所述匹配结果大于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,所述匹配结果小于第一阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像之间存在差异。
第二方面,本申请实施例还提供了图像更新装置,包括:获取单元、匹配单元和更新单元。获取单元,用于获取待识别的人脸图像。匹配单元,用于将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。更新单元,用于若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,所述匹配结果大于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,所述匹配结果小于第一阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像之间存在差异。
第三方面,本申请实施例还提供了一种电子设备,一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述方法。
第四方面,本申请实施例还提供了一种计算机可读介质,所述可读存储介质存储有处理器可执行的程序代码,所述程序代码被所述处理器执行时使所述处理器执行上述方法。
本申请提供的图像更新方法、装置、电子设备及计算机可读介质,获取待识别的人脸图像;将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果,根据匹配结果能够对数据库中的已注册用户的人脸图像更新,例如,增加新的图像或者修改已有图像。具体地,确定是否更新的方式为,若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,如果匹配结果大于第二阈值,则表明待识别的人脸图像与已注册用户的人脸图像对应相同的用户,如果匹配结果小于第一阈值,则表明待识别的人脸图像与已注册用户的人脸图像之间存在差异,因此,在根据匹配结果确定待识别的人脸图像属于已注册用户且与数据库内的人脸图像的差异较大的情况下,对数据库中的已注册用户的人脸图像更新,不仅能够提高识别性能,还能够降低对数据库的频繁写入造成的损耗。
本申请实施例的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请实施例而了解。本申请实施例的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的人脸识别系统的示意图;
图2示出了本申请一实施例提供的图像更新方法的方法流程图;
图3示出了本申请一实施例提供的人脸图像存储表的示意图;
图4示出了本申请另一实施例提供的人脸图像存储表的示意图;
图5示出了本申请又一实施例提供的人脸图像存储表的示意图;
图6示出了本申请再一实施例提供的人脸图像存储表的示意图;
图7示出了本申请另一实施例提供的图像更新方法的方法流程图;
图8示出了本申请实施例提供的提示信息的示意图;
图9示出了图7中S740的流程图;
图10示出了本申请又一实施例提供的图像更新方法的方法流程图;
图11示出了本申请再又一实施例提供的人脸图像存储表的示意图;
图12示出了本申请再另一实施例提供的人脸图像存储表的示意图;
图13示出了本申请再一实施例提供的图像更新方法的方法流程图;
图14示出了图13中S1320的流程图;
图15示出了本申请一实施例提供的图像更新装置的模块框图;
图16示出了本申请实施例提供的电子设备的模块框图;
图17示出了本申请实施例的用于保存或者携带实现根据本申请实施例的图像更新方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
人脸识别技术的应用逐渐被应用到人们的工作和生活中,比如可以采集人脸图像进行支付认证、解锁认证,还可以对拍摄的人脸图像进行美颜处理。通过人脸识别技术中可以对图像中的人脸进行检测,还可以识别图像中的人脸是属于哪一个人的人脸,从而识别用户的身份。
如图1所示,图1示出了本申请提供的人脸识别系统的示意图。该人脸识别系统包括服务器10和用户终端20,用户终端20和服务器10位于无线网络或有线网络中,服务器10和用户终端20可以进行数据交互,该数据交互可以包括人脸识别以及人脸图像的更新等。
于本申请实施例中,用户终端20设置有生物特征信息采集装置,用于采集用户的生物特征信息。其中,该生物特征信息采集装置可以是指纹模组、虹膜采集器和人脸采集装置,该指纹模组用于采集用户的指纹信息,虹膜采集器用于采集用户的虹膜信息,人脸采集装置用于采集用户的人脸图像信息。作为一种实施方式,用户终端20可以是移动用户终端设备,例如可以包括智能手机、平板电脑、电子书阅读器、膝上型便携计算机、车载电脑、穿戴式移动用户终端等等,也可以是具有生物特征信息采集装置的支付用户终端等。
用户终端20内可以安装有客户端,具体地,客户端可以是安装在用户终端20的应用程序,该客户端可以获取用户终端20所采集的人脸图像,将该人脸图像发送至服务器10,服务器10对该人脸图像识别并将识别结果反馈至客户端,当然,该客户端也可以将用户终端20所采集的人脸图像录入服务器10,以便对服务器10内的人脸图像更新。
其中,服务器10内存储有已注册用户的人脸图像,该人脸图像可以作为已注册用户的身份信息,在支付、解锁用户终端等需要验证身份的场景中对登录的用户的身份进行验证,即执行人脸识别操作。
具体地,人脸识别一般包括如下两个流程:人脸注册和人脸验证识别。用户在首次使用前通常需要进行人脸注册,即将用户的人脸图像录入人脸注册库。在录入之后,通过匹配注册人脸图像和采集到的脸部图像识别对应的人脸。
而在人脸识别系统使用的过程中,光照,是否化妆、是否戴眼镜/墨镜,是否戴口罩、年龄的增长,发型的变化等因素都有可能使得用户的脸部特征发生变化,这种变化可能会导致人脸识别的准确率下降。所以需要对注册图像进行更新。
发明人在研究中发现,目前的人脸更新往往需要将待识别的人脸图像与已注册人脸图像进行匹配,得到匹配分数。当得到的匹配分数大于预设阈值后,根据不同的更新策略对注册图像进行更新。具体地,目前的人脸更新存在以下两个缺陷:预设阈值如果设置的过低,会导致误识别和频繁的注册库更新,预设阈值如果设置的过高,输入图片和注册图像比较相似,忽略了变化,达不到通过更新注册模板,来提升识别性能的目的;另外,现在在更新数据库内的人脸图像的时候,是直接将新的人脸图像更新到数据库内的,然后,新的人脸图像可能并非是数据库内的已注册用户的人脸图像,即出现误识别,再者,注册时间越近的图像,应该和用户现在的真实状态相似,在识别的时候应该给与的考虑越多;最后,需要人为设置注册图片数目,过少可能性能有损失,过多会占用太多的系统资源。
因此,为了改善上述缺陷,本申请实施例提供了一种图像更新方法、装置、电子设备及计算机可读介质,使用双阈值对待识别的人脸图像进行判断,过滤掉匹配分数过高和过低的待识别人脸图像,对数据库中的已注册用户的人脸图像更新,不仅能够提高识别性能,还能够降低对数据库的频繁写入造成的损耗。
具体地,请参阅图2,图2示出了本申请实施例提供的一种图像更新方法,该更新方法的执行主体可以是上述的服务器,也可以是上述的用户终端,在此不做限定。具体地,该方法包括:S201至S203。
S201:获取待识别的人脸图像。
于本申请实施例中,执行人脸图像的更新方法的场景可以是,在用户终端通过用户的人脸图像对用户的身份信息进行验证的时候,具体地,用户在登录用户终端的客户单的时候,通过用户终端的摄像头输入用户的人脸图像,用户终端的客户端获取该用户的人脸图像,对该人脸图像进行身份验证,在验证通过的时候,可以基于该人脸图像执行对用户在注册时录入的人脸图像的更新,即将该用于用户身份识别的人脸图像作为本次的待识别的人脸图像。
作为另一种实施方式,用户可以操作用户终端的客户端,使该客户端执行人脸图像更新操作,即可以在未执行身份验证的操作的情况下,单独执行人脸图像的更新操作。例如,客户端提供人脸图像更新功能,管理员能够获取用户输入的人脸图像,基于该人脸图像执行人脸图像的更新操作。
在一些实施例中,待识别的人脸图像可以是对用户的人脸区域现场拍摄得到的人脸图像。例如,上述的用户身份验证的时候采集的用户的人脸图像。在另一些实施例中,待识别的人脸图像还可以是预先存储的包含用户的人脸区域的人脸图像。例如,用户通过用户终端采集该用户的人脸图像,将该人脸图像发送至服务器,服务器存储多个用户上传的人脸图像,在执行更新人脸图像的时刻,获取该用户的人脸图像作为本次待识别的人脸图像执行图像更新操作,即基于该待识别的人脸图像对服务器内预先存储的用户的人脸图像进行更新。
S202:将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
作为一种实施方式,该数据库布置在上述的服务器内,即该数据库为上述服务器内的存储空间,用户在注册的时候,会在服务器内存储至少一个人脸图像。具体地,用户在用户终端的客户端注册的时候,会录入至少一张人脸图像,并且录入用户帐号,然后,将该用户帐号和所录入的至少一张图像发送至服务器,服务器在数据库内将所接收的客户端发送的至少一张图像与该用户帐号对应存储。
作为一种实施方式,服务器在数据库内将不同的用户对应存储各用户对应的人脸图像,如图3所示的人脸图像存储表,每个用户帐号与该用户帐号对应的人脸图像对应存储,其中,“人脸11”作为用户1的人脸图像的图像标识。
其中,该数据库内所存储的人脸图像的格式可以是图片格式,例如,bmp,jpg,png,tif,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,WMF,webp等格式。
作为另一种实施方式,该数据库内所存储的人脸图像的格式可以是特征数据,即服务器将该人脸图像的特征值提取,将每个人脸图像的特征值与用户账号对应存储。如图4所示,其中,“特征11”作为用户1的人脸图像的特征数据的数据标识,其中,数据库将人脸图像的原始图像和特征数据分别存储,即图片格式和数据格式分别存储,其中,图像标识对应图片格式的人脸图像,数据格式对应人脸图像的特征数据。如图4所示,特征11对应的用户账号为用户1,因此,通过该用户账号和特征标识能够便捷地查找到用户账号对应的人脸图像的特征数据。在一些实施例中,还可以将用户帐号同时对应存储人脸图像的图像标识和数据标识,通过该用户账号、图像标识和特征标识能够便捷地查找到用户账号对应的人脸图像以及该人脸图像对应的特征数据。通过直接将特征数据存储,能够方便对人脸图像执行比对、识别、匹配以及图像处理。
在获取到待识别的人脸图像之后,将该待识别的人脸图像与数据库中的已注册用户的人脸图像进行匹配,其中,该已注册用户为预先成功注册且在数据库内录入人脸图像的用户。作为一种实施方式,根据预设匹配算法将该待识别的人脸图像与数据库中的已注册用户的人脸图像进行匹配。其中,该预设匹配算法可以是,对待识别的人脸图像人脸提取特征,并和数据库中的已注册用户的人脸图像提取的人脸特征进行特征比较,具体可采用特征之间的欧式距离等,在此不做限定,从而获取待识别图像与已注册用户的人脸图像的匹配分数。
需要说明的是,待识别的人脸图像与已注册用户的人脸图像的匹配分数越高,则可以表示待识别的人脸图像中的用户与该已注册用户为同一用户的概率越大。例如,待识别的人脸图像与已注册用户的人脸图像的匹配分数归一化到[0,1]之间,越接近越接近于1越说明是同一用户。作为示例,待识别的人脸图像与已注册用户的人脸图像的匹配分数可以表示为待识别的人脸图像与已注册用户的人脸图像中相似度最高的人脸图像的匹配分数。
作为一种实施方式,如果已注册用户对应的人脸图像为多个,将待识别的人脸图像与该已注册用户的每个人脸图像匹配,得到每个人脸图像对应的相似度,根据每个人脸图像的相似度确定待识别的人脸图像与该已注册用户的人脸图像之间的匹配结果。具体地,通过上述的预设算法获取待识别的人脸图像与每个人脸图像之间的相似度,可以将所有的相似度的平均值作为匹配结果,也可以是将所有的相似度中最低或最高的相似度作为匹配结果。
S203:若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库。
作为一种实施方式,当所述数据库包括多个已注册用户的时候,获取待识别的人脸图像与每个已注册用户的人脸图像对应的匹配结果,由所有匹配结果中查找小于第一阈值且大于第二阈值的匹配结果,作为目标匹配结果,将该目标匹配结果对应的已注册用户作为目标用户。
作为一种实施方式,所述匹配结果大于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,则可以认为待识别人脸图像对应的用户与数据库内的已注册用户相同,即待识别人脸图像对应的用户为数据库内的已注册用户。具体地,获取匹配结果的实施方式可以参考前述步骤,在此不再赘述。匹配结果小于或等于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应不相同的用户,则可以认为待识别人脸图像对应的用户与数据库内的已注册用户不相同,即待识别人脸图像对应的用户并非数据库内的已注册用户。
作为另一种实施方式,所述匹配结果大于或等于第一阈值的情况下,则可以认为待识别人脸图像对应的用户与数据库内的已注册用户相同,并且,待识别的人脸图像与已注册用户的人脸图像之间的差异度非常小,即可以认为二者之间不存在差异,即该差异可以忽略不计,或者而说,该差异度不满足更新条件,也就是说,匹配结果大于或等于第一阈值的情况下,表示待识别人脸图像与数据库内的已注册用户是同一个人的概率非常高,人脸图像非常相似,不能体现人脸图像的变化,舍弃当前待识别的人脸图像,即不执行基于该待识别的人脸图像对数据库内的已注册用户的人脸图像更新的操作。
如果所述匹配结果小于第一阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像之间存在差异,即可以判定待识别的人脸图像与已注册用户的人脸图像并非同一个图像,或者说,二者的人脸特征并非是同样的特征。
因此,在匹配结果小于第一阈值且大于第二阈值的情况下,可以判定所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,并且,待识别的人脸图像与已注册用户的人脸图像之间存在差异,所以,该待识别的人脸图像可以作为数据库内的已注册用户的人脸图像的补充图像,即新的人脸图像,进而执行将所述待识别的人脸图像作为新的人脸图像更新至所述数据库的操作。
作为一种实施方式,将所述待识别的人脸图像作为新的人脸图像更新至所述数据库的实施方式可以是,将所述待识别的人脸图像写入数据库,由数据库将该待识别的人脸图像与目标用户对应存储。具体地,可以在目标用户本已对应存储的人脸图像的基础上,再增加存储该待识别的人脸图像,如图5所示,特征14为待识别的人脸图像的特征数据的数据标识,可以看出,在数据库内在用户1之前对应的特征11、特征12和特征13的基础上,新增加了待识别的人脸图像的特征数据的数据标识,即特征14。
作为另一种实施方式,还可以是将数据库内目标用户对应的所有的人脸图像中的至少一个人脸图像替换为待识别的人脸图像,具体地,如图6所示,特征13’为特征13被替换后的特征数据,该特征13’为待识别的人脸图像的特征数据。作为一种实施方式,当目标用户对应多个人脸图像时,可以从多个人脸图像中确定目标人脸图像,将目标人脸图像更新为待识别的人脸图像。作为一种实施方式,可以是将多个人脸图像中的匹配结果最低的人脸图像作为目标人脸图像,也可以是将多个人脸图像中的匹配结果最高的人脸图像作为目标人脸图像。
因此,上述方法中,获取待识别的人脸图像;将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果,根据匹配结果能够对数据库中的已注册用户的人脸图像更新,例如,增加新的图像或者修改已有图像。具体地,确定是否更新的方式为,若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,如果匹配结果大于第二阈值,则表明待识别的人脸图像与已注册用户的人脸图像对应相同的用户,如果匹配结果小于第一阈值,则表明待识别的人脸图像与已注册用户的人脸图像之间存在差异,因此,在根据匹配结果确定待识别的人脸图像属于已注册用户且与数据库内的人脸图像的差异较大,满足更新的要求的情况下,对数据库中的已注册用户的人脸图像更新,不仅能够提高识别性能,还能够降低对数据库的频繁写入造成的损耗。
另外,本申请实施例提供的图像更新方法,除了采用双阈值的方式提高识别性能以及降低对数据库的频繁写入造成的损耗之外,还可以降低误识别,提高识别稳定性和性能,具体地,请参阅图7,图7示出了本申请实施例提供的一种图像更新方法,该更新方法的执行主体可以是上述的服务器,也可以是上述的用户终端,在此不做限定。具体地,该方法包括:S710至S740。
S710:获取待识别的人脸图像。
S720:将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
S710和S720的实施方式可以参考前述实施例,在此不再赘述。
S730:若所述匹配结果小于第一阈值且大于第二阈值,则获取所述待识别的人脸图像的第一特征数据以及已注册用户的人脸图像的第二特征数据。
作为一种实施方式,本申请实施例的执行主体可以是服务器,服务器在判定匹配结果小于第一阈值且大于第二阈值,可以直接执行将所述待识别的人脸图像作为新的人脸图像更新至所述数据库的操作,例如,直接执行S730。作为另一种实施方式,服务器在判定匹配结果小于第一阈值且大于第二阈值,反馈提示信息至用户终端,用户终端在指定界面内显示该提示信息,当检测到用户基于该提示信息输入的确认指令时,基于该确认指令执行将所述待识别的人脸图像作为新的人脸图像更新至所述数据库的操作或S730的操作。
在一些实施例中,该指定界面可以是人脸识别的界面,具体地,该人脸识别的界面可以是支付操作或解锁操作对应的界面,在此不做限定。其中,该支付操作可以是用户针对应用程序的支付模块的操作,解锁操作可以是用户对用户终端解锁时的操作。因此,该指定界面可以是用户终端所显示的支付界面或解锁界面。
如图8所示,该指定界面80上显示有提示框810,在该提示框810内显示有“是否允许更新人脸图像库”,即图8所示,该提示信息可以是图中所显示的“是否允许更新人脸图像库”。用户在支付或者解锁终端等场景下,在指定界面内进行人脸识别,在人脸识别通过,并且匹配结果满足小于第一阈值且大于第二阈值的情况下,该指定界面80显示提示信息,用户在该提示信息内输入确认指令,以指示服务器执行将所述待识别的人脸图像作为新的人脸图像更新至所述数据库的操作或S730的操作。作为一种实施方式,该确认指令的输入方式可以是操作该指定界面的确认按钮,也可以是通过语音的方式输入,还可以是通过人脸的表情输入。
作为一种实施方式,在该提示框810内显示有确认按钮811和拒绝按钮812,用户通过该确认按钮811输入确认指令,也可以通过拒绝按钮812输入拒绝指令,则当服务器获取到该拒绝指令时,不执行将所述待识别的人脸图像作为新的人脸图像更新至所述数据库的操作或S730的操作,而执行在指定界面对应的应用功能在人脸识别成功之后的操作,例如,如果该指定界面为支付界面,则该之后的操作为显示支付成功的界面或者显示支付订单、返回支付之前的界面等,如果该指定界面为解锁界面,则该之后的操作为显示系统桌面或者在用户终端本次锁屏之前屏幕上显示的界面。
作为另一种实施方式,在该指定界面内显示提示信息之后,可以不必在该界面内显示确认按钮811和拒绝按钮812,然后,获取用户终端在第一预设时间段内采集的多张人脸图像,基于采集的多张人脸图像确定用户的面部动作信息,该面部动作信息可以包括眼睛的动态变化、嘴角的动态变化以及耳朵的动态变化等。确定该面部动作信息是否为第一面部动作,如果是,则判定接收到确认指令,如果未接收到第一面部动作,则判定接收到拒绝指令。作为一种实施方式,可以是在第一预设时间段内实时采集人脸图像,并且实时根据采集的多张人脸图像确定面部动作信息,如果确定该面部动作信息为第一面部动作则判定接收到确认指令,如果该面部动作信息为第二面部动作,则判定接收到拒绝指令,如果在第一预设时间段结束时,仍未检测到第一面部动作,则可以判定接收到拒绝指令。其中,该第一面部动作和第二面部动作可以是由眨眼、瞳孔由第一位置向第二位置移动、嘴角上扬以及嘴巴张开再闭合等确定的两个不同的表情,其中,第一位置为眼睛最左侧位置,第二位置为眼睛最右侧位置,在此不做限定。示例性地,第一面部动作和第二面部动作可以是相反的动作,例如,第一面对动作是嘴巴张开,第二面部动作是嘴巴闭合。通过设置第一面部动作和第二面部动作是相反的动作,使得用户比较容易记住第一面部动作和第二面部动作,减少操作复杂度。
作为又一种实施方式,可以是在该指定界面内显示提示信息之后,可以不必在该界面内显示确认按钮811和拒绝按钮812,然后,获取用户终端在第二预设时间段内采集的用户肢体图像,基于采集的多张用户肢体图像确定用户的身体动作信息,其中,该身体动作信息可以包括用户的手部、胳膊等部位的动作,例如,手部的手势动作以及胳膊的摆动次数和角度范围等信息。确定该身体动作信息是否为第一身体动作,如果是,则判定接收到确认指令,如果未接收到第一身体动作,则判定接收到拒绝指令。作为一种实施方式,可以是在第二预设时间段内实时采集人脸图像,并且实时根据采集的多张人脸图像确定面部动作信息,如果确定该身体动作信息为第一身体动作则判定接收到确认指令,如果该身体动作信息为第二身体动作,则判定接收到拒绝指令,如果在第二预设时间段结束时,仍未检测到第一身体动作,则可以判定接收到拒绝指令。其中,第一身体动作和第二身体动作可以由手部握拳、手部握拳再伸开、翻手或者手部作出的其他手势等动作中确定的两个不同的动作,在此不做限定。
作为再一种实施方式,还可以是同时将上述的面部动作信息和身体动作信息结合使用,具体地,在确定面部动作信息为第一面部动作且身体动作信息为第一身体动作的时候,判定接收到确认指令,在确定面部动作信息不为第一面部动作且身体动作信息不为第一身体动作的至少一种情况发生时,判定接收到拒绝指令。具体地,面部动作信息和身体动作信息的判定,可以参考前述实施方式,在此不再赘述。
作为又一种实施方式,可以在该指定界面内显示确认按钮811和拒绝按钮812的情况下,在检测用户对确认按钮811和拒绝按钮812的同时,检测用户输入的指定动作信息,该指定动作信息可以是上述的面部动作信息和身体动作信息的至少一种,具体地,在检测到用户触发确认按钮811,并且指定动作信息满足指定条件的情况下,判定接收到确认指令,在检测到用户触发拒绝按钮812,并且指定动作信息不满足指定条件的情况下,判定接收到拒绝指令。其中,指定动作信息满足指定条件可以是,该身体动作信息为第一身体动作或如果该面部动作信息为第一面部动作的至少一种,具体地,请参考前述实施例,在此不再赘述。
作为一种实施方式,获取所述待识别的人脸图像的第一特征数据以及已注册用户的人脸图像的第二特征数据的实施方式可以是,通过预设特征提取算法处理待识别的人脸图像得到第一特征数据,如果数据库内预先存储有已注册用户的人脸图像的特征数据,则已注册用户的人脸图像的第二特征数据可以预先从数据库内查找,如果数据库内未存储有已注册用户的人脸图像的特征数据,则通过预设特征提取算法处理已注册用户的人脸图像得到第二特征数据。其中,预设算法可以是传统的机器学习方法,也可以采用基于CNN(Convolutional Neural Network,卷积神经网络)模型的深度学习方法等,在此不做限定。
S740:根据所述第一特征数据和所述第二特征数据获取已注册用户的新的人脸图像的特征数据,并将新的特征数据更新至所述数据库。
需要说明的是,可以直接将第一特征数据作为新的人脸图像的特征数据,并将新的特征数据更新至所述数据库,也可以执行S740的步骤,其中,新的人脸图像的特征数据可以命名为第三特征数据,则第三特征数据与第一特征数据和所述第二特征数据相关,从而可以使得第三特征数据同时保留第一特征数据和所述第二特征数据的部分特性,因此,将该新的特征数据更新至所述数据库之后,使得已注册用户对应的人脸图像不仅具有待识别的人脸图像的特征,还具有预先已经存储的人脸图像的特征,能够避免由于误识别的问题,直接将待识别的人脸图像作为新的人脸图像而导致与已注册用户对应的新的人脸图像有误。
其中,可以通过预设方法将第一特征数据和所述第二特征数据加权求和、相乘、相减或者卷积的方式实现第一特征数据和所述第二特征数据融合得到第三特征数据。
作为一种实施方式,可以采用加权融合的方式,得到第三特征数据,具体地,如图9所示,S740的实施方式可以包括S741至S743。
S741:获取所述第一特征数据的第一权重值和所述第二特征数据的第二权重值。
作为一种实施方式,该第一权重值和第二权重值可以根据经验以及用户的使用需求而设定。其中,第一权重值和第二权重值之和为1。例如,第一权重为α,第二权重值为1-α。
S742:根据所述第一权重值、第一特征数据、第二权重值和第二特征数据得到第三特征数据。
作为一种实施方式,根据第一权重值和第一特征数据确定第一参考数据,根据第二权重值和第二特征数据得到第二参考数据,根据第一参考数据和第二参考数据得到第三特征数据。具体地,根据第一权重值和第一特征数据确定第一参考数据的实施方式可以是,将第一权重值和第一特征数据相乘得到第一参考数据。同理,将第二权重值和第二特征数据相乘得到第二参考数据。然后,再将第一参考数据和第二参考数据相加得到第三特征数据。
S743:将所述第三特征数据作为已注册用户的新的人脸图像的特征数据。
作为一种实施方式,如果数据库内的已注册用户对应的人脸图像为多个,则可以获取所述已注册用户对应的所有人脸图像;对所述所有人脸图像的特征数据处理,以得到第二特征数据,即根据该已注册用户的所有人脸图像得到第二特征数据。
作为一种实施方式,对所述所有人脸图像的特征数据处理的实施方式可以是,在获取待识别的人脸图像与数据库内的已注册用户的每个人脸图像的匹配结果,即匹配分数的时候,查找匹配分数最高的人脸图像的特征数据,将该特征数据作为第二特征数据,从而使得第二特征数据对应的人脸图像可以保持与待识别的人脸图像最相似的特性,避免第二阈值的设置不合理,例如过低,而导致将不同用户的人脸图像的特征数据作为该已注册用户的人脸图像。
作为另一种实施方式,对所述所有人脸图像的特征数据处理的实施方式可以是,在获取待识别的人脸图像与数据库内的已注册用户的每个人脸图像的匹配结果,即匹配分数的时候,查找匹配分数最低的人脸图像的特征数据,将该特征数据作为第二特征数据,从而使得第二特征数据对应的人脸图像可以保持与待识别的人脸图像差异性最大的特性,从而使得更新后的数据库内的已注册用户的人脸图像更能反映用户的真实人脸特征,也能够避免第一阈值设置的不合理,例如,过大,而导致匹配结果过高的人脸图像,其实质与数据库内的人脸图像的差异甚微,而使用匹配分数最低的人脸图像,能够提高该差异性,使得更新人脸图像能够更好的补充数据库内的人脸图像的不足,提高了数据内的人脸图像的全面性。
作为又一种实施方式,还可以是对所述所有人脸图像的特征数据执行平均处理,以得到第二特征数据,即将所有的人脸图像的特征数据求均值,得到第二特征数据,从而使得第二特征数据能够保留已注册用户的每个人脸图像的特性,使得第二特征数据对应的人脸图像可以保持原来已有注册图片的平均特性,相当于用户的平均脸。
需要说明的是,前述步骤未详细描述的内容,可以参考前述实施例,在此不再赘述。
因此,本申请实施例改进更新策略,始终保留确定是注册者本人的第一次注册的图像。然后对待识别图像和目标已注册对象的注册人脸图像集合提取特征,进行特征融合。并且,存储和更新的均为特征数据,能够降低计算量。
另外,本申请实施例提供的图像更新方法,除了采用双阈值的方式提高识别性能以及降低对数据库的频繁写入造成的损耗之外,还可以进一步通过待识别的人脸图像的采集时间来降低对数据库的频繁写入。具体地,请参阅图10,图10示出了本申请实施例提供的一种图像更新方法,该更新方法的执行主体可以是上述的服务器,也可以是上述的用户终端,在此不做限定。具体地,该方法包括:S1001至S1005。
S1001:获取待识别的人脸图像。
S1002:将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
S1001和S1002的实施方式可以参考前述实施例,在此不再赘述。
S1003:若所述匹配结果小于第一阈值且大于第二阈值,则获取所述数据库中的已注册用户的最近一次更新人脸图像的第一时间。
作为一种实施方式,数据库内不仅存储有已注册用户对应的人脸图像,还存储有每次录入或更新人脸图像的时间点,如图11所示,作为一种实施方式,数据库内的人脸图像的特征数据的数据标识也可以采用更新时间的先后顺序进行编号,例如,特征11、特征12、特征13对应的更新操作的时间顺序依次靠后,即数据标识的编号越大,对应的更新时间越靠后,从而,根据该数据标识能够快速查找到最新一次更新人脸图像的操作,进而获取该操作对应的更新时间,例如,用户1对应的最新一次更新人脸图像的时间为2020.03.25,即2020年3月25日。通过数据标识的方式查找最新依次的更新人脸的更新时间,相比直接确定各个更新时间的先后顺序,查找速率更快,效果更高。当然,也可以直接确定各个更新时间的先后顺序,从而查找到最新一次更新人脸图像的时间。
S1004:确定待识别的人脸图像的获取时间,作为第二时间。
作为一种实施方式,可以将获取到待识别的人脸图像时的系统时间作为第二时间。
S1005:若所述第一时间和所述第二时间的时间间隔大于指定阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库。
其中,指定阈值可以根据经验而设定,例如,可以是3-60天,例如,可以是15天。如果第一时间和所述第二时间的时间间隔大于指定阈值,则表明待识别的人脸图像与数据库内的已注册用户的最新一次更新的人脸图像相隔的时间长度比较大,则此种情况下,待识别的人脸图像与数据库内的已注册用户的人脸图像的差异性会比较大,例如,用户长时间不剪头发或不剃胡须。
作为一种实施方式,如图12所示,该特征22对应的人脸图像为新的人脸图像,即待识别的人脸图像,其对应的更新时间为2021.01.28,作为一种实施方式,该更新时间可以是上述的第二时间。作为另一种实施方式,服务器可能需要确定待写入的人脸图像的数据量是否大于指定数据量,如果大于,则将该待识别的人脸图像写入数据库,例如,服务器为了减少数据库的写入次数,可以等到多个用户的待写入的人脸图像的总量大于指定数据量的时候,再执行写入操作。则该更新时间可以是待识别的人脸图像被写入数据库的时间。
因此,本申请实施例,能够在待识别的人脸图像与数据库内的已注册用户的最新一次更新的人脸图像相隔的时间长度比较大的情况下,再对数据库内的已注册用户的人脸图像更新,避免频繁地对数据库内的人脸图像更新,而造成较高的硬件损耗。
需要说明的是,前述步骤未详细描述的内容,可以参考前述实施例,在此不再赘述。
另外,本申请实施例提供的图像更新方法,第一阈值和第二阈值的确定可以是用户根据经验而设定,也可以是服务器预先设定的固定值,还可以是使用样本数据来确定的,另外,还可以在进行更新之前,先判断待识别的人脸图像的质量如何,在质量较高的情况下,才进行更新。具体地,请参阅图13,图13示出了本申请实施例提供的一种图像更新方法,该更新方法的执行主体可以是上述的服务器,也可以是上述的用户终端,在此不做限定。具体地,该方法包括:S1310至S1350。
S1310:获取待识别的人脸图像。
S1320:基于多个样本图像确定第一阈值和第二阈值。
作为一种实施方式,该样本图像可以是预先采集的人脸图像,通过该人脸图像与数据库内的已注册用户的人脸图像的匹配,能够验证第一阈值和第二阈值的设置是否合理,具体地,请参阅图14,该S1320包括S1321至S1324。
S1321:获取多个样本图像。
其中,多个样本图像中包括被标记为正例的第一图像和被标记为反例的第二图像,其中,正例表征样本图像与数据库的人脸图像匹配,反例表征样本图像与数据库的人脸图像不匹配。作为一种实施方式,该样本图像的采集场景与用户注册时录入数据库人脸图像时的注册场景相似,例如,可以是相同类型或者相同环境参数下,该环境参数可以包括光照、天气、时间段等,该类型可以包括环境类型,例如,场景的类型,例如,室内,或者商城、办公室、卧室、街道等。
S1322:获取每个所述样本图像与所述数据库中的已注册用户的人脸图像之间的匹配结果。
将被标记为正例的第一图像与数据库中的已注册用户的人脸图像匹配,得到多个匹配结果,并且,将被标记为反例的第二图像与数据库中的已注册用户的人脸图像匹配,得到多个匹配结果。
作为一种实施方式,将所有的匹配结果中定义四种匹配结果,分别为第一结果、第二结果、第三结果和第四结果。其中,第一结果表征第一图像中的匹配结果为正例,也就是说,在获取到被标记为正例的第一图像与数据库中的已注册用户的人脸图像匹配得到的多个匹配结果中,查找该匹配结果大于指定阈值的匹配结果,记为第一结果,将小于或等于指定阈值的匹配结果,记为第二结果,第二结果表征第一图像中的匹配结果为反例。其中,匹配结果大于指定阈值表征该图像与已注册用户的人脸图像对应同一个用户,即表征该第一图像对应的用户存在于数据库内。
假设第一结果为TP(True positive),用于表征该图像对应的用户被预测存在于数据库内,并且在样本图像内被标记为正例,即真实情况下,该图像对应的用户真实存在于数据库内,即预测结果与真实结果相同,也就是说,真实的正例被预测为正例。假设第二结果为FP(False positive),用于表征该图像对应的用户被预测不存在于数据库内,并且在样本图像内被标记为正例,即真实情况下,该图像对应的用户真实存在于数据库内,即预测结果与真实结果不相同,也就是说,真实的正例被预测为反例。
在获取到被标记为反例的第二图像与数据库中的已注册用户的人脸图像匹配得到的多个匹配结果中,查找该匹配结果大于指定阈值的匹配结果,记为第三结果,将小于或等于指定阈值的匹配结果,记为第四结果,第四结果表征第一图像中的匹配结果为反例。
假设第三结果为FN(False negative),用于表征该图像对应的用户被预测存在于数据库内,并且在样本图像内被标记为反例,即真实情况下,该图像对应的用户真实不存在于数据库内,即预测结果与真实结果不相同,也就是说,真实的反例被预测为正例。假设第四结果为TN(True negative),用于表征该图像对应的用户被预测不存在于数据库内,并且在样本图像内被标记为反例,即真实情况下,该图像对应的用户真实不存在于数据库内,即预测结果与真实结果相同,也就是说,真实的反例被预测为反例。
S1323:基于每个所述样本图像的匹配结果获取第一比率和第二比率。
其中,第一比率用于表征第一图像中的匹配结果为正例的数量与所有样本图像中的匹配结果为正例的数量的比值,第二比率用于表征第二图像中的匹配结果为正例的数量与所有样本图像中的匹配结果为反例的数量的比值。
具体地,所有样本图像中的匹配结果为正例的结果可以包括第一结果和第三结果,则所有样本图像中的匹配结果为正例的数量为第一结果和第三结果的数量之和,则第一比率可以是,TPR=TP/(TP+FN),其中,TPR(True Positive Rate)表示第一比率。所有样本图像中的匹配结果为反例的结果可以包括第二结果和第四结果,则所有样本图像中的匹配结果为反例的数量为第二结果和第四结果的数量之和,则第二比率可以是,FPR=FP/(TN+FP),其中,FPR(False Positive Rate)表示第二比率。
S1324:基于所述第一比率和所述第二比率设置所述第一阈值和所述第二阈值。
作为一种实施方式,第一比率能够反应预测为正例且真实情况为正例的,占所有真实情况中正例的比率,第二比率能够反应预测为正例但真实情况为反例的,占所有真实情况中反例的比率。二者均受指定阈值的影响,根据实际任务要求对FPR和TPR的要求,可灵活选择第一阈值和第二阈值。例如,将在不同任务要求下得到的指定阈值分别作为第一阈值和第二阈值。
具体地,获取所述第一比率的第一指标和第二指标以及第二比率的第三指标,基于所述第一比率的第一指标和第二比率的第三指标,确定第一阈值;基于所述第一比率的第二指标和第二比率的第三指标,确定第二阈值。
作为一种实施方式,第二比率可以反应由于阈值的设定而导致的误差率,因此在满足一定误差率要求的情况下,确定第一比率的第一指标和第二指标,再根据该第一比率的不同指标调整第一阈值和第二阈值。
具体地,基于所述第一比率的第一指标和第二比率的第三指标,确定第一阈值。作为一种实施方式,将上述的指定阈值作为第一阈值,在第二比率满足第三指标的情况下,设置第一阈值,以使第一比率满足第一指标。例如,第三指令为第二比率不大于10-4,具体地,该第三指令为第二比率为10-4,第一比率的第一指标为TPR>99%,也就是说,在FPR为10-4的情况下,设置第一阈值使得TPR>99%。
同理,可以基于所述第一比率的第二指标和第二比率的第三指标,确定第二阈值。作为一种实施方式,将上述的指定阈值作为第二阈值,在第二比率满足第三指标的情况下,设置第二阈值,以使第一比率满足第二指标。例如,第三指令为第二比率不大于10-4,具体地,该第三指令为第二比率为10-4,第一比率的第二指标为TPR>95%,也就是说,在FPR为10-4的情况下,设置第二阈值使得TPR>95%。
S1330:对所述待识别的人脸图像进行图像质量的评价,以得到图像质量评价结果。
S1340:若所述图像质量评价结果满足预设条件,将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
作为一种实施方式,根据待识别的人脸图像的遮挡、模糊、光照、表情、欧拉角等一个或者多个因素进行综合等级划分,如质量低,质量一般,质量高等,例如,可以确定一个评分值,将评分值作为上述的评价结果,该评分值可以是一个连续的数值分布,例如,1-100,然后,设置多个区间,每个区间对应一个质量等级,从而能够确定待识别的人脸图像的质量等级。则所述图像质量评价结果满足预设条件的实施方式可以是,该待识别的人脸图像的质量等级高于指定等级。
作为一种实施方式,S1320至S1340的执行数据可以不限于图13所示的顺序,也可以是在S1310之后,对所述待识别的人脸图像进行图像质量的评价,以得到图像质量评价结果,若所述图像质量评价结果满足预设条件,基于多个样本图像确定第一阈值和第二阈值,然后,将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果,只要在执行将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配之前,基于多个样本图像确定第一阈值和第二阈值即可。
S1350:若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库。
需要说明的是,前述步骤未详细描述的内容,可以参考前述实施例,在此不再赘述。
请参阅图15,其示出了本申请实施例提供的一种图像更新装置1500的结构框图,该装置可以包括:获取单元1501、匹配单元1502和更新单元1503。
获取单元1501,用于获取待识别的人脸图像。
匹配单元1502,用于将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
进一步的,匹配单元1502还用于对所述待识别的人脸图像进行图像质量的评价,以得到图像质量评价结果;若所述图像质量评价结果满足预设条件,将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
更新单元1503,用于若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,所述匹配结果大于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,所述匹配结果小于第一阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像之间存在差异。
进一步的,更新单元1503还用于获取所述待识别的人脸图像的第一特征数据以及已注册用户的人脸图像的第二特征数据;根据所述第一特征数据和所述第二特征数据获取已注册用户的新的人脸图像的特征数据,并将新的特征数据更新至所述数据库。
进一步的,更新单元1503还用于获取所述第一特征数据的第一权重值和所述第二特征数据的第二权重值;根据所述第一权重值、第一特征数据、第二权重值和第二特征数据得到第三特征数据;将所述第三特征数据作为已注册用户的新的人脸图像的特征数据。
进一步的,更新单元1503还用于获取所述已注册用户对应的所有人脸图像;对所述所有人脸图像的特征数据处理,以得到第二特征数据。
进一步的,更新单元1503还用于对所述所有人脸图像的特征数据执行平均处理,以得到第二特征数据。
进一步的,更新单元1503还用于获取所述数据库中的已注册用户的最近一次更新人脸图像的第一时间;确定待识别的人脸图像的获取时间,作为第二时间;若所述第一时间和所述第二时间的时间间隔大于指定阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库。
进一步的,图像更新装置1500还包括设置单元,用于获取多个样本图像,所述多个样本图像中包括被标记为正例的第一图像和被标记为反例的第二图像,其中,正例表征样本图像与数据库的人脸图像匹配,反例表征样本图像与数据库的人脸图像不匹配;获取每个所述样本图像与所述数据库中的已注册用户的人脸图像之间的匹配结果;基于每个所述样本图像的匹配结果获取第一比率和第二比率,其中,第一比率用于表征第一图像中的匹配结果为正例的数量与所有样本图像中的匹配结果为正例的数量的比值,第二比率用于表征第二图像中的匹配结果为正例的数量与所有样本图像中的匹配结果为反例的数量的比值;基于所述第一比率和所述第二比率设置所述第一阈值和所述第二阈值。
进一步的,设置单元还用于获取所述第一比率的第一指标和第二指标以及第二比率的第三指标;基于所述第一比率的第一指标和第二比率的第三指标,确定第一阈值;基于所述第一比率的第二指标和第二比率的第三指标,确定第二阈值。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图16,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是上述的用户终端或服务器。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图17,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1700中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质1700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质1700包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质1700具有执行上述方法中的任何方法步骤的程序代码1710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1710可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种图像更新方法,其特征在于,包括:
获取待识别的人脸图像;
将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果;
若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,所述匹配结果大于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,所述匹配结果小于第一阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像之间存在差异。
2.根据权利要求1所述的方法,其特征在于,所述将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,包括:
获取所述待识别的人脸图像的第一特征数据以及已注册用户的人脸图像的第二特征数据;
根据所述第一特征数据和所述第二特征数据获取已注册用户的新的人脸图像的特征数据,并将新的特征数据更新至所述数据库。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一特征数据和所述第二特征数据获取已注册用户的新的人脸图像的特征数据,包括:
获取所述第一特征数据的第一权重值和所述第二特征数据的第二权重值;
根据所述第一权重值、第一特征数据、第二权重值和第二特征数据得到第三特征数据;
将所述第三特征数据作为已注册用户的新的人脸图像的特征数据。
4.根据权利要求2所述的方法,其特征在于,所述获取已注册用户的人脸图像的第二特征数据,包括:
获取所述已注册用户对应的所有人脸图像;
对所述所有人脸图像的特征数据处理,以得到第二特征数据。
5.根据权利要求4所述的方法,其特征在于,所述对所述所有人脸图像的特征数据处理,以得到第二特征数据,包括:
对所述所有人脸图像的特征数据执行平均处理,以得到第二特征数据。
6.根据权利要求1所述的方法,其特征在于,所述将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,包括:
获取所述数据库中的已注册用户的最近一次更新人脸图像的第一时间;
确定待识别的人脸图像的获取时间,作为第二时间;
若所述第一时间和所述第二时间的时间间隔大于指定阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库。
7.根据权利要求1所述的方法,其特征在于,所述若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库之前,还包括:
获取多个样本图像,所述多个样本图像中包括被标记为正例的第一图像和被标记为反例的第二图像,其中,正例表征样本图像与数据库的人脸图像匹配,反例表征样本图像与数据库的人脸图像不匹配;
获取每个所述样本图像与所述数据库中的已注册用户的人脸图像之间的匹配结果;
基于每个所述样本图像的匹配结果获取第一比率和第二比率,其中,第一比率用于表征第一图像中的匹配结果为正例的数量与所有样本图像中的匹配结果为正例的数量的比值,第二比率用于表征第二图像中的匹配结果为正例的数量与所有样本图像中的匹配结果为反例的数量的比值;
基于所述第一比率和所述第二比率设置所述第一阈值和所述第二阈值。
8.根据权利要求7所述的方法,其特征在于,所述基于所述第一比率和所述第二比率设置所述第一阈值和所述第二阈值,包括:
获取所述第一比率的第一指标和第二指标以及第二比率的第三指标;
基于所述第一比率的第一指标和第二比率的第三指标,确定第一阈值;
基于所述第一比率的第二指标和第二比率的第三指标,确定第二阈值。
9.根据权利要求1所述的方法,其特征在于,所述将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果,包括:
对所述待识别的人脸图像进行图像质量的评价,以得到图像质量评价结果;
若所述图像质量评价结果满足预设条件,将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果。
10.一种图像更新装置,其特征在于,包括:
获取单元,用于获取待识别的人脸图像;
匹配单元,用于将所述待识别的人脸图像与数据库中的已注册用户的人脸图像匹配,得到匹配结果;
更新单元,用于若所述匹配结果小于第一阈值且大于第二阈值,则将所述待识别的人脸图像作为新的人脸图像更新至所述数据库,其中,所述匹配结果大于第二阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像对应相同的用户,所述匹配结果小于第一阈值的情况下,所述待识别的人脸图像与已注册用户的人脸图像之间存在差异。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种计算机可读介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行所述权利要求1-9任一项所述方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110199718.8A CN112818909A (zh) | 2021-02-22 | 2021-02-22 | 图像更新方法、装置、电子设备及计算机可读介质 |
PCT/CN2022/071647 WO2022174699A1 (zh) | 2021-02-22 | 2022-01-12 | 图像更新方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110199718.8A CN112818909A (zh) | 2021-02-22 | 2021-02-22 | 图像更新方法、装置、电子设备及计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112818909A true CN112818909A (zh) | 2021-05-18 |
Family
ID=75864834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110199718.8A Pending CN112818909A (zh) | 2021-02-22 | 2021-02-22 | 图像更新方法、装置、电子设备及计算机可读介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112818909A (zh) |
WO (1) | WO2022174699A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113486749A (zh) * | 2021-06-28 | 2021-10-08 | 中星电子股份有限公司 | 图像数据收集方法、装置、电子设备和计算机可读介质 |
CN113538721A (zh) * | 2021-06-28 | 2021-10-22 | 福建数博讯信息科技有限公司 | 一种考勤数据交互的优化方法 |
CN113569676A (zh) * | 2021-07-16 | 2021-10-29 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113722522A (zh) * | 2021-09-02 | 2021-11-30 | 四川楠水农牧科技有限公司 | 一种牛只唯一性识别方法、终端、可读存储介质 |
WO2022174699A1 (zh) * | 2021-02-22 | 2022-08-25 | Oppo广东移动通信有限公司 | 图像更新方法、装置、电子设备及计算机可读介质 |
CN115798023A (zh) * | 2023-02-13 | 2023-03-14 | 成都睿瞳科技有限责任公司 | 一种人脸识别认证方法、装置、存储介质及处理器 |
WO2023040436A1 (zh) * | 2021-09-16 | 2023-03-23 | 上海商汤智能科技有限公司 | 人脸识别及门禁控制 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446387A (zh) * | 2018-03-22 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 用于更新人脸注册库的方法和装置 |
CN110532991A (zh) * | 2019-09-04 | 2019-12-03 | 深圳市捷顺科技实业股份有限公司 | 一种人脸识别方法、装置及设备 |
CN111104825A (zh) * | 2018-10-26 | 2020-05-05 | 北京陌陌信息技术有限公司 | 人脸注册库更新方法、装置、设备及介质 |
US20200193201A1 (en) * | 2018-12-14 | 2020-06-18 | Giga-Byte Technology Co., Ltd. | Method, device and non-transitory computer readable medium of facial recognition |
CN111310743A (zh) * | 2020-05-11 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
CN111339990A (zh) * | 2020-03-13 | 2020-06-26 | 乐鑫信息科技(上海)股份有限公司 | 一种基于人脸特征动态更新的人脸识别系统和方法 |
CN111414803A (zh) * | 2020-02-24 | 2020-07-14 | 北京三快在线科技有限公司 | 人脸识别方法、装置、电子设备 |
CN111695502A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 用于人脸识别的特征更新方法、装置和计算机设备 |
CN112364801A (zh) * | 2020-11-19 | 2021-02-12 | 天津中科虹星科技有限公司 | 一种动态阈值人脸识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102466676B1 (ko) * | 2017-08-16 | 2022-11-14 | 삼성전자주식회사 | 생체 센서의 성능 평가 방법, 생체 영상을 이용한 인증 방법 및 인증 방법을 적용한 전자 기기 |
CN107609508A (zh) * | 2017-09-08 | 2018-01-19 | 深圳市金立通信设备有限公司 | 一种人脸识别方法、终端及计算机可读存储介质 |
CN112818909A (zh) * | 2021-02-22 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像更新方法、装置、电子设备及计算机可读介质 |
-
2021
- 2021-02-22 CN CN202110199718.8A patent/CN112818909A/zh active Pending
-
2022
- 2022-01-12 WO PCT/CN2022/071647 patent/WO2022174699A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446387A (zh) * | 2018-03-22 | 2018-08-24 | 百度在线网络技术(北京)有限公司 | 用于更新人脸注册库的方法和装置 |
CN111104825A (zh) * | 2018-10-26 | 2020-05-05 | 北京陌陌信息技术有限公司 | 人脸注册库更新方法、装置、设备及介质 |
US20200193201A1 (en) * | 2018-12-14 | 2020-06-18 | Giga-Byte Technology Co., Ltd. | Method, device and non-transitory computer readable medium of facial recognition |
CN110532991A (zh) * | 2019-09-04 | 2019-12-03 | 深圳市捷顺科技实业股份有限公司 | 一种人脸识别方法、装置及设备 |
CN111414803A (zh) * | 2020-02-24 | 2020-07-14 | 北京三快在线科技有限公司 | 人脸识别方法、装置、电子设备 |
CN111339990A (zh) * | 2020-03-13 | 2020-06-26 | 乐鑫信息科技(上海)股份有限公司 | 一种基于人脸特征动态更新的人脸识别系统和方法 |
CN111310743A (zh) * | 2020-05-11 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 人脸识别方法、装置、电子设备及可读存储介质 |
CN111695502A (zh) * | 2020-06-11 | 2020-09-22 | 腾讯科技(深圳)有限公司 | 用于人脸识别的特征更新方法、装置和计算机设备 |
CN112364801A (zh) * | 2020-11-19 | 2021-02-12 | 天津中科虹星科技有限公司 | 一种动态阈值人脸识别方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022174699A1 (zh) * | 2021-02-22 | 2022-08-25 | Oppo广东移动通信有限公司 | 图像更新方法、装置、电子设备及计算机可读介质 |
CN113486749A (zh) * | 2021-06-28 | 2021-10-08 | 中星电子股份有限公司 | 图像数据收集方法、装置、电子设备和计算机可读介质 |
CN113538721A (zh) * | 2021-06-28 | 2021-10-22 | 福建数博讯信息科技有限公司 | 一种考勤数据交互的优化方法 |
CN113569676A (zh) * | 2021-07-16 | 2021-10-29 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2023284307A1 (zh) * | 2021-07-16 | 2023-01-19 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备、存储介质和计算机程序产品 |
CN113722522A (zh) * | 2021-09-02 | 2021-11-30 | 四川楠水农牧科技有限公司 | 一种牛只唯一性识别方法、终端、可读存储介质 |
WO2023040436A1 (zh) * | 2021-09-16 | 2023-03-23 | 上海商汤智能科技有限公司 | 人脸识别及门禁控制 |
CN115798023A (zh) * | 2023-02-13 | 2023-03-14 | 成都睿瞳科技有限责任公司 | 一种人脸识别认证方法、装置、存储介质及处理器 |
Also Published As
Publication number | Publication date |
---|---|
WO2022174699A1 (zh) | 2022-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112818909A (zh) | 图像更新方法、装置、电子设备及计算机可读介质 | |
CN109117803B (zh) | 人脸图像的聚类方法、装置、服务器及存储介质 | |
JP6968908B2 (ja) | コンテキスト取得方法及びコンテキスト取得デバイス | |
CN106778450B (zh) | 一种面部识别方法和装置 | |
WO2016172872A1 (zh) | 用于验证活体人脸的方法、设备和计算机程序产品 | |
CN111758116B (zh) | 脸部图像识别系统、识别器生成装置、识别装置与系统 | |
CN113366487A (zh) | 基于表情组别的操作确定方法、装置及电子设备 | |
JP7107598B2 (ja) | 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 | |
CN111626371B (zh) | 一种图像分类方法、装置、设备及可读存储介质 | |
CN107911643B (zh) | 一种视频通信中展现场景特效的方法和装置 | |
US11126827B2 (en) | Method and system for image identification | |
CN111291817B (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
CN108596079B (zh) | 手势识别方法、装置及电子设备 | |
US10423817B2 (en) | Latent fingerprint ridge flow map improvement | |
CN108596110A (zh) | 图像识别方法及装置、电子设备、存储介质 | |
CN112199530B (zh) | 多维度脸库图片自动更新方法、系统、设备及介质 | |
CN109635625B (zh) | 智能身份核验方法、设备、存储介质及装置 | |
WO2020070821A1 (ja) | 生体認証装置、生体認証方法、及び生体認証プログラム | |
WO2019223339A1 (zh) | 用于面部匹配的方法、设备、装置和存储介质 | |
CN103984415B (zh) | 一种信息处理方法及电子设备 | |
CN112270747A (zh) | 一种人脸识别方法、装置及电子设备 | |
CN114519898A (zh) | 生物特征多模态融合识别方法、装置、存储介质及设备 | |
Davis et al. | Predicting sex and age using swipe-gesture data from a mobile device | |
WO2022000334A1 (zh) | 生物特征识别方法、装置、设备及存储介质 | |
CN109815359B (zh) | 图像检索方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |