CN110503059A - 一种人脸识别方法及系统 - Google Patents

一种人脸识别方法及系统 Download PDF

Info

Publication number
CN110503059A
CN110503059A CN201910799109.9A CN201910799109A CN110503059A CN 110503059 A CN110503059 A CN 110503059A CN 201910799109 A CN201910799109 A CN 201910799109A CN 110503059 A CN110503059 A CN 110503059A
Authority
CN
China
Prior art keywords
face
tracker
frame image
face location
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910799109.9A
Other languages
English (en)
Other versions
CN110503059B (zh
Inventor
王栋
李宏伟
龚政
张蕾
杨静
李萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guowang Xiongan Finance Technology Group Co ltd
State Grid Blockchain Technology Beijing Co ltd
State Grid Digital Technology Holdings Co ltd
State Grid Corp of China SGCC
Original Assignee
Guowang Xiongan Finance Technology Group Co Ltd
State Grid Blockchain Technology (beijing) Co Ltd
State Grid Agel Ecommerce Ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guowang Xiongan Finance Technology Group Co Ltd, State Grid Blockchain Technology (beijing) Co Ltd, State Grid Agel Ecommerce Ltd, State Grid Corp of China SGCC filed Critical Guowang Xiongan Finance Technology Group Co Ltd
Priority to CN201910799109.9A priority Critical patent/CN110503059B/zh
Publication of CN110503059A publication Critical patent/CN110503059A/zh
Application granted granted Critical
Publication of CN110503059B publication Critical patent/CN110503059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种人脸识别方法及系统,方法包括:构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息,获取摄像头采集的图像中的识别帧图像;对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明有效避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,且有效避免了人脸误判及反复识别问题。

Description

一种人脸识别方法及系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人脸识别方法及系统。
背景技术
随着电子技术的不断发展,人脸识别技术得到了广泛的应用。目前,人脸识别技术主要采用的是人脸识别M:N模式,人脸识别M:N模式是通过计算机对场景内所有人进行面部识别并与人像数据库进行比对的过程,是动态人脸比对,能充分应用于多种场景,例如安防,迎宾,机器人应用等。
但在实际应用过程中,人脸识别M:N模式还存在这一些问题:一、实时的对整个场景内所有人进行面部识别并与人像数据库对比,需要庞大的计算量,对终端设备的性能要求过高;二、人脸识别M:N模式虽然具有动态比对与非配合性等优点,但由于场景内人数自由变化、人物位置自由变化、人脸角度、方向等随意变化等因素,会造成人脸在场景内的一段时间内出现已识别人脸又被判断为陌生人、同一人脸反复识别等问题。
因此,如何有效快速的进行人脸识别,是一项亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种人脸识别方法,通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
本发明提供了一种人脸识别方法,包括:
构建跟踪器,其中,所述跟踪器中包括人脸位置信息和对应的身份信息;
获取摄像头采集的图像中的识别帧图像;
对所述识别帧图像进行人脸检测,获取所述识别帧图像中的人脸位置信息;
将所述识别帧图像中的人脸位置信息与所述跟踪器中的人脸位置信息进行比对,判断所述识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:
判断所述跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:
将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
优选地,所述将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果后,还包括:
当输出识别结果为所述识别帧图像的身份信息为已注册人员时,将所述识别帧图像中的人脸位置信息输入所述跟踪器,对所述跟踪器进行位置校正。
优选地,所述方法还包括:
当所述跟踪器中的人脸位置对应的身份信息为陌生人时,将所述识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
优选地,所述获取摄像头采集的图像中的识别帧图像,包括:
从所述摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像。
优选地,所述构建跟踪器包括:
从待识别图像中检测出人脸部分,获得人脸位置信息;
对所述人脸部分进行特征提取,得到人脸特征集合;
将每个人脸特征与人脸信息库中的数据进行比对,输出识别结果,所述识别结果为已注册人员或陌生人的身份信息;
将所述识别结果与对应的人脸位置信息传入跟踪器。
一种人脸识别系统,包括:
构建模块,用于构建跟踪器,其中,所述跟踪器中包括人脸位置信息和对应的身份信息;
获取模块,用于获取摄像头采集的图像中的识别帧图像;
人脸检测模块,用于对所述识别帧图像进行人脸检测,获取所述识别帧图像中的人脸位置信息;
比对模块,用于将所述识别帧图像中的人脸位置信息与所述跟踪器中的人脸位置信息进行比对,判断所述识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
判断模块,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断所述跟踪器中的人脸位置对应的身份信息是否为已注册人员;
识别模块,用于当所述跟踪器中的人脸位置对应的身份信息为已注册人员时,将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
优选地,所述系统还包括:
校正模块,用于当输出识别结果为所述识别帧图像的身份信息为已注册人员时,将所述识别帧图像中的人脸位置信息输入所述跟踪器,对所述跟踪器进行位置校正。
优选地,所述识别模块,还用于:
当所述跟踪器中的人脸位置对应的身份信息为陌生人时,将所述识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
优选地,所述获取模块在执行获取摄像头采集的图像中的识别帧图像时,具体用于:
从所述摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像。
优选地,所述构建模块具体用于:
从待识别图像中检测出人脸部分,获得人脸位置信息;
对所述人脸部分进行特征提取,得到人脸特征集合;
将每个人脸特征与人脸信息库中的数据进行比对,输出识别结果,所述识别结果为已注册人员或陌生人的身份信息;
将所述识别结果与对应的人脸位置信息传入跟踪器。
综上所述,本发明公开了一种人脸识别方法,当需要对人脸进行识别时,首先构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;然后获取摄像头采集的图像中的识别帧图像,对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明公开的一种人脸识别方法实施例1的方法流程图;
图2为本发明公开的一种人脸识别方法实施例2的方法流程图;
图3为本发明公开的一种人脸识别系统实施例1的结构示意图;
图4为本发明公开的一种人脸识别系统实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明公开的一种人脸识别方法实施例1的方法流程图,所述方法可以包括以下步骤:
S101、构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
S102、获取摄像头采集的图像中的识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
S103、对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
S104、将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则进入S105:
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
S105、判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则进入S106:
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
S106、将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
综上所述,在上述实施例中,当需要对人脸进行识别时,首先构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;然后获取摄像头采集的图像中的识别帧图像,对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
如图2所示,为本发明公开的一种人脸识别方法实施例2的方法流程图,所述方法可以包括以下步骤:
S201、构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
具体的,在具体构建跟踪器时,从待识别图像中检测出人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式为通过计算特征向量之间的欧氏距离来得到人脸相似程度,相似度计算公式为:
其中:(x1,x2,x3...xn)表示待检测人脸特征向量;(d1,d2,d3...dn)表示人脸信息库中一条人脸特征向量;ymin表示待检测人脸与人脸信息库比对后相似度最小值;
当ymin小于阈值k时判定当前人脸为注册人脸,否则为陌生人。识别结果将与人脸位置信息一同传入跟踪器,在后续帧进行人脸跟踪。
S202、从摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
具体的,在获取摄像头采集的图像中的识别帧图像时,可以根据设置的参数跳帧数N,实现每隔N帧对图像进行一次识别,其中,跳过的帧被称为普通帧,进行识别操作的帧被称为识别帧。
S203、对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
S204、将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则进入S205:
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
具体的,当识别帧图像中的人脸位置未与预先构建的跟踪器中的人脸位置重叠时,识别帧图像中的人脸视为新增人脸,此时采用人脸识别M:N模式进行识别。另外,当所有跟踪器中如果不包含当前识别帧的人脸位置,视为该跟踪器的人脸消失,此时将销毁该跟踪器。
S205、判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则进入S206,若否,则进入S208:
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
S206、将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果;
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
S207、当输出识别结果为识别帧图像的身份信息为已注册人员时,将识别帧图像中的人脸位置信息输入跟踪器,对跟踪器进行位置校正;
当输出识别结果为识别帧图像的身份信息为已注册人员时,进一步将识别帧图像中的人脸位置信息输入跟踪器,替换跟踪器原有的人脸位置信息,实现对跟踪器的位置校正。
S208、当跟踪器中的人脸位置对应的身份信息为陌生人时,将识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为陌生人时,检测出识别帧图像中的人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式通过计算特征向量之间的欧式距离来得到人脸相似程度,当待检测人脸与人脸信息库比对后相似度最小值小于阈值时,输出识别结果为已注册人员,当当待检测人脸与人脸信息库比对后相似度最小值大于等于阈值时,输出识别结果为陌生人。
由此可以看出,在上述实施例中,跟踪器状态除已识别、陌生人外,还加入了缓冲状态来提供识别容错功能。具体的:
在识别帧,人脸识别成功的情况下,跟踪器为已识别状态,即当前人脸识别结果为已注册人脸;在识别失败的情况下,跟踪器为缓冲状态,即暂时保留当前识别状态,不输出识别结果。
当识别成功状态的跟踪器被1:1校验成功的情况下,保持成功状态,输出识别结果;校验失败的情况下,转入缓冲状态,不输出识别结果。
当缓冲状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
当陌生人状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
本步骤可根据设备识别效率适当改变缓冲次数,以保证场景中人脸角度或方向变化导致的容错率。
综上所述,本发明采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对及跟踪器的位置校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
如图3所示,为本发明公开的一种人脸识别系统实施例1的结构示意图,所述系统可以包括:
构建模块301,用于构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
获取模块302,用于获取摄像头采集的图像中的识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
人脸检测模块303,用于对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
比对模块304,用于将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
判断模块305,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断跟踪器中的人脸位置对应的身份信息是否为已注册人员;
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
识别模块306,用于当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
综上所述,在上述实施例中,当需要对人脸进行识别时,首先构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;然后获取摄像头采集的图像中的识别帧图像,对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
如图4所示,为本发明公开的一种人脸识别系统实施例2的结构示意图,所述系统可以包括:
构建模块401,用于构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
具体的,在具体构建跟踪器时,从待识别图像中检测出人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式为通过计算特征向量之间的欧氏距离来得到人脸相似程度,相似度计算公式为:
其中:(x1,x2,x3...xn)表示待检测人脸特征向量;(d1,d2,d3...dn)表示人脸信息库中一条人脸特征向量;ymin表示待检测人脸与人脸信息库比对后相似度最小值;
当ymin小于阈值k时判定当前人脸为注册人脸,否则为陌生人。识别结果将与人脸位置信息一同传入跟踪器,在后续帧进行人脸跟踪。
获取模块402,用于从摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
具体的,在获取摄像头采集的图像中的识别帧图像时,可以根据设置的参数跳帧数N,实现每隔N帧对图像进行一次识别,其中,跳过的帧被称为普通帧,进行识别操作的帧被称为识别帧。
人脸检测模块403,用于对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
比对模块404,用于将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
具体的,当识别帧图像中的人脸位置未与预先构建的跟踪器中的人脸位置重叠时,识别帧图像中的人脸视为新增人脸,此时采用人脸识别M:N模式进行识别。另外,当所有跟踪器中如果不包含当前识别帧的人脸位置,视为该跟踪器的人脸消失,此时将销毁该跟踪器。
判断模块405,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断跟踪器中的人脸位置对应的身份信息是否为已注册人员;
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
识别模块406,用于当所述跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果;
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
校正模块407,当输出识别结果为识别帧图像的身份信息为已注册人员时,将识别帧图像中的人脸位置信息输入跟踪器,对跟踪器进行位置校正;
当输出识别结果为识别帧图像的身份信息为已注册人员时,进一步将识别帧图像中的人脸位置信息输入跟踪器,替换跟踪器原有的人脸位置信息,实现对跟踪器的位置校正。
识别模块406,还用于当跟踪器中的人脸位置对应的身份信息为陌生人时,将识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为陌生人时,检测出识别帧图像中的人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式通过计算特征向量之间的欧式距离来得到人脸相似程度,当待检测人脸与人脸信息库比对后相似度最小值小于阈值时,输出识别结果为已注册人员,当当待检测人脸与人脸信息库比对后相似度最小值大于等于阈值时,输出识别结果为陌生人。
由此可以看出,在上述实施例中,跟踪器状态除已识别、陌生人外,还加入了缓冲状态来提供识别容错功能。具体的:
在识别帧,人脸识别成功的情况下,跟踪器为已识别状态,即当前人脸识别结果为已注册人脸;在识别失败的情况下,跟踪器为缓冲状态,即暂时保留当前识别状态,不输出识别结果。
当识别成功状态的跟踪器被1:1校验成功的情况下,保持成功状态,输出识别结果;校验失败的情况下,转入缓冲状态,不输出识别结果。
当缓冲状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
当陌生人状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
本步骤可根据设备识别效率适当改变缓冲次数,以保证场景中人脸角度或方向变化导致的容错率。
综上所述,本发明采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对及跟踪器的位置校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人脸识别方法,其特征在于,包括:
构建跟踪器,其中,所述跟踪器中包括人脸位置信息和对应的身份信息;
获取摄像头采集的图像中的识别帧图像;
对所述识别帧图像进行人脸检测,获取所述识别帧图像中的人脸位置信息;
将所述识别帧图像中的人脸位置信息与所述跟踪器中的人脸位置信息进行比对,判断所述识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:
判断所述跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:
将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
2.根据权利要求1所述的方法,其特征在于,所述将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果后,还包括:
当输出识别结果为所述识别帧图像的身份信息为已注册人员时,将所述识别帧图像中的人脸位置信息输入所述跟踪器,对所述跟踪器进行位置校正。
3.根据权利要求1所述的方法,其特征在于,还包括:
当所述跟踪器中的人脸位置对应的身份信息为陌生人时,将所述识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
4.根据权利要求1所述的方法,其特征在于,所述获取摄像头采集的图像中的识别帧图像,包括:
从所述摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像。
5.根据权利要求1所述的方法,其特征在于,所述构建跟踪器包括:
从待识别图像中检测出人脸部分,获得人脸位置信息;
对所述人脸部分进行特征提取,得到人脸特征集合;
将每个人脸特征与人脸信息库中的数据进行比对,输出识别结果,所述识别结果为已注册人员或陌生人的身份信息;
将所述识别结果与对应的人脸位置信息传入跟踪器。
6.一种人脸识别系统,其特征在于,包括:
构建模块,用于构建跟踪器,其中,所述跟踪器中包括人脸位置信息和对应的身份信息;
获取模块,用于获取摄像头采集的图像中的识别帧图像;
人脸检测模块,用于对所述识别帧图像进行人脸检测,获取所述识别帧图像中的人脸位置信息;
比对模块,用于将所述识别帧图像中的人脸位置信息与所述跟踪器中的人脸位置信息进行比对,判断所述识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
判断模块,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断所述跟踪器中的人脸位置对应的身份信息是否为已注册人员;
识别模块,用于当所述跟踪器中的人脸位置对应的身份信息为已注册人员时,将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
7.根据权利要求6所述的系统,其特征在于,还包括:
校正模块,用于当输出识别结果为所述识别帧图像的身份信息为已注册人员时,将所述识别帧图像中的人脸位置信息输入所述跟踪器,对所述跟踪器进行位置校正。
8.根据权利要求6所述的系统,其特征在于,所述识别模块,还用于:
当所述跟踪器中的人脸位置对应的身份信息为陌生人时,将所述识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
9.根据权利要求6所述的系统,其特征在于,所述获取模块在执行获取摄像头采集的图像中的识别帧图像时,具体用于:
从所述摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像。
10.根据权利要求6所述的系统,其特征在于,所述构建模块具体用于:
从待识别图像中检测出人脸部分,获得人脸位置信息;
对所述人脸部分进行特征提取,得到人脸特征集合;
将每个人脸特征与人脸信息库中的数据进行比对,输出识别结果,所述识别结果为已注册人员或陌生人的身份信息;
将所述识别结果与对应的人脸位置信息传入跟踪器。
CN201910799109.9A 2019-08-27 2019-08-27 一种人脸识别方法及系统 Active CN110503059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910799109.9A CN110503059B (zh) 2019-08-27 2019-08-27 一种人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910799109.9A CN110503059B (zh) 2019-08-27 2019-08-27 一种人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN110503059A true CN110503059A (zh) 2019-11-26
CN110503059B CN110503059B (zh) 2020-12-01

Family

ID=68588585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910799109.9A Active CN110503059B (zh) 2019-08-27 2019-08-27 一种人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN110503059B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200084A (zh) * 2020-10-10 2021-01-08 华航高科(北京)技术有限公司 用于视频流的人脸识别方法、装置、电子设备以及存储介质
CN112561902A (zh) * 2020-12-23 2021-03-26 天津光电通信技术有限公司 一种基于深度学习的芯片逆还原方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714347A (zh) * 2013-12-30 2014-04-09 汉王科技股份有限公司 人脸识别方法及人脸识别装置
CN105354543A (zh) * 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
CN106548151A (zh) * 2016-11-03 2017-03-29 北京光年无限科技有限公司 面向智能机器人的目标物检测追踪识别方法和系统
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及系统
CN107766811A (zh) * 2017-10-10 2018-03-06 浙江大学 一种基于复杂流型结构的人脸识别方法及系统
CN108629299A (zh) * 2018-04-24 2018-10-09 武汉幻视智能科技有限公司 一种结合人脸匹配的长时间多目标跟踪方法及系统
CN109359548A (zh) * 2018-09-19 2019-02-19 深圳市商汤科技有限公司 多人脸识别监控方法及装置、电子设备及存储介质
CN110008793A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 人脸识别方法、装置及设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714347A (zh) * 2013-12-30 2014-04-09 汉王科技股份有限公司 人脸识别方法及人脸识别装置
CN105354543A (zh) * 2015-10-29 2016-02-24 小米科技有限责任公司 视频处理方法及装置
CN106548151A (zh) * 2016-11-03 2017-03-29 北京光年无限科技有限公司 面向智能机器人的目标物检测追踪识别方法和系统
CN107609497A (zh) * 2017-08-31 2018-01-19 武汉世纪金桥安全技术有限公司 基于视觉跟踪技术的实时视频人脸识别方法及系统
CN107766811A (zh) * 2017-10-10 2018-03-06 浙江大学 一种基于复杂流型结构的人脸识别方法及系统
CN110008793A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 人脸识别方法、装置及设备
CN108629299A (zh) * 2018-04-24 2018-10-09 武汉幻视智能科技有限公司 一种结合人脸匹配的长时间多目标跟踪方法及系统
CN109359548A (zh) * 2018-09-19 2019-02-19 深圳市商汤科技有限公司 多人脸识别监控方法及装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200084A (zh) * 2020-10-10 2021-01-08 华航高科(北京)技术有限公司 用于视频流的人脸识别方法、装置、电子设备以及存储介质
CN112561902A (zh) * 2020-12-23 2021-03-26 天津光电通信技术有限公司 一种基于深度学习的芯片逆还原方法及系统

Also Published As

Publication number Publication date
CN110503059B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN109635693B (zh) 一种正脸图像检测方法及装置
CN105518713A (zh) 活体人脸验证方法及系统、计算机程序产品
WO2002037415A2 (en) Person tagging in an image processing system utilizing a statistical model based on both appearance and geometric features
WO2005096213A1 (en) Face recognition system and method
CN110503059A (zh) 一种人脸识别方法及系统
JP2000102524A (ja) 個体識別装置
CN109448027A (zh) 一种基于算法融合的自适应、持久的运动目标识别方法
CN109086670B (zh) 人脸识别方法、装置及设备
CN111145215B (zh) 一种目标跟踪方法及装置
CN113012383B (zh) 火灾检测报警方法、相关系统、相关设备及存储介质
CN110686676A (zh) 机器人重定位方法、装置及机器人
CN116645402A (zh) 一种基于改进目标检测网络的在线行人跟踪方法
CN111798486B (zh) 基于人体运动预测的多视角人体运动捕捉方法
US9256945B2 (en) System for tracking a moving object, and a method and a non-transitory computer readable medium thereof
CN114998999B (zh) 一种基于多帧输入与轨迹平滑的多目标跟踪方法和装置
CN109376686A (zh) 一种多维度人脸数据采集方案、采集系统及采集方法
JP4086422B2 (ja) 被写体認識装置
Yu et al. 3D facial motion tracking by combining online appearance model and cylinder head model in particle filtering
CN109472813A (zh) 一种基于背景加权的Mean Shift算法和Kalman预测融合的遮挡跟踪方法
CN116681729B (zh) 基于轨迹预测的抗遮挡多目标跟踪方法
KR102610035B1 (ko) 포즈 변화에 강인한 얼굴 인식 시스템 및 방법
CN111814588A (zh) 行为检测方法以及相关设备、装置
US20120219192A1 (en) Method of controlling a session at a self-service terminal, and a self-service terminal
CN113486688A (zh) 一种人脸识别方法及智能设备
WO2014050381A1 (ja) 生体認証装置、生体認証方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100032 room 8018, 8 / F, building 7, Guangyi street, Xicheng District, Beijing

Patentee after: State Grid Digital Technology Holdings Co.,Ltd.

Patentee after: State Grid blockchain Technology (Beijing) Co.,Ltd.

Patentee after: Guowang Xiongan Finance Technology Group Co.,Ltd.

Patentee after: STATE GRID CORPORATION OF CHINA

Address before: 311 guanganmennei street, Xicheng District, Beijing 100053

Patentee before: STATE GRID ELECTRONIC COMMERCE Co.,Ltd.

Patentee before: State Grid blockchain Technology (Beijing) Co.,Ltd.

Patentee before: Guowang Xiongan Finance Technology Group Co.,Ltd.

Patentee before: STATE GRID CORPORATION OF CHINA

CP03 Change of name, title or address