一种人脸识别方法及系统
技术领域
本发明涉及图像处理技术领域,尤其涉及一种人脸识别方法及系统。
背景技术
随着电子技术的不断发展,人脸识别技术得到了广泛的应用。目前,人脸识别技术主要采用的是人脸识别M:N模式,人脸识别M:N模式是通过计算机对场景内所有人进行面部识别并与人像数据库进行比对的过程,是动态人脸比对,能充分应用于多种场景,例如安防,迎宾,机器人应用等。
但在实际应用过程中,人脸识别M:N模式还存在这一些问题:一、实时的对整个场景内所有人进行面部识别并与人像数据库对比,需要庞大的计算量,对终端设备的性能要求过高;二、人脸识别M:N模式虽然具有动态比对与非配合性等优点,但由于场景内人数自由变化、人物位置自由变化、人脸角度、方向等随意变化等因素,会造成人脸在场景内的一段时间内出现已识别人脸又被判断为陌生人、同一人脸反复识别等问题。
因此,如何有效快速的进行人脸识别,是一项亟待解决的问题。
发明内容
有鉴于此,本发明提供了一种人脸识别方法,通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
本发明提供了一种人脸识别方法,包括:
构建跟踪器,其中,所述跟踪器中包括人脸位置信息和对应的身份信息;
获取摄像头采集的图像中的识别帧图像;
对所述识别帧图像进行人脸检测,获取所述识别帧图像中的人脸位置信息;
将所述识别帧图像中的人脸位置信息与所述跟踪器中的人脸位置信息进行比对,判断所述识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:
判断所述跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:
将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
优选地,所述将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果后,还包括:
当输出识别结果为所述识别帧图像的身份信息为已注册人员时,将所述识别帧图像中的人脸位置信息输入所述跟踪器,对所述跟踪器进行位置校正。
优选地,所述方法还包括:
当所述跟踪器中的人脸位置对应的身份信息为陌生人时,将所述识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
优选地,所述获取摄像头采集的图像中的识别帧图像,包括:
从所述摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像。
优选地,所述构建跟踪器包括:
从待识别图像中检测出人脸部分,获得人脸位置信息;
对所述人脸部分进行特征提取,得到人脸特征集合;
将每个人脸特征与人脸信息库中的数据进行比对,输出识别结果,所述识别结果为已注册人员或陌生人的身份信息;
将所述识别结果与对应的人脸位置信息传入跟踪器。
一种人脸识别系统,包括:
构建模块,用于构建跟踪器,其中,所述跟踪器中包括人脸位置信息和对应的身份信息;
获取模块,用于获取摄像头采集的图像中的识别帧图像;
人脸检测模块,用于对所述识别帧图像进行人脸检测,获取所述识别帧图像中的人脸位置信息;
比对模块,用于将所述识别帧图像中的人脸位置信息与所述跟踪器中的人脸位置信息进行比对,判断所述识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
判断模块,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断所述跟踪器中的人脸位置对应的身份信息是否为已注册人员;
识别模块,用于当所述跟踪器中的人脸位置对应的身份信息为已注册人员时,将所述识别帧图像与所述跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
优选地,所述系统还包括:
校正模块,用于当输出识别结果为所述识别帧图像的身份信息为已注册人员时,将所述识别帧图像中的人脸位置信息输入所述跟踪器,对所述跟踪器进行位置校正。
优选地,所述识别模块,还用于:
当所述跟踪器中的人脸位置对应的身份信息为陌生人时,将所述识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
优选地,所述获取模块在执行获取摄像头采集的图像中的识别帧图像时,具体用于:
从所述摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像。
优选地,所述构建模块具体用于:
从待识别图像中检测出人脸部分,获得人脸位置信息;
对所述人脸部分进行特征提取,得到人脸特征集合;
将每个人脸特征与人脸信息库中的数据进行比对,输出识别结果,所述识别结果为已注册人员或陌生人的身份信息;
将所述识别结果与对应的人脸位置信息传入跟踪器。
综上所述,本发明公开了一种人脸识别方法,当需要对人脸进行识别时,首先构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;然后获取摄像头采集的图像中的识别帧图像,对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明公开的一种人脸识别方法实施例1的方法流程图;
图2为本发明公开的一种人脸识别方法实施例2的方法流程图;
图3为本发明公开的一种人脸识别系统实施例1的结构示意图;
图4为本发明公开的一种人脸识别系统实施例2的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,为本发明公开的一种人脸识别方法实施例1的方法流程图,所述方法可以包括以下步骤:
S101、构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
S102、获取摄像头采集的图像中的识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
S103、对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
S104、将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则进入S105:
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
S105、判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则进入S106:
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
S106、将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
综上所述,在上述实施例中,当需要对人脸进行识别时,首先构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;然后获取摄像头采集的图像中的识别帧图像,对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
如图2所示,为本发明公开的一种人脸识别方法实施例2的方法流程图,所述方法可以包括以下步骤:
S201、构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
具体的,在具体构建跟踪器时,从待识别图像中检测出人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式为通过计算特征向量之间的欧氏距离来得到人脸相似程度,相似度计算公式为:
其中:(x1,x2,x3...xn)表示待检测人脸特征向量;(d1,d2,d3...dn)表示人脸信息库中一条人脸特征向量;ymin表示待检测人脸与人脸信息库比对后相似度最小值;
当ymin小于阈值k时判定当前人脸为注册人脸,否则为陌生人。识别结果将与人脸位置信息一同传入跟踪器,在后续帧进行人脸跟踪。
S202、从摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
具体的,在获取摄像头采集的图像中的识别帧图像时,可以根据设置的参数跳帧数N,实现每隔N帧对图像进行一次识别,其中,跳过的帧被称为普通帧,进行识别操作的帧被称为识别帧。
S203、对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
S204、将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则进入S205:
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
具体的,当识别帧图像中的人脸位置未与预先构建的跟踪器中的人脸位置重叠时,识别帧图像中的人脸视为新增人脸,此时采用人脸识别M:N模式进行识别。另外,当所有跟踪器中如果不包含当前识别帧的人脸位置,视为该跟踪器的人脸消失,此时将销毁该跟踪器。
S205、判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则进入S206,若否,则进入S208:
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
S206、将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果;
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
S207、当输出识别结果为识别帧图像的身份信息为已注册人员时,将识别帧图像中的人脸位置信息输入跟踪器,对跟踪器进行位置校正;
当输出识别结果为识别帧图像的身份信息为已注册人员时,进一步将识别帧图像中的人脸位置信息输入跟踪器,替换跟踪器原有的人脸位置信息,实现对跟踪器的位置校正。
S208、当跟踪器中的人脸位置对应的身份信息为陌生人时,将识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为陌生人时,检测出识别帧图像中的人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式通过计算特征向量之间的欧式距离来得到人脸相似程度,当待检测人脸与人脸信息库比对后相似度最小值小于阈值时,输出识别结果为已注册人员,当当待检测人脸与人脸信息库比对后相似度最小值大于等于阈值时,输出识别结果为陌生人。
由此可以看出,在上述实施例中,跟踪器状态除已识别、陌生人外,还加入了缓冲状态来提供识别容错功能。具体的:
在识别帧,人脸识别成功的情况下,跟踪器为已识别状态,即当前人脸识别结果为已注册人脸;在识别失败的情况下,跟踪器为缓冲状态,即暂时保留当前识别状态,不输出识别结果。
当识别成功状态的跟踪器被1:1校验成功的情况下,保持成功状态,输出识别结果;校验失败的情况下,转入缓冲状态,不输出识别结果。
当缓冲状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
当陌生人状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
本步骤可根据设备识别效率适当改变缓冲次数,以保证场景中人脸角度或方向变化导致的容错率。
综上所述,本发明采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对及跟踪器的位置校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
如图3所示,为本发明公开的一种人脸识别系统实施例1的结构示意图,所述系统可以包括:
构建模块301,用于构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
获取模块302,用于获取摄像头采集的图像中的识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
人脸检测模块303,用于对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
比对模块304,用于将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
判断模块305,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断跟踪器中的人脸位置对应的身份信息是否为已注册人员;
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
识别模块306,用于当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
综上所述,在上述实施例中,当需要对人脸进行识别时,首先构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;然后获取摄像头采集的图像中的识别帧图像,对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠,若是,则:判断跟踪器中的人脸位置对应的身份信息是否为已注册人员,若是,则:将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果。本发明通过采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现了对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
如图4所示,为本发明公开的一种人脸识别系统实施例2的结构示意图,所述系统可以包括:
构建模块401,用于构建跟踪器,其中,跟踪器中包括人脸位置信息和对应的身份信息;
当需要进行人脸识别时,首先构建出用于人脸识别的跟踪器,其中,构建的跟踪器中包括预先存入的人脸位置信息,以及人脸位置信息对应的人脸身份信息,如:已注册人员,即已注册人脸,或陌生人。
其中,构建的跟踪器是图像处理算法当中基于关联的目标跟踪模块,可实现在视频流中的一帧对部分图像进行设置,并在后续的剩余帧中对其进行跟踪,具有复杂度低,效率高的特点。
具体的,在具体构建跟踪器时,从待识别图像中检测出人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式为通过计算特征向量之间的欧氏距离来得到人脸相似程度,相似度计算公式为:
其中:(x1,x2,x3...xn)表示待检测人脸特征向量;(d1,d2,d3...dn)表示人脸信息库中一条人脸特征向量;ymin表示待检测人脸与人脸信息库比对后相似度最小值;
当ymin小于阈值k时判定当前人脸为注册人脸,否则为陌生人。识别结果将与人脸位置信息一同传入跟踪器,在后续帧进行人脸跟踪。
获取模块402,用于从摄像头采集的图像中,将每隔N帧获取的图像确定为识别帧图像;
然后,在获得摄像头捕捉的图像后,进一步获取捕捉到的图像中的识别帧图像。其中,获得摄像头捕捉的图像中,包括普通帧图像和识别帧图像,识别帧图像为用于进行识别操作的帧图像。
具体的,在获取摄像头采集的图像中的识别帧图像时,可以根据设置的参数跳帧数N,实现每隔N帧对图像进行一次识别,其中,跳过的帧被称为普通帧,进行识别操作的帧被称为识别帧。
人脸检测模块403,用于对识别帧图像进行人脸检测,获取识别帧图像中的人脸位置信息;
当获得识别帧图像后,进一步从识别帧图像中检测出人脸部分,并获得人脸位置信息。
比对模块404,用于将识别帧图像中的人脸位置信息与跟踪器中的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠;
在获得识别帧图像中的人脸位置信息后,进一步将识别帧图像中的人脸位置信息与跟踪器中存储的人脸位置信息进行比对,判断识别帧图像中的人脸位置是否与预先构建的跟踪器中的人脸位置重叠。根据跟踪器的比对结果,采用不同的处理方式。
具体的,当识别帧图像中的人脸位置未与预先构建的跟踪器中的人脸位置重叠时,识别帧图像中的人脸视为新增人脸,此时采用人脸识别M:N模式进行识别。另外,当所有跟踪器中如果不包含当前识别帧的人脸位置,视为该跟踪器的人脸消失,此时将销毁该跟踪器。
判断模块405,用于当所述识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,判断跟踪器中的人脸位置对应的身份信息是否为已注册人员;
当识别帧图像中的人脸位置与预先构建的跟踪器中的人脸位置重叠时,进一步根据跟踪器中人脸位置对应的身份信息,判断身份信息是否为已注册人员。
识别模块406,用于当所述跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实,输出识别结果;
当跟踪器中的人脸位置对应的身份信息为已注册人员时,将识别帧图像与跟踪器中的人脸位置对应的图像,采用1:1模式进行身份核实。具体的,根据跟踪器携带的人脸位置对应的身份信息,从人脸信息库中将对应的特征信息查出,然后与当前帧与之重叠的人脸所提取的特征做对比,计算两个特征向量之间的欧式距离y,当距离y小于阈值j时,输出的识别结果为该识别帧图像为已注册人员,当距离y大于等于阈值j时,跟踪器加入缓存状态来提供识别容错功能,此时输出的识别解雇为该识别帧图像为缓冲状态,即暂时保留当前识别状态不输出识别结果,当缓存状态的识别帧图像再次识别失败时,输出识别结果为陌生人,当缓存状态的识别帧图像再次识别成功时,输出识别结果为已注册人员。
校正模块407,当输出识别结果为识别帧图像的身份信息为已注册人员时,将识别帧图像中的人脸位置信息输入跟踪器,对跟踪器进行位置校正;
当输出识别结果为识别帧图像的身份信息为已注册人员时,进一步将识别帧图像中的人脸位置信息输入跟踪器,替换跟踪器原有的人脸位置信息,实现对跟踪器的位置校正。
识别模块406,还用于当跟踪器中的人脸位置对应的身份信息为陌生人时,将识别帧图像与人脸信息库中的数据进行比对,输出识别结果。
当跟踪器中的人脸位置对应的身份信息为陌生人时,检测出识别帧图像中的人脸部分,并获得人脸位置信息,然后对检测出的人脸进行特征提取,得到人脸特征集合,最后依次将每个人脸特征与人脸信息库中的数据进行比对,对比方式通过计算特征向量之间的欧式距离来得到人脸相似程度,当待检测人脸与人脸信息库比对后相似度最小值小于阈值时,输出识别结果为已注册人员,当当待检测人脸与人脸信息库比对后相似度最小值大于等于阈值时,输出识别结果为陌生人。
由此可以看出,在上述实施例中,跟踪器状态除已识别、陌生人外,还加入了缓冲状态来提供识别容错功能。具体的:
在识别帧,人脸识别成功的情况下,跟踪器为已识别状态,即当前人脸识别结果为已注册人脸;在识别失败的情况下,跟踪器为缓冲状态,即暂时保留当前识别状态,不输出识别结果。
当识别成功状态的跟踪器被1:1校验成功的情况下,保持成功状态,输出识别结果;校验失败的情况下,转入缓冲状态,不输出识别结果。
当缓冲状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
当陌生人状态的跟踪器被识别成功的情况下,转为已识别状态,输出识别结果;再次识别失败的情况下,跟踪器转为陌生人状态,输出识别结果。
本步骤可根据设备识别效率适当改变缓冲次数,以保证场景中人脸角度或方向变化导致的容错率。
综上所述,本发明采用隔帧检测的策略减轻了计算压力,并引入跟踪器机制实现对场景中人脸的跨帧记忆功能,并通过根据已记忆的人脸进行1:1模式人脸识别进行身份校对及跟踪器的位置校对,避免了已识别人脸与人像数据库的重复比对,进一步提高了计算效率,最后通过加入识别缓冲机制,有效避免了人脸误判及反复识别问题。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。