CN112215156A - 一种视频监控中的人脸抓拍方法及系统 - Google Patents

Abstract

本发明涉及图像处理领域，公开了一种视频监控中的人脸抓拍方法及系统，包括获取视频或图片流的当前帧目标图像；对当前帧目标图像进行人脸检测，输出人脸矩形框坐标；对人脸小图进行质量评估，获得在当前帧目标图像中各个人脸的质量得分；对每个人脸小图进行特征提取，获得在当前帧目标图像中各个人脸的人脸特征；将所有已存人脸轨迹分别与当前帧目标图像中的各人脸进行匹配；更新所有人脸轨迹信息；进行隔帧抓拍以及最优人脸抓拍判断，利用衰减因子α降低人脸轨迹的最优质量得分。本发明保证了抓拍的实时性和抓拍图片的高质量，节约系统计算资源，减少了抓拍重复率，提高整个系统的鲁棒性，提高了后续人脸识别的准确性。

Description

一种视频监控中的人脸抓拍方法及系统

技术领域

本发明涉及图像处理领域，具体地涉及一种视频监控中的人脸抓拍方法及系统。

背景技术

随着智慧城市的推进和普及，智能监控系统广泛应用于交通安检、广场、商超等有安防需求的公共场景中。系统通过智能人脸抓拍得到当前场景下出现的不同人脸，通过人脸识别模块提取人脸特征，与库中人脸或目标人脸图片进行比对，判断是否为相同人脸，需要时系统立即发出警报响应，从而实现危险人员的实时排查和疑犯的快速追踪等任务。相比于传统的人工排查，人脸智能抓拍和识别系统能够快速比对大量人脸，同时避免了因疲劳而产生的误判漏识，大大提高了响应的实时性和准确性，在公共场所的安防方面作用巨大。

在人脸智能抓拍和识别系统中，首先要对监控视频中的人脸目标进行智能抓拍，抓拍得到的人脸图片送入人脸识别模块进行特征提取和比对，从而完成人脸识别流程。典型的抓拍方法一般有两种，第一种是在一段轨迹结束后，选取其中质量最好的一帧作为最优人脸抓拍，这种方法抓拍的人脸数少，抓拍图片的质量较高，但系统必须等到轨迹结束后才能进行后续处理，做不到实时响应，难以应用在对实时性要求较高的场景，且单独一张抓拍图片无法保证抓拍质量的稳定性，质量评价模块的一次误差会直接影响人脸识别的准确性；第二种抓拍方法是每隔一段时间进行一次抓拍，这种方法在时间间隔较短时能够保证一定的实时性，也会抓拍到质量较高的图片，但抓拍的重复人脸较多，会降低后续人脸识别的处理效率，造成计算资源的浪费。而由于监控场景复杂多变，人脸在画面中持续运动，常常会出现光照变化、模糊、遮挡、人脸姿态变化等情况，更加剧了抓拍重复数多、质量较差的现象。实时抓拍、少量抓拍、高质量抓拍这三个要求难以同时满足，智能监控系统在实际应用中的表现因此受到限制，如何平衡速度、数量和质量这三个方面，成为人脸抓拍方法亟待解决的问题。

发明内容

本发明提供一种视频监控中的人脸抓拍方法及系统，从而解决现有技术的上述问题。

第一方面，本发明提供了一种视频监控中的人脸抓拍方法，包括以下步骤：

S1)获取视频或图片流的当前帧目标图像；

S2)对当前帧目标图像进行人脸检测，判断是否在当前帧目标图像中检测到人脸，若是，则输出与每个人脸相对应的人脸矩形框坐标，进入步骤S3)；若否，则进入步骤S5)；

S3)根据人脸矩形框坐标获得与每个人脸相对应的人脸小图，对所述人脸小图进行质量评估，获得在当前帧目标图像中各个人脸的质量得分；

S4)对每个人脸小图进行特征提取，获得在当前帧目标图像中各个人脸的人脸特征；

S5)获取所有已存人脸轨迹，根据在当前帧目标图像中各个人脸的人脸特征将所有已存人脸轨迹分别与当前帧目标图像中的各人脸进行匹配；

S6)获取步骤S5)的匹配结果，根据所述匹配结果对所有人脸轨迹信息进行更新，获得更新后的人脸轨迹信息；

S7)进行隔帧抓拍，获取第r个人脸轨迹的轨迹存在帧数d_r，r∈[1,M]，M为所有人脸轨迹的总数，在第r个人脸轨迹开始的第g帧进行抓拍，后续每隔t帧进行抓拍，判断d_r-g是否为t的倍数，若否，返回步骤S1)；若是，则进入步骤S8)；

S8)设置最优抓拍条件，判断所述更新后的人脸轨迹信息是否满足所述最优抓拍条件，若是，则进行最优人脸抓拍，进入步骤S9)；若否，则返回步骤S1)；

S9)设置衰减因子α，0≤α≤1，利用衰减因子α降低人脸轨迹的最优质量得分，判断是否结束抓拍，若是，则结束抓拍；若否，则返回步骤S1)。

进一步的，步骤S6)中，匹配结果包括在当前帧目标图像中匹配成功的人脸、匹配成功的已存人脸轨迹、匹配失败的人脸和/或匹配失败的已存人脸轨迹；人脸轨迹信息包括最优人脸图像、最优质量得分、人脸特征、轨迹存在帧数和轨迹连续匹配失败帧数。

进一步的，在步骤S2)中，对当前帧目标图像进行人脸检测，输出与每个人脸相对应的人脸矩形框坐标的同时输出与每个人脸相对应的人脸置信度，设置置信度阈值，删除人脸置信度低于置信度阈值的人脸小图。

进一步的，在步骤S3)中，还包括建立质量评估模型，所述质量评估模型为第一深度神经网络模型，采用深度学习方法对所述第一深度神经网络模型进行训练，将人脸小图缩放到第一预设尺寸大小、并输入至所述第一深度神经网络模型中，所述第一深度神经网络模型输出与人脸小图相对应的质量得分。

进一步的，在步骤S4)中，还包括建立特征提取模型，所述特征提取模型为第二深度神经网络模型，采用深度学习方法对所述第二深度神经网络模型进行训练，将人脸小图缩放到第二预设尺寸大小、并输入至所述第二深度神经网络模型中，所述第二深度神经网络模型输出与人脸小图相对应的人脸特征。

进一步的，在步骤S5)中，获取所有已存人脸轨迹，根据在当前帧目标图像中各个人脸的人脸特征将所有已存人脸轨迹分别与当前帧目标图像中的各人脸进行匹配，包括计算当前帧目标图像中各个人脸的人脸特征与已存人脸轨迹所保存的人脸特征之间的余弦相似度，将余弦相似度最高的人脸和已存人脸轨迹认为是同一人脸，表明余弦相似度最高的人脸和已存人脸轨迹匹配成功；若存在已存人脸轨迹未匹配到人脸，则标记未匹配到人脸的已存人脸轨迹为匹配失败，若存在人脸未匹配到已存人脸轨迹，则标记未匹配到已存人脸轨迹的人脸为匹配失败。

本发明通过计算余弦相似度从而将当前帧目标图像中的各人脸与所有已存人脸轨迹进行匹配，每一个已存人脸轨迹对应一个唯一的人脸ID，若当前帧目标图像中某一个人脸F1的人脸特征与某一个已存人脸轨迹f2所保存的人脸特征之间的余弦相似度最高，则认为人脸F1符合已存人脸轨迹f2中所保存的人脸ID(即将余弦相似度最高的人脸和已存人脸轨迹认为是同一人脸)，将人脸F1与已存人脸轨迹f2进行匹配、并标记人脸F1与已存人脸轨迹f2匹配成功。

进一步的，在步骤S6)中，获取步骤S5)的匹配结果，根据匹配结果对所有人脸轨迹信息进行更新，获得更新后的人脸轨迹信息，包括以下步骤：

S61)将当前帧目标图像中与人脸匹配成功的已存人脸轨迹记为f，对于在当前帧目标图像中与人脸匹配成功的已存人脸轨迹f，将已存人脸轨迹f的轨迹存在帧数加1，将已存人脸轨迹f的轨迹连续匹配失败帧数置0；获取已存人脸轨迹f的最优人脸质量得分，判断与已存人脸轨迹f匹配成功的人脸的质量得分是否大于已存人脸轨迹f的最优人脸质量得分，若否，则不更新已存人脸轨迹f的最优人脸质量得分；若是，则将已存人脸轨迹f的最优人脸质量得分更新为与已存人脸轨迹f匹配成功的人脸的质量得分、并将已存人脸轨迹f的最优人脸图像更新为与已存人脸轨迹f匹配成功的人脸的人脸小图，将已存人脸轨迹f的人脸特征更新为与所述已存人脸轨迹f匹配成功的人脸的人脸特征；

S62)对匹配失败的每个人脸分别创建一个新的人脸轨迹，将匹配失败的人脸的质量得分以及人脸小图分别作为新的人脸轨迹的最优人脸质量得分和最优人脸图像，将匹配失败的人脸的人脸特征保存为新的人脸轨迹的人脸特征，将新的人脸轨迹的轨迹存在帧数置为1，将新的人脸轨迹的轨迹连续匹配失败帧数置为0；

S63)对匹配失败的已存人脸轨迹，将匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数加1；设置匹配失败阈值w，获取匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数e，判断e≥w是否成立，若是，则删除未在当前帧目标图像中匹配到人脸的已存人脸轨迹；若否，则进入步骤S7)。

进一步的，步骤S8)中，设置最优抓拍条件，判断所述更新后的人脸轨迹信息是否满足所述最优抓拍条件，包括设置质量阈值和尺寸阈值，判断第r个人脸轨迹的更新后的最优质量得分是否超过质量阈值且第r个人脸轨迹更新后的最优人脸图像的尺寸是否超过尺寸阈值。

进一步的，步骤S9)中，利用衰减因子α降低人脸轨迹的最优质量得分包括获取第r个人脸轨迹在步骤S6)中更新后的最优质量得分，将第r个人脸轨迹的最优质量得分设置为第r个人脸轨迹更新后的最优质量得分与衰减因子α之间的乘积。

第二方面，本发明提供了一种视频监控中的人脸抓拍系统，包括图片采集模块、人脸检测模块、特征提取模块、质量评估模块、人脸跟踪模块、人脸抓拍模块和人脸识别模块；

图片采集模块，用于进行实时视频或图片流的采集，并将采集的视频或图片流的当前帧目标图像传入所述人脸检测模块；

人脸检测模块，对所述图片采集模块传入的当前帧目标图像进行人脸检测，得到当前帧目标图像中所有的人脸矩形框坐标以及与人脸矩形框坐标对应的人脸置信度，通过设置置信度阈值对人脸小图进行过滤，将人脸置信度高的人脸矩形框坐标输出至特征提取模块，若无人脸矩形框坐标输出，则跳至人脸抓拍模块；

特征提取模块，用于通过所述人脸检测模块输出的人脸矩形框坐标得到单独的人脸小图、并将人脸小图送入特征提取模型，得到与每个人脸对应的人脸特征，将人脸特征输出至所述人脸跟踪模块；

质量评估模块，用于通过所述人脸检测模块输出的人脸矩形框坐标得到人脸小图、并将人脸小图送入质量评估模型，得到每个人脸对应的质量得分，将质量得分输出至所述人脸跟踪模块；

人脸跟踪模块，用于获取所述特征提取模块的输出以及所述质量评估模块的输出，并将已存人脸轨迹与当前帧目标图像的各个人脸进行匹配，匹配时计算人脸轨迹对应的人脸特征与当前帧目标图像的各个人脸的人脸特征之间的余弦相似度，余弦相似度最高的则表明已存人脸轨迹与当前帧目标图像的人脸匹配成功，对匹配成功的已存人脸轨迹更新最优人脸图像和最优质量得分，当前帧目标图像的人脸的质量得分若大于与所述当前帧目标图像的人脸相对应的匹配成功的已存人脸轨迹的最优质量得分，则将匹配成功的已存人脸轨迹的最优质量得分更新为当前帧目标图像的人脸的质量得分，将匹配成功的已存人脸轨迹的最优人脸图像更新为与所述匹配成功的已存人脸轨迹相对应的当前帧目标图像的人脸的人脸小图，则将匹配成功的已存人脸轨迹的人脸特征更新为与所述匹配成功的已存人脸轨迹相对应的当前帧目标图像的人脸的人脸特征；

若已存人脸轨迹未在当前帧目标图像中匹配到人脸，则标记所述未在当前帧目标图像中匹配到人脸的已存人脸轨迹为匹配失败，被标记为匹配失败的已存人脸轨迹若连续多帧均匹配失败，则删除所述匹配失败的已存人脸轨迹；

若当前帧目标图像的人脸未匹配到已存人脸轨迹，则将当前帧目标图像的人脸确定为新出现在视频中的人脸，对未匹配到已存人脸轨迹的人脸进行轨迹初始化，获得新的人脸轨迹，将未匹配到已存人脸轨迹的人脸的质量得分以及人脸小图分别作为新的人脸轨迹的最优质量得分和最优人脸图像，将未匹配到已存人脸轨迹的人脸特征保存为新的人脸轨迹的人脸特征；

人脸抓拍模块，用于进行隔帧抓拍判断，第r个人脸轨迹的轨迹存在帧数d_r，r∈[1,M]，M为所有人脸轨迹的总数，在第r个人脸轨迹开始的第g帧进行抓拍，后续每隔t帧进行抓拍，当d_r-g为t的倍数时,人脸抓拍模块开始进行抓拍判断，判断人脸轨迹的最优人脸质量得分是否大于质量阈值、且判断人脸轨迹的最优人脸图像的尺寸是否大于尺寸阈值，若否，则返回图片采集模块；若是，则进行最优人脸抓拍，获得最优人脸图片；最优人脸抓拍完成后，将人脸轨迹更新后的最优人脸质量得分与衰减因子α的乘积作为人脸轨迹的最优人脸质量得分；

人脸识别模块，用于获取所述抓拍模块得到的最优人脸图片、并对最优人脸图片进行人脸特征提取和比对。

本发明通过对人脸跟踪轨迹进行[g,t]隔帧抓拍(这里的g取值较小，t取值较大)，保证了抓拍的实时性和抓拍图片的高质量。在第r个人脸轨迹开始的第g帧进行抓拍，避免了在人脸轨迹跟踪结束后才进行全局最优人脸抓拍，使得系统可以在较短时间内就获得一张局部最优人脸图片，从而可以快速进行后续的人脸识别步骤，提升系统响应速度，虽然人脸图片并非全局最优，但在第g帧内最优在一定程度上保证了图片的质量不会太差；后续每隔t帧进行抓拍，保证了当第一次抓拍的人脸质量不够好时，能够在不长的一段时间内给出可选择的另一张或多张人脸图片，保证了抓拍图片的质量，提高人脸识别的准确性；t值设置的较大，保证了同一张人脸被抓拍的图片数量较少，避免频繁抓拍给后续人脸识别模块造成压力，加快处理速度，节约系统计算资源。

另外，本发明使用衰减因子α降低人脸轨迹的最优质量得分，能够减少抓拍重复率，同时在一定程度上降低系统对质量评估模块的强依赖，提高整个系统的鲁棒性。如果每次抓拍后直接将最优质量得分归零，那么后续人脸轨迹的图片质量就算与之前相差太多也会被抓拍，这种低质量的抓拍对后续的人脸识别没有帮助，还会造成系统计算资源的浪费，降低处理效率；而如果直接取原最优人脸质量得分，对于后续人脸轨迹中与原最优人脸质量得分接近、但在某些方面如角度或光照等更适宜于人脸识别的图片，系统不会作为最优人脸保存和抓拍，这种对质量模块的强依赖会导致系统的容错率降低，质量评估模块的一次误判就可能严重影响人脸识别结果。本发明综合考虑了上述问题，使用衰减因子α降低最优质量得分，使得抓拍的人脸质量得分总是高于之前的抓拍，或与之前的抓拍得分差距在一定范围内，即保证了少量抓拍，又保证了一定的系统容错率，提高了整个系统的鲁棒性。

本发明在抓拍时进行质量阈值和尺寸阈值的判断，通过控制最优人脸图片的尺寸和质量，能够有效减少误检、低质量图片(如模糊、过曝、人脸角度较大)等情况，从而提高人脸识别的准确性；还能够通过质量和尺寸的过滤而大量减少由于光照变化、姿态变化、尺寸过小造成的跟踪中的ID切换，从而减少人脸识别模块的重复输入，提高处理效率。

本发明的有益效果是：本发明解决了现有技术中人脸抓拍时大量重复抓拍且抓拍人脸质量较差、同时抓拍的实时性无法保证的问题，本发明通过对人脸跟踪轨迹进行隔帧抓拍，保证了抓拍的实时性和抓拍图片的高质量，保证了同一张人脸被抓拍的图片数量较少，避免频繁抓拍给后续人脸识别模块造成压力，加快处理速度，节约系统计算资源。使用衰减因子α降低人脸轨迹的最优质量得分，能够减少抓拍重复率，同时在一定程度上降低系统对质量评估模块的强依赖，提高整个系统的鲁棒性。在抓拍时进行质量阈值和尺寸阈值的判断，通过控制最优人脸图片的尺寸和质量，能够有效减少误检、低质量图片等情况，从而提高了后续人脸识别的准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例一提供的视频监控中的人脸抓拍方法的流程示意图。

图2为本实施例一提供的视频监控中的人脸抓拍系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一，本发明提供了一种视频监控中的人脸抓拍方法，如图1所示，包括以下步骤：

S1)获取视频或图片流的当前帧目标图像；

S2)对当前帧目标图像进行人脸检测，判断是否在当前帧目标图像中检测到人脸，若是，则输出与每个人脸相对应的人脸矩形框坐标，进入步骤S3)；若否，则进入步骤S5)。

在步骤S2)中，对当前帧目标图像进行人脸检测，输出与每个人脸相对应的人脸矩形框坐标的同时输出与每个人脸相对应的人脸置信度，设置置信度阈值，删除人脸置信度低于置信度阈值的人脸小图。

S3)根据人脸矩形框坐标获得与每个人脸相对应的人脸小图，对所述人脸小图进行质量评估，获得在当前帧目标图像中各个人脸的质量得分。

在步骤S3)中，还包括建立质量评估模型，质量评估模型为第一深度神经网络模型，采用深度学习方法对所述第一深度神经网络模型进行训练，将人脸小图缩放到第一预设尺寸大小、并输入至第一深度神经网络模型中，所述第一深度神经网络模型输出与人脸小图相对应的质量得分。

S4)对每个人脸小图进行特征提取，获得在当前帧目标图像中各个人脸的人脸特征。

在步骤S4)中，还包括建立特征提取模型，所述特征提取模型为第二深度神经网络模型，采用深度学习方法对所述第二深度神经网络模型进行训练，将人脸小图缩放到第二预设尺寸大小、并输入至所述第二深度神经网络模型中，所述第二深度神经网络模型输出与人脸小图相对应的人脸特征。

S5)获取所有已存人脸轨迹，根据在当前帧目标图像中各个人脸的人脸特征将所有已存人脸轨迹分别与当前帧目标图像中的各人脸进行匹配，包括计算当前帧目标图像中各个人脸的人脸特征与已存人脸轨迹所保存的人脸特征之间的余弦相似度，将余弦相似度最高的人脸和已存人脸轨迹之间认为是同一人脸，表明余弦相似度最高的人脸和已存人脸轨迹之间匹配成功；若存在已存人脸轨迹未匹配到人脸，则标记未匹配到人脸的已存人脸轨迹为匹配失败，若存在人脸未匹配到已存人脸轨迹，则标记未匹配到已存人脸轨迹的人脸为匹配失败。

本实施例中，将所有已存人脸轨迹的个数设为m，当前帧目标图像中检测到的人脸个数设为n，具体人脸特征匹配包括以下步骤：

S51)分别计算当前帧目标图像中每个人脸的人脸特征与所有已存人脸轨迹所保存的人脸特征之间的余弦相似度，获得余弦相似度数据集

X_n表示第当前帧目标图像中检测到的第n个人脸的余弦相似度向量，X_n＝[x_n1 x_n2 … x_nm]，x_nm表示当前帧目标图像中检测到的第n个人脸的人脸特征与第m个已存人脸轨迹所保存的人脸特征之间的余弦相似度；

S52)设置余弦相似度阈值，将当前帧目标图像中每个人脸的人脸特征与所有已存人脸轨迹所保存的人脸特征之间的余弦相似度分别与所述余弦相似度阈值进行比较，将所有低于余弦相似度阈值的余弦相似度从余弦相似度数据集中除去，若第i个人脸的人脸特征与所有已存人脸轨迹所保存的人脸特征之间的余弦相似度均低于所述余弦相似度阈值，i∈[1,n]，则将第i个人脸确定为新出现在视频中的人脸、并标记第i个人脸匹配失败；反之则进入步骤S53)；

S53)获得进行余弦相似度阈值比较后剩余的k个人脸，所述k个人脸均存在与所有已存人脸轨迹所保存的人脸特征之间的余弦相似度高于所述余弦相似度阈值的情况，k≤n；将所述k个人脸的人脸特征与所有已存人脸轨迹所保存的人脸特征之间的余弦相似度进行排序，获得k个人脸的余弦相似度最大值，根据所述余弦相似度最大值将所述k个人脸分别与所有已存人脸轨迹进行匹配；第j个人脸的余弦相似度最大值Max_j＝x′_jz,

j∈[1,k]，1≤z≤m，x′_jm为进行余弦相似度阈值比较后的k个人脸中的第j个人脸的人脸特征与第m个已存人脸轨迹所保存的人脸特征之间的余弦相似度，所述第j个人脸与第z个已存人脸轨迹匹配；进入步骤S54)；

S54)判断第z个已存人脸轨迹是否在进行余弦相似度阈值比较后的k个人脸中同时匹配到若干个人脸，所述若干个人脸的总数为q，q≤k，若否，则标注所述第z个已存人脸轨迹与进行余弦相似度阈值比较后的k个人脸中的第j个人脸匹配成功；若是，则对所述若干个人脸的余弦相似度最大值进行排序，将第v个人脸与第z个已存人脸轨迹进行匹配、并标注所述第z个已存人脸轨迹与所述若干个人脸中的第v个人脸匹配成功，所述第v个人脸为对所述若干个人脸的余弦相似度最大值进行排序后获得的余弦相似度最大值中的最大值所对应的人脸，v≤q；进入步骤S55)；

S55)将所述若干个人脸中除第v个人脸外的其他人脸分别与除第z个已存人脸轨迹外的已存人脸轨迹进行重新匹配，依次判断所述除第v个人脸外的其他人脸的余弦相似度向量是否为空，将余弦相似度向量为空的人脸确定为新出现在视频中的人脸、并标记该人脸匹配失败；进入步骤S56)；

S56)判断除去已匹配成功的人脸和余弦相似度向量为空的人脸外是否还有剩余待匹配人脸，若是，则将所述待匹配人脸确定为新出现在视频中的人脸、标记该人脸匹配失败，进入步骤S57)；若否，则进入步骤S57)；

S57)判断所有已存人脸轨迹是否均在当前帧目标图像中匹配到人脸，若是，则进入步骤S6)；若否，则获取未在当前帧目标图像中匹配到人脸的已存人脸轨迹、并标记未在当前帧目标图像中匹配到人脸的已存人脸轨迹为匹配失败。

本实施例中对于多个人脸匹配到同一个人脸轨迹，取余弦相似度最大的人脸成功匹配。对于其他人脸，可能存在其他已存人脸轨迹与其他人脸的余弦相似度超过相似度阈值的情况，因此本发明对其他人脸做重复匹配(即再次计算其他人脸构成的余弦相似度数据集、进行余弦相似度阈值比较以及判断同一个人脸轨迹是否匹配到多个人脸)，从而在剩余的已存人脸轨迹中找余弦相似度最大的已存人脸轨迹与其他人脸进行匹配。

S6)获取步骤S5)的匹配结果，根据所述匹配结果对所有人脸轨迹信息进行更新，获得更新后的人脸轨迹信息；匹配结果包括在当前帧目标图像中匹配成功的人脸、匹配成功的已存人脸轨迹、匹配失败的人脸和/或匹配失败的已存人脸轨迹；人脸轨迹信息包括最优人脸图像、最优质量得分、人脸特征、轨迹存在帧数和轨迹连续匹配失败帧数。更新后的人脸轨迹信息包括更新后的最优人脸图像、更新后的最优质量得分、更新后的人脸特征、更新后的轨迹存在帧数和更新后的轨迹连续匹配失败帧数。

在步骤S6)中，获取步骤S5)的匹配结果，根据匹配结果对所有人脸轨迹信息进行更新，获得更新后的人脸轨迹信息，包括以下步骤：

S61)对于步骤S54)中在当前帧目标图像中与人脸匹配成功的第z个已存人脸轨迹，将第z个已存人脸轨迹的轨迹存在帧数加1，将第z个已存人脸轨迹的轨迹连续匹配失败帧数置0；获取第z个已存人脸轨迹的最优人脸质量得分，判断与第z个已存人脸轨迹匹配成功的人脸的质量得分是否大于第z个已存人脸轨迹的最优人脸质量得分，若否，则不更新第z个已存人脸轨迹的最优人脸质量得分；若是，则将第z个已存人脸轨迹的最优人脸质量得分更新为与所述第z个已存人脸轨迹匹配成功的人脸的质量得分、并将第z个已存人脸轨迹的最优人脸图像更新为与所述第z个已存人脸轨迹匹配成功的人脸的人脸小图，将第z个已存人脸轨迹的人脸特征更新为与所述第z个已存人脸轨迹匹配成功的人脸的人脸特征；

S62)对步骤S5)中匹配失败的每个人脸分别创建一个新的人脸轨迹，将匹配失败的人脸的质量得分以及人脸小图分别作为新的人脸轨迹的最优人脸质量得分和最优人脸图像，将所述匹配失败的人脸的人脸特征保存为新的人脸轨迹的人脸特征，将新的人脸轨迹的轨迹存在帧数置为1，将新的人脸轨迹的轨迹连续匹配失败帧数置为0；

S63)对步骤S57)中匹配失败的已存人脸轨迹，将匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数加1；设置匹配失败阈值w，获取匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数e，判断e≥w是否成立，若是，则删除未在当前帧目标图像中匹配到人脸的已存人脸轨迹；若否，则进入步骤S7)。

S7)进行隔帧抓拍，获取第r个人脸轨迹的轨迹存在帧数d_r，r∈[1,M]，M为所有人脸轨迹的总数，在第r个人脸轨迹开始的第g帧进行抓拍，后续每隔t帧进行抓拍，判断d_r-g是否为t的倍数，若否，返回步骤S1)；若是，则进入步骤S8)；d_r-g为第r个人脸轨迹的轨迹存在帧数d_r与帧数g的差值。

S8)设置质量阈值和尺寸阈值，判断第r个人脸轨迹的更新后的最优质量得分是否超过质量阈值且第r个人脸轨迹更新后的最优人脸图像的尺寸是否超过尺寸阈值，若是，则进行最优人脸抓拍，进入步骤S9)；若否，则返回步骤S1)；

S9)设置衰减因子α，0≤α≤1，获取第r个人脸轨迹在步骤S6)中更新后的最优质量得分，将第r个人脸轨迹的最优质量得分设置为第r个人脸轨迹更新后的最优质量得分与衰减因子α之间的乘积，判断是否结束抓拍，若是，则结束抓拍；若否，则返回步骤S1)。

第二方面，本发明提供了一种视频监控中的人脸抓拍系统，包括图片采集模块、人脸检测模块、特征提取模块、质量评估模块、人脸跟踪模块、人脸抓拍模块和人脸识别模块；

图片采集模块，用于进行实时视频或图片流的采集，并将采集的视频或图片流的当前帧目标图像传入所述人脸检测模块；

人脸检测模块，对图片采集模块传入的当前帧目标图像进行人脸检测，得到当前帧目标图像中所有的人脸矩形框坐标以及与人脸矩形框坐标对应的人脸置信度，通过设置置信度阈值对人脸小图进行过滤，将人脸置信度高的人脸矩形框坐标输出至特征提取模块，若无人脸矩形框坐标输出，则跳至人脸抓拍模块；

特征提取模块，用于通过人脸检测模块输出的人脸矩形框坐标得到单独的人脸小图、并将人脸小图送入特征提取模型，得到与每个人脸对应的人脸特征，将人脸特征输出至所述人脸跟踪模块；

质量评估模块，用于通过人脸检测模块输出的人脸矩形框坐标得到人脸小图、并将人脸小图送入质量评估模型，得到每个人脸对应的质量得分，将质量得分输出至所述人脸跟踪模块；

人脸跟踪模块，用于获取特征提取模块的输出以及质量评估模块的输出，并将已存人脸轨迹与当前帧目标图像的各个人脸进行匹配，匹配时计算人脸轨迹对应的人脸特征与当前帧目标图像的各个人脸的人脸特征之间的余弦相似度，余弦相似度最高的则表明已存人脸轨迹与当前帧目标图像的人脸匹配成功，对匹配成功的已存人脸轨迹更新最优人脸图像和最优质量得分，当前帧目标图像的人脸的质量得分若大于与所述当前帧目标图像的人脸相对应的匹配成功的已存人脸轨迹的最优质量得分，则将匹配成功的已存人脸轨迹的最优质量得分更新为当前帧目标图像的人脸的质量得分，将匹配成功的已存人脸轨迹的最优人脸图像更新为与所述匹配成功的已存人脸轨迹相对应的当前帧目标图像的人脸的人脸小图，则将匹配成功的已存人脸轨迹的人脸特征更新为与所述匹配成功的已存人脸轨迹相对应的当前帧目标图像的人脸的人脸特征；

若已存人脸轨迹未在当前帧目标图像中匹配到人脸，则标记所述未在当前帧目标图像中匹配到人脸的已存人脸轨迹为匹配失败，被标记为匹配失败的已存人脸轨迹若连续多帧均匹配失败，则删除所述匹配失败的已存人脸轨迹；

若当前帧目标图像的人脸未匹配到已存人脸轨迹，则将当前帧目标图像的人脸确定为新出现在视频中的人脸，对未匹配到已存人脸轨迹的人脸进行轨迹初始化，获得新的人脸轨迹，将未匹配到已存人脸轨迹的人脸的质量得分以及人脸小图分别作为新的人脸轨迹的最优质量得分和最优人脸图像，将未匹配到已存人脸轨迹的人脸特征保存为新的人脸轨迹的人脸特征；

人脸抓拍模块，用于进行隔帧抓拍判断，第r个人脸轨迹的轨迹存在帧数d_r，r∈[1,M]，M为所有人脸轨迹的总数，在第r个人脸轨迹开始的第g帧进行抓拍，后续每隔t帧进行抓拍，当d_r-g为t的倍数时,人脸抓拍模块开始进行抓拍判断，判断人脸轨迹的最优人脸质量得分是否大于质量阈值、且判断人脸轨迹的最优人脸图像的尺寸是否大于尺寸阈值，若否，则返回图片采集模块；若是，则进行最优人脸抓拍，获得最优人脸图片；最优人脸抓拍完成后，将人脸轨迹更新后的最优人脸质量得分与衰减因子α的乘积作为人脸轨迹的最优人脸质量得分；

人脸识别模块，用于获取所述抓拍模块得到的最优人脸图片、并对最优人脸图片进行人脸特征提取和比对。

本发明通过对人脸跟踪轨迹进行[g,t]隔帧抓拍(这里的g取值较小，t取值较大)，保证了抓拍的实时性和抓拍图片的高质量。在第r个人脸轨迹开始的第g帧进行抓拍，避免了在人脸轨迹跟踪结束后才进行全局最优人脸抓拍，使得系统可以在较短时间内就获得一张局部最优人脸图片，从而可以快速进行后续的人脸识别步骤，提升系统响应速度，虽然人脸图片并非全局最优，但在第g帧内最优在一定程度上保证了图片的质量不会太差；后续每隔t帧进行抓拍，保证了当第一次抓拍的人脸质量不够好时，能够在不长的一段时间内给出可选择的另一张或多张人脸图片，保证了抓拍图片的质量，提高人脸识别的准确性；t值设置的较大，保证了同一张人脸被抓拍的图片数量较少，避免频繁抓拍给后续人脸识别模块造成压力，加快处理速度，节约系统计算资源。

另外，本发明使用衰减因子α降低人脸轨迹的最优质量得分，能够减少抓拍重复率，同时在一定程度上降低系统对质量评估模块的强依赖，提高整个系统的鲁棒性。如果每次抓拍后直接将最优质量得分归零，那么后续人脸轨迹的图片质量就算与之前相差太多也会被抓拍，这种低质量的抓拍对后续的人脸识别没有帮助，还会造成系统计算资源的浪费，降低处理效率；而如果直接取原最优人脸质量得分，对于后续人脸轨迹中与原最优人脸质量得分接近、但在某些方面如角度或光照等更适宜于人脸识别的图片，系统不会作为最优人脸保存和抓拍，这种对质量模块的强依赖会导致系统的容错率降低，质量评估模块的一次误判就可能严重影响人脸识别结果。本发明综合考虑了上述问题，使用衰减因子α降低最优质量得分，使得抓拍的人脸质量得分总是高于之前的抓拍，或与之前的抓拍得分差距在一定范围内，即保证了少量抓拍，又保证了一定的系统容错率，提高了整个系统的鲁棒性。

本发明在抓拍时进行质量阈值和尺寸阈值的判断，通过控制最优人脸图片的尺寸和质量，能够有效减少误检、低质量图片(如模糊、过曝、人脸角度较大)等情况，从而提高人脸识别的准确性；还能够通过质量和尺寸的过滤而大量减少由于光照变化、姿态变化、尺寸过小造成的跟踪中的ID切换，从而减少人脸识别模块的重复输入，提高处理效率。

本实施例还提供了一种计算机可读存储介质，本实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明解决了现有技术中人脸抓拍时大量重复抓拍且抓拍人脸质量较差、同时抓拍的实时性无法保证的问题，本发明通过对人脸跟踪轨迹进行隔帧抓拍，保证了抓拍的实时性和抓拍图片的高质量，保证了同一张人脸被抓拍的图片数量较少，避免频繁抓拍给后续人脸识别模块造成压力，加快处理速度，节约系统计算资源。使用衰减因子α降低人脸轨迹的最优质量得分，能够减少抓拍重复率，同时在一定程度上降低系统对质量评估模块的强依赖，提高整个系统的鲁棒性。在抓拍时进行质量阈值和尺寸阈值的判断，通过控制最优人脸图片的尺寸和质量，能够有效减少误检、低质量图片等情况，从而提高了后续人脸识别的准确性。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (10)

1.一种视频监控中的人脸抓拍方法，其特征在于，包括以下步骤：

S1)获取视频或图片流的当前帧目标图像；

S2)对当前帧目标图像进行人脸检测，判断是否在所述当前帧目标图像中检测到人脸，若是，则输出与每个人脸相对应的人脸矩形框坐标，进入步骤S3)；若否，则进入步骤S5)；

S3)根据人脸矩形框坐标获得与每个人脸相对应的人脸小图，对所述人脸小图进行质量评估，获得在当前帧目标图像中各个人脸的质量得分；

S4)对每个人脸小图进行特征提取，获得在当前帧目标图像中各个人脸的人脸特征；

S5)获取所有已存人脸轨迹，根据在当前帧目标图像中各个人脸的人脸特征将所有已存人脸轨迹分别与当前帧目标图像中的各人脸进行匹配；

S6)获取步骤S5)的匹配结果，根据所述匹配结果对所有人脸轨迹信息进行更新，获得更新后的人脸轨迹信息；

S7)进行隔帧抓拍，获取第r个人脸轨迹的轨迹存在帧数d_r，r∈[1,M]，M为所有人脸轨迹的总数，在第r个人脸轨迹开始的第g帧进行抓拍，后续每隔t帧进行抓拍，判断d_r-g是否为t的倍数，若否，返回步骤S1)；若是，则进入步骤S8)；

S8)设置最优抓拍条件，判断所述更新后的人脸轨迹信息是否满足所述最优抓拍条件，若是，则进行最优人脸抓拍，进入步骤S9)；若否，则返回步骤S1)；

S9)设置衰减因子α，0≤α≤1，利用衰减因子α降低人脸轨迹的最优质量得分，判断是否结束抓拍，若是，则结束抓拍；若否，则返回步骤S1)。

2.根据权利要求1所述的视频监控中的人脸抓拍方法，其特征在于，步骤S6)中，所述匹配结果包括在当前帧目标图像中匹配成功的人脸、匹配成功的已存人脸轨迹、匹配失败的人脸和/或匹配失败的已存人脸轨迹；所述人脸轨迹信息包括最优人脸图像、最优质量得分、人脸特征、轨迹存在帧数和轨迹连续匹配失败帧数。

3.根据权利要求1所述的视频监控中的人脸抓拍方法，其特征在于，在步骤S2)中，对当前帧目标图像进行人脸检测，输出与每个人脸相对应的人脸矩形框坐标的同时输出与每个人脸相对应的人脸置信度，设置置信度阈值，删除人脸置信度低于置信度阈值的人脸小图。

4.根据权利要求1所述的视频监控中的人脸抓拍方法，其特征在于，在步骤S3)中，还包括建立质量评估模型，所述质量评估模型为第一深度神经网络模型，采用深度学习方法对所述第一深度神经网络模型进行训练，将人脸小图缩放到第一预设尺寸大小、并输入至所述第一深度神经网络模型中，所述第一深度神经网络模型输出与人脸小图相对应的质量得分。

5.根据权利要求1所述的视频监控中的人脸抓拍方法，其特征在于，在步骤S4)中，还包括建立特征提取模型，所述特征提取模型为第二深度神经网络模型，采用深度学习方法对所述第二深度神经网络模型进行训练，将人脸小图缩放到第二预设尺寸大小、并输入至所述第二深度神经网络模型中，所述第二深度神经网络模型输出与人脸小图相对应的人脸特征。

6.根据权利要求1或2所述的视频监控中的人脸抓拍方法，其特征在于，在步骤S5)中，获取所有已存人脸轨迹，根据在当前帧目标图像中各个人脸的人脸特征将所有已存人脸轨迹分别与当前帧目标图像中的各人脸进行匹配，包括计算当前帧目标图像中各个人脸的人脸特征与已存人脸轨迹所保存的人脸特征之间的余弦相似度，将余弦相似度最高的人脸和已存人脸轨迹认为是同一人脸，表明余弦相似度最高的人脸和已存人脸轨迹匹配成功；若存在已存人脸轨迹未匹配到人脸，则标记未匹配到人脸的已存人脸轨迹为匹配失败，若存在人脸未匹配到已存人脸轨迹，则标记未匹配到已存人脸轨迹的人脸为匹配失败。

7.根据权利要求6所述的视频监控中的人脸抓拍方法，其特征在于，在步骤S6)中，获取步骤S5)的匹配结果，根据所述匹配结果对所有人脸轨迹信息进行更新，获得更新后的人脸轨迹信息，包括以下步骤：

S61)对于在当前帧目标图像中与人脸匹配成功的已存人脸轨迹f，将所述已存人脸轨迹f的轨迹存在帧数加1，将所述已存人脸轨迹f的轨迹连续匹配失败帧数置0；获取所述已存人脸轨迹f的最优人脸质量得分，判断与所述已存人脸轨迹f匹配成功的人脸的质量得分是否大于所述已存人脸轨迹f的最优人脸质量得分，若否，则不更新所述已存人脸轨迹f的最优人脸质量得分；若是，则将所述已存人脸轨迹f的最优人脸质量得分更新为与所述已存人脸轨迹f匹配成功的人脸的质量得分、并将所述已存人脸轨迹f的最优人脸图像更新为与所述已存人脸轨迹f匹配成功的人脸的人脸小图，将所述已存人脸轨迹f的人脸特征更新为与所述已存人脸轨迹f匹配成功的人脸的人脸特征；

S62)对匹配失败的每个人脸分别创建一个新的人脸轨迹，将匹配失败的人脸的质量得分以及人脸小图分别作为新的人脸轨迹的最优人脸质量得分和最优人脸图像，将所述匹配失败的人脸的人脸特征保存为新的人脸轨迹的人脸特征，将新的人脸轨迹的轨迹存在帧数置为1，将新的人脸轨迹的轨迹连续匹配失败帧数置为0；

S63)对匹配失败的已存人脸轨迹，将所述匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数加1；设置匹配失败阈值w，获取所述匹配失败的已存人脸轨迹的轨迹连续匹配失败帧数e，判断e≥w是否成立，若是，则删除所述未在当前帧目标图像中匹配到人脸的已存人脸轨迹；若否，则进入步骤S7)。

8.根据权利要求1或2所述的视频监控中的人脸抓拍方法，其特征在于，步骤S8)中，设置最优抓拍条件，判断所述更新后的人脸轨迹信息是否满足所述最优抓拍条件，包括设置质量阈值和尺寸阈值，判断第r个人脸轨迹的更新后的最优质量得分是否超过质量阈值且第r个人脸轨迹更新后的最优人脸图像的尺寸是否超过尺寸阈值。

9.根据权利要求1或7所述的视频监控中的人脸抓拍方法，其特征在于，步骤S9)中，利用衰减因子α降低人脸轨迹的最优质量得分包括获取第r个人脸轨迹在步骤S6)中更新后的最优质量得分，将第r个人脸轨迹的最优质量得分设置为第r个人脸轨迹更新后的最优质量得分与衰减因子α之间的乘积。

10.一种视频监控中的人脸抓拍系统，适用于如权利要求1至9任一项所述的视频监控中的人脸抓拍方法，其特征在于，包括图片采集模块、人脸检测模块、特征提取模块、质量评估模块、人脸跟踪模块、人脸抓拍模块和人脸识别模块；

所述图片采集模块，用于进行实时视频或图片流的采集，并将采集的视频或图片流的当前帧目标图像传入所述人脸检测模块；

所述人脸检测模块，对所述图片采集模块传入的当前帧目标图像进行人脸检测，得到当前帧目标图像中所有的人脸矩形框坐标以及与人脸矩形框坐标对应的人脸置信度，通过设置置信度阈值对人脸小图进行过滤，将人脸置信度高的人脸矩形框坐标输出至特征提取模块，若无人脸矩形框坐标输出，则跳至人脸抓拍模块；

所述特征提取模块，用于通过所述人脸检测模块输出的人脸矩形框坐标得到单独的人脸小图、并将人脸小图送入特征提取模型，得到与每个人脸对应的人脸特征，将人脸特征输出至所述人脸跟踪模块；

所述质量评估模块，用于通过所述人脸检测模块输出的人脸矩形框坐标得到人脸小图、并将人脸小图送入质量评估模型，得到每个人脸对应的质量得分，将质量得分输出至所述人脸跟踪模块；

所述人脸跟踪模块，用于获取所述特征提取模块的输出以及所述质量评估模块的输出，并将已存人脸轨迹与当前帧目标图像的各个人脸进行匹配，匹配时计算人脸轨迹对应的人脸特征与当前帧目标图像的各个人脸的人脸特征之间的余弦相似度，余弦相似度最高的则表明已存人脸轨迹与当前帧目标图像的人脸匹配成功，对匹配成功的已存人脸轨迹更新最优人脸图像和最优质量得分，当前帧目标图像的人脸的质量得分若大于与所述当前帧目标图像的人脸相对应的匹配成功的已存人脸轨迹的最优质量得分，则将匹配成功的已存人脸轨迹的最优质量得分更新为当前帧目标图像的人脸的质量得分，将匹配成功的已存人脸轨迹的最优人脸图像更新为与所述匹配成功的已存人脸轨迹相对应的当前帧目标图像的人脸的人脸小图，则将匹配成功的已存人脸轨迹的人脸特征更新为与所述匹配成功的已存人脸轨迹相对应的当前帧目标图像的人脸的人脸特征；

若已存人脸轨迹未在当前帧目标图像中匹配到人脸，则标记所述未在当前帧目标图像中匹配到人脸的已存人脸轨迹为匹配失败，被标记为匹配失败的已存人脸轨迹若连续多帧均匹配失败，则删除所述匹配失败的已存人脸轨迹；

若当前帧目标图像的人脸未匹配到已存人脸轨迹，则将当前帧目标图像的人脸确定为新出现在视频中的人脸，对未匹配到已存人脸轨迹的人脸进行轨迹初始化，获得新的人脸轨迹，将未匹配到已存人脸轨迹的人脸的质量得分以及人脸小图分别作为新的人脸轨迹的最优质量得分和最优人脸图像，将未匹配到已存人脸轨迹的人脸特征保存为新的人脸轨迹的人脸特征；

所述人脸抓拍模块，用于进行隔帧抓拍判断，第r个人脸轨迹的轨迹存在帧数d_r，r∈[1,M]，M为所有人脸轨迹的总数，在第r个人脸轨迹开始的第g帧进行抓拍，后续每隔t帧进行抓拍，当d_r-g为t的倍数时,人脸抓拍模块开始进行抓拍判断，判断所述人脸轨迹的最优人脸质量得分是否大于质量阈值、且判断所述人脸轨迹的最优人脸图像的尺寸是否大于尺寸阈值，若否，则返回图片采集模块；若是，则进行最优人脸抓拍，获得最优人脸图片；最优人脸抓拍完成后，将所述人脸轨迹更新后的最优人脸质量得分与衰减因子α的乘积作为所述人脸轨迹的最优人脸质量得分；

所述人脸识别模块，用于获取所述抓拍模块得到的最优人脸图片、并对所述最优人脸图片进行人脸特征提取和比对。

Images