CN112766230A - 一种视频流人员在线时长估计方法及对应系统 - Google Patents

Abstract

本发明公开了一种视频流人员在线时长估计方法，提取获得的多幅图像中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；对所述所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，其中对所述人脸区域和人体区域进行绑定，得到跟踪对，其中对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象；新建一个空的人员列表，用于暂存所述候选对象；计算所述候选对象的特征与所述特征库之间的匹配度，基于所述匹配度，分析所述人员列表中所述候选对象属性，确定所述人员的在线时长。采用本申请，可提高视频中人员在线时长的准确评估，且不需要额外设备，成本低。

Description

一种视频流人员在线时长估计方法及对应系统

【技术领域】

本发明涉及计算机技术领域，尤其涉及一种视频流人员在线时长估计方法及对应系统。

【背景技术】

近年来，随着科学技术的进步，人脸识别技术已经成为视觉和识别领域的一项热门课题。人脸识别技术是利用摄像机或具有摄像头的其他设备采集人体图像或视频流，并自动跟踪人脸，进而对检测到的人脸图像进行识别。在一些大型活动中，往往需要统计该活动某个区域中的人员的在场时长。现有技术往往是捕捉活动区域中的人脸图像，通过提取捕捉到的人脸图像特征来确定人员的在场时长。但是，很多时候捕捉到的人脸图像，因为人员离摄像头的位置远近不一，人脸图像会产生重叠，或是人员移动幅度偏大造成获取人脸图像丢失，这会导致所统计到的人脸图像不准确，对该人员的在线时长计算错误。

【发明内容】

本发明的目的就是解决现有技术中的问题，提出一种视频流人员在线时长估计方法及对应系统，本发明无需额外硬件开销，部署成本低，解决了人脸丢失、人体重叠、人员身份标识号交换导致的在线时长估计错误问题，可以对视频流中出现的人员在线时长准确估计。

为实现上述目的，本发明提出了一种视频流人员在线时长估计方法，包括：

获取视频流，所述视频流具有多幅图像，根据检测算法提取多幅图像中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；

对所述所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，构建特征库；

对所述人脸区域和人体区域进行绑定，得到跟踪对，对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象，候选对象存储在人员列表内，其中基于关联性阈值存储人脸区域信息或人体区域信息；

可选的，所述候选人员列表包括以下字段：对象存在时间、对象存在标志、对象身份标志、最小人脸距离。

根据所述候选对象的特征与所述特征库，计算所述候选对象的最小人脸距离和最优匹配距离，基于所述最小人脸距离和最优匹配距离，分析所述人员列表中所述候选对象属性，确定所述人员的在线时长。

其中将所述跟踪对暂存为候选对象步骤包括：

计算所述待跟踪对象的人脸特征信息获取到最小人脸距离；根据所述待跟踪对象中任一人体区域和其他人体区域重叠的面积比例获取到最优匹配度，过滤掉不满足所述最小人脸距离、最优匹配距离和匹配阈值大小关系的人体区域和人脸区域，绑定所述待跟踪对象的人脸区域和人体区域暂存为所述候选对象，其中匹配阈值包括第一阈值和第二阈值。

分析所述人员列表中所述候选对象属性步骤包括：

根据所述候选对象的人脸特征消息计算所有所述特征库中人脸特征与所有所述候选对象人脸特征库获取小人脸距离，基于对所述最小人脸距离匹配上的所述候选对象，更新所述人员列表属性。

其中，更新所述人员列表属性步骤包括：

计算所有所述特征库中的人脸特征与所有所述候选对象人脸特征库的余弦距离，生成2维余弦距离矩阵，使用匈牙利算法得到每个候选对象与人脸特征库中人脸的最小人脸距离，对所述最小人脸距离小于第一关联性阈值的候选对象，将其候选对象对应的字段添加进所述人员列表中。

进一步，分析所述人员列表中所述候选对象属性的步骤包括：

根据所述候选对象人体特征点信息计算所有所述特征库中人体特征与所述候选对象人体特征库的最优匹配距离，基于对所述最优匹配距离匹配上的所述候选对象，更新所述人员列表属性。

其中，计算所有所述特征库中的人体特征与所述候选对象人体特征的欧式距离后，生成2维欧式距离矩阵，使用匈牙利算法得到每个候选对象与人体特征库中人体的最优匹配距离，对所述最优匹配距离小于或等于所述第二关联性阈值的候选对象，将其候选对象对应的字段添加进所述人员列表中，否则，在所述人员列表中新建一个对象，存储所述最优距离不小于第二关联性阈值的候选对象。

其中，其中人脸特征信息为人眼特征信息，根据所述待跟踪对象的人脸特征信息获取到所述最小人脸距离大于第一阈值时，存储所述人脸区域信息；根据所述待跟踪对象的人体特征信息获取到最优匹配距离小于第二阈值时，存储所述人体区域信息。

可选的，当人脸特征信息为人眼特征信息，根据所述待跟踪对象的人脸特征信息获取到所述最小人脸距离大于第一关联性阈值时，存储所述人脸区域信息；根据所述待跟踪对象的人体特征信息获取到最优匹配距离小于第二关联性阈值时，存储所述人体区域信息。本申请中第一关联性阈值为0.42，在其他申请中，第一关联性阈值数值可在0.4～1.5之间。其中第二关联性阈值为50％的设定是为了更好的过滤人体区域重叠部分，实现准确估计该人员在线时长，在其他申请中，第二关联性阈值可在40％～60％之间。

进一步，当确定所述对象的在线时长后，在下一时刻循环上述流程，对所述人员列表进行更新确定所述对象的在线时长。

本申请还提出一种视频流人员在线时长估计系统，用于实现所述视频流人员在线时长估计方法，包括：

视频流获取模块，用于获取视频流，将获取视频的第一帧作为起始帧，并从摄像头持续获得后续帧数据，视频流具有多幅图像，根据检测算法提取多幅图像中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；特征库构建模块，用于对所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，构建特征库；

候选对象确认模块，用于对所述人脸区域和人体区域进行绑定，得到跟踪对，对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象，存储在人员列表内，其中基于关联性阈值存储人脸区域信息和人体区域信息；

在线时长计算单元，用于计算候选对象的特征与所述特征库之间的最小人脸距离和最优匹配距离，基于最小人脸距离和最优匹配距离，所述人员列表中所述候选对象属性，确定人员的在线时长。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序包括程序命令，所述程序指令被处理器执行时，执行上述任一项所述的方法步骤。

本发明具有以下有益效果：对人脸区域和人体区域进行绑定，得到跟踪对，对跟踪对进行特征提取，基于特征提取将跟踪对暂存为候选对象，新建的人员列表中存入的候选对象此时有能反应该对象的在线时长，但是该在线时长不能匹配上该对象的名字。对获取到的人体区域提取到的特征与特征数据库进行计算比较，准确的把未能匹配上的候选对象匹配成功，并给标记上名字，使得该候选对象的在线时长被标记上正确的姓名。同理，对获取到的人脸区域提取到的特征与特征数据库进行计算比较，准备的把未能匹配上的候选对象匹配成功，并被标记上名字，使得剩余其他候选对象的在线时长都会被标记正确的姓名。该方法，不需要额外的设备，只需重复执行将未能匹配成功的对象进行再次匹配，就可以获得该对象在线时长，且在给对象在线时长匹配正确姓名时，在绑定的具有人脸区域和人体区域的跟踪对之后的步骤，从人脸特征和人体特征两方面对未匹配上的人员进行匹配，双重确保了匹配该对象在线时长的准确性。

本发明的特征及优点将通过实施例结合附图进行详细说明。

【附图说明】

图1是本发明实施例摄像头获取的视频流在某时刻对应的图像帧；

图2是本发明实施例某时刻摄像头获取的因为人体重叠，使得人体被过滤的图像帧；

图3是本发明实施例某时刻摄像头获取因为人脸偏转，使得人脸被过滤的图像帧；

图4是本发明实施例人脸丢失时，系统统计时长的时长界面图；

图5是本发明实施例人员大范围移动时，系统统计时长的时长界面图；

图6是本发明实施例系统统计时长的流程图；

图7是本发明实施例中计算机设备的结构框图。

【具体实施方式】

本发明实施例提供了一种视频流人员在线时长估计方法，请参考图6，具体包括：

步骤S10，获取视频流，将获取视频的第一帧作为起始帧，并从摄像头持续获得后续帧数据，视频流具有多幅图像帧，根据检测算法提取多幅图像帧中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；

步骤S20，对所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，构建特征库；

步骤S30，对人脸区域和人体区域进行绑定，得到跟踪对，对跟踪对进行特征提取，基于特征提取将跟踪对暂存为候选对象，其中基于关联性阈值存储人脸区域信息或人体区域信息，候选对象存储在人员列表内；

步骤S40，根据候选对象的特征与所述特征库，计算候选对象的最小人脸距离和最优匹配距离，基于最小人脸距离和最优匹配距离，分析所述人员列表中的候选对象属性，确定人员的在线时长。

候选人员列表包括以下字段：对象存在时间、对象存在标志、对象身份标志、最小人脸距离。

参考图1，为Ⅰ时刻摄像头拍取学生在实验室区域的视频流中的图像帧，对图像帧中的7个学生设定为待跟踪对象1-7，使用RetinaFace检测该图像帧，获取人脸区域，使用InsightFace提取人脸区域内的人脸特征，构建人脸特征库；使用YOLO检测该图像帧，获取人体区域，使用ReID提取人体区域内的人体特征，得到如图1所示的待跟踪对象1-7。

其中，待跟踪对象1、3、7的身份因为遮挡等原因没有识别出，身份标识号缺失，导致没有识别出姓名。

对人脸区域和人体区域进行绑定，得到跟踪对，对跟踪对进行特征提取，基于特征提取将跟踪对暂存为候选对象，候选对象存储在人员列表内，其中基于关联性阈值存储人脸区域或人体区域；

具体包括：使用使用RetinaFace检测该图像帧，获取待跟踪对象1-7人眼区域和双眼坐标，使用InsightFace提取待跟踪对象1-7的人脸特征。当待跟踪对象1-7双眼的水平距离与人脸区域水平宽度的比例大于第一关联性阈值0.42时，则存储该人脸区域，过滤掉因待跟踪对象侧脸朝向摄像头造成人脸丢失的人脸区域。当任意其中一个待跟踪对象和其他待跟踪对象的人体区域重叠部分面积占该待跟踪对象人体区域面积的比例小于第二关联性阈值50％时，则存储该人体区域信息，依次类推过滤重叠的人体区域信息，对所述人脸区域和人体区域进行绑定，得到跟踪对，其中对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象，候选对象存储在人员列表内，其中基于关联性阈值存储人脸区域信息或人体区域信息。

在本实施例中，新建一个空的人员列表，用于暂存候选对象。在其他实施例中，也可以利用现有的人员列表来暂存候选对象。

参考图1，此时图像帧中有候选对象1-7。此时空的人员列表对应的字段有候选对象2、4、5、6：姓名、人体特征、人脸特征、在线时长；候选对象1、3、7：人体特征、人脸特征、在线时长。

根据候选对象的人脸特征信息计算特征库中所有人脸特征与所有候选对象人脸特征库获取最小人脸距离，基于对最小人脸距离匹配上的候选对象，将候选对象对应的字段——身份标志和最小人脸距离，添加进人员列表中。

根据候选对象的人体特征信息计算特征库中所有人体特征与所有候选对象人体特征库的最优匹配距离，基于对最优匹配距离匹配上的候选对象，将候选对象对应的字段——身份标志和最小人脸距离，添加进人员列表中。

参考图2，在Ⅱ时刻视频流获得的图像帧存在人体重叠的情况，此时根据上述提到的存储人体区域的方法存储：候选对象2、6、7。此时可获得Ⅰ时刻未获得的候选对象1、7的身份标识号。计算特征库中所有人体特征与候选对象1、2、6、7人体特征信息计算库中所有人体特征与候选对象人体特征库1、2、6、7的最优匹配距离，基于对最优匹配距离匹配上的候选对象1、7对应的字段——身份标志和最小人脸距离，添加进人员列表中。

即此时人员列表内容有候选对象1、2、6、7：姓名、人体特征、人脸特征、在线时长；候选对象3、4、5：人体特征、人脸特征、在线时长。

参考图3，在Ⅲ时刻视频流获得的图像存在人脸偏转的情况，对人脸区域和人体区域进行绑定，得到跟踪对1、5、6，提取跟踪对1、5、6特征，暂存为候选对象1、5、6。计算特征库中所有人脸特征与所有候选对象人脸特征的余弦距离后，生成2维余弦距离矩阵，使用匈牙利算法每个候选对象与人脸特征库中人脸的最小人脸距离，对所述最小人脸距离小于第二匹配阈值为1.2的候选对象5，将候选对象5对应的字段——身份标志和最小人脸距离，添加进人员列表中。

即此时人员列表内容有候选对象1、2、6、7、5：姓名、人体特征、人脸特征、在线时长；候选对象3、4：人体特征、人脸特征、在线时长。

计算该帧中所有候选对象的人体特征与所有候选对象的人体特征之间的欧式距离后，生成2维欧式距离矩阵，使用匈牙利算法得到每个候选对象与人体特征库中人体的最优匹配距离，对最优匹配距离小于200的候选对象，将其候选对象3的姓名和最小人脸距离添加进所述人员列表，否则，在所述人员列表中新建一个对象，存储最优距离不小于200的候选对象。

参考图4和图5，为系统统计时长最终结果的展示图。

参考图5，根据上述提到存储人体区域的方法，存储：候选对象1、3、4，对人体区域1、3、4的人体特征进行特征提取，计算所有所述特征库中的人体特征与所述候选对象人体特征的欧式距离后，生成2维欧式距离矩阵，使用匈牙利算法得到每个候选对象与人体特征库中人体的最优匹配距离，对所述最优匹配距离小于或等于所述第二匹配阈值为200的候选对象，将其候选对象1、3、4对应的字段添加进所述人员列表中，得到如图5所示的人员最终在线时长评估结果。

在一个实施例中，如果当前检测对象为离线视频流，每隔25帧，视频流人员列表中存在标志位为1，则更新对应的候选对象的存在时间，并将存在标志位置0；如果当前检测对象为实时视频流，在1秒内，视频流人员列表中存在标志位为1，则更新对应的人员对象存在时间，并将存在标志位置0。

离线的视频，总帧数固定，所以优选的按照25帧为一个检测范围，而在线视频流，总时长不固定，因此总帧数不固定，所以没法按照帧划分，为更好直观的理解本发明，所以优选的选用1秒来作为一个检测范围。

参考图6，本发明实施例还提出了一种视频流人员在线时长的获取系统，包括：

视频流获取模块，用于获取视频流，将获取视频的第一帧作为起始帧，并从摄像头持续获得后续帧数据，视频流具有多幅图像，根据检测算法提取多幅图像中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；

特征库构建模块，用于对所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，构建特征库；

候选对象确认模块，用于基于视频流中的人脸区域和人体区域之间的区域关联性，对人脸区域和人体区域进行绑定，得到跟踪对，其中对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象，存储在人员列表内；

在线时长计算单元，用于计算候选对象的特征与所述特征库之间的最小人脸距离和最优匹配距离，基于最小人脸距离和最优匹配距离，分析所述人员列表中所述候选对象属性，确定人员的在线时长。

参考图7，在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于人脸检测和人体检测评估人员在线时长方法的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述基于人脸检测和人体检测评估人员在线时长方法的步骤。

上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。

Claims (10)

1.一种视频流人员在线时长估计方法，其特征在于，包括：

获取视频流，所述视频流具有多幅图像帧，根据检测算法提取多幅图像帧中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；

对所述所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，构建特征库；

对所述人脸区域和人体区域进行绑定，得到跟踪对，对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象，候选对象存储在人员列表内，其中基于关联性阈值存储人脸区域信息或人体区域信息；

根据所述候选对象的特征与所述特征库，计算所述候选对象的最小人脸距离和最优匹配距离，基于所述最小人脸距离和最优匹配距离，分析所述人员列表中所述候选对象属性，确定所述人员的在线时长。

2.如权利要求1所述的一种视频流人员在线时长估计方法，其特征在于，其中将所述跟踪对暂存为候选对象步骤包括：

计算所述待跟踪对象的人脸特征信息获取到最小人脸距离；根据所述待跟踪对象中任一人体区域和其他人体区域重叠的面积比例获取到最优匹配度，过滤掉不满足所述最小人脸距离、最优匹配距离和匹配阈值大小关系的人体区域和人脸区域，绑定所述待跟踪对象的人脸区域和人体区域暂存为所述候选对象，其中匹配阈值包括第一阈值和第二阈值。

3.如权利要求1所述的一种视频流人员在线时长估计方法，其特征在于，分析所述人员列表中所述候选对象属性步骤包括：

根据所述候选对象的人脸特征消息计算所有所述特征库中人脸特征与所有所述候选对象人脸特征库获取小人脸距离，基于对所述最小人脸距离匹配上的所述候选对象，更新所述人员列表属性。

4.如权利要求3所述的一种视频流人员在线时长估计方法，其特征在于，更新所述人员列表属性步骤包括：

计算所有所述特征库中的人脸特征与所有所述候选对象人脸特征库的余弦距离，生成2维余弦距离矩阵，使用匈牙利算法得到每个候选对象与人脸特征库中人脸的最小人脸距离，对所述最小人脸距离小于第一关联性阈值的候选对象，将其候选对象对应的字段添加进所述人员列表中。

5.如权利要求1所述的一种视频流人员在线时长估计方法，其特征在于，分析所述人员列表中所述候选对象属性的步骤包括：

根据所述候选对象人体特征点信息计算所有所述特征库中人体特征与所述候选对象人体特征库的最优匹配距离，基于对所述最优匹配距离匹配上的所述候选对象，更新所述人员列表属性。

6.如权利要求5所述的一种视频流人员在线时长估计方法，其特征在于，计算所有所述特征库中的人体特征与所述候选对象人体特征的欧式距离后，生成2维欧式距离矩阵，使用匈牙利算法得到每个候选对象与人体特征库中人体的最优匹配距离，对所述最优匹配距离小于或等于第二关联性阈值的候选对象，将其候选对象对应的字段添加进所述人员列表中，否则，在所述人员列表中新建一个对象，存储所述最优距离不小于第二关联性阈值的候选对象。

7.如权利要求1所述的一种视频流人员在线时长估计方法，其特征在于，当人脸特征信息为人眼特征信息，根据所述待跟踪对象的人脸特征信息获取到所述最小人脸距离大于第一关联性阈值时，存储所述人脸区域信息；根据所述待跟踪对象的人体特征信息获取到最优匹配距离小于第二关联性阈值时，存储所述人体区域信息。

8.一种视频流人员在线时长估计系统，其特征在于，包括：

视频流获取模块，用于获取视频流，将获取视频的第一帧作为起始帧，并从摄像头持续获得后续帧数据，视频流具有多幅图像，根据检测算法提取多幅图像中的人脸区域和人体区域，得到该视频帧对应的待跟踪对象；特征库构建模块，用于对所有视频帧的待跟踪对象通过特征提取得到的人脸特征和人体特征，构建特征库；

候选对象确认模块，用于对所述人脸区域和人体区域进行绑定，得到所述跟踪对，对所述跟踪对进行特征提取，基于所述特征提取将所述跟踪对暂存为候选对象，存储在人员列表内，其中基于关联性阈值存储人脸区域信息和人体区域信息；

在线时长计算单元，用于计算候选对象的特征与所述特征库之间的最小人脸距离和最优匹配距离，基于最小人脸距离和最优匹配距离，分析所述人员列表中所述候选对象属性，确定人员的在线时长。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序包括程序命令，所述程序指令被处理器执行时，执行如权利要求1-7任一项所述的方法。

Images