CN112818921A - 一种基于人脸速度估计的排队时长测量方法 - Google Patents

Abstract

本发明涉及计算机科学技术领域，尤其为一种基于人脸速度估计的排队时长测量方法，其方法包括如下步骤：监控相机采集排队区域内的视频，经过解码后发送给人形头部检测器，人形头部检测器收到实时帧图像后，检测出其中的人形头部区域，同时每个人形头部由一个向量(x，y，t)表示；本发明利用精确的人脸识别技术，其能够在排队过程中不间断测量当前排队等待时长和排队长度，无需标定监控相机的内外参数，给工作人员带来了便利，解决了现有的一些基于视觉的测量方法存在一定的缺陷，由于这些方法在实施过程中需要标定相机的内外参数，导致安装调试过程复杂，进而给工作人员带来不便，并影响工作效率的问题。

Description

一种基于人脸速度估计的排队时长测量方法

技术领域

本发明涉及计算机科学技术领域，具体为一种基于人脸速度估计的排队时长测量方法。

背景技术

排队是现代社会生活中经常发生的事件，如机场安检、火车站进站、医院挂号、柜台收银、门店等位等，不胜枚举。任何场合下的长时间排队无疑都不是一件令人愉快的事情，顾客排队时间过长更是经营者服务能力差的表现。所以，顾客和经营者都有强烈的缩短排队时长的需求。而缩短排队时长的基本前提是准确及时的获知排队的基本情况，如当前排队时长是多少，排队时长如何随时间变化，最长是多少等。

然而当前并没有一种普遍适用的测量排队时长的手段，个别场合可依靠取号机大致的确定排队人数，多数场合只能依靠人眼观察。近年来，随着监控相机的普及，也出现了一些基于视觉的测量技术，但这些方法需要标定相机内外参数，安装调试过程复杂，影响工作效率，为此我们提出一种利用精确的人脸识别技术，能够在排队过程中不间断测量当前排队等待时长和排队长度，无需标定监控相机的内外参数，给工作人员带来便利的排队时长测量方法来解决此问题。

发明内容

本发明的目的在于提供一种基于人脸速度估计的排队时长测量方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于人脸速度估计的排队时长测量方法，其方法包括如下步骤：

(S1)：监控相机采集排队区域内的视频，经过解码后发送给人形头部检测器，人形头部检测器收到实时帧图像后，检测出其中的人形头部区域，同时每个人形头部由一个向量(x，y，t)表示，其中x，y为人形头部中心在图像中的坐标，t为人形头部的采集时间；

(S2)：人脸特征描述器由图像质量评价模块和人脸特征提取模块组成，人脸特征描述器收到人形头部检测器的检测结果后，由图像质量评价模块通过分析头部图像的姿态、清晰度等多个维度的信息后，选择其中有清晰完整人脸的人形头部图像，然后用人脸特征提取模块将人脸图像映射为人脸特征向量；

(S3)：将30min以内的所有人脸特征保存在一个缓存池中，当出现新的质量满足要求的人脸图像时，则用其人脸特征在缓存池中进行匹配搜索，查找与其相似度最大的人脸特征，如果最大相似度大于既定阈值，则认为匹配成功，剔除间隔时间过小的匹配，然后获取匹配成功的2个人脸特征所代表人脸图像的位置和帧采样时间，发送给排队速度估计器；

(S4)：排队速度估计器动态维护一个“点对——人数”映射表，点对为人员队列上的两点的图像坐标，可用向量表示为(X，Y，U，V)，其中(X，Y)为近相机点坐标，(U，V)为远相机点坐标，人数为人员队列上两点之间的人员个数，在每个帧周期，排队速度估计器获取人形头部检测器的检测结果，得到队列上排队人员的图像坐标(X1，Y1)(X2，Y2)…(Xn，Yn)和当前帧采样时间Ti，排队人员坐标按其到相机的距离从近到远排列，当前排队长度用人数表示即为n，然后将n个坐标穷举组合为m＝n*(n-1)/2个“点对”，并统计每个“点对”之间的点的个数，当前帧得到的“点对——人数”样本可表示为((X1，Y1，U1，V1)，P1，Ti)，((X2，Y1，U1，V1)，P2，Ti)…((Xm，Ym，Um，Vm)，Pm，Ti)；

(S5)：更新“点对——人数”映射表，其具体过程为随机抽取1/10的当前帧“点对——人数”的样本送入映射表，并从映射表中删除采集时间超时的“点对——人数”样本；

(S6)：排队速度估计器收到新的匹配成功的人脸对信息后，设该人脸对的图像坐标分别为(Xnew，Ynew)，(Unew，Vnew)，帧采样时间分别为Ti1，Ti2，则人脸对坐标可向量表示为(Xnew，Ynew，Unew，Vnew)，然后在映射表中搜索与其欧式距离最近的前k个“点对”，取得前k个“点对”对应的“人数”，对k个“人数”求平均得到Pmean，Pmean即为Ti1至Ti2时间内队列通过人数的估计值，进而得到排队速度(Ti2-Ti1)/Pmean，单位为秒/人，由此可得当前排队长度为n，排队速度为(Ti2-Ti1)/Pmean，则排队等待时长为n*(Ti2-Ti1)/Pmean。

优选的，所述步骤(S1)中，在视频采集的过程中采用大于10帧/秒的处理频率。

优选的，所述步骤(S1)中，人形头部检测器的算法为YOLO或CenterNet。

优选的，所述步骤(S3)中，在查找相似度最大的人脸特征时，采用余弦距离的方法进行查找。

优选的，所述步骤(S3)中，既定阈值为0.6或0.6以上。

优选的，所述步骤(S3)中，对间隔时间在30s或30s以内的匹配进行剔除。

优选的，所述步骤(S4)中，“点对”之间的点个数包括近相机点，不包括远相机点。

优选的，所述步骤(S5)中，将采集时间超过2h的样本判定为超时，并进行删除。

优选的，所述步骤(S6)中，k的数值为3或3以上。

优选的，所述步骤(S6)中，将当前时刻前3分钟内取得的测量值求平均，如果当前时刻前3分钟内取得的测量值不足5次，则取最近的5次测量值求平均。

与现有技术相比，本发明的有益效果如下：

本发明利用精确的人脸识别技术，其能够在排队过程中不间断测量当前排队等待时长和排队长度，无需标定监控相机的内外参数，给工作人员带来了便利，解决了现有的一些基于视觉的测量方法存在一定的缺陷，由于这些方法在实施过程中需要标定相机的内外参数，导致安装调试过程复杂，进而给工作人员带来不便，并影响工作效率的问题。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

一种基于人脸速度估计的排队时长测量方法，其方法包括如下步骤：

(S1)：监控相机采集排队区域内的视频，经过解码后发送给人形头部检测器，人形头部检测器收到实时帧图像后，检测出其中的人形头部区域，同时每个人形头部由一个向量(x，y，t)表示，其中x，y为人形头部中心在图像中的坐标，t为人形头部的采集时间，其中在视频采集的过程中采用大于10帧/秒的处理频率，由于人员排队过程中脸部正面相机的时间很短，为提高人脸匹配成功的频率，因此需要采用较高的处理帧率；

(S2)：人脸特征描述器由图像质量评价模块和人脸特征提取模块组成，人脸特征描述器收到人形头部检测器的检测结果后，由图像质量评价模块通过分析头部图像的姿态、清晰度等多个维度的信息后，选择其中有清晰完整人脸的人形头部图像，然后用人脸特征提取模块将人脸图像映射为人脸特征向量；

(S3)：将30min以内的所有人脸特征保存在一个缓存池中，当出现新的质量满足要求的人脸图像时，则用其人脸特征在缓存池中进行匹配搜索，查找与其相似度最大的人脸特征，如果最大相似度大于既定阈值，则认为匹配成功，剔除间隔时间过小的匹配，然后获取匹配成功的2个人脸特征所代表人脸图像的位置和帧采样时间，发送给排队速度估计器，其中在查找相似度最大的人脸特征时，采用余弦距离的方法进行查找；

(S4)：排队速度估计器动态维护一个“点对——人数”映射表，点对为人员队列上的两点的图像坐标，可用向量表示为(X，Y，U，V)，其中(X，Y)为近相机点坐标，(U，V)为远相机点坐标，人数为人员队列上两点之间的人员个数，在每个帧周期，排队速度估计器获取人形头部检测器的检测结果，得到队列上排队人员的图像坐标(X1，Y1)(X2，Y2)…(Xn，Yn)和当前帧采样时间Ti，排队人员坐标按其到相机的距离从近到远排列，当前排队长度用人数表示即为n，然后将n个坐标穷举组合为m＝n*(n-1)/2个“点对”，并统计每个“点对”之间的点的个数，当前帧得到的“点对——人数”样本可表示为((X1，Y1，U1，V1)，P1，Ti)，((X2，Y1，U1，V1)，P2，Ti)…((Xm，Ym，Um，Vm)，Pm，Ti)，其中“点对”之间的点个数包括近相机点，不包括远相机点。

(S5)：更新“点对——人数”映射表，其具体过程为随机抽取1/10的当前帧“点对——人数”的样本送入映射表，并从映射表中删除采集时间超时的“点对——人数”样本；

(S6)：排队速度估计器收到新的匹配成功的人脸对信息后，设该人脸对的图像坐标分别为(Xnew，Ynew)，(Unew，Vnew)，帧采样时间分别为Ti1，Ti2，则人脸对坐标可向量表示为(Xnew，Ynew，Unew，Vnew)，然后在映射表中搜索与其欧式距离最近的前k个“点对”，取得前k个“点对”对应的“人数”，对k个“人数”求平均得到Pmean，Pmean即为Ti1至Ti2时间内队列通过人数的估计值，进而得到排队速度(Ti2-Ti1)/Pmean，单位为秒/人，由此可得当前排队长度为n，排队速度为(Ti2-Ti1)/Pmean，则排队等待时长为n*(Ti2-Ti1)/Pmean。

实施例二

一种基于人脸速度估计的排队时长测量方法，其方法包括如下步骤：

(S1)：监控相机采集排队区域内的视频，经过解码后发送给人形头部检测器，人形头部检测器收到实时帧图像后，检测出其中的人形头部区域，同时每个人形头部由一个向量(x，y，t)表示，其中x，y为人形头部中心在图像中的坐标，t为人形头部的采集时间，其中在视频采集的过程中采用大于10帧/秒的处理频率，由于人员排队过程中脸部正面相机的时间很短，为提高人脸匹配成功的频率，因此需要采用较高的处理帧率，同时人形头部检测器的算法为YOLO或CenterNet；

(S2)：人脸特征描述器由图像质量评价模块和人脸特征提取模块组成，人脸特征描述器收到人形头部检测器的检测结果后，由图像质量评价模块通过分析头部图像的姿态、清晰度等多个维度的信息后，选择其中有清晰完整人脸的人形头部图像，然后用人脸特征提取模块将人脸图像映射为人脸特征向量；

(S3)：将30min以内的所有人脸特征保存在一个缓存池中，当出现新的质量满足要求的人脸图像时，则用其人脸特征在缓存池中进行匹配搜索，查找与其相似度最大的人脸特征，如果最大相似度大于既定阈值，则认为匹配成功，剔除间隔时间过小的匹配，然后获取匹配成功的2个人脸特征所代表人脸图像的位置和帧采样时间，发送给排队速度估计器，其中在查找相似度最大的人脸特征时，采用余弦距离的方法进行查找，同时既定阈值为0.6或0.6以上；

(S4)：排队速度估计器动态维护一个“点对——人数”映射表，点对为人员队列上的两点的图像坐标，可用向量表示为(X，Y，U，V)，其中(X，Y)为近相机点坐标，(U，V)为远相机点坐标，人数为人员队列上两点之间的人员个数，在每个帧周期，排队速度估计器获取人形头部检测器的检测结果，得到队列上排队人员的图像坐标(X1，Y1)(X2，Y2)…(Xn，Yn)和当前帧采样时间Ti，排队人员坐标按其到相机的距离从近到远排列，当前排队长度用人数表示即为n，然后将n个坐标穷举组合为m＝n*(n-1)/2个“点对”，并统计每个“点对”之间的点的个数，当前帧得到的“点对——人数”样本可表示为((X1，Y1，U1，V1)，P1，Ti)，((X2，Y1，U1，V1)，P2，Ti)…((Xm，Ym，Um，Vm)，Pm，Ti)，其中“点对”之间的点个数包括近相机点，不包括远相机点。

(S5)：更新“点对——人数”映射表，其具体过程为随机抽取1/10的当前帧“点对——人数”的样本送入映射表，并从映射表中删除采集时间超时的“点对——人数”样本，其中将采集时间超过2h的样本判定为超时，并进行删除，用以对样本保持更新，减少占用空间；

(S6)：排队速度估计器收到新的匹配成功的人脸对信息后，设该人脸对的图像坐标分别为(Xnew，Ynew)，(Unew，Vnew)，帧采样时间分别为Ti1，Ti2，则人脸对坐标可向量表示为(Xnew，Ynew，Unew，Vnew)，然后在映射表中搜索与其欧式距离最近的前k个“点对”，取得前k个“点对”对应的“人数”，对k个“人数”求平均得到Pmean，Pmean即为Ti1至Ti2时间内队列通过人数的估计值，进而得到排队速度(Ti2-Ti1)/Pmean，单位为秒/人，由此可得当前排队长度为n，排队速度为(Ti2-Ti1)/Pmean，则排队等待时长为n*(Ti2-Ti1)/Pmean，其中k的数值为3或3以上。

实施例三

一种基于人脸速度估计的排队时长测量方法，其方法包括如下步骤：

(S1)：监控相机采集排队区域内的视频，经过解码后发送给人形头部检测器，人形头部检测器收到实时帧图像后，检测出其中的人形头部区域，同时每个人形头部由一个向量(x，y，t)表示，其中x，y为人形头部中心在图像中的坐标，t为人形头部的采集时间，其中在视频采集的过程中采用大于10帧/秒的处理频率，由于人员排队过程中脸部正面相机的时间很短，为提高人脸匹配成功的频率，因此需要采用较高的处理帧率，同时人形头部检测器的算法为YOLO或CenterNet；

(S2)：人脸特征描述器由图像质量评价模块和人脸特征提取模块组成，人脸特征描述器收到人形头部检测器的检测结果后，由图像质量评价模块通过分析头部图像的姿态、清晰度等多个维度的信息后，选择其中有清晰完整人脸的人形头部图像，然后用人脸特征提取模块将人脸图像映射为人脸特征向量；

(S3)：将30min以内的所有人脸特征保存在一个缓存池中，当出现新的质量满足要求的人脸图像时，则用其人脸特征在缓存池中进行匹配搜索，查找与其相似度最大的人脸特征，如果最大相似度大于既定阈值，则认为匹配成功，剔除间隔时间过小的匹配，然后获取匹配成功的2个人脸特征所代表人脸图像的位置和帧采样时间，发送给排队速度估计器，其中在查找相似度最大的人脸特征时，采用余弦距离的方法进行查找，同时既定阈值为0.6或0.6以上，且对间隔时间在30s或30s以内的匹配进行剔除，用以保证得到的匹配点之间有合理的移动距离；

(S4)：排队速度估计器动态维护一个“点对——人数”映射表，点对为人员队列上的两点的图像坐标，可用向量表示为(X，Y，U，V)，其中(X，Y)为近相机点坐标，(U，V)为远相机点坐标，人数为人员队列上两点之间的人员个数，在每个帧周期，排队速度估计器获取人形头部检测器的检测结果，得到队列上排队人员的图像坐标(X1，Y1)(X2，Y2)…(Xn，Yn)和当前帧采样时间Ti，排队人员坐标按其到相机的距离从近到远排列，当前排队长度用人数表示即为n，然后将n个坐标穷举组合为m＝n*(n-1)/2个“点对”，并统计每个“点对”之间的点的个数，当前帧得到的“点对——人数”样本可表示为((X1，Y1，U1，V1)，P1，Ti)，((X2，Y1，U1，V1)，P2，Ti)…((Xm，Ym，Um，Vm)，Pm，Ti)，其中“点对”之间的点个数包括近相机点，不包括远相机点。

(S5)：更新“点对——人数”映射表，其具体过程为随机抽取1/10的当前帧“点对——人数”的样本送入映射表，并从映射表中删除采集时间超时的“点对——人数”样本，其中将采集时间超过2h的样本判定为超时，并进行删除，用以对样本保持更新，减少占用空间；

(S6)：排队速度估计器收到新的匹配成功的人脸对信息后，设该人脸对的图像坐标分别为(Xnew，Ynew)，(Unew，Vnew)，帧采样时间分别为Ti1，Ti2，则人脸对坐标可向量表示为(Xnew，Ynew，Unew，Vnew)，然后在映射表中搜索与其欧式距离最近的前k个“点对”，取得前k个“点对”对应的“人数”，对k个“人数”求平均得到Pmean，Pmean即为Ti1至Ti2时间内队列通过人数的估计值，进而得到排队速度(Ti2-Ti1)/Pmean，单位为秒/人，由此可得当前排队长度为n，排队速度为(Ti2-Ti1)/Pmean，则排队等待时长为n*(Ti2-Ti1)/Pmean，其中k的数值为3或3以上，同时将当前时刻前3分钟内取得的测量值求平均，如果当前时刻前3分钟内取得的测量值不足5次，则取最近的5次测量值求平均，由于排队等待时长本身瞬时波动较大，为保证测量值的稳定性，因此需要对输出结果做了均值平滑。

本发明利用精确的人脸识别技术，其能够在排队过程中不间断测量当前排队等待时长和排队长度，无需标定监控相机的内外参数，给工作人员带来了便利，解决了现有的一些基于视觉的测量方法存在一定的缺陷，由于这些方法在实施过程中需要标定相机内外参数，导致安装调试过程复杂，进而给工作人员带来不便，并影响工作效率的问题

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于人脸速度估计的排队时长测量方法，其特征在于：其方法包括如下步骤：

(S1)：监控相机采集排队区域内的视频，经过解码后发送给人形头部检测器，人形头部检测器收到实时帧图像后，检测出其中的人形头部区域，同时每个人形头部由一个向量(x，y，t)表示，其中x，y为人形头部中心在图像中的坐标，t为人形头部的采集时间；

(S2)：人脸特征描述器由图像质量评价模块和人脸特征提取模块组成，人脸特征描述器收到人形头部检测器的检测结果后，由图像质量评价模块通过分析头部图像的姿态、清晰度等多个维度的信息后，选择其中有清晰完整人脸的人形头部图像，然后用人脸特征提取模块将人脸图像映射为人脸特征向量；

(S3)：将30min以内的所有人脸特征保存在一个缓存池中，当出现新的质量满足要求的人脸图像时，则用其人脸特征在缓存池中进行匹配搜索，查找与其相似度最大的人脸特征，如果最大相似度大于既定阈值，则认为匹配成功，剔除间隔时间过小的匹配，然后获取匹配成功的2个人脸特征所代表人脸图像的位置和帧采样时间，发送给排队速度估计器；

(S4)：排队速度估计器动态维护一个“点对——人数”映射表，点对为人员队列上的两点的图像坐标，可用向量表示为(X，Y，U，V)，其中(X，Y)为近相机点坐标，(U，V)为远相机点坐标，人数为人员队列上两点之间的人员个数，在每个帧周期，排队速度估计器获取人形头部检测器的检测结果，得到队列上排队人员的图像坐标(X1，Y1)(X2，Y2)…(Xn，Yn)和当前帧采样时间Ti，排队人员坐标按其到相机的距离从近到远排列，当前排队长度用人数表示即为n，然后将n个坐标穷举组合为m＝n*(n-1)/2个“点对”，并统计每个“点对”之间的点的个数，当前帧得到的“点对——人数”样本可表示为((X1，Y1，U1，V1)，P1，Ti)，((X2，Y1，U1，V1)，P2，Ti)…((Xm，Ym，Um，Vm)，Pm，Ti)；

(S5)：更新“点对——人数”映射表，其具体过程为随机抽取1/10的当前帧“点对——人数”的样本送入映射表，并从映射表中删除采集时间超时的“点对——人数”样本；

(S6)：排队速度估计器收到新的匹配成功的人脸对信息后，设该人脸对的图像坐标分别为(Xnew，Ynew)，(Unew，Vnew)，帧采样时间分别为Ti1，Ti2，则人脸对坐标可向量表示为(Xnew，Ynew，Unew，Vnew)，然后在映射表中搜索与其欧式距离最近的前k个“点对”，取得前k个“点对”对应的“人数”，对k个“人数”求平均得到Pmean，Pmean即为Ti1至Ti2时间内队列通过人数的估计值，进而得到排队速度(Ti2-Ti1)/Pmean，单位为秒/人，由此可得当前排队长度为n，排队速度为(Ti2-Ti1)/Pmean，则排队等待时长为n*(Ti2-Ti1)/Pmean。

2.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S1)中，在视频采集的过程中采用大于10帧/秒的处理频率。

3.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S1)中，人形头部检测器的算法为YOLO或CenterNet。

4.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S3)中，在查找相似度最大的人脸特征时，采用余弦距离的方法进行查找。

5.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S3)中，既定阈值为0.6或0.6以上。

6.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S3)中，对间隔时间在30s或30s以内的匹配进行剔除。

7.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S4)中，“点对”之间的点个数包括近相机点，不包括远相机点。

8.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S5)中，将采集时间超过2h的样本判定为超时，并进行删除。

9.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S6)中，k的数值为3或3以上。

10.根据权利要求1所述的一种基于人脸速度估计的排队时长测量方法，其特征在于：所述步骤(S6)中，将当前时刻前3分钟内取得的测量值求平均，如果当前时刻前3分钟内取得的测量值不足5次，则取最近的5次测量值求平均。

Images