CN112288792B - 一种基于视觉的客人排队长度和等待时间的即时测量方法 - Google Patents

Abstract

本发明公开了一种基于视觉的客人排队长度和等待时间的即时测量方法，包括测量系统，所述测量系统包含有高清监控相机、人形特征描述器、排队长度估计器和等待时间估计器。本发明不依赖历史等待时间数据的条件下，解决了现有方法无法对排队等待时间进行即时测量的问题，能够在排队过程中连续不断地输出当前的排队等待时间测量值；本发明不依赖光流或物体跟踪等传统跟踪技术，由于排队过程的时间较长，相互遮挡非频繁，传统跟踪技术很难维持排队客人的持续跟踪，而本发明只利用在一个时间窗口内的某几个瞬间的身份匹配，通过有效的误差过滤，就能够较准确的测量出整个队伍即时的排队速度，进而给出即时的排队时间测量值。

Description

一种基于视觉的客人排队长度和等待时间的即时测量方法

技术领域

本发明涉及排队技术领域，具体为一种基于视觉的客人排队长度和等待时间的即时测量方法。

背景技术

排队是现代社会人们日常生活中频繁发生的事件，一般可分为公共设施排队和商业服务场所排队两大类，公共设施例如机场安检、医院挂号、车站购票等等，商业服务场所排队例如柜台收银、门店等位、排队取餐等等。

在这些排队事件中，参与排队的客人有强烈的需求要确定当前的排队长度和自身将要等待的时间，而对于提供服务的公共设施的管理者或商业服务场所的经营者，在全天的经营时间内排队长度和等待时间如何变化，排队长度在哪些时候较长，等待时间在哪些时候超出了预期，都是衡量公共服务和商业服务品质的重要参考指标。

对于排队长度的测量，现有技术主要是依靠取号机或肉眼观察来完成，取号机能较好地确定当前排队的人数，但只适用于一部分排队场景，对于排队等待时间，现有的方法主要是根据历史数据或经验进行粗略的估计，没有科学合理的测量方法，为解决上述问题，一种基于视觉的客人排队长度和等待时间的即时测量方法，亟待开发。

发明内容

本发明的目的在于提供一种基于视觉的客人排队长度和等待时间的即时测量方法，具备测量精准，能够实现即时测量的优点，解决了对于排队长度的测量，现有技术主要是依靠取号机或肉眼观察来完成，取号机能较好地确定当前排队的人数，但只适用于一部分排队场景，对于排队等待时间，现有的方法主要是根据历史数据或经验进行粗略的估计，没有科学合理测量方法的问题。

为实现上述目的，本发明提供如下技术方案：一种基于视觉的客人排队长度和等待时间的即时测量方法，包括测量系统，所述测量系统包含有高清监控相机、人形特征描述器、排队长度估计器和等待时间估计器。

优选的，所述高清监控相机负责采集排队过程中的实时视频，实时视频经解码为实时图像帧序列后传送给人形特征描述器。

优选的，所述人形特征描述器包含一个“人形检测模块”和一个“身份特征提取模块”，负责提取出图像帧中的人形框及其身份特征，进而维护一个人形特征向量池，表示最近一段时间出现的人形框的时空特征和身份特征。

优选的，所述排队长度估计器包含一个“D定位模块”和一个“排队长度估计模块”，负责根据即时图像帧的人形特征，对当前的排队长度进行测量。

优选的，所述等待时间估计器包含一个“人形对匹配模块”和一个“等待时间估计模块”，负责根据人形特征池，对即时的排队等待时间进行测量。

与现有技术相比，本发明的有益效果如下：

1、本发明不依赖取号机的条件下，仍能对即时的排队长度进行准确测量。

2、本发明不依赖历史等待时间数据的条件下，解决了现有方法无法对排队等待时间进行即时测量的问题，能够在排队过程中连续不断地输出当前的排队等待时间测量值。

3、本发明不依赖光流或物体跟踪等传统跟踪技术，由于排队过程的时间较长，相互遮挡非频繁，传统跟踪技术很难维持排队客人的持续跟踪。而本发明只利用在一个时间窗口内的某几个瞬间的身份匹配，通过有效的误差过滤，就能够较准确的测量出整个队伍即时的排队速度，进而给出即时的排队时间测量值。在计算复杂度和测量精度上都明显优于传统方法。

附图说明

图1为本发明系统结构原理示意图；

图2为本发明实施例流程图；

图3为本发明实施例的排队长度估计算法执行过程；

图4为本发明实施例的等待时间测量算法流程图；

图5为本发明实施例的Ti时刻的人形特征向量Fi的结构图。

图中：1、测量系统；2、高清监控相机；3、人形特征描述器；4、排队长度估计器；5、等待时间估计器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-5，本发明提供一种技术方案：一种基于视觉的客人排队长度和等待时间的即时测量方法，包括测量系统1，测量系统1包含有高清监控相机2、人形特征描述器3、排队长度估计器4和等待时间估计器5。

本发明中：高清监控相机2负责采集排队过程中的实时视频，实时视频经解码为实时图像帧序列后传送给人形特征描述器3。

本发明中：人形特征描述器3包含一个“人形检测模块”和一个“身份特征提取模块”，负责提取出图像帧中的人形框及其身份特征，进而维护一个人形特征向量池，表示最近一段时间出现的人形框的时空特征和身份特征。

本发明中：排队长度估计器4包含一个“3D定位模块”和一个“排队长度估计模块”，负责根据即时图像帧的人形特征，对当前的排队长度进行测量。

本发明中：等待时间估计器5包含一个“人形对匹配模块”和一个“等待时间估计模块”，负责根据人形特征池，对即时的排队等待时间进行测量。

如图2所示，本发明实施排队长度和等待时间测量的过程包括如下步骤：

S201：高清监控相机2采集排队区域内的视频，图像帧经过解码后发送给人形特征描述器3，由于排队事件的时间跨度较大，本实施例中对图像帧进行跳帧处理，从每秒24帧原始图像中均匀间隔抽取2帧发送给人形特征描述器3，这个参数取决于算力资源的多少，一般不低于每秒1帧。

S202：收到实时图像帧后，“人形检测模块”检测出图像帧中的人形框坐标，“身份特征提取模块”计算每个人形框的身份特征向量，再将人形框的时间戳、空间坐标和身份特征合并，得到每一个人形框的完整特征向量Fi，如图5所示，其中Ti代表人形框出现的时间，空间特征(x,y,w,h)表示人形框在图像中的2D坐标，身份特征向量是一个k维向量，代表通过深度学习身份模型所提取的人形框的身份特征；然后将当前图像帧上的人形特征向量集合发送给“排队长度测量器”，以上所述“人形检测算法”和“身份特征提取算法”有很多公开的算法可供选择，例如人形检测可使用Faster-RCNN网络，身份特征提取可使用PCB网络实现，由于不是本专利的创新点，这里不再展开论述。

S203：选择最近的10分钟作为人形搜集的时间窗口，形成最近10分钟的人形特征池，将该人形特征池传给“等待时间测量”模块。

S204：根据收到的即时图像帧上的人形特征向量，执行排队长度测量算法计算当前的排队长度。

S205：根据收到的10分钟人形特征池，执行排队等待时间估计算法计算当前的排队等待时间。

如图3所述，本发明的排队长度测量算法执行过程如下：

S301：接收到Ti时刻图像帧上的人形框集合，它由若干个人形框特征Fi组成，每个人形框特征对应于Ti时刻排队区域内的某一个排队客人。

S302：将排队区域沿排队方向每隔30cm定义一个位置网格，将所有位置网格初始化为0，遍历Ti时刻人形框集合的每一个人形框特征Fi，根据Fi中的2D图像坐标(x,y,w,h)换算该人形在排队区域中的地面物理坐标(X,Z)，一种可能的计算方法是

其中(x,y)是人形框的2D图像坐标，f是高清监控相机2的焦距，H是相机的安装高度，θ是相机的向下倾角，根据(X,Z)确定该人形落入哪一个位置网格，将对应的位置网格置1，从而得到Ti时刻的排队区域位置网格表，

S303：将Ti时刻和Ti-1时刻的排队区域位置网格表进行加权合并，本实施例中，Ti时刻的权重设为0.2，Ti-1时刻的权重设为0.8。

S304：从左到右遍历更新后的Ti时刻排队区域位置网格表，直到遇到连续两个小于0.6的位置，记这时已遍历的位置网格数为N，则以下列公式作为当前排队长度的测量值Li，其中Wc为每个网格沿排队方向的物理尺寸，本实施例中即等于30cm。

L_i＝N*W_c

如图4所述，本发明的排队等待时间测量算法执行过程如下：

S401：接收到[Tk,Ti]时间窗口内的图像帧上的人形框特征池，在本实施例中Tk～Ti的时间区间宽度为10分钟，该特征池由若干个时刻的人形框集合组成，每个时刻的人形框集合由若干个人形特征Fi组成，每个人形框特征对应于对应时刻排队区域内的某一个排队客人。

S402：“人形对匹配模块”使用深度学习身份模型对[Tk，Ti]时间窗口的人形框特征池中的人形框按照客人的身份特征进行聚类，本实现例中身份模型采用PCB网络模型，聚类采用欧式距离，聚类阈值取0.4，即两个人形框身份特征向量的欧式距离小于0.4时，认为两个人形框属于同一身份类别，将满足该阈值条件的人形框合并，得到若干个客人在该时段内的人形框类别P_A，P_B…P_N。

由于排队时客人的姿态不断变化，因此只有一部分排队的客人的人形框能被身份模型准确地匹配到，本实施例中选取较保守的聚类阈值使满足阈值条件的人形框对实际上是同一人的概率大于80％，即允许出现一部分的匹配错误，这是本发明的一个关键点——在只有部分客人的部分时间的人形可以匹配成功，并存在一定比例的错误匹配的情况下，准确地估计出排队等待时间，以下对此进行具体论述。

S403：聚类后的人形框类别P_A，P_B…P_N，分别代表排队客人P_A，P_B…P_N在[Tk,Ti]时段内被身份模型匹配到的人形框的特征集合，遍历其中的每一个类别，以P_A为例，按时间先后顺序对类别内的人形框进行排序，提取类别内时间戳最早的人形框特征F_t1，和时间戳最晚的人形框特征F_t2，根据F_t1，F_t2中的2D图像坐标(x,y,w,h)换算该人形在排队区域中的地面物理坐标(X_t1,Z_t1)、(X_t2,Z_t2)，忽略t2-t1小于30秒的类别，然后根据以下公式计算该客人在这本时段内的排队速度V_A：

其中Dot(·)代表向量点积，

代表沿排队方向的单位矢量，同理得到其他匹配人形框数量大于等于2的类别的排队速度V_A、V_B...V_N。

S404：由于绝大多数参与排队的客人需要等待前面的客人向前移动，因此尽管存在部分匹配错误或特殊情况，但V_A、V_B...V_N中出现频率最高的速度值就是该时段排队人群整体的平均移动速度，在本实施例中，以1cm/s为网格单位建立速度直方图，将V_A、V_B...V_N投入相应的网格中，取落入数量最高的网格的速度值为Ti时刻排队前进速度的测量值V_Ti。

S405：根据Ti时刻的排队前进速度测量值V_Ti和Ti时刻排队长度的测量值L_i，计算出Ti时刻如果有新客进入排队，他将等待的排队时间为W_i＝(L_i/V_Ti)*0.8+W_i-1*0.2，其中W_i-1为i-1时刻的排队等待时间测量值。

综上所述：该基于视觉的客人排队长度和等待时间的即时测量方法，不依赖取号机的条件下，仍能对即时的排队长度进行准确测量；不依赖历史等待时间数据的条件下，解决了现有方法无法对排队等待时间进行即时测量的问题，能够在排队过程中连续不断地输出当前的排队等待时间测量值；且不依赖光流或物体跟踪等传统跟踪技术，由于排队过程的时间较长，相互遮挡非频繁，传统跟踪技术很难维持排队客人的持续跟踪，而本发明只利用在一个时间窗口内的某几个瞬间的身份匹配，通过有效的误差过滤，就能够较准确的测量出整个队伍即时的排队速度，进而给出即时的排队时间测量值，在计算复杂度和测量精度上都明显优于传统方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于视觉的客人排队长度和等待时间的即时测量方法，包括测量系统，其特征在于：所述测量系统包含有高清监控相机、人形特征描述器、排队长度估计器和等待时间估计器；

所述基于视觉的客人排队长度和等待时间的即时测量方法，包括排队长度测量算法和排队等待时间测量算法；

排队长度测量算法执行过程如下；

S301：接收到Ti时刻图像帧上的人形框集合，它由若干个人形框特征Fi组成，每个人形框特征对应于Ti时刻排队区域内的某一个排队客人；

S302：将排队区域沿排队方向每隔30cm定义一个位置网格，将所有位置网格初始化为0，遍历Ti时刻人形框集合的每一个人形框特征Fi，根据Fi中的2D图像坐标(x,y,w,h)换算该人形在排队区域中的地面物理坐标(X,Z)，计算方法是

其中(x,y)是人形框的2D图像坐标，f是高清监控相机2的焦距，H是相机的安装高度，θ是相机的向下倾角，根据(X,Z)确定该人形落入哪一个位置网格，将对应的位置网格置1，从而得到Ti时刻的排队区域位置网格表；

S303：将Ti时刻和Ti-1时刻的排队区域位置网格表进行加权合并；

S304：从左到右遍历更新后的Ti时刻排队区域位置网格表，直到遇到连续两个小于0.6的位置，记这时已遍历的位置网格数为N，则以下列公式作为当前排队长度的测量值Li，其中Wc为每个网格沿排队方向的物理尺寸L_i＝N*W_c；

排队等待时间测量算法执行过程如下：

S401：接收到[Tk,Ti]时间窗口内的图像帧上的人形框特征池，Tk～Ti的时间区间宽度为10分钟，该特征池由若干个时刻的人形框集合组成，每个时刻的人形框集合由若干个人形特征Fi组成，每个人形框特征对应于对应时刻排队区域内的某一个排队客人；

S402：“人形对匹配模块”使用深度学习身份模型对[Tk，Ti]时间窗口的人形框特征池中的人形框按照客人的身份特征进行聚类，身份模型采用PCB网络模型，聚类采用欧式距离，聚类阈值取0.4，即两个人形框身份特征向量的欧式距离小于0.4时，认为两个人形框属于同一身份类别，将满足该阈值条件的人形框合并，得到若干个客人在该时段内的人形框类别P_A，P_B…P_N；

由于排队时客人的姿态不断变化，因此只有一部分排队的客人的人形框能被身份模型准确地匹配到，选取较保守的聚类阈值使满足阈值条件的人形框对实际上是同一人的概率大于80％；

S403：聚类后的人形框类别P_A，P_B…P_N，分别代表排队客人P_A，P_B…P_N在[Tk,Ti]时段内被身份模型匹配到的人形框的特征集合，遍历其中的每一个类别，以P_A为例，按时间先后顺序对类别内的人形框进行排序，提取类别内时间戳最早的人形框特征F_t1，和时间戳最晚的人形框特征F_t2，根据F_t1，F_t2中的2D图像坐标(x,y,w,h)换算该人形在排队区域中的地面物理坐标(X_t1,Z_t1)、(X_t2,Z_t2)，忽略t2-t1小于30秒的类别，然后根据以下公式计算该客人在这本时段内的排队速度V_A；

其中Dot(·)代表向量点积，

代表沿排队方向的单位矢量，同理得到其他匹配人形框数量大于等于2的类别的排队速度V_A、V_B...V_N；

S404：V_A、V_B...V_N中出现频率最高的速度值就是该时段排队人群整体的平均移动速度，以1cm/s为网格单位建立速度直方图，将V_A、V_B...V_N投入相应的网格中，取落入数量最高的网格的速度值为Ti时刻排队前进速度的测量值V_Ti；

S405：根据Ti时刻的排队前进速度测量值V_Ti和Ti时刻排队长度的测量值L_i，计算出Ti时刻如果有新客进入排队，他将等待的排队时间为W_i＝(L_i/V_Ti)*0.8+W_i-1*0.2，其中W_i-1为i-1时刻的排队等待时间测量值。

2.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法，其特征在于：所述高清监控相机负责采集排队过程中的实时视频，实时视频经解码为实时图像帧序列后传送给人形特征描述器。

3.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法，其特征在于：所述人形特征描述器包含一个“人形检测模块”和一个“身份特征提取模块”，负责提取出图像帧中的人形框及其身份特征，进而维护一个人形特征向量池，表示最近一段时间出现的人形框的时空特征和身份特征。

4.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法，其特征在于：所述排队长度估计器包含一个“3D定位模块”和一个“排队长度估计模块”，负责根据即时图像帧的人形特征，对当前的排队长度进行测量。

5.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法，其特征在于：所述等待时间估计器包含一个“人形对匹配模块”和一个“等待时间估计模块”，负责根据人形特征池，对即时的排队等待时间进行测量。

Images