CN112288792A - 一种基于视觉的客人排队长度和等待时间的即时测量方法 - Google Patents
一种基于视觉的客人排队长度和等待时间的即时测量方法 Download PDFInfo
- Publication number
- CN112288792A CN112288792A CN202011038441.2A CN202011038441A CN112288792A CN 112288792 A CN112288792 A CN 112288792A CN 202011038441 A CN202011038441 A CN 202011038441A CN 112288792 A CN112288792 A CN 112288792A
- Authority
- CN
- China
- Prior art keywords
- queuing
- time
- human
- waiting time
- estimator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉的客人排队长度和等待时间的即时测量方法,包括测量系统,所述测量系统包含有高清监控相机、人形特征描述器、排队长度估计器和等待时间估计器。本发明不依赖历史等待时间数据的条件下,解决了现有方法无法对排队等待时间进行即时测量的问题,能够在排队过程中连续不断地输出当前的排队等待时间测量值;本发明不依赖光流或物体跟踪等传统跟踪技术,由于排队过程的时间较长,相互遮挡非频繁,传统跟踪技术很难维持排队客人的持续跟踪,而本发明只利用在一个时间窗口内的某几个瞬间的身份匹配,通过有效的误差过滤,就能够较准确的测量出整个队伍即时的排队速度,进而给出即时的排队时间测量值。
Description
技术领域
本发明涉及排队技术领域,具体为一种基于视觉的客人排队长度和等待时间的即时测量方法。
背景技术
排队是现代社会人们日常生活中频繁发生的事件,一般可分为公共设施排队和商业服务场所排队两大类,公共设施例如机场安检、医院挂号、车站购票等等,商业服务场所排队例如柜台收银、门店等位、排队取餐等等。
在这些排队事件中,参与排队的客人有强烈的需求要确定当前的排队长度和自身将要等待的时间,而对于提供服务的公共设施的管理者或商业服务场所的经营者,在全天的经营时间内排队长度和等待时间如何变化,排队长度在哪些时候较长,等待时间在哪些时候超出了预期,都是衡量公共服务和商业服务品质的重要参考指标。
对于排队长度的测量,现有技术主要是依靠取号机或肉眼观察来完成,取号机能较好地确定当前排队的人数,但只适用于一部分排队场景,对于排队等待时间,现有的方法主要是根据历史数据或经验进行粗略的估计,没有科学合理的测量方法,为解决上述问题,一种基于视觉的客人排队长度和等待时间的即时测量方法,亟待开发。
发明内容
本发明的目的在于提供一种基于视觉的客人排队长度和等待时间的即时测量方法,具备测量精准,能够实现即时测量的优点,解决了对于排队长度的测量,现有技术主要是依靠取号机或肉眼观察来完成,取号机能较好地确定当前排队的人数,但只适用于一部分排队场景,对于排队等待时间,现有的方法主要是根据历史数据或经验进行粗略的估计,没有科学合理测量方法的问题。
为实现上述目的,本发明提供如下技术方案:一种基于视觉的客人排队长度和等待时间的即时测量方法,包括测量系统,所述测量系统包含有高清监控相机、人形特征描述器、排队长度估计器和等待时间估计器。
优选的,所述高清监控相机负责采集排队过程中的实时视频,实时视频经解码为实时图像帧序列后传送给人形特征描述器。
优选的,所述人形特征描述器包含一个“人形检测模块”和一个“身份特征提取模块”,负责提取出图像帧中的人形框及其身份特征,进而维护一个人形特征向量池,表示最近一段时间出现的人形框的时空特征和身份特征。
优选的,所述排队长度估计器包含一个“D定位模块”和一个“排队长度估计模块”,负责根据即时图像帧的人形特征,对当前的排队长度进行测量。
优选的,所述等待时间估计器包含一个“人形对匹配模块”和一个“等待时间估计模块”,负责根据人形特征池,对即时的排队等待时间进行测量。
与现有技术相比,本发明的有益效果如下:
1、本发明不依赖取号机的条件下,仍能对即时的排队长度进行准确测量。
2、本发明不依赖历史等待时间数据的条件下,解决了现有方法无法对排队等待时间进行即时测量的问题,能够在排队过程中连续不断地输出当前的排队等待时间测量值。
3、本发明不依赖光流或物体跟踪等传统跟踪技术,由于排队过程的时间较长,相互遮挡非频繁,传统跟踪技术很难维持排队客人的持续跟踪。而本发明只利用在一个时间窗口内的某几个瞬间的身份匹配,通过有效的误差过滤,就能够较准确的测量出整个队伍即时的排队速度,进而给出即时的排队时间测量值。在计算复杂度和测量精度上都明显优于传统方法。
附图说明
图1为本发明系统结构原理示意图;
图2为本发明实施例流程图;
图3为本发明实施例的排队长度估计算法执行过程;
图4为本发明实施例的等待时间测量算法流程图;
图5为本发明实施例的Ti时刻的人形特征向量Fi的结构图。
图中:1、测量系统;2、高清监控相机;3、人形特征描述器;4、排队长度估计器;5、等待时间估计器。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-5,本发明提供一种技术方案:一种基于视觉的客人排队长度和等待时间的即时测量方法,包括测量系统1,测量系统1包含有高清监控相机2、人形特征描述器3、排队长度估计器4和等待时间估计器5。
本发明中:高清监控相机2负责采集排队过程中的实时视频,实时视频经解码为实时图像帧序列后传送给人形特征描述器3。
本发明中:人形特征描述器3包含一个“人形检测模块”和一个“身份特征提取模块”,负责提取出图像帧中的人形框及其身份特征,进而维护一个人形特征向量池,表示最近一段时间出现的人形框的时空特征和身份特征。
本发明中:排队长度估计器4包含一个“3D定位模块”和一个“排队长度估计模块”,负责根据即时图像帧的人形特征,对当前的排队长度进行测量。
本发明中:等待时间估计器5包含一个“人形对匹配模块”和一个“等待时间估计模块”,负责根据人形特征池,对即时的排队等待时间进行测量。
如图2所示,本发明实施排队长度和等待时间测量的过程包括如下步骤:
S201:高清监控相机2采集排队区域内的视频,图像帧经过解码后发送给人形特征描述器3,由于排队事件的时间跨度较大,本实施例中对图像帧进行跳帧处理,从每秒24帧原始图像中均匀间隔抽取2帧发送给人形特征描述器3,这个参数取决于算力资源的多少,一般不低于每秒1帧。
S202:收到实时图像帧后,“人形检测模块”检测出图像帧中的人形框坐标,“身份特征提取模块”计算每个人形框的身份特征向量,再将人形框的时间戳、空间坐标和身份特征合并,得到每一个人形框的完整特征向量Fi,如图5所示,其中Ti代表人形框出现的时间,空间特征(x,y,w,h)表示人形框在图像中的2D坐标,身份特征向量是一个k维向量,代表通过深度学习身份模型所提取的人形框的身份特征;然后将当前图像帧上的人形特征向量集合发送给“排队长度测量器”,以上所述“人形检测算法”和“身份特征提取算法”有很多公开的算法可供选择,例如人形检测可使用Faster-RCNN网络,身份特征提取可使用PCB网络实现,由于不是本专利的创新点,这里不再展开论述。
S203:选择最近的10分钟作为人形搜集的时间窗口,形成最近10分钟的人形特征池,将该人形特征池传给“等待时间测量”模块。
S204:根据收到的即时图像帧上的人形特征向量,执行排队长度测量算法计算当前的排队长度。
S205:根据收到的10分钟人形特征池,执行排队等待时间估计算法计算当前的排队等待时间。
如图3所述,本发明的排队长度测量算法执行过程如下:
S301:接收到Ti时刻图像帧上的人形框集合,它由若干个人形框特征Fi组成,每个人形框特征对应于Ti时刻排队区域内的某一个排队客人。
S302:将排队区域沿排队方向每隔30cm定义一个位置网格,将所有位置网格初始化为0,遍历Ti时刻人形框集合的每一个人形框特征Fi,根据Fi中的2D图像坐标(x,y,w,h)换算该人形在排队区域中的地面物理坐标(X,Z),一种可能的计算方法是
其中(x,y)是人形框的2D图像坐标,f是高清监控相机2的焦距,H是相机的安装高度,θ是相机的向下倾角,根据(X,Z)确定该人形落入哪一个位置网格,将对应的位置网格置1,从而得到Ti时刻的排队区域位置网格表,
S303:将Ti时刻和Ti-1时刻的排队区域位置网格表进行加权合并,本实施例中,Ti时刻的权重设为0.2,Ti-1时刻的权重设为0.8。
S304:从左到右遍历更新后的Ti时刻排队区域位置网格表,直到遇到连续两个小于0.6的位置,记这时已遍历的位置网格数为N,则以下列公式作为当前排队长度的测量值Li,其中Wc为每个网格沿排队方向的物理尺寸,本实施例中即等于30cm。
Li=N*Wc
如图4所述,本发明的排队等待时间测量算法执行过程如下:
S401:接收到[Tk,Ti]时间窗口内的图像帧上的人形框特征池,在本实施例中Tk~Ti的时间区间宽度为10分钟,该特征池由若干个时刻的人形框集合组成,每个时刻的人形框集合由若干个人形特征Fi组成,每个人形框特征对应于对应时刻排队区域内的某一个排队客人。
S402:“人形对匹配模块”使用深度学习身份模型对[Tk,Ti]时间窗口的人形框特征池中的人形框按照客人的身份特征进行聚类,本实现例中身份模型采用PCB网络模型,聚类采用欧式距离,聚类阈值取0.4,即两个人形框身份特征向量的欧式距离小于0.4时,认为两个人形框属于同一身份类别,将满足该阈值条件的人形框合并,得到若干个客人在该时段内的人形框类别PA,PB….PN。
由于排队时客人的姿态不断变化,因此只有一部分排队的客人的人形框能被身份模型准确地匹配到,本实施例中选取较保守的聚类阈值使满足阈值条件的人形框对实际上是同一人的概率大于80%,即允许出现一部分的匹配错误,这是本发明的一个关键点——在只有部分客人的部分时间的人形可以匹配成功,并存在一定比例的错误匹配的情况下,准确地估计出排队等待时间,以下对此进行具体论述。
S403:聚类后的人形框类别PA,PB….PN,分别代表排队客人PA,PB….PN在[Tk,Ti]时段内被身份模型匹配到的人形框的特征集合,遍历其中的每一个类别,以PA为例,按时间先后顺序对类别内的人形框进行排序,提取类别内时间戳最早的人形框特征Ft1,和时间戳最晚的人形框特征Ft2,根据Ft1,Ft2中的2D图像坐标(x,y,w,h)换算该人形在排队区域中的地面物理坐标(Xt1,Zt1)、(Xt2,Zt2),忽略t2-t1小于30秒的类别,然后根据以下公式计算该客人在这本时段内的排队速度VA:
S404:由于绝大多数参与排队的客人需要等待前面的客人向前移动,因此尽管存在部分匹配错误或特殊情况,但VA、VB...VN中出现频率最高的速度值就是该时段排队人群整体的平均移动速度,在本实施例中,以1cm/s为网格单位建立速度直方图,将VA、VB...VN投入相应的网格中,取落入数量最高的网格的速度值为Ti时刻排队前进速度的测量值VTi。
S405:根据Ti时刻的排队前进速度测量值VTi和Ti时刻排队长度的测量值Li,计算出Ti时刻如果有新客进入排队,他将等待的排队时间为Wi=(Li/VTi)*0.8+Wi-1*0.2,其中Wi-1为i-1时刻的排队等待时间测量值。
综上所述:该基于视觉的客人排队长度和等待时间的即时测量方法,不依赖取号机的条件下,仍能对即时的排队长度进行准确测量;不依赖历史等待时间数据的条件下,解决了现有方法无法对排队等待时间进行即时测量的问题,能够在排队过程中连续不断地输出当前的排队等待时间测量值;且不依赖光流或物体跟踪等传统跟踪技术,由于排队过程的时间较长,相互遮挡非频繁,传统跟踪技术很难维持排队客人的持续跟踪,而本发明只利用在一个时间窗口内的某几个瞬间的身份匹配,通过有效的误差过滤,就能够较准确的测量出整个队伍即时的排队速度,进而给出即时的排队时间测量值,在计算复杂度和测量精度上都明显优于传统方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (5)
1.一种基于视觉的客人排队长度和等待时间的即时测量方法,包括测量系统(1),其特征在于:所述测量系统(1)包含有高清监控相机(2)、人形特征描述器(3)、排队长度估计器(4)和等待时间估计器(5)。
2.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法,其特征在于:所述高清监控相机(2)负责采集排队过程中的实时视频,实时视频经解码为实时图像帧序列后传送给人形特征描述器(3)。
3.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法,其特征在于:所述人形特征描述器(3)包含一个“人形检测模块”和一个“身份特征提取模块”,负责提取出图像帧中的人形框及其身份特征,进而维护一个人形特征向量池,表示最近一段时间出现的人形框的时空特征和身份特征。
4.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法,其特征在于:所述排队长度估计器(4)包含一个“3D定位模块”和一个“排队长度估计模块”,负责根据即时图像帧的人形特征,对当前的排队长度进行测量。
5.根据权利要求1所述的一种基于视觉的客人排队长度和等待时间的即时测量方法,其特征在于:所述等待时间估计器(5)包含一个“人形对匹配模块”和一个“等待时间估计模块”,负责根据人形特征池,对即时的排队等待时间进行测量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011038441.2A CN112288792B (zh) | 2020-09-28 | 2020-09-28 | 一种基于视觉的客人排队长度和等待时间的即时测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011038441.2A CN112288792B (zh) | 2020-09-28 | 2020-09-28 | 一种基于视觉的客人排队长度和等待时间的即时测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112288792A true CN112288792A (zh) | 2021-01-29 |
CN112288792B CN112288792B (zh) | 2022-12-02 |
Family
ID=74422628
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011038441.2A Active CN112288792B (zh) | 2020-09-28 | 2020-09-28 | 一种基于视觉的客人排队长度和等待时间的即时测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112288792B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818921A (zh) * | 2021-02-25 | 2021-05-18 | 上海数川数据科技有限公司 | 一种基于人脸速度估计的排队时长测量方法 |
CN115565274A (zh) * | 2022-12-06 | 2023-01-03 | 成都智元汇信息技术股份有限公司 | 一种降低安检比对开销量的检票方法、系统及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153819A (zh) * | 2017-05-05 | 2017-09-12 | 中国科学院上海高等研究院 | 一种排队长度自动检测方法及排队长度控制方法 |
CN108460497A (zh) * | 2018-03-28 | 2018-08-28 | 中国民航大学 | 一种机场候机楼排队信息提示方法 |
CN109961639A (zh) * | 2019-01-29 | 2019-07-02 | 中电海康集团有限公司 | 一种过饱和状态下车道排队长度估计方法 |
CN110505438A (zh) * | 2018-05-18 | 2019-11-26 | 杭州海康威视数字技术股份有限公司 | 一种排队数据的获取方法和摄像机 |
CN111046769A (zh) * | 2019-12-04 | 2020-04-21 | 北京文安智能技术股份有限公司 | 一种排队时长检测方法、装置及系统 |
-
2020
- 2020-09-28 CN CN202011038441.2A patent/CN112288792B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107153819A (zh) * | 2017-05-05 | 2017-09-12 | 中国科学院上海高等研究院 | 一种排队长度自动检测方法及排队长度控制方法 |
CN108460497A (zh) * | 2018-03-28 | 2018-08-28 | 中国民航大学 | 一种机场候机楼排队信息提示方法 |
CN110505438A (zh) * | 2018-05-18 | 2019-11-26 | 杭州海康威视数字技术股份有限公司 | 一种排队数据的获取方法和摄像机 |
CN109961639A (zh) * | 2019-01-29 | 2019-07-02 | 中电海康集团有限公司 | 一种过饱和状态下车道排队长度估计方法 |
CN111046769A (zh) * | 2019-12-04 | 2020-04-21 | 北京文安智能技术股份有限公司 | 一种排队时长检测方法、装置及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112818921A (zh) * | 2021-02-25 | 2021-05-18 | 上海数川数据科技有限公司 | 一种基于人脸速度估计的排队时长测量方法 |
CN115565274A (zh) * | 2022-12-06 | 2023-01-03 | 成都智元汇信息技术股份有限公司 | 一种降低安检比对开销量的检票方法、系统及存储介质 |
CN115565274B (zh) * | 2022-12-06 | 2023-03-10 | 成都智元汇信息技术股份有限公司 | 一种降低安检比对开销量的检票方法、系统及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112288792B (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106897670B (zh) | 一种基于计算机视觉的快递暴力分拣识别方法 | |
CN110425005B (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
CN102542289B (zh) | 一种基于多高斯计数模型的人流量统计方法 | |
CN104504394A (zh) | 一种基于多特征融合的密集人数估计方法和系统 | |
CN109657609A (zh) | 人脸识别方法及系统 | |
CN108986064A (zh) | 一种人流量统计方法、设备及系统 | |
CN104680559B (zh) | 基于运动行为模式的多视角室内行人跟踪方法 | |
CN112288792B (zh) | 一种基于视觉的客人排队长度和等待时间的即时测量方法 | |
CN101847265A (zh) | 一种在公交客流统计系统中使用的运动目标提取及多目标分割方法 | |
CN112488057A (zh) | 一种利用人头点定位和关节点信息的单相机多目标跟踪方法 | |
CN105279769A (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
CN112132157B (zh) | 一种基于树莓派的步态人脸融合识别方法 | |
CN113743260B (zh) | 一种地铁站台密集人流情况下的行人跟踪方法 | |
CN113255608B (zh) | 一种基于cnn分类的多摄像头人脸识别定位方法 | |
CN107590427A (zh) | 基于时空兴趣点降噪的监控视频异常事件检测方法 | |
CN112258571A (zh) | 一种基于单目视觉的室内行人定位方法 | |
CN109829405A (zh) | 视频目标的数据关联方法、装置及存储介质 | |
CN106887014B (zh) | 一种跨摄像头的行人轨迹匹配方法 | |
CN114648557A (zh) | 一种基于高空视角与地面视角的多目标协同跟踪方法 | |
Kwon et al. | Recursive bayesian filtering for multiple human pose tracking from multiple cameras | |
CN113935379A (zh) | 一种基于毫米波雷达信号的人体活动分割方法及系统 | |
CN105118073A (zh) | 基于Xtion摄像机的人体头部目标识别方法 | |
CN107817491A (zh) | 一种图像的生成方法、装置及图像生成设备 | |
CN104715492B (zh) | 一种同时适应于静止相机和运动相机的前景目标提取方法 | |
CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |