CN105139040A - 一种排队状态信息检测方法及其系统 - Google Patents

Abstract

本公开涉及一种排队状态信息检测方法及其系统，在所述方法中包括提取同一队列队首队尾人员图像中的人体特征、将提取的队尾人员人体特征添加到特征集合中、将提取的队首人员人体特征和特征集合中的人体特征依次进行匹配、根据匹配的结果获取队列的排队状态信息等步骤。所述系统基于所述方法实现。所述方法和系统，通过人体特征冗余匹配，能够较高精度的计算每个排队人员的平均业务受理时长、统计平均排队时长、预估新入队人员的排队时长、甚至能够判断人员离队和插队情况，有效地为管理者的决策提供数据支持，以便进一步的调整和优化排队处理过程，特别适用于在有优先级排列的应用要求下，比如医院和银行。

Description

一种排队状态信息检测方法及其系统

技术领域

本公开涉及一种排队状态信息检测方法及系统，结合多个摄像头的跟踪识别技术获取当前排队状态。

背景技术

目前非基于人脸技术的排队时间检测系统中，通常使用RFID或NFC等无线传输方式来确定人员进出队列的时间。通过时间戳比较，此类方法虽然能够测量队列的等待时间，但是对于需要绑定人员信息的应用场合，此类方法无法在获取人员进入或退出时刻进行人体标定和识别，只能做统计意义上的数据采集。实际问题中，例如在有优先级排列的应用要求下，如医院和银行，只有在时间检测与人员标定信息绑定的情况下，才能够较好提供决策信息，以便进一步的调整和优化排队处理过程。

另外一些基于人脸技术的排队系统，侧重于依据人脸来代替传统的打卡方式。此类系统通常使用单个摄像头获取打卡时刻的信息，因此无法用于估计排队时间。虽然可以获取人员鉴定相关信息，但此类信息属于出队后的历史信息，无法立即反馈给当前其他系统，用于决策调整和优化。另外一些基于人脸的系统通过使用多组摄像头，比较出入口处采集的人脸图像，估算排队等待时长。此类系统只能估算排队时间，并不能获取队列其它信息(例如性别、年龄、人种等)。此类系统由于并没有考虑排队中间插队和离队等特殊情况，不仅无法检测此类特殊情况，而且无法准确统计排队时间。此外由于光照、遮挡等多种原因，现有的人脸检测和识别算法无法达到完全准确，进一步导致目前只基于人脸的排队系统无法准确的得到排队时间。

发明内容

针对上述部分问题，本公开提供了一种排队状态信息检测方法和系统，特别适用于在有优先级排列的应用要求下，比如医院和银行，通过人体特征冗余匹配，进而结合匹配结果的时间戳，能够较高精度的统计平均排队时长、预估新入队人员的排队时长、甚至能够判断人员离队和插队情况，有效地为管理者的决策提供数据支持，以便进一步的调整和优化排队处理过程。

首先，本公开提供了一种排队状态信息检测方法，所述方法包括下述步骤：

S100、至少使用2个摄像头分别拍摄同一队列的队首和队尾，并获取每个摄像头的图像；

S200、检测每个摄像头图像中的人体特征；所述人体特征包括主要特征、辅助特征；

S300、提取每个摄像头图像中的人体特征；

S400、将队尾摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队尾特征集合中；将队首摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队首特征集合中；

S500、依次从队首特征集合中获取一个欲匹配的人体特征，再将每个欲匹配的人体特征依次和队尾特征集合中未匹配的人体特征进行匹配判断；

S600、根据匹配结果获得队列的排队状态信息；所述排队状态信息包括排队人员的属性信息和排队信息；所述属性信息包括性别信息、年龄信息以及人种信息；所述排队状态信息包括队列平均排队时长、新入队人员的排队时长、离队人员和插队人员，以及每个排队人员的平均业务受理时长。

基于所述方法，提供了一种排队状态信息检测系统，所述系统至少包括下述模块：

M100、获取图像模块：至少使用2个摄像头分别拍摄同一队列的队首和队尾并获取每个摄像头的图像；

M200、检测模块：检测每个摄像头图像中的人体特征；所述人体特征包括主要特征、辅助特征；

M300、提取特征模块：提取每个摄像头图像中的人体特征；

M400、添加特征模块：将队尾摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队尾特征集合中；将队首摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队首特征集合中；

M500、匹配特征模块：依次从队首特征集合中获取一个欲匹配的人体特征，再将每个欲匹配的人体特征和队尾特征集合中未匹配的人体特征依次进行匹配判断；

M600、获得排队状态模块：根据匹配结果获得队列的排队状态信息；所述排队状态信息包括排队人员的属性信息和排队信息；所述属性信息包括性别信息、年龄信息以及人种信息；所述排队状态信息包括队列平均排队时长、新入队人员的排队时长、离队人员和插队人员，以及每个排队人员的平均业务受理时长。

附图说明

图1本公开的一个实施例中的人体特征结构示意图；

图2本公开的一个实施例中的特征匹配流程图；

图3本公开的一个实施例中的一种排队状态信息检测方法示意图；

图4本公开的一个实施例中的离队人员判定示意图；

图5本公开的一个实施例中的系统示意图。

具体实施方式

首先，在一个基础的实施例中，提供了一种排队状态信息检测方法，所述方法包括下述步骤：

S100、至少使用2个摄像头分别拍摄同一队列的队首和队尾，并获取每个摄像头的图像；

S200、检测每个摄像头图像中的人体特征；所述人体特征包括主要特征、辅助特征；

S300、提取每个摄像头图像中的人体特征；

S400、将队尾摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队尾特征集合中；将队首摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队首特征集合中；

S500、依次从队首特征集合中获取一个欲匹配的人体特征，再将每个欲匹配的人体特征依次和队尾特征集合中未匹配的人体特征进行匹配判断；

S600、根据匹配结果获得队列的排队状态信息；所述排队状态信息包括排队人员的属性信息和排队信息；所述属性信息包括性别信息、年龄信息以及人种信息；所述排队状态信息包括队列平均排队时长、新入队人员的排队时长、离队人员和插队人员，以及每个排队人员的平均业务受理时长。

在本实施例中，采用基于多个摄像头的跟踪识别技术，能够有效的精确检测排队状态。所述多个摄像头至少为两个，将两个摄像头布置于不同的空间位置，分别实时采集两个摄像头之间的队列的头部和尾部的图像，通过匹配从图像中提取队列的头部和尾部人体特征，计算进出队列的时间差，进而可得到该队列的平均排队时长和该队列新入队人员的排队时长。

在进行两个摄像头之间的队列的头部和尾部的图像的匹配比较过程中，通过匹配结果，还可以检测判定当前队列离队和插队情况。若在入队集合中存在，无法在出队集合中匹配，这说明该人员在排队过程中已经离队；若入队集合中检测到，但入队中无法匹配，这说明该人员中间插队进入。所述入队集合相当于队尾特征集合，所述出队集合相当于队首特征集合。

基于检测到的人体特征，包括主要特征、辅助特征。在一个实施例中，主要特征包括人脸，辅助特征包括头部特征、肩部特征、服饰特征。在另一个实施例中，主要特征包括人脸和头部特征，辅助特征包括肩部特征和服饰特征。不论如何划分主要特征和辅助特征，都会将包括常见的人员性别、年龄和人种信息归为人员属性信息。基于队列中人员的性别信息，可以得到一段时间上的该队列中的男女人数；统计队列中一段时间上的不同年龄段上的人数，和人种信息，能够得到整个队列的年龄分布和人种情况。这些属性信息可以用于调整和优化排队处理过程。例如，通过人脸识别技术获得当前队列的年龄分布情况，根据此信息，可以统计得到儿童以及老年人等特殊群体，针对这类特殊群体，可以通过及时开放相关的特殊通道，从而提供更加人性化的服务，以满足特殊化及差异化服务的需求。而为了方便统计计算，在一个实施例中，所述人体特征还包括时间戳。所述时间戳，可以方便统计计算业务受理或排队中各种时长，比如每个排队人员的实际业务受理时长，每个排队人员的实际等待时长等等，为改善服务提供数据支持。

在一个实施例中，详细提供了步骤S500中的人体特征匹配是如何进行的，即：所述步骤S500至少包括：

S501、判断队首特征集合中是否存在欲匹配人体特征；若存在，则执行步骤S502；否则，退出匹配判断；

S502、判断队尾特征集合中是否存在未匹配的人体特征；若存在，则执行步骤S503；否则，执行步骤S501；

S503；获取欲匹配人体特征的主要特征A1，从队尾特征集合中获取一个用于匹配的人体特征的主要特征B1；

S504、判断A1与B1是否匹配；若不匹配，则执行步骤S505；否则，执行步骤S508；

S505、获取A1对应的辅助特征A2，获取B1对应的辅助特征B2；

S506、判断A2与B2是否匹配；若不匹配，则执行步骤S502；否则，执行步骤S509；

S507、判断队尾特征集合中是否还存在下一个用于匹配的人体特征，若存在，则获取下一个用于匹配的人体特征的主要特征，将其赋予B1，执行步骤S504；否则执行步骤S501；

S508、将B1所属人体特征标识为已匹配；

S509、将B2所属人体特征标识为已匹配。

在本实施例中，进行冗余匹配，能有效帮助实现精确匹配。在匹配时，首先使用人体特征的主要特征的进行匹配，若不匹配，再使用辅助特征进行匹配，通过这种多重匹配的方法，可以提高人员识别率。通过使用状态标识，可以方便后续离队人员和插队人员的查找，或者实际业务办理情况的统计等。

在一个实施例中，给出了一种离队人员的判断方法，即：所述离队人员通过下述步骤判断：

对于存在于队首特征集合中却不存在于队尾特征集合中的人体特征，该人体特征所对应的人员为插队人员。

进一步地，通过统计一段时间上的插队人员数目，可以通知相关人员及时介入，以维护排队秩序。

在一个实施例中，提供了所述离队人员的判断方法，即所述离队人员通过下述步骤得到：

对于位于队尾特征集合中的、任意两个有先后顺序的、已匹配的人体特征，确定所述先后顺序的中间的、每一个未匹配的人体特征，如果该未匹配的人体特征不存在于队首特征集合中，则该未匹配的人体特征所属人员为离队人员。

通过统计任何位于队尾特征集合中两个被标识为已匹配的人体特征中间的被标识为未匹配的人体特征，该未匹配的人体特征不存在于队首特征集合中，则该未匹配的人体特征所属人员被标识为离队人员。

进一步地，通过人员标识统计一段时间上的离队人员数目，可以推断排队人员是否对当前排队等候时间满意。

在一个实施例中，所述平均业务受理时长通过统计一段时间内t整个队列的队首人员变换的次数n来进行估算，即：

通过估算平均业务受理时长，有利于提供更人性化的服务，或及时开放新的处理窗口，或方便队列管理者进行队列调整和优化，提高队列人员的服务满意度。

在一个实施例中，在步骤S100之后在步骤S200之前，所述方法还包括对获取的摄像头图像进行图像预处理。在进行图像中的人体特征检测前，通常需要对图像进行包括但不限于缩放、裁剪、去噪声、模糊化等图像预处理操作。

在一个实施例中，在步骤S400之前还包括根据获取摄像头图像中队列人员的空间纵深位置来确定队列人员的先后顺序。在队首增加获取深度信息的辅助摄像头，确定队列中人员的空间纵深位置。深度越大，表明队列人员离队头越远。通过队列人员深度位置的比较，辅助确定队列人员在队列中的排队先后顺序。深度信息的获取可以通过双目光学摄像头，通过比较队列在不同图像中的位置差异，提取深度信息。一些实例中，通过基于光线传播时间差TOF的方式，计算发射与接收光线的时间差，获得深度信息。在另外一些实例中，采用结构光方式获取空间景深。向空间中发射一定结构分布的光图，例如均匀光斑，通过比较结构光图的变形，获得空间的深度信息。

优选的，所述主要特征、辅助特征均使用多维的浮点向量表示。

因而，优选的，所述主要特征的匹配通过计算两个主要特征的向量点积或欧式距离来判断。优选的，所述辅助特征的匹配通过计算两个辅助特征的向量点积或欧式距离来判断。

在一个实施例中，所述主要特征使用181维的浮点向量表示、辅助特征也使用181维的浮点向量表示。

优选的，所述队列平均排队时长E(t_ave)使用下述公式计算：

$E\left(t_{ave}\right)=\frac{\underset{i=1}{\overset{N_{match}}{\Σ}}{t}_i}{N_{match}}$

其中：

t_i表示队列中第i个人的排队等待时长；

N_match表示在某个统计时间段内队列的队首和队尾匹配到的入队人数。

特别地，当队列为整个队列时，计算的队列平均排队时长，平均排队时长即为整个队列的平均排队时长。

优选的，所述新入队人员所入队列的排队时长E(t_new)使用下述公式进行估算：

$E\left(t_{new}\right)=N^{before}\frac{\underset{i=1}{\overset{K}{\Σ}}{t}_i/N_i^{before}}{K}$

其中：

K是新人员入队列前某个时间段内完成排队的人数；

t_i表示第i个人在队列中的排队等待时长；

是人员i入队时的队长；

N^before是新人员入队时的队长。

特别地，当队列为整个队列时，计算的新入队人员所入队列的排队时长即为新入队人员等候业务处理的排队时长。

下面结合附图1～4阐述本公开的排队状态信息检测方法。

在一个实施例中，如图1所示，所述人员的人体特征结构包括主体特征、辅助特征和时间戳。其中，人脸特征是主体特征、头肩特征和服饰特征是辅助特征，时间戳的格式是ssmmhhddmmyy，精确到秒，记录了人体特征所对应的队列人员进出队列的时间。人脸特征及各辅助特征使用181维的浮点向量表示。两个特征的匹配通过计算对应的两个向量的点积或者欧式距离来描述。

一种排队状态信息检测方法流程图如图2所示，在该流程中使用两个摄像头获取队列的首尾图像数据。

在获取存储介质上的队尾摄像头图像数据后，首先需要对数据进行图像解压缩操作。这里存储介质上的图像数据是在获取摄像头数据后，经过传输网络，传输到计算存储介质上。可能的，为了减少传输网络的数据传输时延，需要对图像数据进行压缩。因此在获取图像数据后，可能需要进行图像解压缩。在进行图像检测前，通常需要对图像进行包括但不限于缩放、裁剪、去噪声、模糊化等图像预处理操作。

图像预处理后的图像数据，经过人脸检测操作，获取人脸在图像中的像素区域。该区域将被用于人脸特征提取，以获得描述人脸特征描述的特征向量。该人脸特征向量，作为主要的特征向量通过添加到特征集合操作，保存到当前队列的人体特征集合中。

人脸检测操作从当前图像数据中，获得人脸在图像空间中的位置和尺寸。具体的人脸检测方法可以通过Haar特征和Adaboost分类器相结合的方法检测图像中存在的所有人脸，还可以是对计算眼睛、鼻子、嘴巴、眉毛等的精细位置。人脸检测操作将计算得到人脸在图片中的位置和尺寸，输入给人脸特征提取操作，以得到关于人脸信息的特征描述向量。

人脸特征提取操作，根据人脸检测操作计算得到的人脸在图像空间中的位置和尺寸，计算得到描述人脸的特征向量。具体的提取方法可以通过尺度不变特征变换SIFT来描述人脸特征，也可以通过深度卷积神经网络描述人脸特征。人脸的特征向量唯一的标识了人脸的相关特征，计算得到的人脸特征向量被用于在特征集合上，进行人脸特征匹配操作。

经过图像预处理后的图像数据，通过辅助信息检测和辅助特征提取操作，获取队列人员的辅助特征，包括但不限于头肩特征、全身特征、服装特征等。辅助特征信息作为辅助特征向量，与主要特征向量，即人脸特征提取操作提取的人脸特征向量相对应，通过添加到特征集合操作，保存到当前队列的人体特征集合中。

人体特征的辅助信息包括但不限于头肩特征、全身特征和服装特征，头肩特征描述了队列人员头和肩部区域的唯一特征。所述辅助信息检测方法可以采用多级的方向梯度直方图HOG和多级局部二值模型LBP相结合的特征集方法进行头肩检测。由于服装特征描述了队列人员服装的唯一特征。在一种简单的实施例中，服装特征可以是服装的颜色和纹理，通过从图像中提取服装的颜色直方图、梯度方向直方图和图像关键点处的描述子作为辅助判定特征，计算相似度。另外一种实施列中，采用基于监督的学习方法，包括但不限于随机森林RandomForest、神经网络、卷积神经网络、SVM、logistic回归等，通过对人工标注的服装样本数据进行学习，从而能够自动识别服装的款式特性。提取到的辅助特征，用于辅助特征比较，避免人脸特征比较中可能存在的误差。

本实施例中还可以从图像数据中计算人脸属性，包括但不限定于性别、年龄、和人种。具体方法，比如通过提取LBP特征，使用支持向量机SVM进行分类，从而获取性别属性信息；再比如通过学习年龄描述特征，在年龄数据库上找到最优的描述年龄的特征向量，从而得到年龄属性信息。计算图像列表中每张人脸的相关属性信息，依据计算的性别信息，统计一段时间上的队列中男女人数；依据计算的年龄，统计队列一段时间上在不同年龄段上的人数；依据计算得到的人种信息，计算队列在一段时间上的人种比例，从而得到整个队列在一段时间内的性别、年龄、以及人种的比例。

在获取存储介质上的队首摄像头图像数据后，首先需要对数据进行图像解压缩操作。这里存储介质上的图像数据是在获取摄像头数据后，经过传输网络，传输到计算存储介质上。可能的，为了减少传输网络的数据传输时延，需要对数据进行压缩。因此在获取图像数据后，可能需要进行图像解压缩。在进行图像检测前，通常需要对图像进行包括但不限于缩放、裁剪、去噪声、模糊化等图像预处理操作。

图像预处理后的图像数据，经过人脸检测操作，获取人脸在图像中的像素区域。该区域将被用于人脸特征提取，以获得描述人脸特征描述的特征向量。通过辅助信息检测和辅助特征提取操作，获取队列人员的辅助特征，包括但不限于头肩特征、全身特征、服装特征等。

计算得到的人脸特征数据，进行人脸特征匹配操作，与人脸特征集合中已有的人脸特征数据进行比较，判定当前人员的特征数据是否存在于人脸特征集合中。

具体的匹配流程如图3所示。获取人体特征的操作从人体特征集合中轮询获取人体特征，并判断人体特征集合是否为空，若为空，则执行将队列空标志设置为TRUE的操作；若队列不为空，则将当前人体特征中的主要特征量--人脸特征，与人脸特征提取操作得到的人脸特征进行人脸特征比较操作，判断两个人脸特征是否匹配。若匹配，则执行设置匹配标志为TURE的操作。若不匹配，则通过辅助特征提取的操作获取当前人体特征的辅助特征量--辅助特征，并与辅助特征提取操作得到的辅助特征进行辅助特征比较操作，若匹配，则执行设置匹配标志位为TRUE的操作。若不匹配，则执行获取人体特征的操作，轮询获取下一个人体特征，执行相同的判定操作，直到队列为空或者匹配标志位为TRUE，则执行图2中是否存在于队列中的判断。

图2中是否存在于队列中的判断操作通过查询队列标志和匹配标志位，若当前队列空标注位为FALSE，但匹配标志位为TRUE，则表明当前提取的人体特征存在于特征集合中，通过时间戳提取比较操作，计算得到当前排队等待时间。若当前队列标志为TRUE，并且匹配标志位为FALSE，则表明当前帧图像中不存在人员的特征量位于特征集合中，执行获取下一帧队首图像获取操作。

在图4中，提供了获取人员离队信息的示意图。人脸特征集合，特征索引1指向人体特征集合的表头，特征索引i指向人脸特征集合的表尾。通过添加特征集合操作将从队尾摄像头拍摄的图像中提取的人体特征从队尾添加到人体特征集合中，同时队尾特征索引i增加一。人脸特征匹配操作在人体特征集合中搜索匹配从队尾摄像头拍摄的图像中提取的人脸特征，同时队首特征索引1减一。当人脸特征匹配操作在人体特征集合中先后连续查找到特征索引2和特征索引4所指的人体特征时，但未能查找到特征索引3所指的人体特征时，则表面特征索引3所指的人体特征向量所代表的人员已经从当前队列中离队。通过统计任何位于于两个连续匹配到的特征向量之间的，但未被队首摄像头检测到的人脸特征向量，即可以标识为离队人员。

基于一种排队状态信息检测系统，其特征在于，所述系统至少包括计算存储装置，所述计算存储装置至少包括下述模块：

M100、获取图像模块：至少使用2个摄像头分别拍摄同一队列的队首和队尾并获取每个摄像头的图像；

M200、检测模块：检测每个摄像头图像中的人体特征；所述人体特征包括主要特征、辅助特征；

M300、提取特征模块：提取每个摄像头图像中的人体特征；

M400、添加特征模块：将队尾摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队尾特征集合中；将队首摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队首特征集合中；

M500、匹配特征模块：依次从队首特征集合中获取一个欲匹配的人体特征，再将每个欲匹配的人体特征和队尾特征集合中未匹配的人体特征依次进行匹配判断；

M600、获得排队状态模块：根据匹配结果获得队列的排队状态信息；所述排队状态信息包括排队人员的属性信息和排队信息；所述属性信息包括性别信息、年龄信息以及人种信息；所述排队状态信息包括队列平均排队时长、新入队人员的排队时长、离队人员和插队人员，以及每个排队人员的平均业务受理时长。

在本实施例中，采用基于多个摄像头的跟踪识别技术，能够有效的精确检测排队状态。所述多个摄像头至少为两个，将两个摄像头布置于不同的空间位置，分别实时采集两个摄像头之间的队列的头部和尾部的图像，通过匹配从图像中提取队列的头部和尾部人体特征，计算进出队列的时间差，进而可得到该队列的平均排队时长和该队列新入队人员的排队时长。

在进行两个摄像头之间的队列的头部和尾部的图像的匹配比较过程中，通过匹配结果，还可以检测判定当前队列离队和插队情况。若在入队集合中存在，无法在出队集合中匹配，这说明该人员在排队过程中已经离队；若入队集合中检测到，但入队中无法匹配，这说明该人员中间插队进入。所述入队集合相当于队尾特征集合，所述出队集合相当于队首特征集合。

基于检测到的人体特征，包括主要特征、辅助特征。在一个实施例中，主要特征包括人脸，辅助特征包括头部特征、肩部特征、服饰特征。在另一个实施例中，主要特征包括人脸和头部特征，辅助特征包括肩部特征和服饰特征。不论如何划分主要特征和辅助特征，都会将包括常见的人员性别、年龄和人种信息归为人员属性信息。基于队列中人员的性别信息，可以得到一段时间上的该队列中的男女人数；统计队列中一段时间上的不同年龄段上的人数，和人种信息，能够得到整个队列的年龄分布和人种情况。这些属性信息可以用于调整和优化排队处理过程。例如，通过人脸识别技术获得当前队列的年龄分布情况，根据此信息，可以统计得到儿童以及老年人等特殊群体，针对这类特殊群体，可以通过及时开放相关的特殊通道，从而提供更加人性化的服务，以满足特殊化及差异化服务的需求。而为了方便统计计算，在一个实施例中，所述人体特征还包括时间戳。所述时间戳，可以方便统计计算业务受理或排队中各种时长，比如每个排队人员的实际业务受理时长，每个排队人员的实际等待时长等等，为改善服务提供数据支持。

在一个实施例中，提供了所述模块M500所包括的具体单元，即所述模块M500至少包括下述单元：

U501、欲检测特征集合判断单元：用于判断队首特征集合中是否存在欲匹配人体特征；若存在，则进入单元U502；否则，退出模块M500；

U502、候选特征集合判断单元：判断队尾特征集合中是否存在未匹配的人体特征；若存在，则进入单元U503；否则，返回单元U501；

U503；主要特征获取单元：获取欲匹配人体特征的主要特征A1，从队尾特征集合中获取一个用于匹配的人体特征的主要特征B1；

U504、主要特征匹配判断单元：判断A1与B1是否匹配；若不匹配，则进入单元U505；否则，进入单元U508；

U505、辅助特征获取单元：获取A1对应的辅助特征A2，获取B1对应的辅助特征B2；

U506、辅助特征匹配判断单元：判断A2与B2是否匹配；若不匹配，则进入单元U507；否则，进入单元U509；

U507、候选特征迭代单元：判断队尾特征集合中是否还存在下一个用于匹配的人体特征，若存在，则获取下一个用于匹配的人体特征的主要特征，将其赋予B1，并返回单元U504；否则，返回单元U501；

U508、匹配状态第一标识单元：将B1所属人体特征标识为已匹配；

U509、匹配状态第二标识单元，将B2所属人体特征标识为已匹配。

在本实施例中，进行冗余匹配，能有效帮助实现精确匹配。在匹配时，首先使用人体特征的主要特征的进行匹配，若不匹配，再使用辅助特征进行匹配，通过这种多重匹配的方法，可以提高人员识别率。

在一个实施例中，所述系统还包括插队标识单元，所述插队标识单元用于将存在于队首特征集合中却不存在于队尾特征集合中的人体特征所对应的人员标识为插队人员。进一步地，通过统计一段时间上的插队人员数目，可以通知相关人员及时介入，以维护排队秩序。

在一个实施例中，所述系统还包括离队人员检测模块，所述离队人员检测模块通过扫描位于队尾特征集合中的、任意两个有先后顺序的、已匹配的人体特征来确定所述先后顺序的中间的、每一个未匹配的人体特征，如果该未匹配的人体特征不存在于队首特征集合中，则将未匹配的人体特征所属人员标识为离队人员。进一步地，通过人员标识统计一段时间上的离队人员数目，可以推断排队人员是否对当前排队等候时间满意。

在一个实施例中，所述平均业务受理时长通过统计一段时间内t整个队列的队首人员变换的次数n来进行估算，即：

通过估算平均业务处理时长，有利于提供更人性化的服务，或及时开放新的处理窗口，或方便队列管理者进行队列调整和优化，提高队列人员的服务满意度。

在一个实施例中，所述系统还包括预处理模块，用于对获取的摄像头图像进行图像预处理。在进行图像中的人体特征检测前，通常需要对图像进行包括但不限于缩放、裁剪、去噪声、模糊化等图像预处理操作。

在一个实施例中，所述系统还包括深度信息获取模块，所述深度信息获取模块用于获取摄像头图像中队列人员的空间纵深位置，并将其传送给模块M400。所述深度信息获取模块通过在队首增加获取深度信息的辅助摄像头，确定队列中人员的空间纵深位置。深度越大，表明队列人员离队头越远。通过队列人员深度位置的比较，辅助确定队列人员在队列中的排队先后顺序。深度信息的获取可以通过双目光学摄像头，通过比较队列在不同图像中的位置差异，提取深度信息。一些实例中，通过基于光线传播时间差TOF的方式，计算发射与接收光线的时间差，获得深度信息。在另外一些实例中，采用结构光方式获取空间景深。向空间中发射一定结构分布的光图，例如均匀光斑，通过比较结构光图的变形，获得空间的深度信息。

优选的，所述主要特征、辅助特征均使用多维的浮点向量表示。

因而，优选的，所述主要特征的匹配通过计算两个主要特征的向量点积或欧式距离来判断。优选的，所述辅助特征的匹配通过计算两个辅助特征的向量点积或欧式距离来判断。

在一个实施例中，所述主要特征使用181维的浮点向量表示、辅助特征也使用181维的浮点向量表示。

优选的，所述队列平均排队时长E(t_ave)使用下述公式计算：

$E\left(t_{ave}\right)=\frac{\underset{i=1}{\overset{N_{match}}{\Σ}}{t}_i}{N_{match}}$

其中：

t_i表示队列中第i个人的排队等待时长；

N_match表示在某个统计时间段内队列的队首和队尾匹配到的入队人数。

特别地，当队列为整个队列时，计算的队列平均排队时长，平均排队时长即为整个队列的平均排队时长。

优选的，所述新入队人员所入队列的排队时长E(t_new)使用下述公式进行估算：

$E\left(t_{new}\right)=N^{before}\frac{\underset{i=1}{\overset{K}{\Σ}}{t}_i/N_i^{before}}{K}$

其中：

K是新人员入队列前某个时间段内完成排队的人数；

t_i表示第i个人在队列中的排队等待时长；

是人员i入队时的队长；

N^before是新人员入队时的队长。

特别地，当队列为整个队列时，计算的新入队人员所入队列的排队时长即为新入队人员等候业务处理的排队时长。

优选的，所述系统还包括图像传输模块，用于将获取图像模块获取的图像经过编码压缩后通过数据传输网络传输给计算存储装置。

为了减少传输网络的数据传输时延，所述系统对图像数据进行压缩，因此在获取图像数据后，需要进行图像解压缩。因而优选的，所述计算存储装置还包括图像读写模块，用于将接收的图像进行存储或者读取存储的图像并解码解压缩后传送给预处理模块。

下面结合附图5阐述本公开的排队状态信息检测系统。

一个实例中，两个摄像头200a和200b，分别用于实时捕获队列头部和尾部的人脸图像。摄像头200a和200b拍摄的图片和视频信息，经过编码和压缩后，通过数据传输网络300，将数据传输到计算存储装置100中。计算存储装置解码和解压缩图片和视频信息，经过图像识别和人体特征检测程序，获取人体特征相关信息，估算排队状态，包括计算排队等候时间，统计插队和离队人员数目情况，统计队列属性(包括性别、年龄、以及人种)分布情况。计算存储装置具体处理流程后续详细介绍。

一个典型的计算存储装置100，包括存储记忆体、计算处理器，以及I/0接口。存储记忆体可以是磁盘阵列和RAM，用于存储程序指令集、监控摄像头200a和200b所拍摄的视频以及图片，和其它相关必要数据。计算处理器通常包括中央处理单元CPU，一些实施例中，可以同时包含CPU和图像处理单元GPU。I/O接口的实现可以包含鼠标、键盘、网络接口、以及显示屏幕。一种实施例中，计算存储装置可以是个人计算机，在另外的实施例中，可以是部署在远程的计算机服务器、计算机集群，或者云计算设施。计算处理器接收I/O接口发送的指令，执行程序指令集，处理存储在存储记忆体中的数据，并通过I/O接口将处理结果传输到终端显示器或者发送给远端的其它处理机构。

摄像头200a和200b通常包括光学镜头和图像传感器。光学镜头通过聚焦场景光线，输送到图像传感器上，图像传感器将光线转换为电信号，存储为图片和视频数字信息。一种典型的图像传感器可以有电荷耦合器件CCD或互补金属氧化物半导体CMOS两种不同的实现方式。通常摄像头200a和200b还包括输出接口，实现包括串、并口或者USB接口形式，通过输出接口，将图像和视频信息传输到其它设备，例如本系统中的计算存储装置100中。

本系统还包括传输网络300，传输网络链接摄像头200a和200b与计算存储装置100，负责将摄像获取的图像和视频信息传输到计算存储装置100中，用于计算处理。在一些实施例中，传输网络以网线的形式有线连接；在另外一些实施例中，传输网络以无线的方式连接，无线传输方式包括但不限于Wi-Fi以及蓝牙。一些实施例中，传输网络会经过局域网LWAN和/或广域网WLAN，将图像和视频数据传输到更远地理位置的计算存储装置100中。

计算存储装置100通过传输网络300，接收到摄像头200a和200b采集的队列图像和视频信息后，运行预先保存在存储体中的程序指令数据流，对图像和数据信息进行处理。

综上所述，本公开的方法和系统特别适用于在有优先级排列的应用要求下，比如医院和银行，通过时间检测与人员鉴定信息，能够较高精度的计算每个排队人员的平均业务受理时长、统计平均排队时长、预估新入队人员的排队时长、甚至判断离队人员和插队人员，有效地为管理者的决策提供数据支持，以便进一步的调整和优化排队处理过程。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其系统的核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。

Claims (26)

1.一种排队状态信息检测方法，其特征在于，所述方法包括下述步骤：

S100、至少使用2个摄像头分别拍摄同一队列的队首和队尾，并获取每个摄像头的图像；

S200、检测每个摄像头图像中的人体特征；所述人体特征包括主要特征、辅助特征；

S300、提取每个摄像头图像中的人体特征；

S400、将队尾摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队尾特征集合中；将队首摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队首特征集合中；

S500、依次从队首特征集合中获取一个欲匹配的人体特征，再将每个欲匹配的人体特征依次和队尾特征集合中未匹配的人体特征进行匹配判断；

S600、根据匹配结果获得队列的排队状态信息；所述排队状态信息包括排队人员的属性信息和排队信息；所述属性信息包括性别信息、年龄信息以及人种信息；所述排队状态信息包括队列平均排队时长、新入队人员的排队时长、离队人员和插队人员，以及每个排队人员的平均业务受理时长。

2.根据权利要求1所述的方法，其特征在于，优选的，所述步骤S500至少包括：

S501、判断队首特征集合中是否存在欲匹配人体特征；若存在，则执行步骤S502；否则，退出匹配判断；

S502、判断队尾特征集合中是否存在未匹配的人体特征；若存在，则执行步骤S503；否则，执行步骤S501；

S503；获取欲匹配人体特征的主要特征A1，从队尾特征集合中获取一个用于匹配的人体特征的主要特征R1；

S504、判断A1与R1是否匹配；若不匹配，则执行步骤S505；否则，执行步骤S508；

S505、获取A1对应的辅助特征A2，获取R1对应的辅助特征B2；

S506、判断A2与B2是否匹配；若不匹配，则执行步骤S502；否则，执行步骤S509；

S507、判断队尾特征集合中是否还存在下一个用于匹配的人体特征，若存在，则获取下一个用于匹配的人体特征的主要特征，将其赋予R1，执行步骤S504；否则执行步骤S501；

S508、将R1所属人体特征标识为已匹配；

S509、将B2所属人体特征标识为已匹配。

3.根据权利要求1所述的方法，其特征在于，所述离队人员通过下述步骤判断：

对于存在于队首特征集合中却不存在于队尾特征集合中的人体特征，该人体特征所对应的人员为插队人员。

4.根据权利要求1所述的方法，其特征在于，所述离队人员通过下述步骤判断：

对于位于队尾特征集合中的、任意两个有先后顺序的、已匹配的人体特征，确定所述先后顺序的中间的、每一个未匹配的人体特征，如果该未匹配的人体特征不存在于队首特征集合中，则该未匹配的人体特征所属人员为离队人员。

5.根据权利要求1所述的方法，其特征在于：

所述平均业务受理时长通过统计一段时间内t整个队列的队首人员变换的次数n来进行估算，即：

6.根据权利要求1所述的方法，其特征在于，在步骤S100之后，步骤S200之前，所述方法还包括：对获取的摄像头图像进行图像预处理。

7.根据权利要求1所述的方法，其特征在于，在步骤S300之后，S400之前，所述方法还包括：根据获取摄像头图像中队列人员的空间纵深位置来确定队列人员的先后顺序。

8.根据权利要求1～7任一所述的方法，其特征在于：

所述主要特征、辅助特征均使用多维的浮点向量表示。

9.根据权利要求8所述的方法，其特征在于：

所述主要特征的匹配通过计算两个主要特征的向量点积或欧式距离来判断。

10.根据权利要求8所述的方法，其特征在于：

所述辅助特征的匹配通过计算两个辅助特征的向量点积或欧式距离来判断。

11.根据权利要求1～7任一所述的方法，其特征在于，所述队列平均排队时长平均排队时长E(t_ave)使用下述公式计算：

$E\left(t_{ave}\right)=\frac{\underset{i=1}{\overset{N_{match}}{\Σ}}{t}_i}{N_{match}}$

其中：

t_i表示队列中第i个人的排队等待时长；

N_match表示在某个统计时间段内队列的队首和队尾匹配到的入队人数。

12.根据权利要求1～7任一所述的方法，其特征在于，所述新入队人员所入队列的排队时长E(t_new)使用下述公式进行估算：

$E\left(t_{new}\right)=N^{before}\frac{\underset{i=1}{\overset{K}{\Σ}}{t}_i/N_i^{before}}{K}$

其中：

K是新人员入队列前某个时间段内完成排队的人数；

t_i表示第i个人在队列中的排队等待时长；

是人员i入队时的队长；

N^before是新人员入队时的队长。

13.一种排队状态信息检测系统，其特征在于，所述系统至少包括计算存储装置，所述计算存储装置至少包括下述模块：

M100、获取图像模块：至少使用2个摄像头分别拍摄同一队列的队首和队尾并获取每个摄像头的图像；

M200、检测模块：检测每个摄像头图像中的人体特征；所述人体特征包括主要特征、辅助特征；

M300、提取特征模块：提取每个摄像头图像中的人体特征；

M400、添加特征模块：将队尾摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队尾特征集合中；将队首摄像头图像中提取的人体特征按照其所属人员的先后顺序添加到队首特征集合中；

M500、匹配特征模块：依次从队首特征集合中获取一个欲匹配的人体特征，再将每个欲匹配的人体特征和队尾特征集合中未匹配的人体特征依次进行匹配判断；

M600、获得排队状态模块：根据匹配结果获得队列的排队状态信息；所述排队状态信息包括排队人员的属性信息和排队信息；所述属性信息包括性别信息、年龄信息以及人种信息；所述排队状态信息包括队列平均排队时长、新入队人员的排队时长、离队人员和插队人员，以及每个排队人员的平均业务受理时长。

14.根据权利要求13所述的系统，其特征在于，所述模块M500至少包括下述单元：

U501、欲检测特征集合判断单元：用于判断队首特征集合中是否存在欲匹配人体特征；若存在，则进入单元U502；否则，退出模块M500；

U502、候选特征集合判断单元：判断队尾特征集合中是否存在未匹配的人体特征；若存在，则进入单元U503；否则，返回单元U501；

U503；主要特征获取单元：获取欲匹配人体特征的主要特征A1，从队尾特征集合中获取一个用于匹配的人体特征的主要特征R1；

U504、主要特征匹配判断单元：判断A1与R1是否匹配；若不匹配，则进入单元U505；否则，进入单元U508；

U505、辅助特征获取单元：获取A1对应的辅助特征A2，获取R1对应的辅助特征B2；

U506、辅助特征匹配判断单元：判断A2与B2是否匹配；若不匹配，则进入单元U507；否则，进入单元U509；

U507、候选特征迭代单元：判断队尾特征集合中是否还存在下一个用于匹配的人体特征，若存在，则获取下一个用于匹配的人体特征的主要特征，将其赋予R1，并返回单元U504；否则，返回单元U501；

U508、匹配状态第一标识单元：将R1所属人体特征标识为已匹配；

U509、匹配状态第二标识单元，将B2所属人体特征标识为已匹配。

15.根据权利要求13所述的系统，其特征在于：

所述系统还包括插队标识单元，所述插队标识单元用于将存在于队首特征集合中却不存在于队尾特征集合中的人体特征所对应的人员标识为插队人员。

16.根据权利要求13所述的系统，其特征在于：

所述系统还包括离队人员检测模块，所述离队人员检测模块通过扫描位于队尾特征集合中的、任意两个有先后顺序的、已匹配的人体特征来确定所述先后顺序的中间的、每一个未匹配的人体特征，如果该未匹配的人体特征不存在于队首特征集合中，则将未匹配的人体特征所属人员标识为离队人员。

17.根据权利要求13所述的系统，其特征在于：

所述平均业务受理时长通过统计一段时间内t整个队列的队首人员变换的次数n来进行估算，即：

18.根据权利要求13所述的系统，其特征在于：

所述系统还包括预处理模块，用于对获取的摄像头图像进行图像预处理。

19.根据权利要求13所述的系统，其特征在于：

所述系统还包括深度信息获取模块，所述深度信息获取模块用于获取摄像头图像中队列人员的空间纵深位置，并将其传送给模块M400。

20.根据权利要求13～19任一所述的系统，其特征在于：

所述主要特征、辅助特征均使用多维的浮点向量表示。

21.根据权利要求20所述的系统，其特征在于：

所述主要特征的匹配通过计算两个主要特征的向量点积或欧式距离来判断。

22.根据权利要求20所述的系统，其特征在于：

所述辅助特征的匹配通过计算两个辅助特征的向量点积或欧式距离来判断。

23.根据权利要求13～19任一所述的系统，其特征在于，所述队列平均排队时长平均排队时长E(t_ave)使用下述公式计算：

$E\left(t_{ave}\right)=\frac{\underset{i=1}{\overset{N_{match}}{\Σ}}{t}_i}{N_{match}}$

其中：

t_i表示队列中第i个人的排队等待时长；

N_match表示在某个统计时间段内队列的队首和队尾匹配到的入队人数。

24.根据权利要求13～21任一所述的系统，其特征在于，所述新入队人员所入队列的排队时长E(t_new)使用下述公式进行估算：

$E\left(t_{new}\right)=N^{before}\frac{\underset{i=1}{\overset{K}{\Σ}}{t}_i/N_i^{before}}{K}$

其中：

K是新人员入队列前某个时间段内完成排队的人数；

t_i表示第i个人在队列中的排队等待时长；

是人员i入队时的队长；

N^before是新人员入队时的队长。

25.根据权利要求18或19任一所述的系统，其特征在于：

所述系统还包括图像传输模块，用于将获取图像模块获取的图像经过编码压缩后通过数据传输网络传输给计算存储装置。

26.根据权利要求25所述的系统，其特征在于：

所述计算存储装置还包括图像读写模块，用于将接收的图像进行存储或者读取存储的图像并解码解压缩后传送给预处理模块。