CN108573189B - 一种获取排队信息的方法及装置 - Google Patents

一种获取排队信息的方法及装置 Download PDF

Info

Publication number
CN108573189B
CN108573189B CN201710130666.2A CN201710130666A CN108573189B CN 108573189 B CN108573189 B CN 108573189B CN 201710130666 A CN201710130666 A CN 201710130666A CN 108573189 B CN108573189 B CN 108573189B
Authority
CN
China
Prior art keywords
human body
queuing
state
area
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710130666.2A
Other languages
English (en)
Other versions
CN108573189A (zh
Inventor
刘琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201710130666.2A priority Critical patent/CN108573189B/zh
Priority to EP18763346.6A priority patent/EP3594848B1/en
Priority to PCT/CN2018/078126 priority patent/WO2018161889A1/zh
Publication of CN108573189A publication Critical patent/CN108573189A/zh
Priority to US16/563,632 priority patent/US11158035B2/en
Application granted granted Critical
Publication of CN108573189B publication Critical patent/CN108573189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种获取排队信息的方法及装置，属于视频监控领域。所述方法包括：获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，所述第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像；根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置；根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，所述第一时间是在当前之前且距离当前的时间差为预设时间阈值；根据当前所述场地包括的各人体的行为状态获取排队信息。本发明能够减少成本。

Description

一种获取排队信息的方法及装置
技术领域
本发明涉及视频监控领域，特别涉及一种获取排队信息的方法及装置。
背景技术
目前在超市收银台、景区售票处、办事大厅等场景经常存在排队情况。管理者可以获取排队信息，该排队信息可以包括排队人数等，根据该排队信息调整办事窗口的数目或考核办事员工的效率等。
当前可以按如下方式获取排队信息，具体为：首先划定排队区域，在排队区域的队头设置一台第一摄像机，在排队区域的队尾设置一台第二摄像机。通过第一摄像机在队头对排队区域进行拍摄得到第一图像，通过第二摄像机在队尾对排队区域进行拍摄得到第二图像。根据预设的人体特征识别出第一图像中包括的各人体图像，以及识别出第二图像中的各人体图像，将同时在第一图像和第二图像中同时出现的人体确定为排队状态的人体，根据排队状态的人体获取排队信息。
在实现本发明的过程中，发明人发现现有技术至少存在以下问题：
目前需要在每个排队区域设置两个摄像机，通过该两个摄像机获取排队信息，增加了成本。
发明内容
为了减少成本，本发明提供了一种获取排队信息的方法及装置。所述技术方案如下：
一方面，一种获取排队信息的方法，所述方法包括：
获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，所述第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像；
根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置；
根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，所述第一时间是在当前之前且距离当前的时间差为预设时间阈值；
根据当前所述场地包括的各人体的行为状态获取排队信息。
可选的，所述获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，包括：
获取摄像机拍摄的第一视频图像；
根据所述第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取所述每个像素点在世界坐标系中的位置和高度。
可选的，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置，包括：
将所述第一视频图像中的每个像素点的像素值分别替换为所述每个像素点的高度得到深度图；
在所述深度图中识别出所述深度图包括的各人体头部图像在图像坐标系中的位置；
根据所述各人体头部图像在图像坐标系中的位置，通过预设的转换矩阵获取当前在所述场地中各人体头部图像对应的人体的位置。
可选的，所述根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，包括：
根据第一时间所述场地包括的各人体的位置、当前所述场地包括的各人体的位置和所述第一时间与当前之间的时间间隔，计算当前所述场地包括的各人体的移动速度；
将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
可选的，所述根据当前所述场地包括的各人体的行为状态获取排队信息，包括：
根据排队集合包括的各人体的位置，在当前所述场地中确定所述排队集合包括的各人体所在的排队区域，所述排队集合包括当前所述场地中处于排队状态的人体；
根据位于所述排队区域内的人体计算所述排队区域的排队人数。
可选的，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置，还包括：
根据所述每个像素点的位置和高度获取当前所述场地包括的各人体占用的区域；
所述在当前所述场地中确定排队状态的所述各人体所在的排队区域之前，还包括：
根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域。
可选的，所述根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域，包括：
在所述场地中增加处于排队状态的人体占用的区域对应的权重，以及减小其他区域的权重；
从所述场地包括的区域中选择权重超过预设权重阈值的区域；
在所述选择的区域中确定至少一个连通域，所述至少一个连通域中的每个连通域为一个排队区域。
可选的，所述在当前所述场地中确定所述排队集合包括的各人体所在的排队区域之前，还包括：
确定第一人体和所述第一人体在第一时间所在的排队区域，所述第一人体在当前的行为状态为行进状态并且在第一时间的行为状态为排队状态；
如果当前所述第一人体的位置位于所述确定的排队区域，则将所述第一人体的行为状态修改为排队状态并添加到所述排队集合中。
可选的，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置之后，还包括：
确定在第一时间的行为状态为排队状态并且在当前没有出现在所述场地中的人体为异常消失人体并将所述异常消失人体添加到消失人体队列中；
所述根据位于所述排队区域内的人体计算所述排队区域的排队人数，包括：
统计位于所述排队区域内的人体的第一人体数目；
统计所述消失人体队列中位于所述排队区域内的异常消失人体数目；
计算所述第一人体数目与所述异常消失人体数目之和得到所述排队区域的排队人数。
可选的，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置之后，还包括：
确定当前的行为状态为排队状态并且在第一时间没有出现在所述场地中的人体为异常出现人体；
如果所述消失人体队列包括所述异常出现人体，则将所述异常出现人体从消失人体队列中删除。
另一方面，提供了一种获取排队信息的装置，所述装置包括：
第一获取模块，用于获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，所述第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像；
第二获取模块，用于根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置；
第一确定模块，用于根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，所述第一时间是在当前之前且距离当前的时间差为预设时间阈值；
第三获取模块，用于根据当前所述场地包括的各人体的行为状态获取排队信息。
可选的，所述第一获取模块包括：
第一获取单元，用于获取摄像机拍摄的第一视频图像；
第二获取单元，用于根据所述第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取所述每个像素点在世界坐标系中的位置和高度。
可选的，所述第二获取模块包括：
替换单元，用于将所述第一视频图像中的每个像素点的像素值分别替换为所述每个像素点的高度得到深度图；
识别单元，用于在所述深度图中识别出所述深度图包括的各人体头部图像在图像坐标系中的位置；
第三获取单元，用于根据所述各人体头部图像在图像坐标系中的位置，通过预设的转换矩阵获取当前在所述场地中各人体头部图像对应的人体的位置。
可选的，所述第一确定模块包括：
第一计算单元，用于根据第一时间所述场地包括的各人体的位置、当前所述场地包括的各人体的位置和所述第一时间与当前之间的时间间隔，计算当前所述场地包括的各人体的移动速度；
设置单元，用于将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
可选的，所述第三获取模块包括：
第一确定单元，用于根据排队集合包括的各人体的位置，在当前所述场地中确定所述排队集合包括的各人体所在的排队区域，所述排队集合包括当前所述场地中处于排队状态的人体；
第二计算单元，用于根据位于所述排队区域内的人体计算所述排队区域的排队人数。
可选的，所述第三获取模块还包括：
第四获取单元，用于根据所述每个像素点的位置和高度获取当前所述场地包括的各人体占用的区域；
所述装置还包括：
第二确定模块，用于根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域。
可选的，所述第二确定模块包括：
调整单元，用于在所述场地中增加处于排队状态的人体占用的区域对应的权重，以及减小其他区域的权重；
选择单元，用于从所述场地包括的区域中选择权重超过预设权重阈值的区域；
第二确定单元，用于在所述选择的区域中确定至少一个连通域，所述至少一个连通域中的每个连通域为一个排队区域。
可选的，所述装置还包括：
修改模块，用于确定第一人体和所述第一人体在第一时间所在的排队区域，所述第一人体在当前的行为状态为行进状态并且在第一时间的行为状态为排队状态；如果当前所述第一人体的位置位于所述确定的排队区域，则将所述第一人体的行为状态修改为排队状态并添加到所述排队集合中。
可选的，所述装置还包括：
第三确定模块，用于确定在第一时间的行为状态为排队状态并且在当前没有出现在所述场地中的人体为异常消失人体并将所述异常消失人体添加到消失人体队列中；
所述第二计算单元，用于统计位于所述排队区域内且处于排队状态的第一人体数目；统计所述消失人体队列中位于所述排队区域内的异常消失人体数目；计算所述第一人体数目与所述异常消失人体数目之和得到所述排队区域的排队人数。
可选的，所述装置还包括：
第四确定模块，用于确定当前的行为状态为排队状态并且在第一时间没有出现在所述场地中的人体为异常出现人体；如果所述消失人体队列包括所述异常出现人体，则将所述异常出现人体从消失人体队列中删除。
本发明提供的技术方案的有益效果是：
通过获取一台摄像机拍摄的视频图像包括的每个像素点在世界坐标系中的位置和高度，根据每个像素点的位置和高度可以确定该场地包括的每个人体的行为状态，根据每个人体的行为状态获取排队信息，这样可以在整个场地上设置一台摄像机就可以获取排队信息，减少了成本。
附图说明
图1是本发明实施例1提供的一种获取排队信息的方法流程图；
图2-1是本发明实施例2提供的一种获取排队信息的方法流程图；
图2-2是本发明实施例2提供的一种用于排队的场地示意图；
图3是本发明实施例3提供的一种获取排队信息的装置结构示意图；
图4是本发明实施例4提供的一种终端结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
目前在超市收银台、景区售票处、办事大厅等场地经常存在排队情况。在本发明中通过如下任一实施例获取该场地的排队信息，并将该排队信息发送至管理者的终端，以使管理者根据该排队信息调整办事窗口的数目或考核办事员工的效率等。
实施例1
参见图1，本发明实施例提供了一种获取排队信息的方法，包括：
步骤101：获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像。
具体地，获取摄像机拍摄的第一视频图像；根据第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取每个像素点在世界坐标系中的位置和高度。
步骤102：根据每个像素点的位置和高度获取当前该场地包括的各人体的位置。
具体地，将第一视频图像中的每个像素点的像素值分别替换为每个像素点的高度得到深度图；在该深度图中识别出该深度图包括的各人体头部图像在图像坐标系中的位置；根据各人体头部图像在图像坐标系中的位置，通过预设的转换矩阵获取当前在该场地中各人体头部图像对应的人体的位置。
步骤103：根据第一时间该场地包括的各人体的位置和当前该场地包括的各人体的位置确定当前该场地包括的各人体的行为状态，第一时间是在当前之前且距离当前的时间差为预设时间阈值。
具体地，根据第一时间该场地包括的各人体的位置、当前该场地包括的各人体的位置和第一时间与当前之间的时间间隔，计算当前该场地包括的各人体的移动速度；将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
步骤104：根据当前该场地包括的各人体的行为状态获取排队信息。
该排队信息可以包括当前排队总人数，排队区域数目，每个排队区域内的排队人数，队首位置、队尾位置、插队人数、离队人数或平均排队时长中的至少一者。
在本发明实施例中，通过获取一台摄像机拍摄的视频图像包括的每个像素点在世界坐标系中的位置和高度，根据每个像素点的位置和高度可以确定该场地包括的每个人体的行为状态，根据每个人体的行为状态获取排队信息，这样可以在整个场地上设置一台摄像机就可以获取排队信息，减少了成本。
实施例2
参见图2-1，本发明实施例提供了一种获取排队信息的方法，包括：
步骤201：获取摄像机当前对用于排队的场地进行拍摄得到的第一视频图像。
参见图2-2，事先可以在用于排队的场地的售票处或收银台等位置设置一个摄像机，可以将该摄像机垂直或倾斜安装在该场地的排队通道的上方，使该摄像机至少能拍摄到该场地包括的用于排队的排队区域，还可以拍摄到除排队区域以外的其他区域。即参见图2-2，该摄像机除了可以拍摄到位于排队区域的排队人体，还可以拍摄到位于排队区域外的行进人体。该摄像机可以是双目摄像机或深度摄像机等。
步骤202：根据第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取每个像素点在世界坐标系中的位置和高度。
图像坐标系是第一视频图像的坐标系，世界坐标系是该场地的坐标系。拍摄第一视频图像的摄像机有双目摄像机或深度摄像机。采用不同摄像机，本步骤的实现方式不同。
当采用双目摄像机时，预设的转换矩阵包括第一转换矩阵和第二转换矩阵，本步骤可以为：
首先根据第一视频图像包括的每个像素点在图像坐标系中的坐标，通过如下公式(1)计算第一视频图像包括的每个像素点在摄像机坐标系中的坐标。
Figure BDA0001239880210000081
在公式(1)中xa、ya、za分别为像素点在图像坐标系中的横坐标、纵坐标和双目视差，xb、yb、zb分别为像素点在摄像机坐标系中的横坐标、纵坐标和竖坐标，P为预设第一转换矩阵。
然后根据第一视频图像包括的每个像素点在摄像机坐标系中的坐标，通过如下公式(2)计算第一视频图像包括的每个像素点在世界坐标系中的位置和高度。
Figure BDA0001239880210000091
在公式(2)中xc、yc、zc分别为像素点在世界坐标系中的横坐标、纵坐标和高度，xc、yc组成了像素点在世界坐标系中的位置，M为预设第二转换矩阵。
当采用深度摄像机时，预设的转换矩阵包括内参矩阵和旋转平移矩阵，本步骤可以为：
根据第一视频图像包括的每个像素点在图像坐标系中的坐标，通过如下公式(3)计算第一视频图像包括的每个像素点在世界坐标系中的位置和高度。
Figure BDA0001239880210000092
在公式(3)中xa和ya分别为像素点在图像坐标系中的横坐标和纵坐标，xc、yc、zc分别为像素点在世界坐标系中的横坐标、纵坐标和高度，xc、yc组成了像素点在世界坐标系中的位置，C为内参矩阵，以及R为旋转平移矩阵。
其中，需要说明的是：第一视频图像中的每个像素点的位置实质是每个像素点在场地中对应的横坐标和纵坐标组成。
步骤203：根据第一视频图像中的每个像素点的位置和高度获取当前场地包括的各人体的位置和占用的区域。
人体的位置可以为人体的头部的某个点在场地中的位置，该位置由该点在世界坐标系中的横坐标和纵坐标组成。可选的，该点可以为人体的头部的中心点或任意一点等。
本步骤可以通过如下2031至2033的操作来完成，包括：
2031：将第一视频图像中的每个像素点的像素值分别替换为每个像素点的高度得到深度图。
在本步骤中实质将每个像素点的高度分别作为每个像素点的深度值，并组成一幅深度图。
2032：在该深度图中识别出该深度图包括的各人体头部图像在图像坐标系中的位置和占用的区域。
人体的头部高度比人体其他部分高度要高，在深度图中表现为头部区域中的各像素点的深度值大于周围其他区域中的各像素点的深度图。基于这个特征，可以在深度图中提取深度值局部极大区域，该提取的局部极大区域即为人体头部图像在图像坐标系中的区域。
可以将该人体头部图像中的任意一点在图像坐标系中的横坐标和纵坐标组成该人体头部图像在图像坐标系中的位置；或者，可以将该人体头部图像中的中心点在图像坐标系中的横坐标和纵坐标组成该人体头部图像在图像坐标系中的位置。
2033：根据各人体头部图像在图像坐标系中的位置和区域，通过预设的转换矩阵获取当前在该场地中各人体头部图像对应的人体的位置和占用的区域。
当采用双目摄像机拍摄第一视频图像，则对于每个人体头部图像，根据该人体头部图像在图像坐标系中的位置，通过如下公式(4)确定在该场地中该人体的位置；其中，横坐标xc和纵坐标yc组成了在该场地中该人体的位置。
Figure BDA0001239880210000101
当采用深度摄像机拍摄第一视频图像，则对于每个人体头部图像，根据该人体头部图像在图像坐标系中的位置，通过上述公式(3)确定在该场地中该人体的位置；其中，通过上述公式(3)中计算得到的横坐标xc和纵坐标yc组成了在该场地中该人体的位置。
步骤204：根据第一时间该场地包括的各人体的位置和当前该场地包括的各人体的位置确定当前该场地包括的各人体的行为状态。
第一时间是在当前之前且距离当前的时间差为预设时间阈值。第一时间可以为视频图像的帧号或某个时间点。其中第一时间可以为第二视频图像的帧号或拍摄第二视频图像的时间。第二视频图像是在当前之前摄像机拍摄的视频图像，所述第一视频图像和所述第二视频图像间隔N帧视频图像，N为大于或等于0的整数。
第一时间该场地包括的各人体的位置是在当前之前根据第二视频图像获取的，详细获取过程可以参见上述步骤202和203的操作。
本步骤可以为：根据第一时间该场地包括的各人体的位置、当前该场地包括的各人体的位置和第一时间与当前之间的时间间隔，计算当前该场地包括的各人体的移动速度；将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态，将处于排队状态的人体组成排队集合。
其中，排队状态的人体移动的速度通常较慢，而移动状态的人体移动的速度通常较快，第一时间与当前之间的时间间隔往往只有几秒钟或更短，例如该时间间隔可以为5秒、3秒、1秒或0.5秒等。所以在本步骤可以将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
通过第一时间该场地中的各人体的位置和当前该场地中的各人体的位置，可以避免将从队伍经过的人体的行为状态设置为排队状态，提高获取人体行为状态的精度。
其中，需要说明的是：由于在识别人体头部图像会出现误差，导致出现异常消失人体和异常出现人体。
所谓异常消失人体是指第一时间处于排队状态的人体并且在当前在该场地中未出现，这可能是在当前识别人体头部图像时未识别出该人体头部图像导致的。
所谓异常出现人体是指在当前处于排队状态的人体并且在第一时间在该场地未出现，这可能是在当前识别人体头部图像时将他人的肩部或其他部分误认为人体的头部图像导致的。
可选的，在本步骤还可以识别出异常消失的人体或异常出现的人体，实现过程可以为：
确定在第一时间的行为状态为排队状态并且在当前没有出现在该场地中的人体为异常消失人体；如果出现人体队列包括该异常消失人体，则从出现人体队列中删除该异常消失人体，否则，将该异常消失人体加入消失人体队列中。
确定当前的行为状态为排队状态并且在第一时间没有出现在该场地中的人体为异常出现人体；如果该消失人体队列包括该异常出现人体，则将该异常出现人体从消失人体队列中删除，否则，将该异常出现人体加入出现人体队列中，并从排队集合中去除异常出现人体。
另外，还可以监测消失人体队列中的每个异常消失人体在消失人体队列中的存储时间，将存储时间超过预设存储时间阈值的异常消失人体从消失人体队列中删除。存储时间超过预设存储时间阈值的异常消失人体可能就是不存在的人体，因而可以从消失人体队列中删除，不再对异常消失人体进行跟踪。
另外，还可以监测出现人体队列中的每个异常出现人体在出现人体队列中的存储时间，将存储时间超过预设存储时间阈值的异常出现人体的行为状态设置为排队状态，并从出现人体队列中移动到排队集合中。
步骤205：根据当前该场地包括的各人体占用的区域，确定当前该场地包括的至少一个排队区域。
具体地，在该场地中增加排队集合包括的各人体占用的区域对应的权重，以及减小该场地中除排队集合包括的各人体占用的区域以外的其他区域的权重；从该场地包括的区域中选择权重超过预设权重阈值的区域；在选择的区域中确定至少一个连通域，该至少一个连通域中的每个连通域为一个排队区域。
由于排队状态的人体移动的速度较慢，导致排队区域内包括的各区域总是有人体占用，导致排队区域内的各区域的权重会不断的累加，并最终超过预设权重阈值。排成一队的人体往往相互之间靠的较近，导致位于同一排队区域处于排队状态的相邻两个人体占用的区域连通，所以可以将一个连通域作为一个排队区域。
在本实施例中通过权重超过预设权重阈值的区域确定排队区域，这样不需要事先在场地中划分排队通道，应用更加灵活。
在排队区域内排队的人体可能发现走动现象，导致在当前确定该人体的行为状态为行进状态，但是该人体的行为状态实质上仍为排队状态，需要进行修正，详细过程如下：
确定第一人体和第一人体在第一时间所在的排队区域，第一人体在当前的行为状态为行进状态并且在第一时间的行为状态为排队状态；如果当前第一人体的位置位于确定的排队区域，则将第一人体的行为状态修改为排队状态并添加到排队集合中。
对于每个排队区域，还可以确定该排队区域的队首位置和队尾位置，实现过程可以为：
对于任一排队区域，获取当前位于该排队区域内的各人体首次出现排队状态时对应的位置，统计获取的每个位置对应的人体数目，将人体数目最大的位置确定为该排队区域的队尾位置，将该排队区域除队尾位置的另一端位置确定为队首位置。
在排队时还有可能存在插队人体，插队人体从非队尾位置入队，本步骤通过如下方式确定出插队人体，可以为：确定在第一时间的行为状态为行进状态以及在当前的行为状态为排队状态的人体，确定当前该人体的位置所在的排队区域，如果当前该人体的位置为该排队区域的非队尾位置，则确定该人体为插队人体。
在排队时还有可能存在离队人体，离队人体从非队首位置离队，本步骤通过如下方式确定出离队人体，可以为：确定在第一时间的行为状态为排队状态以及在当前的行为状态为行进状态的人体，确定第一时间该人体的位置所在的排队区域，如果第一时间该人体的位置为该排队区域的非队首位置，则确定该人体为离队人体。
在排队时有的人体办理完业务后从队首离开，本步骤还可以通过如下方式确定出从队首离开的人体：确定在第一时间的行为状态为排队状态以及在当前的行为状态为行进状态的人体，确定第一时间该人体的位置所在的排队区域，如果第一时间该人体的位置为该排队区域的队首位置，则确定该人体为从队首离开的人体。
步骤206：根据当前该场地包括的各人体的行为状态获取排队信息。
排队信息可以包括当前排队总人数，排队区域数目，每个排队区域内的排队人数，队首位置、队尾位置、插队人数、离队人数或平均排队时长中的至少一者。
对于当前排队总人数，可以直接统计当前处于排队状态的人体数目得到当前排队总人数。
对于排队区域数目，可以直接统计确定的排队区域，得到排队区域数目。
对于每个排队区域内的排队人数，可以根据排队集合包括的各人体的位置，在当前该场地中确定排队集合包括的各人体所在的排队区域；对于每个排队区域，统计位于该排队区域内的人体的第一人体数目，统计消失队列中位于该排队区域内的异常消失人体数目，计算第一人体数目与异常消失人体数目之和得到该排队区域的排队人数。
对于插队人数，可以直接统计插队人体的数目，得到插队人数。
对于离队人数，可以直接统计离队人体的数目，得到离队人数。
对于平均排队时长，先确定每个从队首离开的人体，获取该人体在第一次出现排队状态的时间和最后一次出现排队状态的时间，根据第一次出现排队状态的时间和最后一次出现排队状态的时间计算该人体的排队时间；根据每个从队首离开的人体的排队时间计算出平均排队时长。
其中，如果该时间为帧号，则假设第一次出现排队状态的时间为帧号F1，以及最后一次出现排队状态的时间为帧号F2，这样该人体的排队时间
Figure BDA0001239880210000141
秒，f表示摄像机拍摄视频的帧率。
在本发明实施例中，通过获取一台摄像机拍摄的视频图像包括的每个像素点在世界坐标系中的位置和高度，根据每个像素点的位置和高度可以确定该场地包括的每个人体的行为状态，根据每个人体的行为状态获取排队信息，这样可以在整个场地上设置一台摄像机就可以获取排队信息，减少了成本。另外本实施例，通过权重超过预设权重阈值的区域确定排队区域，这样不需要事先在场地中划定排队区域，增加了应用灵活性；在获取排队信息的过程中，不需要要预设的人体特征，只是从深度图中识别人体头部图像就可以得到场地包括的人体，相比现有技术运算复杂度简单。
实施例3
参见图3，本发明实施例提供了一种获取排队信息的装置300，所述装置300包括：
第一获取模块301，用于获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，所述第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像；
第二获取模块302，用于根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置；
第一确定模块303，用于根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，所述第一时间是在当前之前且距离当前的时间差为预设时间阈值；
第三获取模块304，用于根据当前所述场地包括的各人体的行为状态获取排队信息。
可选的，所述第一获取模块301包括：
第一获取单元，用于获取摄像机拍摄的第一视频图像；
第二获取单元，用于根据所述第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取所述每个像素点在世界坐标系中的位置和高度。
可选的，所述第二获取模块302包括：
替换单元，用于将所述第一视频图像中的每个像素点的像素值分别替换为所述每个像素点的高度得到深度图；
识别单元，用于在所述深度图中识别出所述深度图包括的各人体头部图像在图像坐标系中的位置；
第三获取单元，用于根据所述各人体头部图像在图像坐标系中的位置，通过预设的转换矩阵获取当前在所述场地中各人体头部图像对应的人体的位置。
可选的，所述第一确定模块303包括：
第一计算单元，用于根据第一时间所述场地包括的各人体的位置、当前所述场地包括的各人体的位置和所述第一时间与当前之间的时间间隔，计算当前所述场地包括的各人体的移动速度；
设置单元，用于将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
可选的，所述第三获取模块304包括：
第一确定单元，用于根据排队集合包括的各人体的位置，在当前所述场地中确定排队集合包括的各人体所在的排队区域，所述排队集合包括当前所述场地中处于排队状态的人体；
第二计算单元，用于根据位于所述排队区域内的人体计算所述排队区域的排队人数。
可选的，所述第三获取模块304还包括：
第四获取单元，用于根据所述每个像素点的位置和高度获取当前所述场地包括的各人体占用的区域；
所述装置还包括：
第二确定模块，用于根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域。
可选的，所述第二确定模块包括：
调整单元，用于在所述场地中增加处于排队状态的人体占用的区域对应的权重，以及减小其他区域的权重；
选择单元，用于从所述场地包括的区域中选择权重超过预设权重阈值的区域；
第二确定单元，用于在所述选择的区域中确定至少一个连通域，所述至少一个连通域中的每个连通域为一个排队区域。
可选的，所述装置还包括：
修改模块，用于确定第一人体和所述第一人体在第一时间所在的排队区域，所述第一人体在当前的行为状态为行进状态并且在第一时间的行为状态为排队状态；如果当前所述第一人体的位置位于所述确定的排队区域，则将所述第一人体的行为状态修改为排队状态并添加到所述排队集合中。
可选的，所述装置还包括：
第三确定模块，用于确定在第一时间的行为状态为排队状态并且在当前没有出现在所述场地中的人体为异常消失人体并将所述异常消失人体添加到消失人体队列中；
所述第二计算单元，用于统计位于所述排队区域内的人体的第一人体数目；统计所述消失人体队列中位于所述排队区域内的异常消失人体数目；计算所述第一人体数目与所述异常消失人体数目之和得到所述排队区域的排队人数。
可选的，所述装置还包括：
第四确定模块，用于确定当前的行为状态为排队状态并且在第一时间没有出现在所述场地中的人体为异常出现人体；如果所述消失人体队列包括所述异常出现人体，则将所述异常出现人体从消失人体队列中删除。
在本发明实施例中，通过获取一台摄像机拍摄的视频图像包括的每个像素点在世界坐标系中的位置和高度，根据每个像素点的位置和高度可以确定该场地包括的每个人体的行为状态，根据每个人体的行为状态获取排队信息，这样可以在整个场地上设置一台摄像机就可以获取排队信息，减少了成本。
实施例4
参见图4，本发明实施例提供了一种终端400，该终端用于执行上述获取排队信息的方法，至少包括有一个或者一个以上处理核心的处理器401。
需要说明的是：终端400除了包括处理器401外，还可以包括其他部件，例如，终端400还可以包括收发器402、存储器403、输入单元404、显示单元405、传感器406、音频电路407和WiFi(wireless fidelity，无线保真)模块408等部件，存储器403包括有一个或一个以上计算机可读存储介质。需要强调说明的是：本领域技术人员可以理解，图4中示出的UE结构并不构成对终端400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
以及，收发器402还可用于在收发信息或通话过程中进行信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器401处理；另外，将涉及上行的数据发送给基站。通常，收发器402包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、SIM(Subscriber Identity Module，客户识别模块)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，收发器402还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General PacketRadio Service，通用分组无线服务)、CDMA(Code Division Multiple Access，码分多址)、WCDMA(Wideband Code Division Multiple Access,宽带码分多址)、LTE(Long TermEvolution,长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。
存储器403还可用于存储软件程序以及模块，处理器401可以通过运行存储在存储器403的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器403可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端400的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器403可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器403还可以包括存储器控制器，以提供处理器401和输入单元404对存储器403的访问。
输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元404可包括触敏表面441以及其他输入设备442。触敏表面441，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面441上或在触敏表面441附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面441可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面441。除了触敏表面441，输入单元404还可以包括其他输入设备442。具体地，其他输入设备442可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元405可用于显示由用户输入的信息或提供给用户的信息以及终端400的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元405可包括显示面板451，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板451。进一步的，触敏表面441可覆盖显示面板451，当触敏表面441检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板451上提供相应的视觉输出。虽然在图4中，触敏表面441与显示面板451是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面441与显示面板451集成而实现输入和输出功能。
终端400包括至少一种传感器406，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板451的亮度，接近传感器可在终端400移动到耳边时，关闭显示面板451和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端400姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端400还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路407包括扬声器471和传声器472，扬声器471和传声器472可提供用户与终端400之间的音频接口。音频电路407可将接收到的音频数据转换后的电信号，传输到扬声器471，由扬声器471转换为声音信号输出；另一方面，传声器472将收集的声音信号转换为电信号，由音频电路407接收后转换为音频数据，再将音频数据输出处理器401处理后，经收发器402以发送给比如另一UE，或者将音频数据输出至存储器403以便进一步处理。音频电路407还可能包括耳塞插孔，以提供外设耳机与终端400的通信。
WiFi属于短距离无线传输技术，终端400通过WiFi模块408可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图4示出了WiFi模块408，但是可以理解的是，其并不属于终端400的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器401是终端400的控制中心，利用各种接口和线路连接整个UE的各个部分，通过运行或执行存储在存储器403内的软件程序和/或模块，以及调用存储在存储器403内的数据，执行终端400的各种功能和处理数据，从而对终端400进行整体监控。可选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
终端400还包括给各个部件供电的电源409(比如电池)，优选的，电源409可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源409还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端400还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端400的处理器201可以执行上述任一实施例提供的获取排队信息的方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种获取排队信息的方法，其特征在于，所述方法包括：
获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，所述第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像；
根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置；
根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置，确定当前所述场地包括的各人体的行为状态，所述第一时间是在当前之前且距离当前的时间差为预设时间阈值，所述行为状态包括排队状态、行进状态；
确定第一人体和所述第一人体在所述第一时间所在的排队区域，所述第一人体在当前的行为状态为行进状态并且在第一时间的行为状态为排队状态；若当前所述第一人体的位置位于所述确定的排队区域，则将所述第一人体的行为状态修改为排队状态并添加到所述排队集合中；
根据排队集合包括的各人体的位置，在当前所述场地中确定所述排队集合包括的各人体所在的排队区域，所述排队集合包括当前所述场地中处于排队状态的人体；
根据位于所述排队区域内的人体计算所述排队区域的排队人数。
2.如权利要求1所述的方法，其特征在于，所述获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，包括：
获取摄像机拍摄的第一视频图像；
根据所述第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取所述每个像素点在世界坐标系中的位置和高度。
3.如权利要求1所述的方法，其特征在于，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置，包括：
将所述第一视频图像中的每个像素点的像素值分别替换为所述每个像素点的高度得到深度图；
在所述深度图中识别出所述深度图包括的各人体头部图像在图像坐标系中的位置；
根据所述各人体头部图像在图像坐标系中的位置，通过预设的转换矩阵获取当前在所述场地中各人体头部图像对应的人体的位置。
4.如权利要求1所述的方法，其特征在于，所述根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，包括：
根据第一时间所述场地包括的各人体的位置、当前所述场地包括的各人体的位置和所述第一时间与当前之间的时间间隔，计算当前所述场地包括的各人体的移动速度；
将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
5.如权利要求1所述的方法，其特征在于，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置，还包括：
根据所述每个像素点的位置和高度获取当前所述场地包括的各人体占用的区域；
所述在当前所述场地中确定排队状态的所述各人体所在的排队区域之前，还包括：
根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域。
6.如权利要求5所述的方法，其特征在于，所述根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域，包括：
在所述场地中增加处于排队状态的人体占用的区域对应的权重，以及减小其他区域的权重；
从所述场地包括的区域中选择权重超过预设权重阈值的区域；
在所述选择的区域中确定至少一个连通域，所述至少一个连通域中的每个连通域为一个排队区域。
7.如权利要求1所述的方法，其特征在于，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置之后，还包括：
确定在第一时间的行为状态为排队状态并且在当前没有出现在所述场地中的人体为异常消失人体并将所述异常消失人体添加到消失人体队列中；
所述根据位于所述排队区域内的人体计算所述排队区域的排队人数，包括：
统计位于所述排队区域内的人体的第一人体数目；
统计所述消失人体队列中位于所述排队区域内的异常消失人体数目；
计算所述第一人体数目与所述异常消失人体数目之和得到所述排队区域的排队人数。
8.如权利要求7所述的方法，其特征在于，所述根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置之后，还包括：
确定当前的行为状态为排队状态并且在第一时间没有出现在所述场地中的人体为异常出现人体；
如果所述消失人体队列包括所述异常出现人体，则将所述异常出现人体从所述消失人体队列中删除。
9.一种获取排队信息的装置，其特征在于，所述装置包括：
第一获取模块，用于获取第一视频图像包括的每个像素点在世界坐标系中的位置和高度，所述第一视频图像是摄像机对用于排队的场地进行拍摄得到的视频图像；第二获取模块，用于根据所述每个像素点的位置和高度获取当前所述场地包括的各人体的位置；
第一确定模块，用于根据第一时间所述场地包括的各人体的位置和当前所述场地包括的各人体的位置确定当前所述场地包括的各人体的行为状态，所述第一时间是在当前之前且距离当前的时间差为预设时间阈值，所述行为状态包括排队状态、行进状态；
修改模块，用于确定第一人体和所述第一人体在所述第一时间所在的排队区域，所述第一人体在当前的行为状态为行进状态并且在第一时间的行为状态为排队状态；若当前所述第一人体的位置位于所述确定的排队区域，则将所述第一人体的行为状态修改为排队状态并添加到所述排队集合中；
第三获取模块，包括：
第一确定单元，用于根据排队集合包括的各人体的位置，在当前所述场地中确定所述排队集合包括的各人体所在的排队区域，所述排队集合包括当前所述场地中处于排队状态的人体；
第二计算单元，用于根据位于所述排队区域内的人体计算所述排队区域的排队人数。
10.如权利要求9所述的装置，其特征在于，所述第一获取模块包括：
第一获取单元，用于获取摄像机拍摄的第一视频图像；
第二获取单元，用于根据所述第一视频图像包括的每个像素点在图像坐标系中的坐标，通过预设的转换矩阵获取所述每个像素点在世界坐标系中的位置和高度。
11.如权利要求9所述的装置，其特征在于，所述第二获取模块包括：
替换单元，用于将所述第一视频图像中的每个像素点的像素值分别替换为所述每个像素点的高度得到深度图；
识别单元，用于在所述深度图中识别出所述深度图包括的各人体头部图像在图像坐标系中的位置；
第三获取单元，用于根据所述各人体头部图像在图像坐标系中的位置，通过预设的转换矩阵获取当前在所述场地中各人体头部图像对应的人体的位置。
12.如权利要求9所述的装置，其特征在于，所述第一确定模块包括：
第一计算单元，用于根据第一时间所述场地包括的各人体的位置、当前所述场地包括的各人体的位置和所述第一时间与当前之间的时间间隔，计算当前所述场地包括的各人体的移动速度；
设置单元，用于将移动速度超过预设速度阈值的人体的行为状态设置为行进状态，以及将移动速度未超过预设速度阈值的人体的行为状态设置为排队状态。
13.如权利要求9所述的装置，其特征在于，所述第三获取模块还包括：
第四获取单元，用于根据所述每个像素点的位置和高度获取当前所述场地包括的各人体占用的区域；
所述装置还包括：
第二确定模块，用于根据当前所述场地包括的各人体占用的区域，确定当前所述场地包括的至少一个排队区域。
14.如权利要求13所述的装置，其特征在于，所述第二确定模块包括：
调整单元，用于在所述场地中增加处于排队状态的人体占用的区域对应的权重，以及减小其他区域的权重；
选择单元，用于从所述场地包括的区域中选择权重超过预设权重阈值的区域；
第二确定单元，用于在所述选择的区域中确定至少一个连通域，所述至少一个连通域中的每个连通域为一个排队区域。
15.如权利要求9所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于确定在第一时间的行为状态为排队状态并且在当前没有出现在所述场地中的人体为异常消失人体并将所述异常消失人体添加到消失人体队列中；
所述第二计算单元，用于统计位于所述排队区域内的人体的第一人体数目；统计所述消失人体队列中位于所述排队区域内的异常消失人体数目；计算所述第一人体数目与所述异常消失人体数目之和得到所述排队区域的排队人数。
16.如权利要求15所述的装置，其特征在于，所述装置还包括：
第四确定模块，用于确定当前的行为状态为排队状态并且在第一时间没有出现在所述场地中的人体为异常出现人体；如果所述消失人体队列包括所述异常出现人体，则将所述异常出现人体从所述消失人体队列中删除。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储至少一条指令，所述指令被处理器执行时实现权利要求1-8任一所述的获取排队信息的方法。
CN201710130666.2A 2017-03-07 2017-03-07 一种获取排队信息的方法及装置 Active CN108573189B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710130666.2A CN108573189B (zh) 2017-03-07 2017-03-07 一种获取排队信息的方法及装置
EP18763346.6A EP3594848B1 (en) 2017-03-07 2018-03-06 Queue information acquisition method, device and computer readable storage medium
PCT/CN2018/078126 WO2018161889A1 (zh) 2017-03-07 2018-03-06 一种获取排队信息的方法、装置及计算机可读存储介质
US16/563,632 US11158035B2 (en) 2017-03-07 2019-09-06 Method and apparatus for acquiring queuing information, and computer-readable storage medium thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710130666.2A CN108573189B (zh) 2017-03-07 2017-03-07 一种获取排队信息的方法及装置

Publications (2)

Publication Number Publication Date
CN108573189A CN108573189A (zh) 2018-09-25
CN108573189B true CN108573189B (zh) 2020-01-10

Family

ID=63447251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710130666.2A Active CN108573189B (zh) 2017-03-07 2017-03-07 一种获取排队信息的方法及装置

Country Status (4)

Country Link
US (1) US11158035B2 (zh)
EP (1) EP3594848B1 (zh)
CN (1) CN108573189B (zh)
WO (1) WO2018161889A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109326237A (zh) * 2018-09-30 2019-02-12 广西田东泰如鲜品农副产品配送有限公司 一种芒果庄园的导览系统
CN109584380A (zh) * 2018-11-29 2019-04-05 南宁思飞电子科技有限公司 一种地铁自助购票机防止插队抢票得智能处理系统及其处理方法
CN109584379A (zh) * 2018-11-29 2019-04-05 南宁思飞电子科技有限公司 一种基于重量与人数控制自主售票机插队买票系统及其控制方法
CN109840982B (zh) 2019-01-02 2020-07-14 京东方科技集团股份有限公司 排队推荐方法及装置、计算机可读存储介质
CN110099253A (zh) * 2019-05-20 2019-08-06 浙江大华技术股份有限公司 告警操作的执行方法、显示设备
CN113989707B (zh) * 2021-10-27 2024-05-31 福州大学 一种基于OpenPose和OpenCV的公共场所排队异常行为检测方法
JP7487901B1 (ja) 2023-01-24 2024-05-21 Ｎｅｃプラットフォームズ株式会社 行列情報提供システム、方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855760A (zh) * 2012-09-27 2013-01-02 中山大学 基于浮动车数据的在线排队长度检测方法
CN102867414A (zh) * 2012-08-18 2013-01-09 湖南大学 一种基于ptz摄像机快速标定的车辆排队长度测量方法
CN104215237A (zh) * 2013-06-05 2014-12-17 北京掌尚无限信息技术有限公司 室内地图导航线路指引算法
CN104994360A (zh) * 2015-08-03 2015-10-21 北京旷视科技有限公司 视频监控方法和视频监控系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3727798B2 (ja) * 1999-02-09 2005-12-14 株式会社東芝 画像監視システム
EP2008458A4 (en) * 2006-04-18 2009-05-06 Sorensen Associates Inc SYSTEM AND METHOD FOR ANALYZING A QUEUE WITH FIXED IMAGES
US8131010B2 (en) * 2007-07-30 2012-03-06 International Business Machines Corporation High density queue estimation and line management
JP2009193412A (ja) * 2008-02-15 2009-08-27 Tokyo Univ Of Science 動的窓口設定装置及び動的窓口設定方法
CN103942773B (zh) * 2013-01-21 2017-05-10 浙江大华技术股份有限公司 一种通过图像分析获取排队长度的方法及装置
EP2849151A1 (de) * 2013-09-13 2015-03-18 Xovis AG Verfahren zur Analyse von freien Warteschlangen
CN103903445A (zh) * 2014-04-22 2014-07-02 北京邮电大学 一种基于视频的车辆排队长度检测方法与系统
CN103916641A (zh) * 2014-04-22 2014-07-09 浙江宇视科技有限公司 一种队列长度计算方法以及装置
US20160191865A1 (en) * 2014-12-30 2016-06-30 Nice-Systems Ltd. System and method for estimating an expected waiting time for a person entering a queue

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867414A (zh) * 2012-08-18 2013-01-09 湖南大学 一种基于ptz摄像机快速标定的车辆排队长度测量方法
CN102855760A (zh) * 2012-09-27 2013-01-02 中山大学 基于浮动车数据的在线排队长度检测方法
CN104215237A (zh) * 2013-06-05 2014-12-17 北京掌尚无限信息技术有限公司 室内地图导航线路指引算法
CN104994360A (zh) * 2015-08-03 2015-10-21 北京旷视科技有限公司 视频监控方法和视频监控系统

Also Published As

Publication number Publication date
CN108573189A (zh) 2018-09-25
EP3594848A1 (en) 2020-01-15
EP3594848B1 (en) 2024-07-17
US20190392572A1 (en) 2019-12-26
WO2018161889A1 (zh) 2018-09-13
US11158035B2 (en) 2021-10-26
EP3594848A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
CN108573189B (zh) 一种获取排队信息的方法及装置
CN110035176B (zh) 一种移动终端的亮度调节方法、移动终端及存储介质
CN109195213B (zh) 移动终端屏幕控制方法、移动终端及计算机可读存储介质
CN107450796B (zh) 一种图片处理方法、移动终端和计算机可读存储介质
CN109584897B (zh) 视频降噪方法、移动终端及计算机可读存储介质
CN109753210B (zh) 移动终端的信息显示方法、移动终端、可读存储介质
CN109471571A (zh) 悬浮控件的显示方法、移动终端及计算机可读存储介质
CN109005574A (zh) 小区选择方法、移动终端及计算机可读存储介质
US10636122B2 (en) Method, device and nonvolatile computer-readable medium for image composition
CN113421211A (zh) 光斑虚化的方法、终端设备及存储介质
CN114040073B (zh) 一种星空图像拍摄处理方法、设备及计算机可读存储介质
CN110052024B (zh) 游戏震动的调整方法、调整装置、移动终端及存储介质
CN112163148A (zh) 信息显示方法、移动终端及存储介质
CN109710168B (zh) 一种屏幕触控方法、设备及计算机可读存储介质
CN105513098B (zh) 一种图像处理的方法和装置
CN105184750A (zh) 一种在移动终端对实时视频图像去噪的方法和装置
CN110174963A (zh) 一种终端控制方法、终端及计算机可读存储介质
CN112532838B (zh) 一种图像处理方法、移动终端以及计算机存储介质
CN109460140A (zh) 屏幕解锁方法、移动终端及计算机可读存储介质
CN112015508B (zh) 一种投屏交互控制方法、设备及计算机可读存储介质
CN109460988B (zh) 一种扫码支付方法、设备及计算机可读存储介质
CN109157837B (zh) 一种显示控制方法、终端及计算机可读存储介质
CN108171775B (zh) 图片合成方法、移动终端及计算机可读存储介质
CN110708601A (zh) 一种精彩视频获取方法、终端及计算机可读存储介质
CN108009872A (zh) 一种信息显示方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant