CN114937241A - 基于过渡区的客流统计方法和系统以及计算机程序产品 - Google Patents

基于过渡区的客流统计方法和系统以及计算机程序产品 Download PDF

Info

Publication number
CN114937241A
CN114937241A CN202210614227.XA CN202210614227A CN114937241A CN 114937241 A CN114937241 A CN 114937241A CN 202210614227 A CN202210614227 A CN 202210614227A CN 114937241 A CN114937241 A CN 114937241A
Authority
CN
China
Prior art keywords
response
field
domain
pedestrian
passenger flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210614227.XA
Other languages
English (en)
Other versions
CN114937241B (zh
Inventor
余刚
张继鹏
贾艳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kailishi Technology Co ltd
Original Assignee
Beijing Kailishi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kailishi Technology Co ltd filed Critical Beijing Kailishi Technology Co ltd
Priority to CN202210614227.XA priority Critical patent/CN114937241B/zh
Publication of CN114937241A publication Critical patent/CN114937241A/zh
Application granted granted Critical
Publication of CN114937241B publication Critical patent/CN114937241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

涉及一种基于过渡区的客流统计方法和系统以及计算机程序产品，为了解决人流统计难去重问题，该方法包括：获取覆盖过渡区的视频数据；在拍摄视野标注场外响应域和场内响应域；利用多目标追踪取得进入拍摄视野至离开拍摄视野的行人轨迹；相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域；设行人轨迹首尾发生绊域的响应域为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：若A是场外响应域且B是场内响应域，则C=+1；若A是场外响应域且B是场外响应域，则C=0；若A是场内响应域且B是场内响应域，则C=0；若A是场内响应域且B是场外响应域，则C=‑1，由此实现面向更复杂人流场景的统计。

Description

基于过渡区的客流统计方法和系统以及计算机程序产品
本发明涉及基于计算机视觉的客流统计领域，特别是涉及一种基于过渡区的客流统计方法和系统以及计算机程序产品。
背景技术
基于计算机视觉进行客流统计已成为趋势。以往普遍存在一种统计方式，即在场景的入口通过过线统计或过区域统计或双域统计等方式来统计人流，例如专利文献1记载了设置虚拟线，判断越过虚拟线来统计上下车人数的方案。这种方式的一个局限是仅能统计场景中一个人流点的进出情况，对于具有多个出入口的复杂建筑场所不易简单适用。
例如常见的，地铁的换乘区构成一个进出的过渡区，换乘区不仅连接多个通往地面的出入口，还连接通往多条换乘线的通道。又如商场的入口大厅，连接商场的主出入口并通往其他楼层的阶梯通道，还连接多个店铺或活动场所的店内区。又如大宗服装品牌的店铺，不仅具有多个出入口，还按男女装童装等划分多个区域，入店后存在相对开放的过渡区域，过渡连接出入口与不同的选购区。像这样的过渡区域由于处于多个方向的人员流动的汇聚点，实际中构成整个物业内人流最为密集的区域，因此针对该区域的人流统计尤为重要。
基于过渡区进行人流统计存在难去重的问题，原因是进入该区域的人流存在多种流向，并且过渡区连接双层的出入，要进入或离开实际的内场需要经双层的出入才能实现。因此，进入该过渡区域的人员未必最终流向实际的内场，而仅是例如从过渡区通过或折返，而未抵达实际的统计意义上的终端。比如，地铁售票机所在的开放区，往往又与地上道路重叠，同时起到地下过街通道的作用，进入该区域的行人未必流向站内，而仅是从此经过。
这时，客流统计的意义出现分级，单纯统计全部的流入流出人数，仅能识别例如整体的安防效益，无法剥离全部客流中例如上例中流向站内部分的分流。专利文献2提出一种双流向的统计方法，通过人脸的朝向辨别不同流向的人流，但该方案仅适用交通规则简单的双向通道，对于复杂的多出入口的开放区域，目前还没有提出任何可行的解决方案。
另一方面，面对这种相对大场景的视频采集，还存在近大远小和视频扭曲等问题，应用以往的过线技术时，对图像细节要求较高并且算力过大。
专利文献1:中国专利公开CN107239762
专利文献2:中国专利公开CN112149457。
发明内容
本发明鉴于以上问题进行了研发，目的在于提供一种基于过渡区的客流统计方法，所述过渡区连接至少一个场外区和至少一个场内区，其特征在于，该客流统计方法包括：
获取拍摄视野覆盖过渡区的视频数据；
在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域；
利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹；
相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域；
设行人轨迹首尾发生绊域的响应域为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：
若A是场外响应域且B是场内响应域，则C=+1；
若A是场外响应域且B是场外响应域，则C=0；
若A是场内响应域且B是场内响应域，则C=0；
若A是场内响应域且B是场外响应域，则C=-1，
其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
优选地，所述场外响应域是标注在过渡区与场外区之间的客流路径上的坐标集，所述场内响应域是标注在过渡区与场内区之间的客流路径上的坐标集。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一预设位置坐标之间的第一距离，并计算该任意位置坐标与相邻该响应域的另一响应域上的任一预设位置坐标之间的第二距离，当第一距离小于第一预设阈值且第二距离大于第二预设阈值时确定行人轨迹与该响应域发生绊域。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的多个预设位置坐标之间的距离，当任一距离小于对应的预设阈值时确定行人轨迹与该响应域发生绊域。
优选地，至少一个响应域为一个点坐标。
优选地，所述相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域包括：
从行人轨迹的任一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作首次发生绊域的响应域，并转至该行人轨迹的另一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当再次出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作尾次发生绊域的响应域。
提供一种基于过渡区的客流统计系统，所述过渡区连接至少一个场外区和至少一个场内区，该客流统计系统包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行上述任一项所述的客流统计方法。
提供一种基于过渡区的客流统计系统，所述过渡区连接至少一个场外区和至少一个场内区，该客流统计系统包括：处理器；存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行：
获取拍摄视野覆盖过渡区的视频数据；
在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域；
利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹；
相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域；
设行人轨迹首尾发生绊域的响应域为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：
若A是场外响应域且B是场内响应域，则C=+1；
若A是场外响应域且B是场外响应域，则C=0；
若A是场内响应域且B是场内响应域，则C=0；
若A是场内响应域且B是场外响应域，则C=-1，
其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
优选地，所述场外响应域是标注在过渡区与场外区之间的客流路径上的坐标集，所述场内响应域是标注在过渡区与场内区之间的客流路径上的坐标集。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一预设位置坐标之间的第一距离，并计算该任意位置坐标与相邻该响应域的另一响应域上的任一预设位置坐标之间的第二距离，当第一距离小于第一预设阈值且第二距离大于第二预设阈值时确定行人轨迹与该响应域发生绊域。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的多个预设位置坐标之间的距离，当任一距离小于对应的预设阈值时确定行人轨迹与该响应域发生绊域。
优选地，至少一个响应域为一个点坐标。
优选地，所述相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域包括：
从行人轨迹的任一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作首次发生绊域的响应域，并转至该行人轨迹的另一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当再次出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作尾次发生绊域的响应域。
提供一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行上述任一项所述的基于过渡区的客流统计方法。
提供一种计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行：
获取拍摄视野覆盖过渡区的视频数据，所述过渡区连接至少一个场外区和至少一个场内区；
在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域；
利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹；
相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域；
设行人轨迹首尾发生绊域的响应域为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：
若A是场外响应域且B是场内响应域，则C=+1；
若A是场外响应域且B是场外响应域，则C=0；
若A是场内响应域且B是场内响应域，则C=0；
若A是场内响应域且B是场外响应域，则C=-1，
其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
优选地，所述场外响应域是标注在过渡区与场外区之间的客流路径上的坐标集，所述场内响应域是标注在过渡区与场内区之间的客流路径上的坐标集。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。
优选地，所述绊域计算包括：
相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一预设位置坐标之间的第一距离，并计算该任意位置坐标与相邻该响应域的另一响应域上的任一预设位置坐标之间的第二距离，当第一距离小于第一预设阈值且第二距离大于第二预设阈值时确定行人轨迹与该响应域发生绊域。
优选地，所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的多个预设位置坐标之间的距离，当任一距离小于对应的预设阈值时确定行人轨迹与该响应域发生绊域。
优选地，至少一个响应域为一个点坐标。
优选地，所述相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域包括：
从行人轨迹的任一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作首次发生绊域的响应域，并转至该行人轨迹的另一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当再次出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作尾次发生绊域的响应域。
还提供一种基于过渡区的客流统计方法，所述过渡区连接至少一个场外区和至少一个场内区，其特征在于，该客流统计方法包括：
获取拍摄视野覆盖过渡区的视频数据；
在拍摄视野中标注过渡区与场外区之间客流路径上的第一坐标集以及过渡区与场内区之间客流路径上的第二坐标集；
利用多目标追踪技术，由获取的视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹；
相对各坐标集进行行人轨迹的过线计算，求得行人轨迹首尾发生过线的坐标集；
设行人轨迹首尾发生过线的坐标集为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：
若A是场外响应域且B是场内响应域，则C=+1；
若A是场外响应域且B是场外响应域，则C=0；
若A是场内响应域且B是场内响应域，则C=0；
若A是场内响应域且B是场外响应域，则C=-1，
其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
优选地，所述相对各坐标集进行行人轨迹的过线计算，求得行人轨迹首尾发生过线的坐标集包括：
从行人轨迹的任一端开始相对各坐标集进行过线计算，当出现行人轨迹相对任一坐标集过线，将该坐标集记作首次发生绊域的坐标集，并转至该行人轨迹的另一端开始相对各坐标集进行过线计算，当再次出现行人轨迹相对任一坐标集过线，将该坐标集记作尾次发生绊域的坐标集。
根据本发明，可以解决过渡区的客流统计难以去重的问题，并且实现算力降低。
附图说明
图1a～图1d是分别示例本发明可适用的不同场景下的进出过渡区域的示意图，图1a示例一商场西区入口大厅的拍摄视野，图1b示例一服装自选店中一个开放区域的拍摄视野，图1c示例一地铁换乘区的拍摄视野，图1d是进一步的变形示例，表示一超市入口处的鲜货区。
图2是图示本发明实施例的客流统计的流程图。
图3a～图3d是分别示例不同类型的响应域，图3a表示一凸多边形的响应域，图3b表示一矩形响应域，图3c示例一直线响应域，图3d示例一双线响应域。
图4a～图4c是分别表示客流流入、客流离开和客流不变的三种情况的示意图。
图5是图示本发明实施例的客流统计系统的功能性框图。
图6是表示一行人轨迹绊域计算的示意图，
图7是表示一进出口采用两侧双门方式的场景示意图。
图8是表示一包含商场入口和入口斜对面的冷饮店的场景示意图。
图9是图示本发明实施例的客流统计系统的示意性框图。
图10是图示本发明实施例的一客流统计应用实例的流程图。
具体实施方式
为进一步明确本发明的目的、技术方案和优点，以下将参照附图详细描述本发明的示例。显然所描述的示例仅为本发明的一部分实施例，而非本发明的全部实施例，应理解，本发明不受在此描述的示例限制。基于本公开中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都落入本发明的保护范围之内。
本发明提供一种基于过渡区的客流统计方法。所谓客流是一定时间内某一路线路段或某一区域内一定流向的人员流动，包含流量、流向和流时要素，客流的统计应理解为一定时间流向某个方向或流入流出某个场所的人数变化的统计，客流的统计具有重要的现实意义，选择合适的统计关卡是实现该意义的关键。
本申请定义一种进出过渡区域，该区域包括一个过渡区，至少一个场外区和至少一个场内区，所述过渡区将至少一个场外区和至少一个场内区过渡连接。场内区定义为统计意义所在，当一个统计目标为进入场内区需要从场外区经过渡区进入场内区，或者相反，为离开场内区需要经过过渡区进入场外区。
由于在这样的进出过渡区域内建筑构造复杂，往往通向多个通道，使得过渡区成为人流汇集的交点，现实经验中常常成为整个物业或项目的人流密度的峰点，对这样的区域进行人流统计明显比以往的统计某一个物业大门的出入人流或更大范围内多个出入口的人流变化的汇总值更有统计价值，无论用作安防安保的阈值参考，还是作为商业分析，都具有更显著的参考效果。本申请就是基于这样的理解，选择提供一种基于过渡区的客流统计方案。
为便于理解本发明的思想，参照图1a～图1d说明几种不同场景下的进出过渡区域的示例。
图1a示例商场西区入口大厅的拍摄视野，作为过渡区其过渡连接多个店铺与西区入口和通往东区的通道，顾客需从入口进入过渡区再进入各个店铺，在此，入口外和东区通道构成场外区，各品牌店构成场内区。
图1b示例服装自选店中一个开放区域的方形拍摄视野，作为过渡区其过渡连接感应门出入口与女装区和童装区（不同店内区），同时还连接通往二层男装区的电梯，在此，感应门外构成场外区（店外区），女装童装和电梯构成场内区。
图1c示例地铁换乘区的拍摄视野，作为过渡区其过渡连接四个地铁线和三个出入口，并且还连通一个便利店超市，在此，三个出入口方向对应场外区，根据统计目的，一般以地铁线作为场内区，但另一个变形例中，也可以以便利店超市作为场内区，其他全部作为场外区。该实施例特别之处在于场内区出现进一步分化。
图1d是进一步变形的示例，图中水平框图表示超市入口处的鲜货区块，客人进入超市后左侧是冷柜菜区，右侧是散货区，称重点位于通道中间，经由称重点可以继续前往其他商品区，斜方框表示拍摄视野。在此，入口和其他商品区作为场外区，冷柜菜区和散货区作为场内区，中间的开放区为过渡区。该实施例特别之处是场内区具有较长的出入边界。
下面参照附图，进一步详述本发明基于上述这样的过渡区进行客流统计的实施例。
图2是图示本发明实施例的客流统计的流程图。如图2所示，根据本发明在步骤S201中，获取拍摄视野覆盖过渡区的视频数据。
视频数据来自布置于视野覆盖过渡区的单一视频采集装置的视频拍摄，视频采集装置为能够获取被摄场景的视频数据的摄像机或摄像头。获取视频数据包括但不限于，在由摄像手段采集视频数据之后，经由有线或者无线方式从摄像手段接收视频数据。另一个获取方式可以是由第三方提供当日或历史视频，从而计算一个历史时段的经时人数变化。因此本方法即适合于实时应用，也可用于对现有视频的后期分析。
摄像头视野中过渡区的边缘位置对于本领域技术人员来说可理解为不限于必须包含全部建筑构件，也不限于必须包含建筑分隔上的现实边界。例如不一定包含进入商场大厅的大门。保证拍摄视野覆盖过渡区包括三个含义，第一，视野覆盖进入过渡区的行人可漫游的全部领域，第二，视野覆盖全部进出通道，第三，视野应基于过渡区布置，而不应过度进入场内或场外。过渡区由建筑分隔物和进出通道包围，应理解不由建筑分隔物阻挡的边界都被设定为进出通道。由此统计目标的行踪被圈定在一个限定空间，仅经由进出通道增加统计或减少统计，拍摄视野通过覆盖过渡区从而可以捕捉到全部客流变化。
所述进出通道不限于正门，在一种摄像头的设置方式下，视野的边缘并未收纳场内和场外的现实出入门，但由于视野覆盖了标注在客流进场或离场路径上的响应域，亦认为属于本发明过渡区边缘的语义。
本文各图中用加重加粗轮廓的方式表示响应域，响应域是标注在进场或离场路径上的位置坐标集，可指示过渡区与某一场外区或某一场内区间过渡的对应关系。场外响应域标注在过渡区与场外区之间的客流路径上，响应场外区表示过渡区与某一场外区间过渡对应。场内响应域标注在过渡区与场内区之间的客流路径上，响应场内区表示过渡区与某一场内区间过渡对应。通过进行行人靠近或经过响应域的绊域计算，来获知响应某一场外区或场内区的信息。此后，处理进到步骤S202。
根据本发明在步骤S202中，在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域。在本实施例中，响应域的标注在所述获取拍摄视野覆盖过渡区的视频数据之后进行，但其实也可以在获取视频数据之前进行标注，对此不做限定。
在视频处理领域，例如以视频左上角的像素为（x=0,y=0），为每一帧图像整个区域的像素分配位置坐标获得视频数据，或直接获得具有类似坐标分配的视频数据，在拍摄视野中标注一个域的实质是对视野进行域选操作确定一个坐标集。
某些摄影设备中，会将取景采样映射到显示器上并不介入缓存应用，但某些摄影设备中已经应用在显示设备中标注取景框或人像识别等快门前功能的技术，其实已做了数据处理。对应地，本发明的标注一个域的动作至少包括三种情况。
一种是从获取的视频数据中通过深度学习识别出现场出入口的位置或店铺商标等信息，从而自动确认一个合适域标注为响应域。另一种是供前端的标注工具，以被人工通过显示画面进行标注，例如通过鼠标或手触在显示区上划出一个方框或一条线段，经过映射处理换算成坐标数据。另一种是在监视视窗中进行标注操作，将坐标数据记录在缓存等中备用。
作为前端标注工具的一个示例，例如运行区域划分程序，通过人为选择指定范围，通过顺时针或逆时针点击范围的边界点，选定完成后键入区域对应标识，自动将区域边界信息保存至配置文件中。
响应域的坐标集不限于多个坐标的集合，也可以是一个点坐标，根据后述的绊域计算的需要，可以采用不同的类型，本发明可以不作限定。具体地，可以根据现场条件和硬件水平等设计，也可以根据软件算力和用户友好进行选择。参照图3a～图3d示意了几种不同类型的响应域，分别是一个凸多边形，一个长方形，一条线段，两条平行线段。参照图6示意了一个坐标点的响应域。对此参照后文的绊域计算可以理解。此后，处理进到步骤S203。
根据本发明在步骤S203中，利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹。
本实施例采用计算机视觉技术对获取的视频数据进行多目标追踪，一个实施例中，包括利用深度学习方法将视频流中每一帧的人检测识别出来，以及利用跟踪算法将前后帧的人关联起来实现目标跟踪。
考虑到应用场景，本实施例优选使用预先训练好的检测器（诸如YOLOv5（You OnlyLook Once v5:一阶段统一实时目标检测v5）、FasterR-CNN（Faster RegionConvolutional Neural Network：区域卷积神经网络）、SSD (Single Shot multi-boxDetector：单镜头多盒检测器）模型）对视频数据进行目标检测，获取多目标的位置和特征。在此示例一个优选例，对每一帧图像通过深度学习算法找到目标对象，通过矩形边框将行人的头肩识别出来，但是本申请不限于此。并且不限于识别人的整体后截取头肩区，也包括基于头肩特征的卷积核获得头肩位置和特征。
边框也叫边界框（Bounding Box），可以是矩形框、圆形框、椭圆框等，本例中优选由四角位置坐标P={(x[n],y[n])|n=1...4}（其中，(x[n],y[n])是第n关键点的位置)表示的矩形框，以边框底边中心的坐标P=(X,Y)={(x[1]+x[2])/2,y[2]}作为目标行人的位置，以头肩比S=(x[1]-x[2])/(y[1]-y[2])作为行人目标的特征。但本申请不限于此，也可以采用边框中的其他位点，例如通过SIFT（Scale-invariant feature transform：尺度不变特征变换）算法提取每个行人头肩的角点，也可以以边框面积和/或长宽比作为目标的外观特征。
在多目标检测的基础上，可使用MOT（Multiple Object Tracking：多目标追踪）利用上述获得的位置数据和特征数据进行多目标追踪。作为一般示例，根据取得的外观特征和/或运动特征进行相似度计算，计算前后帧目标间的距离，属同一目标的情况下距离较小，从而进行数据关联并分配行人身份。
根据不同场景，可以选用基于tracking-by-detection的追踪算法，目标的检测和追踪可以认为是交织和同步进行的，因此多目标追踪任务可理解为一个整体动作。作为tracking-by-detection的检测追踪方法，可示例SORT（Simple Online and RealtimeTracking）和DeepSORT（Simple Online and Realtime Tracking with a DeepAssociation Metric）。在该类策略的算法中，利用卡尔曼滤波器获得行人的预测轨迹，利用匈牙利算法将预测值和检测值进行数据关联，利用卡尔曼滤波器对全部轨迹进行更新。在所述数据关联中，SORT追踪应用IOU快速实现预测状态与检测状态的匹配，DeepSORT追踪在SORT的基础上增加级联匹配，通过ReID模块集成表面特征，能够更好地处理目标被长时间遮挡的情况，避免频繁进行身份更迭。通过以上示例方法，可追踪得到任意出现在视野中的行人轨迹坐标数组P(i)=(Xi,Yi)，其中，i表示第i个轨迹位置坐标，其对应每个采样帧。在本案中采样帧优选跳一帧或跳多帧。由此，利用多目标追踪技术取得进入拍摄视野至离开拍摄视野的行人轨迹。
另外，行人轨迹数据也可以体现为一组时序数组P(t)=(X,Y,t)，其中t表示某一帧的时刻，或与时间对应的帧号。通过采集轨迹的时间信息不但可以统计某一行人的增减情况，还可以掌握客流变化的时间和某一时间点客流变化的趋势。为节省计算，对仅需要知道轨迹出现和消失时刻的统计，仅需对轨迹数据的起始端记录时间信息或者对坐标数组赋以时间标签P(i)={(Xi,Yi),T1,T2}即可。在一些计算方式下，例如后文的首尾绊域计算中，也可以仅利用数组的出栈顺序。
本申请将取得的轨迹概括为进入拍摄视野至离开拍摄视野的行人轨迹，但实际操作中也可以从目标第一次被响应域响应开始进行目标识别，也就是说，根据视野的布置，行人进入拍摄视野后经过一段距离才靠近或通过响应域，但是这种情况下，对于多目标检测不是最有利的。另一方面，技术人员或用户可以通过实际布置使响应域标注在目标出现或离开视野的位置。此后，处理进到步骤S204。
在步骤S204中，相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域。
绊域指行人轨迹靠近或通过某一个区域，从而引发识别响应，所述识别通过位置条件计算来实现。该区域在本发明中即为响应域，可反映行人一时段的行踪与哪一场区发生位置上的关联。绊域计算即通过计算行人轨迹与响应域的位置关系来判断行人轨迹是否接近或通过响应域，通过绊域计算求出行人是否靠近或经过响应域，从而获知行人轨迹响应哪一场外区或场内区。
本发明中的绊域计算例如能够通过行人轨迹相对响应域的“在域计算”，“过线计算”和“接近计算”任一种方式，确认可达到响应要求的位置关系。
所述在域计算可以相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。
在域计算可凭一种直接方式，确认行人轨迹与响应域发生坐标上的“接触”，例如针对行人轨迹的每一个位置顺次扫描某个响应域的坐标集。为节约算力，例如还存在图3a和图3b所示的两种方式。
图3a图示一个凸多边形的响应域，该凸多边形响应域例如运行上述的区域划分程序由用户进行标注获得。凸多边形由多边形的每一个顶点构成，如[(xpt(1),ypt(1))，(xpt(2),ypt(2)),...,(xpt(i),ypt(i))]，其中，xpt(i)，ypt(i)为各顶点坐标。
从获得的一个行人轨迹中任选一点P(i)=(Xi,Yi)出发的任意射线与上述凸多边形区域边界有奇数个交点时，判断该点P1在该凸多边形区域内，由该点出发的任意射线与区域边界有偶数个节点时，判断该点P2不在该凸多边形区域内，由此获知是否存在行人轨迹任意一点进入凸多边形内，从而确认该运动轨迹与凸多边形响应域发生绊域。
通过这种任意凸多边形的响应域设计，用户可根据实际的通道情况和建筑构造最大程度地保障响应域囊括来往行人的必经之地。
在域计算一般作为过线计算的一部分，其本身单独应用时需避免重复统计，但是该内容属于现有技术，对此不做详细说明。
图3b图示一个矩形响应域，同样可通过轨迹坐标中任意点向一个方向的射线与矩形的交点个数来判断该坐标是否在区域当中。对于一个与视野平行的矩形来说，可以直接计算任意点的坐标是否在矩形的四点坐标的数值范围之间，从而简单确认轨迹与矩形响应域是否发生绊域。
所述过线计算可以相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。
过线计算目的在于算出轨迹不同位置点与响应域的位置关系，根据先后位置点与响应域的位置关系的变化判断目标是否通过该响应域。图3c和图3d分别是示例单线和双线的过线计算方式。
图3c图示一条直线响应域，选择轨迹上前后两个连续或跳帧的位置坐标，判断两位置的坐标是否分别位于标注的直线两侧来判断目标是否通过该直线，例如可以进行计算连接两个位置点，计算连线上的坐标与直线响应域是否有交集，还可以通过坐标平移的算法算知。
此外可以注意到，区域划分程序中可以运行一种相应的方式，当用户在视野中标注一条直线后，以该线段为对角线自动生成与视野平行的矩形，从而利用图3b的算法获知是否绊域。由这种设计，用户可以根据实际通行情况和建筑布局，简单地画出对角线便可标注行人的必经区域。
图3d图示一个双线响应域，通过双线o1和o2来反映一个区域的边界，行人轨迹上的一个坐标点(x,y)与o1验证线重合时，存储初步进入标志为True，当初步进入标志为True且坐标点与o2验证线重合时，判断为人进入一个方向。当识别到该坐标点(x,y)与o2验证线重合时，存储初步离开标志为True，当初步离开标志为True且坐标点与o1验证线重合时，判断为人离开该方向。
其中，判断两条线是否交叉有多种公知方式，属于底层计算内容，除了轨迹坐标重叠查找之外，如图3c所示为判断一条直线附近的任意点坐标p(x1,y1)在直线哪一侧，可以分别共享x1坐标值和y1坐标值在线段上，查找同坐标值x1或y1对应的另一坐标轴坐标y2或x2，比较y2与y1的大小和x2与x1的大小，再结合直线斜率，便可根据映射关系获知该点在直线的哪一侧。
另外，对于非线段的区域型响应域，为了计算行人是否从该响应域穿行，例如还可以根据图3a和图3b的方法，确定行人轨迹上先后的任意点与凸多边形的先后接触关系来获知，也可以将区域型响应域简化成单线或双线进行计算，因此对于多种类型的响应域形状，本方法都可以称之为过线。
所述接近计算可以相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
所述相对某一响应域计算行人轨迹是否接近包括：计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。关于接近计算的确认绊域的方式，结合优选例在后文详细介绍。
依据上述任一种计算方式，可以从一条行人轨迹中求出首尾发生绊域的响应域，在本发明整体方案下，结合步骤S205的统计方式，上述任一种绊域计算求得的首位响应域都可以成功地适用于本案的统计计算。
上述的首尾应当理解为一条行人轨迹上第一次和最后一次发生绊域的响应域，而不是指轨迹的几何最外端，并且根据首尾响应域不限于首尾两次，也就是说首尾响应域可以是同一个响应域，在这种情况下，根据本案的统计计算仍然不违背统计目的。
在某些情况下，在域计算和接近计算可以视为相同效果，都属于“接触”式的绊域计算，在实际计算中针对行人的整个轨迹与响应域的坐标集的接触计算，而不是行人每一帧的位置点都计算一遍绊域，致使多次获得绊域结果。解决该问题的方式可以进行一次大于响应域的跳帧。为了利用该相对简便的接触算法，优选从行人轨迹的任一端开始逐个位置坐标计算是否落入任一响应域，当出现某一位置坐标落入任一响应域，则转至该行人轨迹的另一端开始逐个位置坐标计算是否落入任一响应域，当再次出现某一位置坐标落入任一响应域，则激活该行人的客流统计计算。对此也在可结合后文的优选例得到理解。
根据以上理解，当一条行人轨迹的一端获知发生某一绊域后，可以直接跳至轨迹另一端开始进行绊域计算，也可以并程从一条行人轨迹的两端同时进行绊域计算，由此在大规模统计人流的应用中可以极大的缩小算程。
另外，在很多情况下，很可能将全部响应域标注在拍摄视野的边缘，并且响应域被设置在有限的坐标范围内。这时，通过比较出现在视野的轨迹任一坐标是否在属于该有限的坐标范围即可判断发生绊域。
不言而喻，当绊域计算的结果未曾识别到响应域，该行人轨迹的样本舍弃不进入统计。另外，还可增设一个条件，当一条行人轨迹至少两次与任意响应域发生绊域时激活该行人的客流统计计算。对于仅发生一次绊域的行人轨迹不激活统计步骤，例如一种情况是行人接触一个出入口的响应域便折返后退出视野，又例如行人进入过渡区后发生长时间遮挡，理论上说，只要同一行人再次出现仍可以将其继续识别出来，但因为设置或客观原因，未将该行人计入统计样本。但是本发明不限于此。
需要知道，虽然该实施例中，步骤S204的绊域计算安排在步骤S203之后进行，但也可以在行人轨迹追踪的同时并行相对个响应域进行绊域计算，当发生绊域时将绊域结果与轨迹数据一同进行缓存。此后，处理进到步骤S205。
在步骤S205中，设行人轨迹首尾两次发生绊域的响应域分别为A和B，设行人的客流统计结果为C，则客流统计计算依下面的条件式进行。
式1:
Figure 177269DEST_PATH_IMAGE001
其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
根据该条件式，即，若A是场外响应域且B是场内响应域，则C=+1；若A是场外响应域且B是场外响应域，则C=0；若A是场内响应域且B是场内响应域，则C=0；若A是场内响应域且B是场外响应域，则C=-1。
根据该统计算法，进入过渡区的行人可被有效剥离出真正抵达统计意义上的场内层的客流，从而基于通向多通道的复杂客流交汇区可以获得准确的统计结果。
图4a～图4c分别示意客流流入客流离开和客流不变的三种情况，无论行人中间有多少次接触或靠近响应域，只要没有离开视野，最终都基于首次和尾次发生绊域的响应域计算统计结果。因此，根据该统计算法，由于忽略了轨迹中间的变化，从而不会重复计算目标的进场和离场。该算法能够成功排除干扰事件，应用场景更为广泛。
以下参照图5进一步描述执行上述客流统计方法的客流统计系统。
图5是图示根据本发明实施例的客流统计系统的功能性框图。该客流统计系统基于过渡区进行客流统计，所述过渡区连接至少一个场外区和至少一个场内区。如图5所示，根据本发明实施例的客流统计系统50包括视频获取模块51、响应域标注模块52、目标追踪模块53、绊域计算模块54和客流计算模块55。例如可以由诸如硬件（服务器、专用计算机等）、软固件及它们的任意可行的组合配置。
所述视频获取模块51用于获取拍摄视野覆盖过渡区的视频数据。
视频数据来自布置于视野覆盖过渡区的视频采集装置的视频拍摄，视频采集装置为能够获取被摄场景的视频数据的摄像机或摄像头。获取视频数据包括但不限于，在由摄像手段采集视频数据之后，经由有线或者无线方式从摄像手段接收视频数据。另一个获取方式可以是由第三方提供当日或历史视频，从而计算一个历史时段的经时人数变化。
摄像头视野中过渡区的边缘位置对于本领域技术人员来说可理解为不限于必须包含全部建筑构件，也不限于必须包含建筑分隔上的现实边界。例如不一定包含进入商场大厅的大门。保证拍摄视野覆盖过渡区包括三个含义，第一，视野覆盖进入过渡区的行人可漫游的全部领域，第二，视野覆盖全部进出通道，第三，视野应基于过渡区布置，而不应过度进入场内或场外。过渡区由建筑分隔物和进出通道包围，应理解不由建筑分隔物阻挡的边界都被设定为进出通道。由此统计目标的行踪被圈定在一个限定空间，仅经由进出通道增加统计或减少统计，拍摄视野通过覆盖过渡区从而可以捕捉到全部客流变化。
所述响应域标注模块52用于在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域。
在拍摄视野中标注一个域的实质是对视野进行域选操作确定一个坐标集。标注一个域的动作至少包括三种情况。一种是从获取的视频数据中通过深度学习识别出现场出入口的位置或店铺商标等信息，从而自动确认一个合适域标注为响应域。另一种是供前端的标注工具，以被人工通过显示画面进行标注，例如通过鼠标或手触在显示区上划出一个方框或一条线段，经过映射处理换算成坐标数据。另一种是在监视视窗中进行标注操作，将坐标数据记录在缓存等中备用。
响应域的坐标集可以是一个凸多边形，一个长方形，一条线段，两条平行线段，但不限于这样多坐标的集合，也可以是一个点坐标，根据后述的绊域计算的需要，可以采用不同的类型，本发明可以不作限定。
所述目标追踪模块53用于利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹。
本实施例采用计算机视觉技术对获取的视频数据进行多目标追踪，一个实施例中，包括利用深度学习方法将视频流中每一帧的人检测识别出来，及利用跟踪算法将前后帧的人关联起来实现目标跟踪。考虑到应用场景，本实施例优选使用预先训练好的检测器（诸如YOLOv5、FasterR-CNN、SSD模型）对视频数据进行目标检测，获取多目标的位置和特征。在多目标检测的基础上，可使用MOT利用上述获得的位置数据和特征数据进行多目标追踪。作为一般示例，根据取得的外观特征和/或运动特征进行相似度计算，计算前后帧目标间的距离，属同一目标的情况下距离较小，从而进行数据关联并分配行人身份。
根据不同场景，可以选用基于tracking-by-detection的追踪算法，其中可示例SORT和DeepSORT。在该类策略的算法中，利用卡尔曼滤波器获得行人的预测轨迹，利用匈牙利算法将预测值和检测值进行数据关联，利用卡尔曼滤波器对全部轨迹进行更新。通过以上示例方法，可追踪得到任意出现在视野中的行人轨迹坐标数组P(i)=(Xi,Yi)，其中，i表示第i个轨迹位置坐标，其对应每个采样帧。在本案中采样帧优选跳一帧或跳多帧。由此，利用多目标追踪技术取得进入拍摄视野至离开拍摄视野的行人轨迹。
所述绊域计算模块54用于相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域。
绊域指行人轨迹靠近或通过某一个区域，从而引发识别响应，所述识别通过位置条件计算来实现。该区域在本发明中即为响应域，可反映行人一时段的行踪与哪一场区发生位置上的关联。绊域计算即通过计算行人轨迹与响应域的位置关系来判断行人轨迹是否接近或通过响应域，通过绊域计算求出行人是否靠近或经过响应域，从而获知行人轨迹响应哪一场外区或场内区。
本发明中的绊域计算例如能够通过行人轨迹相对响应域的“在域计算”，“过线计算”和“接近计算”任一种方式，确认可达到响应要求的位置关系。
所述在域计算可以相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。在域计算的具体方式在上文中有详细的介绍，在此不做赘述。
所述过线计算可以相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。过线计算的具体方式在上文中有详细的介绍，在此不做赘述。
所述接近计算可以相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
所述相对某一响应域计算行人轨迹是否接近包括：计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。关于接近计算的确认绊域的方式，结合优选例在后文详细介绍。
所述客流计算模块55用于如下方式进行所述客流统计计算，设人轨迹首尾两次发生绊域的响应域为A和B，设行人的客流统计结果为C时，若A是场外响应域且B是场内响应域，则C=+1；若A是场外响应域且B是场外响应域，则C=0；若A是场内响应域且B是场内响应域，则C=0；若A是场内响应域且B是场外响应域，则C=-1。其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
以下，进一步参照附图描述由本发明实施例的客流统计系统的各个模块执行的根据本发明实施例的客流统计方法的优选例或可选例。
上文例举过各种基于计算域间相交的绊域计算，在此提供一种基于计算域间距离的绊域计算优选例。
该示例中，相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。并且计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。并且从行人轨迹的任一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作首次发生绊域的响应域，并转至该行人轨迹的另一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当再次出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作尾次发生绊域的响应域。
图6是一条行人轨迹的绊域计算示意图，可见轨迹两端分别从一个矩形响应域和一个直线响应域经过。在矩形域内任选一个位置坐标P’(x’,y’)作为响应点，当计算行人轨迹上任意一点坐标P(x,y)与该响应点位置坐标P’(x’,y’)的距离d（依据d2=(x-x’)2+(y-y’)2计算）小于预设阈值d’时即可判断行人轨迹与该矩形响应域发生了绊域。
实际的计算中，选定各响应域内的任意或预设响应点，即矩形响应域的响应点P’(x’,y’)，直线响应域的响应点P’’(x’’,y’’)，从行人轨迹的任一端开始相对各响应域进行接近计算，在此例如从左侧开始逐个位置坐标与每个响应域上的任选响应点计算之间的距离。因为假设行人不会在同一时间通过两个响应域，因此计算的结果仅能是与一个响应域发生绊域。在图6示例中，即计算出从轨迹左侧出现第一个位置坐标与矩形响应域的响应点P’(x’,y’)之间的距离d进入矩形响应域对应的阈值d’，此时从轨迹坐标堆栈的另一端取出位置坐标继续与每个响应域上的任选响应点计算之间的距离。在图6示例中，即计算出从轨迹右侧出现第一个位置坐标与直线响应域上的响应点P’’(x’’,y’’)之间的距离d进入直线响应域对应的阈值d’’。这时，即可记录两次响应域的类型，并激活该行人的客流统计计算。
上述的优选例中，响应域可以简化成标注在相应客流路径上的一个点坐标。
该优选方式不但可以大大节省算力，还适用于大视野视频采集的情况下，特别是摄像头倾斜远景拍摄时建筑物和通道等出现近大远小和扭曲变形等状况的情况下，适合在较远位置上实现响应。
以往技术中的过线统计可用于精确统计经由某一入口进出建筑物的人数增减，过线计算可以屏蔽靠近响应线但未实际上过线的干扰数据。但根据本申请的统计算法的特殊性，应用上述优选例中的靠近算法不会导致出现误判。例如一种样本例是一行人从场外靠近场外响应域但未进入过渡区，进行躲雨或打电话等逗留后折返离开拍摄视野。根据本发明的统计算法，虽然从轨迹两端都可以识别到与响应域发生绊域，但由于两次绊域属于同一类响应域，因此统计结果为0，不影响客流统计的数据结果，反而还简化了计算过程。
出现误判的可能性实际在于靠近未被识别，也就是距离阈值不够触及目标，使行人“溜过”而未作出响应。例如一种样本例是一个行人被入口响应域响应后进入商场，在一个店铺门前的场内响应域因靠近被响应但未真实入店，之后从另一个出口离开，但离开出口时成功避开响应域未被识别到靠近。这时样本的统计结果是误判从场外进入场内店铺，而使统计结果加一。
根据一般统计的目的，统计结果分为精准统计和趋势统计，提高统计准确率的重心是区分统计目标的分类，从而大成效地实现统计结果的可参考性，对此本发明已经达成目的，对于异常样本的看待，根据一般统计的目的可以接受和忽略的，不影响统计数据的效用。但如何抑制异常样本，仍存在改进的空间。
下面提供几种抑制异常样本的讨论。
如图6中加重绘制的圆形，这种靠近响应可以同义于以响应域上的被确定的任一点为中心，以阈值为半径构成的一个圆形阈区。避开响应，主要原因是阈值设置不当，或进出区域地形复杂。恰当的选定中心点的位置和半径值可以比较有效果地规避上述的行人“溜过”的问题。对于通道进出位置，可以将中心点定在通道中央，将半径阈值设为通道半径，这时，在通道的两壁附近，圆形阈的边界以大曲率离开，难以发生行人漏响应。
仍然不排除中心点和半径值的选定存在一定的不易操作的复杂地理环境，如图7示出一个进出口采用两侧双门的方式，若将中心点置于前方两门之间，较大设置半径的情况下，行人仍有可能从两侧狭隙逃过响应，这时若将半径设置超大也是不利的，这时存在阈区探入其他响应域的可能性。这时可以在每个门前各选一个中心点，分别设置对应的半径阈值，整体作为一个响应域，当任一门位置获得响应结果就视为发生绊域。
因此，步骤S205中，相对某一响应域计算行人轨迹是否接近可以包括：计算行人轨迹上任意位置坐标与该响应域上的多个预设位置坐标之间的距离，当任一距离小于对应的预设阈值时确定行人轨迹与该响应域发生绊域。
这种方式特别适合图1d示例的进出边界较长的场景，如该图中所示，冰柜精品菜区前的狭长地带被标注响应域的情况下，可以在响应域中确定一排响应点，并为各中心设定各自的半径阈值，在没有特殊的地形影响时，各半价阈值可以相等，各响应点可以均匀分布，所形成的多个圆形阈区彼此相切或重叠。这时，当任一距离进入预设半径则可以确定轨迹与冰柜精品菜区的响应域发生绊域。
另外，还针对上文提及半径过大时可能探入其他场区的情况进行了研究。一般情况下，不同场区之间是彼此相对独立的，但也存在较近相邻的场景。例如一个书店二层的结账区域作为过渡区，视野内有一个连通一楼中文区的上行扶梯的下梯区，旁边并排一个连通三楼的离店扶梯的上梯区。一个策略是将响应中心点尽量偏向两侧设置，而不是设置在通道中心。但是下面还提供另一种样本降噪的方式。
图8示出了一个商场入口和入口斜对面的冷饮店，图中圆点表示响应商场入口的人头，方点表示响应冷饮店的人头。可以看出，行人的习惯是集中在通道中央通过，而罕于溜边通行。基于这样的概率规律，可以牺牲掉一部分边缘区域样本来解决样本降噪的问题。对于目的在于分析群体行为趋势的统计项目来说，仅掌握趋势规律就足以对策划或保障工作等实际问题作出决策，不需要实际计算出完全精确的人数。
相应地，在步骤S205中，相对某一响应域计算行人轨迹是否接近可以包括：计算行人轨迹上任意位置坐标与该响应域上的任一预设位置坐标之间的第一距离，并计算该任意位置坐标与相邻该响应域的另一响应域上的任一预设位置坐标之间的第二距离，当第一距离小于第一预设阈值且第二距离大于第二预设阈值时确定行人轨迹与该响应域发生绊域。
在实际的计算中，仍然从轨迹的一端开始逐个位置坐标进行距离计算，当距离计算符合上述两个距离的要件的情况下，才转至轨迹另一端。
还存在一种行为模式，即一行人在一入口被场外响应域响应后离开物业，又经由外界转到另一个入口进入商场。这种情况下，由于本发明采用计算机视觉进行轨迹追踪的策略，而不是单纯的借助于响应域的触发，因此可以有效排除这种样本。
还存在一种视野布置导致的样本异常，例如视野过大，已经拍摄到店内的经营情况，并且该经营活动区域本身作为统计意义。这时，若拍摄到从商场入口一路进到店内的客人并未消失在视野，并且最终由商场出入口离场，根据统计算式其客流统计结果为不变。因此，本申请强调的是基于过渡区的统计方法，并且拍摄视野覆盖过渡区的含义包含视野不应过度深入场内区或场外区。
图9是图示根据本发明实施例的客流统计系统的示意性框图。如图9所示，根据本发明实施例，客流统计系统90包括:处理器91、存储器2、以及在所述存储器92的中存储的计算机程序指令93。
所述计算机程序指令93在所述处理器91运行时可以实现根据本发明实施例的客流统计的各个功能模块的功能，并且/或者可以执行根据本发明实施例的客流统计的各个步骤。
具体地，在所述计算机程序指令93被所述处理器91运行时执行以下步骤：获取拍摄视野覆盖过渡区的视频数据，所述过渡区连接至少一个场外区和至少一个场内区；在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域；利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹；相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域；设行人轨迹首尾发生绊域的响应域为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：若A是场外响应域且B是场内响应域，则C=+1；若A是场外响应域且B是场外响应域，则C=0；若A是场内响应域且B是场内响应域，则C=0；若A是场内响应域且B是场外响应域，则C=-1，其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
此外，在所述计算机程序指令93被所述处理器91运行时执行在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域包括：在过渡区与场外区之间的客流路径上标注坐标集作为场外响应域，在过渡区与场内区之间的客流路径上标注坐标集作为场内响应域。
此外，在所述计算机程序指令93被所述处理器91运行时执行绊域计算包括：相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。
此外，在所述计算机程序指令93被所述处理器91运行时执行绊域计算包括：相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。
此外，在所述计算机程序指令93被所述处理器91运行时执行绊域计算包括：相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
此外，在所述计算机程序指令93被所述处理器91运行时执行相对某一响应域计算行人轨迹是否接近包括：计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。
此外，在所述计算机程序指令93被所述处理器91运行时执行相对某一响应域计算行人轨迹是否接近包括：计算行人轨迹上任意位置坐标与该响应域上的任一预设位置坐标之间的第一距离，计算该行人轨迹上任意位置坐标与相邻该响应域的另一响应域上的任一预设位置坐标之间的第二距离，当第一距离小于第一预设阈值且第二距离大于第二预设阈值时确定行人轨迹与该响应域发生绊域。
此外，在所述计算机程序指令93被所述处理器91运行时执行相对某一响应域计算行人轨迹是否接近包括：计算行人轨迹上任意位置坐标与该响应域上的多个预设位置坐标之间的距离，当任一距离小于对应的预设阈值时确定行人轨迹与该响应域发生绊域。
此外，在所述计算机程序指令93被所述处理器91运行时执行在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域包括：将至少一个响应域标注为一个点坐标。
此外，在所述计算机程序指令93被所述处理器91运行时执行相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域包括：从行人轨迹的任一端开始逐个位置坐标计算该位置坐标与任一响应域上的预设位置坐标之间的距离，当出现该距离小于对应的预设阈值，将该响应域记作首次发生绊域的响应域，并转至该行人轨迹的另一端开始逐个位置坐标计算该位置坐标与任一响应域上的预设位置坐标之间的距离，当再次出现该距离小于对应的预设阈值，将该响应域记作尾次发生绊域的响应域。
根据本发明实施例的客流统计系统中的各模块可以通过根据本发明实施例的客流统计系统中的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于随机地生成动作指令序列的计算机可读的程序代码，另一个计算机可读存储介质包含用于进行目标识别的计算机可读的程序代码。
计算机可读存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM）、便携式紧致盘只读存储器（CD-ROM）、USB存储器、或者上述存储介质的任意组合。
下面，对本申请统计方法可能带来的灵活配置进行归纳。
上文提及，响应域非一定标注在靠近视野边缘的位置，例如通往其他楼层的上下扶梯可以设置在过渡区的中间位置，又例如店铺也可以设置在过渡区的中间位置，与过渡区呈环状构造，或店铺占据视野中的较大面积，而店门位于视野的中间位置，这些情况属于响应域设于非边缘区域，但依然可从这类区域离开视野，这些场景显然不影响本发明的适用。
客人从中间位置的扶梯流向其他楼层根据不同的实际要求，可以将其他楼层作为场外区，视为客流离场，但如果客人又重新回来，可以认为是长期遮挡，但也可以将其他楼层作为一个场内区。
很多场景下统计意义上的人流抵达可以存在多向量，如图1c示例的地铁换乘区，除地面出入口和地铁搭乘口，还有一个便利店超市。实际的统计应用中，还可以根据统计目的来自由划分场内区和场外区。例如当想了解抵达便利店的客流，可将便利店作为场内区，将地面出入口和地铁搭乘口全部作为场外区。本发明致力于抵达的多元性问题，对来源的多元性不进行讨论。
响应域的设定时常呈现一定的专业性，交由用户标注响应区域会带来不专业性的风险且影响用户友好度。因此可提供一种预模式供用户选择，将响应不同场区的各响应域提前在视野中标注，用户仅需依据不同的统计目的通过输入装置个性化地划分场内区和场外区即可。
虽然本发明更适合于更多出入口的情况下，但是对于连接一个场内区和一个场外区的场景依然可以应用，例如在一个过渡入口区，第一层入口和第二层入口中央是一个休闲喷泉，进入过渡区的人员并不一定会真正抵达第二层入口后面的真正客区，而仅在休闲区域逗留。显然本发明的统计方式可以有效区分这些不同目的。
在步骤S203中指出，本发明对于存在长时间遮挡的行人依然可以追踪其轨迹，但是存在一种情景，例如商场内客人从视野某中间位置的扶梯下楼，经过一段时间后又从该位置乘扶梯上楼，再次出现在视野。这时是否算作目标被遮挡还是算作消失视野需要进行分辨，因此本发明还可以对追踪失败设置一个时间阈值s，当超过阈值s追踪失败，可以视为从视野中消失。
本发明的一个优选例在已经标注的各种类型响应域中任选一个响应点进行距离计算，是为了适应用户操作的广适性。某种意义上，基于响应点和阈值半径的算法，等同于一个圆形响应域，并对圆形响应域进行在域计算，所谓在域计算依旧采用距离是否小于半径的算法，但是从步骤设计上来看封闭了用户的选择。
此外，图10是基于连接至少一个场外区和至少一个场内区的过渡区的客流统计方法的一个应用实例，如图10所示，该客流统计方法包括：
步骤S1001：获取拍摄视野覆盖过渡区的视频数据，详细内容与上述步骤S201相同或类似，在此省略说明。
步骤S1002：在拍摄视野中标注过渡区与场外区之间客流路径上的第一坐标集以及过渡区与场内区之间客流路径上的第二坐标集，详细内容与上述步骤S202相同或类似，在此省略说明。
步骤S1003：利用多目标追踪技术，由获取的视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹，详细内容与上述步骤S203相同或类似，在此省略说明。
步骤S1004：相对各坐标集进行行人轨迹的过线计算，求得行人轨迹首尾发生过线的坐标集。优选地，所述相对各坐标集进行行人轨迹的过线计算，求得行人轨迹首尾发生过线的坐标集包括：从行人轨迹的任一端开始相对各坐标集进行过线计算，当出现行人轨迹相对任一坐标集过线，将该坐标集记作首次发生绊域的坐标集，并转至该行人轨迹的另一端开始相对各坐标集进行过线计算，当再次出现行人轨迹相对任一坐标集过线，将该坐标集记作尾次发生绊域的坐标集。详细内容与上述步骤S204相同或类似，在此省略说明。
步骤S1005：设行人轨迹首尾发生过线的坐标集为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：
若A是场外响应域且B是场内响应域，则C=+1；若A是场外响应域且B是场外响应域，则C=0；若A是场内响应域且B是场内响应域，则C=0；若A是场内响应域且B是场外响应域，则C=-1。其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。

Claims (12)

1.一种基于过渡区的客流统计方法，所述过渡区连接至少一个场外区和至少一个场内区，其特征在于，该客流统计方法包括：
获取拍摄视野覆盖过渡区的视频数据；
在拍摄视野中标注响应场外区的场外响应域和响应场内区的场内响应域；
利用多目标追踪技术，由视频数据取得进入拍摄视野至离开拍摄视野的行人轨迹；
相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域；
设行人轨迹首尾发生绊域的响应域为A和B，行人的客流统计结果为C，如下进行该行人的客流统计计算：
若A是场外响应域且B是场内响应域，则C=+1；
若A是场外响应域且B是场外响应域，则C=0；
若A是场内响应域且B是场内响应域，则C=0；
若A是场内响应域且B是场外响应域，则C=-1，
其中，+1表示入场客流加一，0表示客流没有变化，-1表示离场客流加一。
2.如权利要求1所述的客流统计方法，其中，
所述场外响应域是标注在过渡区与场外区之间的客流路径上的坐标集，所述场内响应域是标注在过渡区与场内区之间的客流路径上的坐标集。
3.如权利要求2所述的客流统计方法，其中，
所述绊域计算包括：
相对某一响应域计算行人轨迹是否存在交集，在算出行人轨迹相对该响应域存在交集时，确认行人轨迹与该响应域发生绊域。
4.如权利要求2所述的客流统计方法，其中，
所述绊域计算包括：
相对某一响应域计算行人轨迹是否过线，在算出行人轨迹相对该响应域过线时，确认行人轨迹与该响应域发生绊域。
5.如权利要求2所述的客流统计方法，其中，
所述绊域计算包括：
相对某一响应域计算行人轨迹是否接近，在算出行人轨迹相对该响应域接近时，确认行人轨迹与该响应域发生绊域。
6.如权利要求5所述的客流统计方法，其中，
所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一位置坐标之间的距离，当该距离小于对应的预设阈值时确定行人轨迹相对该响应域接近。
7.如权利要求5所述的客流统计方法，其中，
所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的任一预设位置坐标之间的第一距离，并计算该任意位置坐标与相邻该响应域的另一响应域上的任一预设位置坐标之间的第二距离，当第一距离小于第一预设阈值且第二距离大于第二预设阈值时确定行人轨迹与该响应域发生绊域。
8.如权利要求5所述的客流统计方法，其中，
所述相对某一响应域计算行人轨迹是否接近包括：
计算行人轨迹上任意位置坐标与该响应域上的多个预设位置坐标之间的距离，当任一距离小于对应的预设阈值时确定行人轨迹与该响应域发生绊域。
9.如权利要求5所述的客流统计方法，其中，
至少一个响应域为一个点坐标。
10.如权利要求2所述的客流统计方法，其中，
所述相对各响应域进行行人轨迹的绊域计算，求得行人轨迹首尾发生绊域的响应域包括：
从行人轨迹的任一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作首次发生绊域的响应域，并转至该行人轨迹的另一端开始逐个位置坐标计算该位置坐标与各响应域上的预设位置坐标之间的距离，当再次出现任一响应域的所述距离小于对应的预设阈值，将该响应域记作尾次发生绊域的响应域。
11.一种基于过渡区的客流统计系统，所述过渡区连接至少一个场外区和至少一个场内区，其特征在于，该客流统计系统包括：
处理器；
存储器；和存储在所述存储器中的计算机程序指令，在所述计算机程序指令被所述处理器运行时执行权利要求1～10任一项所述的客流统计方法。
12.一种计算机程序产品，其特征在于，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令在被计算机运行时执行权利要求1～10任一项所述的基于过渡区的客流统计方法。
CN202210614227.XA 2022-06-01 2022-06-01 基于过渡区的客流统计方法和系统以及计算机程序产品 Active CN114937241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210614227.XA CN114937241B (zh) 2022-06-01 2022-06-01 基于过渡区的客流统计方法和系统以及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210614227.XA CN114937241B (zh) 2022-06-01 2022-06-01 基于过渡区的客流统计方法和系统以及计算机程序产品

Publications (2)

Publication Number Publication Date
CN114937241A true CN114937241A (zh) 2022-08-23
CN114937241B CN114937241B (zh) 2024-03-26

Family

ID=82867295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210614227.XA Active CN114937241B (zh) 2022-06-01 2022-06-01 基于过渡区的客流统计方法和系统以及计算机程序产品

Country Status (1)

Country Link
CN (1) CN114937241B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
US20140278688A1 (en) * 2013-03-15 2014-09-18 Disney Enterprises, Inc. Guest movement and behavior prediction within a venue
CN109648560A (zh) * 2018-12-28 2019-04-19 深圳市越疆科技有限公司 工业机器人的空间轨迹过渡方法、系统及机器人
CN109784162A (zh) * 2018-12-12 2019-05-21 成都数之联科技有限公司 一种行人行为识别及轨迹跟踪方法
CN110334569A (zh) * 2019-03-30 2019-10-15 深圳市晓舟科技有限公司 客流量进出识别方法、装置、设备及存储介质
CN111429194A (zh) * 2019-01-09 2020-07-17 阿里巴巴集团控股有限公司 用户轨迹确定系统、方法、装置及服务器
CN111738134A (zh) * 2020-06-18 2020-10-02 北京市商汤科技开发有限公司 获取客流数据的方法、装置、设备及介质
CN112052838A (zh) * 2020-10-10 2020-12-08 腾讯科技（深圳）有限公司 一种对象流量数据监控方法、装置以及可读存储介质
WO2021043089A1 (zh) * 2019-09-02 2021-03-11 平安科技（深圳）有限公司 一种客流量统计方法、装置、设备及计算机可读存储介质
CN113420726A (zh) * 2021-08-20 2021-09-21 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法
WO2021243516A1 (zh) * 2020-06-01 2021-12-09 深圳先进技术研究院 城市公共交通乘客出行轨迹估计方法、系统、终端以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140278688A1 (en) * 2013-03-15 2014-09-18 Disney Enterprises, Inc. Guest movement and behavior prediction within a venue
CN103986910A (zh) * 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
CN109784162A (zh) * 2018-12-12 2019-05-21 成都数之联科技有限公司 一种行人行为识别及轨迹跟踪方法
CN109648560A (zh) * 2018-12-28 2019-04-19 深圳市越疆科技有限公司 工业机器人的空间轨迹过渡方法、系统及机器人
CN111429194A (zh) * 2019-01-09 2020-07-17 阿里巴巴集团控股有限公司 用户轨迹确定系统、方法、装置及服务器
CN110334569A (zh) * 2019-03-30 2019-10-15 深圳市晓舟科技有限公司 客流量进出识别方法、装置、设备及存储介质
WO2021043089A1 (zh) * 2019-09-02 2021-03-11 平安科技（深圳）有限公司 一种客流量统计方法、装置、设备及计算机可读存储介质
WO2021243516A1 (zh) * 2020-06-01 2021-12-09 深圳先进技术研究院 城市公共交通乘客出行轨迹估计方法、系统、终端以及存储介质
CN111738134A (zh) * 2020-06-18 2020-10-02 北京市商汤科技开发有限公司 获取客流数据的方法、装置、设备及介质
CN112052838A (zh) * 2020-10-10 2020-12-08 腾讯科技（深圳）有限公司 一种对象流量数据监控方法、装置以及可读存储介质
CN113420726A (zh) * 2021-08-20 2021-09-21 北京文安智能技术股份有限公司 基于俯视图像的区域去重客流统计方法

Also Published As

Publication number Publication date
CN114937241B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US10909695B2 (en) System and process for detecting, tracking and counting human objects of interest
CN111144247B (zh) 一种基于深度学习的自动扶梯乘客逆行检测方法
Liu et al. Detecting and counting people in surveillance applications
US7688349B2 (en) Method of detecting and tracking groups of people
Snidaro et al. Video security for ambient intelligence
EP2093698A1 (en) Crowd congestion analysis
US8452050B2 (en) System and method for counting people near external windowed doors
US20030053659A1 (en) Moving object assessment system and method
US20030053658A1 (en) Surveillance system and methods regarding same
Antić et al. K-means based segmentation for real-time zenithal people counting
US20030123703A1 (en) Method for monitoring a moving object and system regarding same
TW200903386A (en) Target detection and tracking from video streams
Santos et al. Multiple camera people detection and tracking using support integration
GB2337146A (en) Detecting motion across a surveillance area
EP3879435A1 (en) Method for analysing the behaviour of people in physical spaces and system for said method
CN114937241A (zh) 基于过渡区的客流统计方法和系统以及计算机程序产品
Kokul et al. Online multi-person tracking-by-detection method using ACF and particle filter
CN111461086A (zh) 一种基于人头检测的人数统计方法和系统
KR100590841B1 (ko) 기준차량정보의 추가를 수반하는 영상기반의 교통량 분석시스템 및 그 방법
Shamoushaki et al. A high-accuracy, cost-effective people counting solution based on visual depth data
CN109766865B (zh) 一种分水岭、多区域局域融合和特征跟踪的客流统计方法
Hung et al. Local empirical templates and density ratios for people counting
Hytönen et al. Modeling people flow in buildings using edge and cloud computing
CN115880639A (zh) 一种基于计算机视觉的巴士流量统计及乘客行为检测方法
Dalka et al. Camera orientation-independent parking events detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant