CN112052838A - 一种对象流量数据监控方法、装置以及可读存储介质 - Google Patents

一种对象流量数据监控方法、装置以及可读存储介质 Download PDF

Info

Publication number
CN112052838A
CN112052838A CN202011077501.1A CN202011077501A CN112052838A CN 112052838 A CN112052838 A CN 112052838A CN 202011077501 A CN202011077501 A CN 202011077501A CN 112052838 A CN112052838 A CN 112052838A
Authority
CN
China
Prior art keywords
track
behavior
boundary line
region
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011077501.1A
Other languages
English (en)
Inventor
贾琼
彭湃
孙星
郭晓威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011077501.1A priority Critical patent/CN112052838A/zh
Publication of CN112052838A publication Critical patent/CN112052838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明实施例公开了一种对象流量数据监控方法、装置以及可读存储介质，该对象流量数据监控方法包括：获取针对目标环境的监控视频中的原始边界线；根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；获取所述监控视频中的运动物体对应的行为轨迹；根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；根据所述行为属性，确定所述目标环境中的物体流量数据。采用本发明实施例，可以实现对物体流量数据的精准统计，特别对商超场景下的客流大数据挖掘有重要作用。

Description

一种对象流量数据监控方法、装置以及可读存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种对象流量数据监控方法、装置以及可读存储介质。
背景技术
随着互联网技术的不断发展，越来越多的传统行业开始与互联网技术进行深度融合，从而构建出一种新的发展生态。传统行业的服务商为了提供更优质的服务，需要采集服务区域内的相关数据并进行分析，以判断运动物体进出服务区域的行为以及在服务区域内的其他行为，并进行流量统计。
现有的对象流量数据分析和统计方法中，主要通过安装在服务区域的监控摄像头采集视频数据，然后对运动物体的某些特征进行捕捉，通过特征捕捉的方式对运动物体的行为进行分析和判断，进而可以统计服务区域中的物体流量数据。例如统计进出楼宇的人流量数据时，由于特征捕捉的方式具有角度敏感性，且受到遮挡的影响极大，容易因为特征识别失败而导致漏判，且无法获得更充分的行为信息，造成物体流量数据的统计结果的准确率较低。
发明内容
本发明实施例提供一种对象流量数据监控方法、装置以及可读存储介质，可以实现对物体流量数据的精准统计。
本发明实施例一方面提供了一种对象流量数据监控方法，该方法包括：
获取针对目标环境的监控视频中的原始边界线；所述原始边界线为所述目标环境中的区域边界在所述监控视频中的拍摄位置；
根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；
获取所述监控视频中的运动物体对应的行为轨迹；
根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
根据所述行为属性，确定所述目标环境中的物体流量数据。
本发明实施例一方面提供了一种对象流量数据监控装置，包括：
缓冲区构建模块，用于获取针对目标环境的监控视频中的原始边界线，根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述原始边界线为所述目标环境中的区域边界在所述监控视频中的拍摄位置；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；
轨迹获取模块，用于获取所述监控视频中的运动物体对应的行为轨迹；
行为属性确定模块，用于根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
流量统计模块，用于根据所述行为属性，确定所述目标环境中的物体流量数据。
其中，所述缓冲区构建模块具体用于在所述监控视频中，以所述原始边界线为边构建宽度为L的矩形区域，将所述矩形区域确定为轨迹缓冲区；
所述装置还包括：
虚拟边界线构建模块，用于在所述轨迹缓冲区中绘制与所述原始边界线平行的线段，作为虚拟边界线，所述虚拟边界线与所述原始边界线的距离为所述轨迹缓冲区的宽度L的1/X，所述X为大于1的数值。
其中，所述装置还包括：
预测区域构建模块，用于根据所述虚拟边界线在所述监控视频中确定行为预测区域顶点，根据所述行为预测区域顶点与所述虚拟边界线在所述监控视频中构建行为预测区域；所述行为预测区域顶点用于识别运动物体针对所述目标环境中的区域边界的运动趋势。
其中，所述行为预测区域顶点包括第一区域顶点和第二区域顶点；
所述预测区域构建模块包括：
第一顶点确定单元，用于根据所述虚拟边界线在所述监控视频中的位置绘制第一区域顶点；所述第一区域顶点用于识别运动物体在所述目标环境中，从所述第一区域顶点所在的一侧朝所述区域边界运动的趋势；
第二顶点确定单元，用于根据所述第一区域顶点和所述虚拟边界线在所述监控视频中确定第二区域顶点，所述第一区域顶点与所述第二区域顶点关于所述虚拟边界线对称；所述第二区域顶点用于识别运动物体在所述目标环境中，从所述第二区域顶点所在的一侧朝所述区域边界运动的趋势。
其中，所述行为预测区域包括第一预测区域和第二预测区域；
所述预测区域构建模块包括：
第一区域确定单元，用于将所述第一区域顶点与所述虚拟边界线的端点进行连接所构成的区域确定为第一预测区域；
第二区域确定单元，用于将所述第二区域顶点与所述虚拟边界线的端点进行连接所构成的区域确定为第二预测区域。
其中，所述行为轨迹包括所述运动物体的至少两个轨迹点；
所述行为属性确定模块，具体用于从所述行为轨迹中依次提取检测线，确定所述检测线与所述虚拟边界线之间的位置关系；所述检测线由所述至少两个轨迹点中的相邻轨迹点连接得到；
所述行为属性确定模块，具体用于若所述位置关系包括所述检测线的起点位于所述第一预测区域内，且所述检测线与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为进场属性；
所述行为属性确定模块，具体用于若所述位置关系包括所述检测线的起点位于所述第二预测区域内，且所述检测线与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为出场属性；
所述行为属性确定模块，具体用于若所述位置关系包括依次遍历后的检测线均未与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为过场属性。
其中，所述轨迹获取模块包括：
物体检测单元，用于对所述监控视频进行物体检测，获取运动物体对应的物体框；所述物体框用于表征所述运动物体在所述监控视频中的位置；
物体追踪单元，用于在所述监控视频中的至少两个视频帧中对所述物体框进行追踪，在所述至少两个视频帧中提取所述物体框对应的轨迹点，生成轨迹点序列；
轨迹生成单元，用于根据所述轨迹点序列中的轨迹点生成所述运动物体对应的行为轨迹。
其中，所述轨迹生成单元包括：
平滑子单元，用于对所述轨迹点序列中的轨迹点进行平滑处理，得到更新后的轨迹点序列；
缓冲区处理子单元，用于从所述更新后的轨迹点序列中获取位于所述轨迹缓冲区内的第一子序列和位于所述轨迹缓冲区外的第二子序列；对所述第一子序列取平均得到平均轨迹点，将所述平均轨迹点与所述第二子序列构成目标轨迹点序列，将目标轨迹点序列中的相邻轨迹点依次连接得到运动物体对应的行为轨迹。
其中，所述平滑子单元，具体用于获取所述轨迹点Ti的相邻轨迹点Ti-W/2～Ti-1和相邻轨迹点Ti+1～Ti+W/2，所述相邻轨迹点的数量为W；对所述相邻轨迹点Ti-W/2～Ti-1和所述相邻轨迹点Ti+1～Ti+W/2以及所述轨迹点Ti取平均得到平滑轨迹点Mi，将所述轨迹点Ti替换为所述平滑轨迹点Mi；当所述轨迹点序列中的每个轨迹点均被替换为对应的平滑轨迹点时，得到更新后的轨迹点序列。
其中，所述行为轨迹包括人体轨迹和人脸轨迹；
所述装置还包括：
绑定模块，用于检测所述人体轨迹和所述人脸轨迹之间的绑定关系；所述人体轨迹是基于人体框所生成的，所述人脸轨迹是基于人脸框生成的，所述人体框和所述人脸框均属于所述物体框；
关联模块，用于若所述绑定关系为绑定成功关系，则将所述运动物体对应的行为属性与所述运动物体对应的人脸特征建立身份关联关系；所述人脸特征是从所述人脸框提取得到的；
则所述流量统计模块，具体用于根据所述身份关联关系中的所述人脸特征，确定所述运动物体所属的人群类别，对相同人群类别中具有相同行为属性的运动物体进行统计，得到基于人群类别的人流量数据。
其中，所述绑定模块，具体用于获取所述人体轨迹的第一时间段信息以及所述人脸轨迹的第二时间段信息，获取所述第一时间段信息与所述第二时间段信息之间的时间匹配度，且具体用于获取所述人体轨迹的第一位置信息以及所述人脸轨迹的第二位置信息，获取所述第一位置信息与所述第二位置信息之间的空间匹配度，根据所述人脸特征确定人脸清晰度，且具体用于当所述时间匹配度大于第一匹配阈值，所述空间匹配度大于第二匹配阈值，且所述人脸清晰度大于清晰度阈值时，确定所述人体轨迹和所述人脸轨迹之间的绑定关系为绑定成功关系。
本发明实施例一方面提供了一种对象流量数据监控装置，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如本发明实施例中一方面中的方法。
本发明实施例一方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如本发明实施例中一方面中的方法。
本发明实施例可以通过获取针对目标环境的监控视频中的原始边界线，在监控视频中构建轨迹缓冲区，进而在轨迹缓冲区中构建虚拟边界线，根据虚拟边界线构建行为预测区域，并获取运动物体对应的行为轨迹，可以抵抗复杂如推门进出、门帘遮挡等场景，进而可以根据行为轨迹与预测区域以及虚拟边界线之间的位置关系，确定运动物体对应的行为属性，获得丰富的行为信息，从而可以提高对运动物体进行行为判断的正确率和召回率，进而实现对物体流量数据的精准统计。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种系统架构示意图；
图2是本发明实施例提供的一种对象流量数据监控方法的场景示意图；
图3是本实施例提供的一种对象流量数据监控方法的流程示意图；
图4a-图4d是本发明实施例提供的一种对象流量数据监控方法的流程示意图；
图5a以及图5b是本发明实施例提供的一种客流数据监控方法的流程示意图；
图6是本发明实施例提供的一种对象流量数据监控装置的结构示意图；
图7是本发明实施例提供的另一种对象流量数据监控装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，是本发明实施例提供的一种系统架构示意图。如图1所示，该系统架构可以包括服务器100、终端设备200a、终端设备200b、…、终端设备200n，服务器100可以通过网络与每个终端设备进行数据传输。这里以终端设备200a与服务器100之间的数据传输为例进行本发明实施例的描述。摄像头拍摄目标环境得到对应的监控视频，并将监控视频发送给服务器100，服务器100可以从监控视频中获取原始边界线，进而可以根据该原始边界线在监控视频中构建轨迹缓冲区、虚拟边界线以及行为预测区域，服务器100进一步获取运动物体对应的行为轨迹，根据行为轨迹与行为预测区域以及虚拟边界线之间的位置关系，确定运动物体对应的行为属性，并根据行为属性进行数据统计，得到目标环境中的物体流量数据。服务器100可以将对运动物体的行为判定结果和物体流量数据发送给终端200a进行显示。
可选的，摄像头将监控视频发送给终端设备200a，终端设备200a可以执行如上述服务器100执行的方法，得到目标环境中的物体流量数据。
可以理解的是，本发明实施例提供的方法可以由计算机设备执行，计算机设备包括但不限于终端设备或服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云数据库、云服务、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)，但并不局限于此。终端设备和服务器可以通过有线或无线方式进行直接或间接地连接，本发明实施例在此不做限制。
请参见图2，是本发明实施例提供的一种对象流量数据监控方法的场景示意图。如图2所示，该场景示意图以图1所对应实施例中的服务器100和终端设备200a为例，在人流密集的大型综合商场，摄像头300可以实时拍摄商场门口10c处附近的人流，为了获得商场中的客流量，摄像头300将对商场门口10c处拍摄所得的监控视频发送给服务器100，服务器100接收监控视频，在监控视频中获取原始边界线AB，原始边界线AB可以为商场门口10c与地面的交线，并构建轨迹缓冲区ABFE，在轨迹缓冲区ABFE中可以包括虚拟边界线CD，服务器还可以构建行为预测区域(包括区域GCD和区域HCD)，将区域GCD确定为进场业务区域，用于识别顾客的进场行为，将区域HCD确定为出场业务区域，用于识别顾客的出场行为。此外，可以对监控视频进行人体检测，如图2所示，服务器100检测到了监控视频中的顾客a和顾客b，并在监控视频中分别对顾客a和顾客b进行追踪，得到顾客a对应的人体轨迹10a以及顾客b对应的人体轨迹10b，进而可以根据其行为轨迹与行为预测区域以及虚拟边界线CD之间的位置关系，确定顾客a以及顾客b的行为属性，对监控视频中的每个顾客的行为属性都进行判断，即可统计商场中的客流量。其中，通过轨迹缓冲区ABFE，可以对落入轨迹缓冲区ABFE中的轨迹点进行优化处理，以减少轨迹的数据量；虚拟边界线CD的设定可以排除商场门口10c处各种场景因素的干扰，避免门帘遮挡、推门进出时漏检等问题，因此，通过结合使用轨迹缓冲区ABFE和虚拟边界线CD可以提高行为判断的效率和正确率。具体的优化和判断过程可以参见以下图3-图4d对应的实施例。
服务器100可以将行为判断结果和客流量统计结果发送给终端200a进行显示，并可以将每个顾客对应的时间信息、位置信息、行为属性等相关数据存储到对应的数据库400中，后续还可以将对应的数据绑定到具体的客户身上。故而商场中的服务人员可以获取顾客的进出场信息及总体客流信息等商场关键运营数据，并根据不同区域的客流密集度及进出场行为数据等关键运营数据来整体分析商场的运营情况，同时可以针对顾客进行个性化推荐，提高商场的转化率和营业额。
请参见图3，是本发明实施例提供的一种对象流量数据监控方法的流程示意图。如图3所示，该方法可以包括以下步骤：
步骤S101，获取针对目标环境的监控视频中的原始边界线；所述原始边界线为所述目标环境中的区域边界在所述监控视频中的拍摄位置；根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；
具体的，当摄像头拍摄目标环境得到监控视频时，服务器(该服务器对应于图1所对应实施例中的服务器100)可以接收由上述摄像头拍摄的得到的监控视频，可选的，摄像头将监控视频存储到相应存储区中，服务器从存储区中获取监控视频。其中，目标环境可以是出现物体流量的某个特定环境或场景，如智慧零售区门口的周围环境、写字楼门口的周围环境、停车场出入口的周围环境、综合商场中的儿童娱乐区出入口的周围环境等。摄像头可以安装在目标环境附近的墙壁、天花板或者支架上，用于实时拍摄目标环境中的运动物体。
服务器可以获取监控视频中的原始边界线，原始边界线为目标环境中的区域边界在监控视频中的拍摄位置，其中，区域边界表示目标环境中可供运动物体通过的边界，例如，若目标环境是超市门口的周围环境，则区域边界可以为超市的门口；若目标环境是停车场入口的周围环境，则区域边界可以为停车场的入口。原始边界线也可以表示为根据区域边界在监控视频中的拍摄位置抽象出来的数学模型，例如上述图2所对应的实施例中，可以把商场门口10c在垂直方向上与水平地面的交线作为对应监控视频中的原始边界线。
获得原始边界线后，服务器可以在监控视频中构建轨迹缓冲区，具体的，以上述原始边界线为边，构建宽度为L的矩形区域，将该矩形区域确定为轨迹缓冲区，轨迹缓冲区可用于后续对行为轨迹进行处理。可一并参见图2所示的场景示意图，服务器以原始边界线AB为边，构建宽度为L的矩形区域ABFE作为轨迹缓冲区，并在轨迹缓冲区中绘制虚拟边界线CD，作为后续对运动物体进行行为判断的重要依据，该虚拟边界线CD与上述原始边界线AB平行，且两者之间的距离为轨迹缓冲区宽度L的1/X，X为大于1的数值。
可以理解，虚拟边界线相当于由原始边界线沿目标方向平移L/X得到，目标方向根据具体情况进行选取，故而可以排除原始边界线所处位置的各种场景因素的干扰，例如进出的人流、门帘遮挡、装饰物遮挡等。
服务器可以根据虚拟边界线的位置，在监控视频中构建行为预测区域，具体的，可以先确定行为预测区域顶点，进而将行为预测区域顶点与虚拟边界线进行连接即可在监控视频中构建行为预测区域。其中，行为预测区域顶点要在轨迹缓冲区外，包括第一区域顶点和第二区域顶点，行为预测区域顶点用于识别运动物体针对所述目标环境中的区域边界的运动趋势。其中，运动物体可以包括但不限于运动的人、交通工具、动物、货物。相应的，行为预测区域包括第一预测区域和第二预测区域，可以用于判断运动物体是否发生相应的行为，具体的，行为预测区域可以是三角形区域。可一并参见上述图2所示的场景示意图，在确定虚拟边界线CD的位置后，服务器可以确定第一区域顶点G和第二区域顶点H，且第一区域顶点G和第二区域顶点H关于虚拟边界线CD对称，将第一区域顶点G和第二区域顶点H分别与虚拟边界线CD连接，得到第一预测区域GCD和第二预测区域HCD。其中，第一区域顶点G表示第一预测区域GCD所对应的行为，其运动趋势是从第一区域顶点G所在的一侧朝区域边界运动的趋势，第二区域顶点H表示第二预测区域HCD所对应的行为，其运动趋势是从第二区域顶点H所在的一侧朝区域边界运动的趋势。
步骤S102，获取所述监控视频中的运动物体对应的行为轨迹；
服务器可以对监控视频进行解码，获得连续的多个视频帧，并对其进行抽帧，即从多个视频帧中按照预设间隔帧数抽取出至少两个视频帧，进而可以在至少两个视频帧中进行物体检测，获取运动物体对应的物体框，确定物体框在每个视频帧中对应的位置，物体框会随着物体的运动而发生位置变化，进一步可以采用视觉跟踪算法，在得到的至少两个视频帧中对物体框进行追踪，得到运动物体对应的行为轨迹。其中，预设间隔帧数的取值范围可以是1～n帧，n为大于或等于1的正整数，预设间隔帧数的具体大小可以由摄像头每秒所拍摄的帧数决定，例如，若摄像头每秒拍摄36帧，那么预设间隔帧数可以是1～18中的某个值。在本发明实施例中不对预设间隔帧数作具体限定。
可一并参见上述图2所示的场景示意图，服务器可以对监控视频进行人体检测，检测到了监控视频中的顾客a和顾客b，并分别获取了顾客a对应的人体框和顾客b对应的人体框，在监控视频中的至少两个视频帧中分别对这两个人体框进行追踪，可以得到顾客a对应的人体轨迹10a以及顾客b对应的人体轨迹10b。
其中，行为轨迹可以是物体在运动过程中，将各时间点的物体位置进行连接所形成的轨迹，轨迹的呈现形式通常为曲线。物体框可以是在监控视频中能包含整个运动物体的包围盒，也可以是包含某些局部特征的包围盒，例如人体框、人脸框等。物体框的大小可根据监控视频中的物体尺寸进行灵活调整，进一步可以通过滤除较小尺寸的物体框在对应视频帧中的位置以降低计算量。
可以理解，可选的，当摄像头拍摄目标环境得到至少两张图像时，服务器接收由该摄像头拍摄的至少两张图像，并获取至少两张图像中的运动物体对应的行为轨迹。
步骤S103，根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
具体的，若运动物体对应的行为轨迹通过某个行为预测区域，并与虚拟边界线相交，则可以将其行为属性判定为与该行为预测区域对应的行为属性。
可一并参见上述图2所示的场景示意图，在判断顾客是否走进商场、走出商场或者路过商场的场景下，行为预测区域可以包括进场业务区域GCD(对应于上述步骤S102中的第一预测区域)和出场业务区域HCD(对应于上述步骤S102中的第二预测区域)，可以检测到顾客a对应的行为轨迹通过进场业务区域GCD并与虚拟边界线CD相交，则顾客a对应的行为属性被判定为进场属性；可以检测到顾客b对应的行为轨迹通过出场业务区域HCD并与虚拟边界线CD相交，则顾客b对应的行为属性被判定为出场属性；若检测到下一个顾客c对应的行为轨迹与虚拟边界线CD没有交点，则顾客c对应的行为属性会被判定为过场属性。
其中，针对运动物体进出目标环境的场景，行为属性可以包括进场属性、出场属性、过场属性，进场表示运动物体进入目标环境，出场表示运动物体离开目标环境，过场表示运动物体经过目标环境。可以理解，行为属性的具体含义可以根据实际应用场景来确定，在此不做限定。
步骤S104，根据所述行为属性，确定所述目标环境中的物体流量数据。
具体的，服务器可以对具有相同行为属性的运动物体进行统计，进而得到目标环境中的物体流量数据，在实际应用场景中，物体流量数据可以为客流量、车流量等。
本发明实施例可以通过获取针对目标环境的监控视频中的原始边界线，在监控视频中构建轨迹缓冲区，进而在轨迹缓冲区中构建虚拟边界线，并根据虚拟边界线构建行为预测区域，获取运动物体对应的行为轨迹，进一步可以根据行为轨迹与预测区域以及虚拟边界线之间的位置关系，确定运动物体对应的行为属性，获得丰富的行为信息，由于行为属性是通过与原始边界线平行的虚拟边界线来进行判断，排除了区域边界处各种场景因素的干扰，可以抵抗复杂如推门进出、门帘遮挡、门线处逗留等场景，从而可以提高对运动物体进行行为判断的正确率和召回率，进而实现复杂场景下对物体流量数据的精准统计。
请一并参见图4a-图4d，是本实施例提供的一种对象流量数据监控方法的流程示意图。如图4a-图4d所示，该方法可以包括以下步骤：
步骤S201，获取针对目标环境的监控视频中的原始边界线；在所述监控视频中，以所述原始边界线为边构建宽度为L的矩形区域，将所述矩形区域确定为轨迹缓冲区；
具体的，服务器可以获取摄像头针对目标环境所拍摄的监控视频，并可以从监控视频中获取原始边界线，如图4a所示，可以将对目标环境中的边界区域进行抽象化表示得到的直线段AB作为原始边界线，进而以原始边界线AB为边，构建宽度为L的矩形区域ABFE作为轨迹缓冲区。其中，L的取值与摄像头的部署有关，要根据原始边界线与视频画面边缘的距离来确定，要保证轨迹缓冲区始终位于视频画面中。
步骤S202，在所述轨迹缓冲区中绘制与所述原始边界线平行的线段，作为虚拟边界线；
具体的，如图4a所示，服务器可以在轨迹缓冲区ABFE中绘制直线段CD作为虚拟边界线，虚拟边界线CD与原始边界线AB平行，且虚拟边界线CD与原始边界线AB的距离为轨迹缓冲区ABFE的宽度L的1/X。其中，X为大于1的数值，优选的，X可取2，此时虚拟边界线CD两侧的矩形区域ACDB和矩形区域CEFD关于虚拟边界线CD对称，对运动物体的行为属性判断的结果会更准确。
步骤S203，根据所述虚拟边界线在所述监控视频中确定行为预测区域顶点；
具体的，行为预测区域顶点可以包括第一区域顶点和第二区域顶点。如图4a所示，服务器可以在监控视频中绘制第一区域顶点G，此时第一区域顶点G可以用于识别运动物体在目标环境中，从第一区域顶点G所在的一侧朝原始边界线AB运动的趋势。第一区域顶点G和第二区域顶点关于虚拟边界线CD对称，故而在确定第一区域顶点G后，服务器可以在第一区域顶点G关于虚拟边界线CD对称的位置绘制第二区域顶点H，其中，第二区域顶点H用于识别运动物体在目标环境中，从第二区域顶点H所在的一侧朝原始边界线AB运动的趋势。
可以理解，预测区域顶点可以起到识别运动物体针对目标环境中的区域边界的运动趋势的作用，为了不影响对运动物体对应的行为属性的判定结果，第一区域顶点G和第二区域顶点H都位于轨迹缓冲区ABFE外，且两个顶点与轨迹缓冲区ABFE的距离可根据实际情况确定。
步骤S204，根据所述行为预测区域顶点与所述虚拟边界线在所述监控视频中构建行为预测区域；
具体的，行为预测区域可以包括第一预测区域和第二预测区域。将由上述步骤S203得到的第一区域顶点G和第二区域顶点H分别与虚拟边界线CD的两个端点进行连接，如图4a所示，得到第一预测区域GCD和第二预测区域HCD。
可选的，第一区域顶点和第二区域顶点可以分别包括两个或两个以上的点，则各自对应的行为预测区域可以为除三角形区域以外的多边形区域。
步骤S205，对所述监控视频进行物体检测，获取运动物体对应的物体框；所述物体框用于表征所述运动物体在所述监控视频中的位置；
具体的，如图4b所示，服务器可以对监控视频进行解码以及抽帧得到至少两个视频帧，并在至少两个视频帧中进行物体检测，获取运动物体对应的物体框，可以通过物体框来检测运动物体的特征，物体框会随着运动物体的运动而发生位置变化，运动物体的特征可以是能表征运动物体全局信息的局部特征，例如检测监控视频中的顾客时，可以使用人体框来检测人体特征，人体特征可以是人体形态特征，通过人体形态特征可以确定顾客的姿态，也可以初步判断顾客处于运动或静止状态。人体特征包括但不限于：头部特征、颈部特征、肩部特征、肘部特征、手部特征、臀部特征、膝部特征和脚部特征等。服务器可以对采集到的视频帧进行图像增强处理，进而可以采用基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法中的任一种，对图像增强处理后的视频帧进行人体图像分割，从而可以得到人体特征。可选的，服务器可以对采集到的视频帧进行图像增强处理，然后将图像增强处理后的视频帧输入机器学习模型，通过机器学习模型对图像增强处理后的视频帧进行人体图像分割，从而可以得到人体特征，例如，利用基于深度学习的全卷积神经网络对图像进行人体图像分割，继而获取对应的人体框。实际应用中，还可以根据对误识别、漏识别的容忍程度灵活调整过滤方案，筛选出合格的人体。
步骤S206，在所述监控视频中的至少两个视频帧中对所述物体框进行追踪，在所述至少两个视频帧中提取所述物体框对应的轨迹点，生成轨迹点序列；
具体的，服务器可以从上述步骤S205中得到的至少两个视频帧中识别并提取出每个物体框对应的轨迹点，进而可以将属于同一运动物体的轨迹点组织成该运动物体对应的轨迹点序列。其中，轨迹点可以是物体框上的关键点，例如可以是物体框的底边中点，还可以是物体框中表示物体特征的关键点，例如人体关键点，其中，人体关键点可以是头部、颈部、肩部、肘部、手部、臀部、膝部、脚部等特征点。
在物体的运动过程中，物体框可能会发生抖动，因此会造成物体框的位置发生偏移，此时服务器可以提取物体框对应的轨迹点，通过轨迹点所在的位置对轨迹点序列进行如后续步骤S207以及步骤S208的处理，可以避免因物体框的抖动而影响运动物体对应的行为轨迹的准确性。
以人体框的底边中点作为轨迹点为例，如图4b所示，服务器在N个视频帧中对人体框进行追踪，每个视频帧都按照时间的先后顺序进行标记，标记有帧号ti的视频帧表示为第i个视频帧，服务器可以在标记有帧号t1、…、ti、…、tj、…、tk(其中，i、j、k都为大于1且小于或等于N的正整数)的每个视频帧中提取出人体框的底边中点，并获取每个人体框的底边中点在对应的视频帧中的位置(如像素坐标)，可得到包含了N个轨迹点的轨迹点序列。
可以理解，在至少两个视频帧中对物体框进行追踪，物体框除了包含位置信息，还会包含时序信息，即可以根据时序信息确定每个物体框对应的轨迹点在时序上的先后顺序。
步骤S207，对所述轨迹点序列中的轨迹点进行平滑处理，得到更新后的轨迹点序列；
因为从上述步骤S206得到的轨迹点是不连续的，若直接使用相邻轨迹点连接所得的行为轨迹进行行为属性的判断可能会导致结果不够准确，故而需要对轨迹点进行平滑处理使得行为轨迹变平滑。
具体的，轨迹点序列包括轨迹点Ti，i为正整数，且i小于或等于轨迹点序列中的轨迹点的总数量，服务器可以获取轨迹点Ti的相邻轨迹点Ti-W/2～Ti-1和相邻轨迹点Ti+1～Ti+W/2，相邻轨迹点的数量为W；对相邻轨迹点Ti-W/2～Ti-1和相邻轨迹点Ti+1～Ti+W/2以及轨迹点Ti取平均得到平滑轨迹点Mi，将轨迹点Ti替换为平滑轨迹点Mi；当轨迹点序列中的每个轨迹点均被替换为对应的平滑轨迹点时，得到更新后的轨迹点序列。
例如，轨迹点序列包含了N个轨迹点，服务器可以取W＝4，当i＝10时，可以获取T10的4个相邻轨迹点T8、T9、T11、T12以及每个点对应的像素坐标。若以(xi，yi)表示Ti对应的像素坐标，则对T8、T9、T10、T11、T12取平均，得到T10更新后的平滑轨迹点M10对应的像素坐标为
Figure BDA0002717702140000141
Figure BDA0002717702140000142
并将轨迹点T10替换为平滑轨迹点M10。对轨迹点序列中的N个轨迹点都进行类似的处理，即可得到更新后的轨迹点序列。其中，W是大于1的正整数，优选的，W可以从2～5中进行取值。
步骤S208，对所述更新后的轨迹点序列进行缓冲区处理，得到运动物体对应的行为轨迹；
具体的，由上述步骤S207得到的更新后的轨迹点序列包括平滑轨迹点Mi，i为正整数，且i小于或等于轨迹点序列中的轨迹点的总数量，计算平滑轨迹点Mi到虚拟边界线CD的距离di，通过di确定平滑轨迹点Mi是否落入轨迹缓冲区ABFE中。例如，优选的，当上述步骤S202中的X＝2时，虚拟边界线CD与原始边界线AB的距离以及虚拟边界线CD与EF边的距离均为轨迹缓冲区ABFE的宽度L的1/2，此时若di小于L/2，则服务器可以确定平滑轨迹点Mi位于轨迹缓冲区ABFE内。
如图4b所示，服务器可以将位于轨迹缓冲区ABFE内的平滑轨迹点组成的序列确定为第一子序列，将位于轨迹缓冲区ABFE外的平滑轨迹点组成的序列确定为第二子序列，进一步对第一子序列取平均得到平均轨迹点pt，取平均的方式可类似上述步骤S207中的例子对像素坐标取平均，平均轨迹点pt可以与第二子序列构成目标轨迹点序列，将目标轨迹点序列中的相邻轨迹点依次连接可以得到运动物体对应的行为轨迹。
可以理解，将第一子序列取平均后，轨迹缓冲区内只有一个平均轨迹点，目标轨迹点序列中的轨迹点的总数量小于上述步骤S206得到的轨迹点序列中的轨迹点的总数量，故而可以减少后续步骤的计算量。
步骤S209，根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
具体的，服务器可以从行为轨迹中依次提取检测线，检测线可以由至少两个轨迹点中的相邻轨迹点连接得到，进而确定提取出的检测线与虚拟边界线的位置关系。如图4c所示，从轨迹P1P2P3P4中依次提取得到检测线P1P2、P2P3、P3P4，当识别到检测线P2P3的起点P2位于进场业务区域GCD(也可以称为第一预测区域)内，且检测线P2P3与虚拟边界线CD相交，则将运动物体对应的行为属性确定为进场属性。如图4d所示，从轨迹Q1Q2Q3Q4中依次提取得到检测线Q1Q2、Q2Q3、Q3Q4，当识别到检测线Q2Q3的起点Q2位于出场业务区域HCD(也可以称为第二预测区域)内，且检测线Q2Q3与虚拟边界线CD相交，则将运动物体对应的行为属性确定为出场属性。若依次遍历后的检测线均未与虚拟边界线相交，则将运动物体对应的行为属性确定为过场属性。
此外，可以给每条行为轨迹增加行为属性集合用于帮助识别行为属性，例如，若某条检测线的起点位于进场业务区域内，且该检测线与虚拟边界线相交，则在对应的行为属性集合中增加进场属性；若某条检测线的起点位于出场业务区域内，且该检测线与虚拟边界线相交，则在对应的行为属性集合中增加出场属性；若依次遍历所有的检测线后，该轨迹的行为属性集合为空集，则在对应的行为属性集合中增加过场属性。服务器可以从行为属性集合中获取运动物体对应的行为属性。
步骤S210，所述行为轨迹包括人体轨迹和人脸轨迹，检测所述人体轨迹和所述人脸轨迹之间的绑定关系；
具体的，当运动物体是人时，行为轨迹可以包括人体轨迹和人脸轨迹。人体轨迹是基于人体框生成的，人体框可以用来检测人体特征；人脸轨迹是基于人脸框生成的，人脸框可以用来检测人脸特征，人体框和人脸框均属于物体框。其中，人脸特征可以包含人脸外轮廓特征点和五官特征点(如眉、眼、口、鼻等特征点)。在实际应用中可根据需要仅识别部分或更多特征点。
服务器可以通过上述步骤S205～步骤S208获得人体轨迹和人脸轨迹，并检测人体轨迹和人脸轨迹之间的绑定关系，具体的，可以获取人体轨迹的第一时间段信息以及人脸轨迹的第二时间段信息，并获取第一时间段信息与第二时间段信息之间的时间匹配度。需要说明的是，上述的第一时间段信息和第二时间段信息并不表示真实的某个时间段，而是表示时间的相对信息，即时序上的先后顺序。例如，可以在每个视频帧上标记帧号，则在对人体框和人脸框进行追踪的时候也会各自带上相应的帧号，通过帧号可以对第一时间段信息与第二时间段信息之间的时间匹配度进行检测。
此外，服务器可以获取人体轨迹的第一位置信息以及人脸轨迹的第二位置信息，并获取第一位置信息与第二位置信息之间的空间匹配度，例如，可以计算标记有相同帧号的人体轨迹点与人脸轨迹点之间的距离，通过距离来表示空间匹配度。可以理解，由于受到实际环境中各种因素的影响，人脸检测的难度要高于人体检测的难度，因此，人脸轨迹点的数量一般会少于人体轨迹点的数量。
进一步，可以根据人脸特征确定人脸清晰度，即可以对检测到的人脸进行筛选，例如，可以筛选掉模糊的人脸、受到遮挡的人脸、过暗的人脸或侧脸等质量不高的人脸，选取出面部无遮挡、亮度适当的清晰正面人脸。当上述时间匹配度大于第一匹配阈值，空间匹配度大于第二匹配阈值，且人脸清晰度大于清晰度阈值时，确定人体轨迹和人脸轨迹之间的绑定关系为绑定成功关系，否则，人体轨迹和人脸轨迹绑定失败。其中，第一匹配阈值、第二匹配阈值以及清晰度阈值可以根据实际情况进行调整，若需要绑定更加精确的人脸特征，可以灵活增大阈值的数值。
步骤S211，若所述绑定关系为绑定成功关系，则将所述运动物体对应的行为属性与所述运动物体对应的人脸特征建立身份关联关系；
具体的，服务器可以给上述步骤S210根据人脸特征选取出的人脸分配唯一人脸ID(Identity document，身份标识号)，将绑定成功的人体轨迹在上述步骤S209做出的行为属性判断结果关联到被绑定的唯一人脸ID上，即对行为属性和人脸特征建立了身份关联关系。身份关联关系可用于在下一次检测到用户出现在目标环境中时，调用推荐资源以针对用户进行个性化推荐。其中，推荐资源可以是用于引导用户的智能机器人，通过该智能机器人，可以向用户推荐相应的产品。此外，推荐资源还可以是目标环境中的服务人员。
步骤S212，根据所述行为属性，确定所述目标环境中的物体流量数据。
具体的，服务器可以根据身份关联关系中的人脸特征，确定用户所属的人群类别，人群类别可以根据性别(男性\女性)、年龄(如儿童\少年\青年\中年\老年)、会员级别(普通用户\VIP用户)、表情(如高兴\惊讶\伤心\生气\厌恶等)、是否有胡须、是否戴眼镜、是否戴口罩等进行划分。进而可以对相同人群类别中具有相同行为属性的用户进行统计，得到基于人群类别的人流量数据，例如，可以统计所有进入商场的顾客的人数，获得总体的客流信息，也可以更具体地统计进入商场的顾客中青年女性的人数，后续可针对青年女性群体提供个性化服务。
请一并参见图5a以及图5b，是本发明实施例提供的一种客流数据监控方法的流程示意图。在商超等密集人流场景下，可以基于人体轨迹信息和人脸相关信息对顾客行为进行分析并实时统计客流状况，对商超分析客流走向、品牌摆放以及促销方案的设计具有重要意义，如图5a所示，具体过程可以表示为：将摄像头对商超出入口位置进行拍摄采集到的视频进行解码得到多个视频帧，可以对得到的多个视频帧进行抽帧得到至少两个视频帧，进而对至少两个视频帧进行人脸人体联合检测，可以获取人体框以及人脸框，在至少两个视频帧中对人体框进行追踪，可以获得人体轨迹，在至少两个视频帧中对人脸框进行追踪，可以获得人脸轨迹。将人体轨迹和人脸轨迹进行绑定，若两者满足上述步骤S210中的绑定成功关系，则认为人体轨迹和人脸轨迹绑定成功。
进一步，可以基于轨迹缓冲区撞线来进行行为判断，如图5b所示，具体过程可以表示为：在经过人体追踪500a获取人体轨迹500b后，可以在轨迹缓冲区撞线500c中对人体轨迹500b进行平滑处理，人体追踪500a的具体过程可参见上述图4a-图4d所对应实施例中的步骤S205-步骤S206，对人体轨迹500b进行平滑处理的过程可参见上述图4a-图4d所对应实施例中的步骤S207，在此不再赘述。在轨迹缓冲区撞线500c中，根据视频中的原始边界线(商超场景下可以为商超出入口与地面的交线)可以构建业务线(即虚拟边界线)，业务线可由原始边界线平移得到，进而取业务线的邻域作为轨迹缓冲区(也可称为BlackMargin)，即以原始边界线为边构建宽度为L的矩形区域作为轨迹缓冲区，上述业务线位于轨迹缓冲区内，且业务线与原始边界线的距离为L的1/X，优选的，X＝2，优选的，L的数值可以在40～160个像素之间，可根据实际情况具体调整，本发明实施例在此不做限定。将进入轨迹缓冲区内的轨迹取平均点，并将平均点与轨迹缓冲区外的轨迹相连得到最终轨迹，根据业务线在视频中的位置可以构建业务区域(也可称为行为预测区域)，业务区域可以包括进场业务区域和出场业务区域，若最终轨迹通过进场业务区域撞业务线，即与业务线相交，则将对应的行为判定为进场行为，上述使用人体轨迹撞线以获取行为信息的过程被称为轨迹缓冲区撞线(也可称为BlackMargin撞线)；当X＝2时，进场业务区域与出场业务区域关于业务线对称，故而在确定进场业务区域后，可将进场业务区域沿业务线翻转得到出场业务区域，类似上述对进场行为的判断，将出场业务区域中人体轨迹经过轨迹缓冲区撞线的行为判定为出场行为。此外，若人体轨迹没有经过轨迹缓冲区撞线，则将对应的行为判定为过场行为。
如图5a所示，在对顾客进行基于轨迹缓冲区的行为判断后，可以将行为判断的结果与顾客对应的人脸特征建立身份关联关系，可以给每个绑定成功的人脸特征都分配一个人脸唯一ID，将顾客的行为属性、身份属性都关联到对应的人脸唯一ID上，进而可以根据行为属性统计商超中的客流，也可以根据身份属性进行更细化的客流分类统计，最后累计即可得到相应的客流数据。其中，身份属性可以包括但不限于性别、年龄、会员等级、表情等。
可选的，还可以使用人头肩轨迹等局部信息获取行为信息并统计客流。
此外，为了获取商超的客流数据，摄像头可以静止地正对商超的出入口或者是商超中某个区域的边界(例如服饰区边界、零食区边界、生鲜区边界等)进行视频拍摄，此时对人体追踪得到的轨迹是十分有限的，故而可在商超中进行多个摄像头的部署，对人体进行全程追踪，可以获取顾客对应的人体动线数据，其中，人体动线数据可以包括顾客出现在某个区域的停留时间信息、位置信息、行为状态、面部动作状态等，进一步将人体动线数据关联到对应的人脸唯一ID上，从而可以实现商超人流和人体动线的智能分析，助力商超进行品类调整、陈列优化、货品更新等优化管理，为商超的智能化运营赋能。
需要说明的是，上述客流数据监控方法可以适用于智慧零售场景，例如可以对智慧零售区中的顾客进行行为判断并统计客流量，智慧零售区可以是融合了互联网技术的零售场所，如智慧零售商场、智慧零售店铺、智慧超市等，精准的行为分析和客户沉淀互相促进，对商超场景的客流大数据挖掘以及智慧零售的实现具有重要作用。
本发明实施例可以通过获取针对目标环境的监控视频中的原始边界线，在监控视频中构建轨迹缓冲区，进而在轨迹缓冲区中构建虚拟边界线，并根据虚拟边界线构建行为预测区域，获取运动物体对应的行为轨迹，进一步可以根据行为轨迹与预测区域以及虚拟边界线之间的位置关系，确定运动物体对应的行为属性，即利用行为轨迹撞线的方法可以高效获得丰富的行为信息，由于行为属性是通过与原始边界线平行的虚拟边界线来进行判断，排除了区域边界处各种场景因素的干扰，可以抵抗复杂如推门进出、门帘遮挡、门线处逗留等场景，从而可以提高对运动物体进行行为判断的正确率和召回率，进而实现对物体流量数据的精准统计。
请参见图6，是本发明实施例提供的一种对象流量数据监控装置的结构示意图。如图6所示，该对象流量数据监控装置1可以应用于上述图2所对应实施例中的服务器100，该对象流量数据监控装置1可以包括：缓冲区构建模块11、轨迹获取模块12、行为属性确定模块13、流量统计模块14；
缓冲区构建模块11，用于获取针对目标环境的监控视频中的原始边界线，根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述原始边界线为所述目标环境中的区域边界在所述监控视频中的拍摄位置；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；
轨迹获取模块12，用于获取所述监控视频中的运动物体对应的行为轨迹；
行为属性确定模块13，用于根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
所述行为属性确定模块13，具体用于从所述行为轨迹中依次提取检测线，确定所述检测线与所述虚拟边界线之间的位置关系；所述检测线由所述至少两个轨迹点中的相邻轨迹点连接得到；
所述行为属性确定模块13，具体用于若所述位置关系包括所述检测线的起点位于所述第一预测区域内，且所述检测线与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为进场属性；
所述行为属性确定模块13，具体用于若所述位置关系包括所述检测线的起点位于所述第二预测区域内，且所述检测线与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为出场属性；
所述行为属性确定模块13，具体用于若所述位置关系包括依次遍历后的检测线均未与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为过场属性；
流量统计模块14，用于根据所述行为属性，确定所述目标环境中的物体流量数据。
所述流量统计模块14，具体用于根据所述身份关联关系中的所述人脸特征，确定所述运动物体所属的人群类别；对相同人群类别中具有相同行为属性的运动物体进行统计，得到基于人群类别的人流量数据。
其中，缓冲区构建模块11的具体功能实现方式可以参见上述图3所对应实施例中的步骤S101，或者可以参见上述图4a所对应实施例中的步骤S201，轨迹获取模块12的具体功能实现方式可以参见上述图3所对应实施例中的步骤S102，或者可以参见上述图4b所对应实施例中的步骤S205-步骤S208，行为属性确定模块13的具体功能实现方式可以参见上述图3所对应实施例中的步骤S103，或者可以参见上述图4b所对应实施例中的步骤S209，流量统计模块14的具体功能实现方式可以参见上述图3所对应实施例中的步骤S104，或者可以参见上述图4b所对应实施例中的步骤S212，这里不再进行赘述。
请一并参见图6，该对象流量数据监控装置还可以包括：虚拟边界线构建模块15、预测区域构建模块16、绑定模块17、关联模块18；
虚拟边界线构建模块15，用于在所述轨迹缓冲区中绘制与所述原始边界线平行的线段，作为虚拟边界线，所述虚拟边界线与所述原始边界线的距离为所述轨迹缓冲区的宽度L的1/X，所述X为大于1的数值；
预测区域构建模块16，用于根据所述虚拟边界线在所述监控视频中确定行为预测区域顶点，根据所述行为预测区域顶点与所述虚拟边界线在所述监控视频中构建行为预测区域；所述行为预测区域顶点用于识别运动物体针对所述目标环境中的区域边界的运动趋势；所述行为预测区域顶点包括第一区域顶点和第二区域顶点；所述行为预测区域包括第一预测区域和第二预测区域；
绑定模块17，用于检测所述人体轨迹和所述人脸轨迹之间的绑定关系；所述人体轨迹是基于人体框所生成的，所述人脸轨迹是基于人脸框生成的，所述人体框和所述人脸框均属于所述物体框；
所述绑定模块17，具体用于获取所述人体轨迹的第一时间段信息以及所述人脸轨迹的第二时间段信息，获取所述第一时间段信息与所述第二时间段信息之间的时间匹配度；获取所述人体轨迹的第一位置信息以及所述人脸轨迹的第二位置信息，获取所述第一位置信息与所述第二位置信息之间的空间匹配度；根据所述人脸特征确定人脸清晰度；当所述时间匹配度大于第一匹配阈值，所述空间匹配度大于第二匹配阈值，且所述人脸清晰度大于清晰度阈值时，确定所述人体轨迹和所述人脸轨迹之间的绑定关系为绑定成功关系；
关联模块18，用于若所述绑定关系为绑定成功关系，则将所述运动物体对应的行为属性与所述运动物体对应的人脸特征建立身份关联关系；所述人脸特征是从所述人脸框提取得到的。
其中，虚拟边界线构建模块15的具体功能实现方式可以参见上述图4a所对应实施例中的步骤S202，预测区域构建模块16的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S203-步骤S204，绑定模块17的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S210，关联模块18的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S211，这里不再进行赘述。
请一并参见图6，轨迹获取模块12可以包括：物体检测单元121、物体追踪单元122、轨迹生成单元123；
物体检测单元121，用于对所述监控视频进行物体检测，获取运动物体对应的物体框；所述物体框用于表征所述运动物体在所述监控视频中的位置；
物体追踪单元122，用于在所述监控视频中的至少两个视频帧中对所述物体框进行追踪，在所述至少两个视频帧中提取所述物体框对应的轨迹点，生成轨迹点序列；
轨迹生成单元123，用于根据所述轨迹点序列中的轨迹点生成所述运动物体对应的行为轨迹。
其中，物体检测单元121的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S205，物体追踪单元122的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S206，轨迹生成单元123的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S207-步骤S208，这里不再进行赘述。
请一并参见图6，预测区域构建模块16可以包括：第一顶点确定单元161、第二顶点确定单元162；
第一顶点确定单元161，用于根据所述虚拟边界线在所述监控视频中的位置绘制第一区域顶点；所述第一区域顶点用于识别运动物体在所述目标环境中，从所述第一区域顶点所在的一侧朝所述区域边界运动的趋势；
第二顶点确定单元162，用于根据所述第一区域顶点和所述虚拟边界线在所述监控视频中确定第二区域顶点，所述第一区域顶点与所述第二区域顶点关于所述虚拟边界线对称；所述第二区域顶点用于识别运动物体在所述目标环境中，从所述第二区域顶点所在的一侧朝所述区域边界运动的趋势。
其中，第一顶点确定单元161、第二顶点确定单元162的具体功能实现方式可以参见上述图4a所对应实施例中的步骤S203，这里不再进行赘述。
请一并参见图6，预测区域构建单元122可以包括：第一区域确定单元163、第二区域确定单元164；
第一区域确定子单元163，用于将所述第一区域顶点与所述虚拟边界线的端点进行连接所构成的区域确定为第一预测区域；
第二区域确定子单元164，用于将所述第二区域顶点与所述虚拟边界线的端点进行连接所构成的区域确定为第二预测区域。
其中，第一区域确定子单元163、第二区域确定子单元164的具体功能实现方式可以参见上述图4a所对应实施例中的步骤S204，这里不再进行赘述。
请一并参见图6，轨迹生成单元123可以包括：平滑子单元1231、缓冲区处理子单元1232；
平滑子单元1231，用于对所述轨迹点序列中的轨迹点进行平滑处理，得到更新后的轨迹点序列；
所述平滑子单元1231，具体用于获取所述轨迹点Ti的相邻轨迹点Ti-W/2～Ti-1和相邻轨迹点Ti+1～Ti+W/2，所述相邻轨迹点的数量为W；对所述相邻轨迹点Ti-W/2～Ti-1和所述相邻轨迹点Ti+1～Ti+W/2以及所述轨迹点Ti取平均得到平滑轨迹点Mi，将所述轨迹点Ti替换为所述平滑轨迹点Mi；当所述轨迹点序列中的每个轨迹点均被替换为对应的平滑轨迹点时，得到更新后的轨迹点序列；
缓冲区处理子单元1232，用于从所述更新后的轨迹点序列中获取位于所述轨迹缓冲区内的第一子序列和位于所述轨迹缓冲区外的第二子序列；对所述第一子序列取平均得到平均轨迹点，将所述平均轨迹点与所述第二子序列构成目标轨迹点序列，将目标轨迹点序列中的相邻轨迹点依次连接得到运动物体对应的行为轨迹。
其中，平滑子单元1231的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S207，缓冲区处理子单元1232的具体功能实现方式可以参见上述图4b所对应实施例中的步骤S208，这里不再进行赘述。
本发明实施例可以通过获取针对目标环境的监控视频中的原始边界线，在监控视频中构建轨迹缓冲区，进而在轨迹缓冲区中构建虚拟边界线，并根据虚拟边界线构建行为预测区域，获取运动物体对应的行为轨迹，进一步可以根据行为轨迹与预测区域以及虚拟边界线之间的位置关系，确定运动物体对应的行为属性，即利用行为轨迹撞线的方法可以高效获得丰富的行为信息，由于行为属性是通过与原始边界线平行的虚拟边界线来进行判断，排除了区域边界处各种场景因素的干扰，可以抵抗复杂如推门进出、门帘遮挡、门线处逗留等场景，从而可以提高对运动物体进行行为判断的正确率和召回率，进而实现复杂场景下对物体流量数据的精准统计。
请参见图7，是本发明实施例提供的另一种对象流量数据监控装置的结构示意图，如图7所示，该对象流量数据监控装置1000可以对应于上述图2所对应实施例中的服务器100，该对象流量数据监控装置1000可以包括：处理器1001，网络接口1003和存储器1004，此外，上述对象流量数据监控装置1000还可以包括：至少一个通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1004可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图7所示，作为一种计算机可读存储介质的存储器1004中可以包括操作系统、网络通信模块。
在如图7所示的对象流量数据监控装置1000中，网络接口1003可提供网络通讯功能，以实现上述图3、图4a-图4d任一个所对应实施例中对所述对象流量数据监控方法的描述，这里不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
应当理解，本发明实施例中所描述的对象流量数据监控装置1000可执行前文图3、图4a-图4d任一个所对应实施例中对所述对象流量数据监控方法的描述，也可执行前文图6所对应实施例中对所述对象流量数据监控装置1的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。
此外，这里需要指出的是：本发明实施例还提供了一种计算机可读存储介质，且所述计算机可读存储介质中存储有前文提及的对象流量数据监控装置1所执行的计算机程序，且所述计算机程序包括程序指令，当所述处理器执行所述程序指令时，能够执行前文图3、图4a-图4d任一个所对应实施例中对所述对象流量数据监控方法的描述，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本发明所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本发明方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储存储器(Read-Only Memory，ROM)或随机存储存储器(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (14)

1.一种对象流量数据监控方法，其特征在于，包括：
获取针对目标环境的监控视频中的原始边界线；所述原始边界线为所述目标环境中的区域边界在所述监控视频中的拍摄位置；
根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；
获取所述监控视频中的运动物体对应的行为轨迹；
根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
根据所述行为属性，确定所述目标环境中的物体流量数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述原始边界线在所述监控视频中确定轨迹缓冲区，包括：
在所述监控视频中，以所述原始边界线为边构建宽度为L的矩形区域，将所述矩形区域确定为轨迹缓冲区；
所述方法还包括：
在所述轨迹缓冲区中绘制与所述原始边界线平行的线段，作为虚拟边界线，所述虚拟边界线与所述原始边界线的距离为所述轨迹缓冲区的宽度L的1/X，所述X为大于1的数值。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述虚拟边界线在所述监控视频中确定行为预测区域顶点；所述行为预测区域顶点用于识别运动物体针对所述目标环境中的区域边界的运动趋势；
根据所述行为预测区域顶点与所述虚拟边界线在所述监控视频中构建行为预测区域。
4.根据权利要求3所述的方法，其特征在于，所述行为预测区域顶点包括第一区域顶点和第二区域顶点；
所述根据所述虚拟边界线在所述监控视频中确定行为预测区域顶点，包括：
根据所述虚拟边界线在所述监控视频中的位置绘制第一区域顶点；所述第一区域顶点用于识别运动物体在所述目标环境中，从所述第一区域顶点所在的一侧朝所述区域边界运动的趋势；
根据所述第一区域顶点和所述虚拟边界线在所述监控视频中确定第二区域顶点，所述第一区域顶点与所述第二区域顶点关于所述虚拟边界线对称；所述第二区域顶点用于识别运动物体在所述目标环境中，从所述第二区域顶点所在的一侧朝所述区域边界运动的趋势。
5.根据权利要求4所述的方法，其特征在于，所述行为预测区域包括第一预测区域和第二预测区域；
所述根据所述行为预测区域顶点与所述虚拟边界线在所述监控视频中构建行为预测区域，包括：
将所述第一区域顶点与所述虚拟边界线的端点进行连接所构成的区域确定为第一预测区域；
将所述第二区域顶点与所述虚拟边界线的端点进行连接所构成的区域确定为第二预测区域。
6.根据权利要求5所述的方法，其特征在于，所述行为轨迹包括所述运动物体的至少两个轨迹点；
所述根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性，包括：
从所述行为轨迹中依次提取检测线，确定所述检测线与所述虚拟边界线之间的位置关系；所述检测线由所述至少两个轨迹点中的相邻轨迹点连接得到；
若所述位置关系包括所述检测线的起点位于所述第一预测区域内，且所述检测线与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为进场属性；
若所述位置关系包括所述检测线的起点位于所述第二预测区域内，且所述检测线与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为出场属性；
若所述位置关系包括依次遍历后的检测线均未与所述虚拟边界线相交，则将所述运动物体对应的行为属性确定为过场属性。
7.根据权利要求1所述的方法，其特征在于，所述获取所述监控视频中的运动物体对应的行为轨迹，包括：
对所述监控视频进行物体检测，获取运动物体对应的物体框；所述物体框用于表征所述运动物体在所述监控视频中的位置；
在所述监控视频中的至少两个视频帧中对所述物体框进行追踪，在所述至少两个视频帧中提取所述物体框对应的轨迹点，生成轨迹点序列；
根据所述轨迹点序列中的轨迹点生成所述运动物体对应的行为轨迹。
8.根据权利要求7所述的方法，其特征在于，所述根据所述轨迹点序列中的轨迹点生成运动物体对应的行为轨迹，包括：
对所述轨迹点序列中的轨迹点进行平滑处理，得到更新后的轨迹点序列；
从所述更新后的轨迹点序列中获取位于所述轨迹缓冲区内的第一子序列和位于所述轨迹缓冲区外的第二子序列；
对所述第一子序列取平均得到平均轨迹点，将所述平均轨迹点与所述第二子序列构成目标轨迹点序列，将目标轨迹点序列中的相邻轨迹点依次连接得到运动物体对应的行为轨迹。
9.根据权利要求8所述的方法，其特征在于，所述轨迹点序列包括轨迹点Ti，i为正整数，且i小于或等于所述轨迹点序列中的轨迹点的总数量；
所述对所述轨迹点序列中的轨迹点进行平滑处理，得到更新后的轨迹点序列，包括：
获取所述轨迹点Ti的相邻轨迹点Ti-W/2～Ti-1和相邻轨迹点Ti+1～Ti+W/2，所述相邻轨迹点的数量为W；
对所述相邻轨迹点Ti-W/2～Ti-1和所述相邻轨迹点Ti+1～Ti+W/2以及所述轨迹点Ti取平均得到平滑轨迹点Mi，将所述轨迹点Ti替换为所述平滑轨迹点Mi；
当所述轨迹点序列中的每个轨迹点均被替换为对应的平滑轨迹点时，得到更新后的轨迹点序列。
10.根据权利要求7所述的方法，其特征在于，所述行为轨迹包括人体轨迹和人脸轨迹；
所述方法还包括：
检测所述人体轨迹和所述人脸轨迹之间的绑定关系；所述人体轨迹是基于人体框所生成的，所述人脸轨迹是基于人脸框生成的，所述人体框和所述人脸框均属于所述物体框；
若所述绑定关系为绑定成功关系，则将所述运动物体对应的行为属性与所述运动物体对应的人脸特征建立身份关联关系；所述人脸特征是从所述人脸框提取得到的；
则所述根据所述行为属性，确定所述目标环境中的物体流量数据，包括：
根据所述身份关联关系中的所述人脸特征，确定所述运动物体所属的人群类别；
对相同人群类别中具有相同行为属性的运动物体进行统计，得到基于人群类别的人流量数据。
11.根据权利要求10所述的方法，其特征在于，所述检测所述人体轨迹和所述人脸轨迹之间的绑定关系，包括：
获取所述人体轨迹的第一时间段信息以及所述人脸轨迹的第二时间段信息，获取所述第一时间段信息与所述第二时间段信息之间的时间匹配度；
获取所述人体轨迹的第一位置信息以及所述人脸轨迹的第二位置信息，获取所述第一位置信息与所述第二位置信息之间的空间匹配度；
根据所述人脸特征确定人脸清晰度；
当所述时间匹配度大于第一匹配阈值，所述空间匹配度大于第二匹配阈值，且所述人脸清晰度大于清晰度阈值时，确定所述人体轨迹和所述人脸轨迹之间的绑定关系为绑定成功关系。
12.一种对象流量数据监控装置，其特征在于，包括：
缓冲区构建模块，用于获取针对目标环境的监控视频中的原始边界线；所述原始边界线为所述目标环境中的区域边界在所述监控视频中的拍摄位置；根据所述原始边界线在所述监控视频中确定轨迹缓冲区，所述轨迹缓冲区包括基于所述原始边界线所构建的虚拟边界线；所述监控视频还包括基于所述虚拟边界线所构建的行为预测区域；
轨迹获取模块，用于获取所述监控视频中的运动物体对应的行为轨迹；
行为属性确定模块，用于根据所述行为轨迹与所述行为预测区域以及所述虚拟边界线之间的位置关系，确定所述运动物体对应的行为属性；
流量统计模块，用于根据所述行为属性，确定所述目标环境中的物体流量数据。
13.一种对象流量数据监控装置，其特征在于，包括：处理器和存储器；
所述处理器和存储器相连，其中，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以执行如权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，执行如权利要求1-11任一项所述的方法。
CN202011077501.1A 2020-10-10 2020-10-10 一种对象流量数据监控方法、装置以及可读存储介质 Pending CN112052838A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011077501.1A CN112052838A (zh) 2020-10-10 2020-10-10 一种对象流量数据监控方法、装置以及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011077501.1A CN112052838A (zh) 2020-10-10 2020-10-10 一种对象流量数据监控方法、装置以及可读存储介质

Publications (1)

Publication Number Publication Date
CN112052838A true CN112052838A (zh) 2020-12-08

Family

ID=73605130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011077501.1A Pending CN112052838A (zh) 2020-10-10 2020-10-10 一种对象流量数据监控方法、装置以及可读存储介质

Country Status (1)

Country Link
CN (1) CN112052838A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114228710A (zh) * 2021-12-27 2022-03-25 浙江大学 基于虚拟边界的二维智能驾驶模型的车辆轨迹预测方法
WO2022127276A1 (zh) * 2020-12-18 2022-06-23 北京市商汤科技开发有限公司 信息处理方法、装置、电子设备及存储介质、计算机程序
CN114937241A (zh) * 2022-06-01 2022-08-23 北京凯利时科技有限公司 基于过渡区的客流统计方法和系统以及计算机程序产品
WO2023029574A1 (zh) * 2021-08-30 2023-03-09 上海商汤智能科技有限公司 获取客流信息的方法、装置、计算机设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227862A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US20120033852A1 (en) * 2010-08-06 2012-02-09 Kennedy Michael B System and method to find the precise location of objects of interest in digital images
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060227862A1 (en) * 2005-04-06 2006-10-12 March Networks Corporation Method and system for counting moving objects in a digital video stream
US20120033852A1 (en) * 2010-08-06 2012-02-09 Kennedy Michael B System and method to find the precise location of objects of interest in digital images
WO2015131734A1 (zh) * 2014-07-25 2015-09-11 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法、装置和存储介质
CN110210417A (zh) * 2019-06-05 2019-09-06 深圳前海达闼云端智能科技有限公司 一种行人运动轨迹的预测方法、终端及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭洋 等: "运动目标三维轨迹可视化与关联分析方法", 软件学报, vol. 27, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127276A1 (zh) * 2020-12-18 2022-06-23 北京市商汤科技开发有限公司 信息处理方法、装置、电子设备及存储介质、计算机程序
WO2023029574A1 (zh) * 2021-08-30 2023-03-09 上海商汤智能科技有限公司 获取客流信息的方法、装置、计算机设备以及存储介质
CN114228710A (zh) * 2021-12-27 2022-03-25 浙江大学 基于虚拟边界的二维智能驾驶模型的车辆轨迹预测方法
CN114228710B (zh) * 2021-12-27 2024-02-20 浙江大学 基于虚拟边界的二维智能驾驶模型的车辆轨迹预测方法
CN114937241A (zh) * 2022-06-01 2022-08-23 北京凯利时科技有限公司 基于过渡区的客流统计方法和系统以及计算机程序产品
CN114937241B (zh) * 2022-06-01 2024-03-26 北京凯利时科技有限公司 基于过渡区的客流统计方法和系统以及计算机程序产品

Similar Documents

Publication Publication Date Title
CN112052838A (zh) 一种对象流量数据监控方法、装置以及可读存储介质
US10735694B2 (en) System and method for activity monitoring using video data
Sato et al. Temporal spatio-velocity transform and its application to tracking and interaction
US10380431B2 (en) Systems and methods for processing video streams
US10176384B2 (en) Method and system for automated sequencing of vehicles in side-by-side drive-thru configurations via appearance-based classification
US9536153B2 (en) Methods and systems for goods received gesture recognition
US20180321738A1 (en) Rendering rich media content based on head position information
WO2019015682A1 (zh) 人脸图像动态入库方法和装置、电子设备、介质、程序
US7227893B1 (en) Application-specific object-based segmentation and recognition system
EP3267368A1 (en) Machine learning image processing
CN105844263B (zh) 共享共同属性的视频对象的概要示图
US9953215B2 (en) Method and system of temporal segmentation for movement analysis
US8416296B2 (en) Mapper component for multiple art networks in a video analysis system
JP6904651B2 (ja) 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
US10043078B2 (en) Virtual turnstile system and method
CN110276298B (zh) 用户行为的判定方法、装置、存储介质和计算机设备
Sun et al. Moving foreground object detection via robust SIFT trajectories
Liu et al. Customer behavior classification using surveillance camera for marketing
Raskin et al. Dimensionality reduction using a Gaussian process annealed particle filter for tracking and classification of articulated body motions
JP2017162409A (ja) 顔の表情と動作の認識装置及び方法
Vicente et al. Embedded vision modules for tracking and counting people
EP3879435A1 (en) Method for analysing the behaviour of people in physical spaces and system for said method
Shadrach et al. Smart virtual trial room for apparel industry
KR20170006356A (ko) 이차원 영상 기반 고객 분석 방법 및 장치
Afsar et al. Automatic human trajectory destination prediction from video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination