CN113592785A - 一种目标流量统计方法及装置 - Google Patents
一种目标流量统计方法及装置 Download PDFInfo
- Publication number
- CN113592785A CN113592785A CN202110780273.2A CN202110780273A CN113592785A CN 113592785 A CN113592785 A CN 113592785A CN 202110780273 A CN202110780273 A CN 202110780273A CN 113592785 A CN113592785 A CN 113592785A
- Authority
- CN
- China
- Prior art keywords
- target
- result
- area
- frame image
- statistical result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000012544 monitoring process Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种目标流量统计方法及装置，其中，该方法包括：对多帧图像进行目标检测，得到检测结果；根据该检测结果对该多帧图像进行目标跟踪，得到跟踪结果；根据基于监控区域绘制的规则图与该跟踪结果对目标流量进行统计，得到初步统计结果；对预设时间段内该相机的初步统计结果进行相同目标的去重处理，得到目标统计结果，可以解决相关技术中通过相机采集的图像对目标进出计数，存在相同目标重复计数的问题，通过对多帧图像的客流进出统计结果进行同一目标的去重处理，提高了客流进出统计的精确度。
Description
技术领域
本发明涉及图像处理领域，具体而言，涉及一种目标流量统计方法及装置。
背景技术
随着经济的快速发展和人民生活水平的提高以及城市商业区规模的不断扩大和繁荣，越来越多的人在商业区购物、餐饮、休闲娱乐，这些大型中心商业区已经成为城市形象的代表和经济最为活跃的地区。但随着城市人口的不断增加，同时在上下班高峰期，公交车、地铁和商场的客流量越来越大，实时统计每个场景的客流以及实现车辆智能调度显得尤为重要，同时也可以避免可能会发生的危险事情，比如超载，踩踏事件等。客流统计一般是通过司机或者乘务员统计或者大致估计，还有就是通过安装在车上的摄像机进行人脸检测来统计人数，人工统计耗时耗力，人脸检测来统计人数存在漏检、误检的情况，时间一长，统计的误差将会越会越来越大。同时对于大场景一台相机无法覆盖所有的场景或者门面，多台相机计数将会面临相同目标重复计数的问题。
针对相关技术中通过相机采集的图像对目标进出计数，存在相同目标重复计数的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种目标流量统计方法及装置，以至少解决相关技术中通过相机采集的图像对目标进出计数，存在相同目标重复计数的问题。
根据本发明的一个实施例，提供了一种目标流量统计方法，包括：
对多帧图像进行目标检测，得到检测结果；
根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
可选地，根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果包括：
判断所述跟踪结果中的每个目标是否从所述规则图的第一区域进入第二区域，所述规则图包括规则区域与拌线，所述拌线将所述规则区域划分为第一区域与第二区域；
若判断结果为目标从所述规则图的第一区域进入第二区域，确定目标为进入，触发进入次数加1，得到进入统计结果；
若所述判断结果为目标从所述第二区域进入第一区域，确定目标为出去，触发出去次数加1，得到出去统计结果，其中，所述初步统计结果包括所述进入统计结果与所述出去统计结果。
可选地，对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果包括：
获取所述预设时间段内的所述进入统计结果与所述出去统计结果；
将所述进入统计结果中针对同一目标的统计结果更新为1，得到目标进入统计结果；
并将所述出去统计结果中针对同一目标的统计结果更新为1，得到目标出去统计结果，其中，所述目标统计结果包括所述目标进入统计结果与所述目标出去统计结果。
可选地，对多帧图像进行目标检测，得到检测结果包括：
采用人脸头肩人体检测模型对所述多帧视频进行人脸、头肩、人体检测，得到包括多个目标的特征信息，所述特征信息包括每个目标的人脸、头肩、人体；
分别为所述多个目标创建标识ID信息；
记录包括所述ID信息与特征信息的所述检测结果。
可选地，根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果包括：
对所述多帧图像中的每帧图像执行以下操作，直到得到所述跟踪结果，其中，正在执行操作的图像确定为当前帧图像：
根据所述检测结果将所述当前帧图像与上一帧图像进行匹配，得到第一匹配结果；
若所述匹配结果为所述当前帧图像与上一帧图像至少存在一个匹配目标，将当前帧图像中的目标的ID信息变更为所述上一帧图像中对应匹配成功的目标的ID信息。
可选地，所述方法还包括：
基于卡尔曼滤波算法，确定上一帧图像中每个目标在当前帧图像中的预估位置；
获取所述当前帧图像中每个目标的当前位置；
将所述预估位置与所述当前位置进行匹配，得到第二匹配结果；
根据所述第一匹配结果与所述第二匹配结果确定所述当前帧图像与上一帧图像的所述匹配目标。
可选地，在对多帧图像进行目标检测，得到检测结果之前，所述方法还包括：
根据预设规则绘制小于所述监控区域的规则区域；
获取所述规则区域的中心，并获取目标流动方向；
根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
可选地，根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线包括：
若所述目标流动方向仅包括一个流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线；
若所述目标流动方向包括互为垂直的第一流动方向与第二流动方向，提示选择第一流动方向或第二流动方向，根据选择指令确定第一流动方向或第二流动方向作为所述目标流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线。
可选地，在对多帧图像进行目标检测，得到检测结果之前，所述方法还包括：
接收绘制小于所述监控区域的规则区域的第一绘制指令；
根据所述第一绘制指令生成所述规则区域；
接收划分所述规则区域的拌线的第二绘制指令；
根据所述第二绘制指令生成所述拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
根据本发明的另一个实施例，还提供了一种目标流量统计装置，包括：
检测模块，用于对多帧图像进行目标检测，得到检测结果；
跟踪模块，用于根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
统计模块，用于根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
去重模块，用于对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
可选地，所述统计模块包括：
判断子模块，用于判断所述跟踪结果中的每个目标是否从所述规则图的第一区域进入第二区域，所述规则图包括规则区域与拌线，所述拌线将所述规则区域划分为第一区域与第二区域；
第一确定子模块，用于若判断结果为目标从所述规则图的第一区域进入第二区域，确定目标为进入，触发进入次数加1，得到进入统计结果；
第二确定子模块，用于若所述判断结果为目标从所述第二区域进入第一区域，确定目标为出去，触发出去次数加1，得到出去统计结果，其中，所述初步统计结果包括所述进入统计结果与所述出去统计结果。
可选地，所述去重模块包括：
获取子模块，用于获取所述预设时间段内的所述进入统计结果与所述出去统计结果；
第一更新子模块，用于将所述进入统计结果中针对同一目标的统计结果更新为1，得到目标进入统计结果；
第二更新子模块，用于并将所述出去统计结果中针对同一目标的统计结果更新为1，得到目标出去统计结果，其中，所述目标统计结果包括所述目标进入统计结果与所述目标出去统计结果。
可选地，所述检测模块包括：
检测子模块，用于采用人脸头肩人体检测模型对所述多帧视频进行人脸、头肩、人体检测，得到包括多个目标的特征信息，所述特征信息包括每个目标的人脸、头肩、人体；
创建子模块，用于分别为所述多个目标创建标识ID信息；
记录子模块，用于记录包括所述ID信息与特征信息的所述检测结果。
可选地，所述跟踪模块包括：
执行子模块，用于对所述多帧图像中的每帧图像执行以下操作，直到得到所述跟踪结果，其中，正在执行操作的图像确定为当前帧图像：
根据所述检测结果将所述当前帧图像与上一帧图像进行匹配，得到第一匹配结果；
若所述匹配结果为所述当前帧图像与上一帧图像至少存在一个匹配目标，将当前帧图像中的目标的ID信息变更为所述上一帧图像中对应匹配成功的目标的ID信息。
可选地，所述装置还包括：
第一确定模块，用于基于卡尔曼滤波算法，确定上一帧图像中每个目标在当前帧图像中的预估位置；
第一获取模块，用于获取所述当前帧图像中每个目标的当前位置；
匹配模块，用于将所述预估位置与所述当前位置进行匹配，得到第二匹配结果；
第二确定模块，用于根据所述第一匹配结果与所述第二匹配结果确定所述当前帧图像与上一帧图像的所述匹配目标。
可选地，所述装置还包括：
绘制模块，用于根据预设规则绘制小于所述监控区域的规则区域；
第二获取模块，用于获取所述规则区域的中心，并获取目标流动方向；
设置模块，用于根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
可选地，所述设置模块包括：
第一设置子模块，用于若所述目标流动方向仅包括一个流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线；
第二设置子模块，用于若所述目标流动方向包括互为垂直的第一流动方向与第二流动方向，提示选择第一流动方向或第二流动方向，根据选择指令确定第一流动方向或第二流动方向作为所述目标流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线。
可选地，所述装置还包括：
第一接收模块，用于接收绘制小于所述监控区域的规则区域的第一绘制指令；
第一生成模块，用于根据所述第一绘制指令生成所述规则区域；
第二接收模块，用于接收划分所述规则区域的拌线的第二绘制指令；
第二生成子模块，用于根据所述第二绘制指令生成所述拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，对多帧图像进行目标检测，得到检测结果；根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；对预设时间段内的初步统计结果进行相同目标的去重处理，得到目标统计结果，可以解决相关技术中通过相机采集的图像对目标进出计数，存在相同目标重复计数的问题，通过对多帧图像的客流进出统计结果进行同一目标的去重处理，提高了客流进出统计的精确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的目标流量统计方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标流量统计方法的流程图；
图3是根据本发明实施例的大场景实时客流进出统计的流程图；
图4是根据本发明实施例的单相机的规则图的示意图；
图5是根据本发明实施例的目标流量统计装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的目标流量统计方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标流量统计方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及远程登录的控制，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的目标流量统计方法，图2是根据本发明实施例的目标流量统计方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，对多帧图像进行目标检测，得到检测结果；
本实施例中，多帧图像可以是一个图像采集设备或多个图像采集设备采集的，图像采集设备具体可以是相机、摄像装置等，上述步骤S202具体可以包括：采用人脸头肩人体检测模型对所述多帧视频进行人脸、头肩、人体检测，得到包括多个目标的特征信息，所述特征信息包括每个目标的人脸、头肩、人体；分别为所述多个目标创建标识ID信息；记录包括所述ID信息与特征信息的所述检测结果。采用行人人脸头肩人体关联跟踪算法可以解决人体遮挡只有人脸、头肩或者头肩部分遮挡人体漏出较多时的跟踪效果和准确率，同时基于人脸或者人体的特征图可以大大提高行人重识别模型的准确率，适用于不同拥挤程度的场景。
步骤S204，根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
本实施例中，上述步骤S204具体可以包括：对所述多帧图像中的每帧图像执行以下操作，直到得到所述跟踪结果，其中，正在执行操作的图像确定为当前帧图像：根据所述检测结果将所述当前帧图像与上一帧图像进行匹配，得到第一匹配结果；若所述匹配结果为所述当前帧图像与上一帧图像至少存在一个匹配目标，将当前帧图像中的目标的ID信息变更为所述上一帧图像中对应匹配成功的目标的ID信息。
在一可选的实施例中，为了提高目标匹配的精确度，还可以基于卡尔曼滤波算法，确定上一帧图像中每个目标在当前帧图像中的预估位置；获取所述当前帧图像中每个目标的当前位置；将所述预估位置与所述当前位置进行匹配，得到第二匹配结果；根据所述第一匹配结果与所述第二匹配结果确定所述当前帧图像与上一帧图像的所述匹配目标，可以进一步提高目标匹配的精确度。
步骤S206，根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
本发明实施例中的监控区域指的是每帧图像所在的区域，即图像采集设备可以监控的区域。
本实施例中，上述步骤S206具体可以包括：判断所述跟踪结果中的每个目标是否从所述规则图的第一区域进入第二区域，所述规则图包括规则区域与拌线，所述拌线将所述规则区域划分为第一区域与第二区域；若判断结果为目标从所述规则图的第一区域进入第二区域，确定目标为进入，触发进入次数加1，得到进入统计结果；若所述判断结果为目标从所述第二区域进入第一区域，确定目标为出去，触发出去次数加1，得到出去统计结果，其中，所述初步统计结果包括所述进入统计结果与所述出去统计结果。通过规则图的配置可以统计只感兴趣区域的目标进出统计，去除一些不相关的数据。
步骤S208，对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
本实施例中，上述步骤S208具体可以包括：获取所述预设时间内的进入统计结果与出去统计结果；将所述进入统计结果中针对同一目标的统计结果更新为1，得到目标进入统计结果；并将所述出去统计结果中针对同一目标的统计结果更新为1，得到目标出去统计结果，便可得到包括所述目标进入统计结果与所述目标出去统计结果的目标统计结果。
通过上述步骤S202至S208，可以解决相关技术中通过相机采集的图像对目标进出计数，存在相同目标重复计数的问题，通过对多帧图像的客流进出统计结果进行同一目标的去重处理，提高了客流进出统计的精确度。
本实施例中的规则图可以自动设置，也可以是用户在对应的显示界面中绘制规则图。
在一实施例中，可以根据目标进出的方向自动设置规则图，具体的，根据预设规则为所述每个图像采集设备绘制小于所述监控区域的规则区域；获取所述规则区域的中心，并获取目标流动方向；根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量，进一步的，若所述目标流动方向仅包括一个流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线；若所述目标流动方向包括互为垂直的第一流动方向与第二流动方向，提示选择第一流动方向或第二流动方向，根据选择指令确定第一流动方向或第二流动方向作为所述目标流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线。
在另一实施例中，根据用户在显示界面中的绘制指令生成规则图，绘制指令可以通过触控指令触发，具体的，接收绘制小于所述监控区域的规则区域的第一绘制指令；根据所述第一绘制指令生成所述规则区域；接收划分所述规则区域的拌线的第二绘制指令；根据所述第二绘制指令生成所述拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
本发明实施例能够解决多相机相同目标重复计数的问题，通过目标重识别模型解决相同目标在不同相机重复计数的问题，实现跨相机目标匹配识别，然后去重，通过规则只统计感兴趣区域的客流进出统计，采用人脸头肩人体关联跟踪算法适用于不同拥挤程度下的客流进出统计。
下面以多帧图像是通过一个或多个相机采集的为例，对本发明实施例进行说明。
图3是根据本发明实施例的大场景实时客流进出统计的流程图，如图3所示，包括：
步骤301，通过一个或多个相机采集视频图像，相机采用顶装或者斜装安装方式，根据实际场景采用不同的安装方式，对于安装高度大于H(2.5)米的推荐相机斜装，小于H(2.5)米的推荐相机顶装，安装多相机，保证对于大场景的监控范围都能覆盖到；通过web界面端对相机进行绘制规则；
步骤302-S303，基于人脸头肩人体检测模型进行检测，得到检测结果，对于连续多帧图像进行行人跟踪和ID创建，具体的，采用Yolov5或者CenterNet人脸头肩人体检测模型对相机采集视频的每一帧进行人脸、头肩、人体检测,对于连续多帧图像采用人体多部位关联跟踪算法进行行人跟踪和ID创建，其中匈牙利算法对当前帧的某个行人和前一帧的某个行人进行匹配，卡尔曼滤波可以基于行人前一时刻的位置，来预测当前时刻的位置，更准确的估计行人的位置；
步骤304，进行客流统计，图4是根据本发明实施例的单相机的规则图的示意图，如图4所示，多相机类似，实线框表示监控画面，虚线框表示规则区域，拌线将规则区域划分为区域A与区域B，虚线框和拌线表示一个完整规则，规则支持多边形；虚线箭头表示行人进入计数一次，实线箭头表示行人出去计数一次。对于步骤303创建的每一个行人ID从进入区域A，经过拌线，到达区域B，然后出区域B，表示行人拌线进入计数一次，反之是行人拌线出去计数一次，行人触发规则的时候会保存行人的特征图F1，采用的是人脸头肩人体关联跟踪算法，所以行人人脸框、头肩框和人体框都有的话都会保存对应的特征图。行人进出的方向通过规则线的方向进行指定；
步骤305，获取同一场景不同位置相机客流统计结果；
步骤306-307，根据行人重识别模型进行去重处理，得到精确的客流统计结果，具体的，基于步骤304与305得到N(N>＝2)个相机行人进出统计结果，通过行人重识别模型分析行人的特征图F1，获取不同相机触发进出规则的相同目标。若其中一个相机里的行人触发规则进入计数一次，在另外一个或者多个相机里也触发了规则进入计数C次，表示该行人重复计数进入C次，此时总计数会减去C；若该目标在另一个相机里触发的规则是出去计数一次，由于方向不同，即使是同一个目标也不去重，以此类推。通过去重得到该门店或者商场最终的精准客流进出统计结果。
步骤305，实际使用的是会展、商超、会议室等大场景，单个相机无法覆盖监控画面的。比如使用的场景是会展，安装了10个相机，在上午时间段(9：00—12：00)10个相机得到的进入客流总数是40000，出去客流总数是35000，通过行人重识别模型得到10个相机同一目标(实际表示的是不同的人重复计数)重复进入计数3000次，重复出去计数2000次，则会展场景实际进入客流总数是37000，出去客流总数是33000。
实施例2
根据本发明的另一个实施例，还提供了一种目标流量统计装置，图5是根据本发明实施例的目标流量统计装置的框图，如图5所示，包括：
检测模块52，用于对多帧图像进行目标检测，得到检测结果；
跟踪模块54，用于根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
统计模块56，用于根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
去重模块58，用于对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
可选地，所述统计模块56包括：
判断子模块，用于判断所述跟踪结果中的每个目标是否从所述规则图的第一区域进入第二区域，所述规则图包括规则区域与拌线，所述拌线将所述规则区域划分为第一区域与第二区域；
第一确定子模块，用于若判断结果为目标从所述规则图的第一区域进入第二区域，确定目标为进入，触发进入次数加1，得到进入统计结果；
第二确定子模块，用于若所述判断结果为目标从所述第二区域进入第一区域，确定目标为出去，触发出去次数加1，得到出去统计结果，其中，所述初步统计结果包括所述进入统计结果与所述出去统计结果。
可选地，所述去重模块58包括：
获取子模块，用于获取所述预设时间段内的所述进入统计结果与所述出去统计结果；
第一更新子模块，用于将所述进入统计结果中针对同一目标的统计结果更新为1，得到目标进入统计结果；
第二更新子模块，用于并将所述出去统计结果中针对同一目标的统计结果更新为1，得到目标出去统计结果，其中，所述目标统计结果包括所述目标进入统计结果与所述目标出去统计结果。
可选地，所述检测模块52包括：
检测子模块，用于采用人脸头肩人体检测模型对所述多帧视频进行人脸、头肩、人体检测，得到包括多个目标的特征信息，所述特征信息包括每个目标的人脸、头肩、人体；
创建子模块，用于分别为所述多个目标创建标识ID信息；
记录子模块，用于记录包括所述ID信息与特征信息的所述检测结果。
可选地，所述跟踪模块54包括：
执行子模块，用于对所述多帧图像中的每帧图像执行以下操作，直到得到所述跟踪结果，其中，正在执行操作的图像确定为当前帧图像：
根据所述检测结果将所述当前帧图像与上一帧图像进行匹配，得到第一匹配结果；
若所述匹配结果为所述当前帧图像与上一帧图像至少存在一个匹配目标，将当前帧图像中的目标的ID信息变更为所述上一帧图像中对应匹配成功的目标的ID信息。
可选地，所述装置还包括：
第一确定模块，用于基于卡尔曼滤波算法，确定上一帧图像中每个目标在当前帧图像中的预估位置；
第一获取模块，用于获取所述当前帧图像中每个目标的当前位置；
匹配模块，用于将所述预估位置与所述当前位置进行匹配，得到第二匹配结果；
第二确定模块，用于根据所述第一匹配结果与所述第二匹配结果确定所述当前帧图像与上一帧图像的所述匹配目标。
可选地，所述装置还包括：
绘制模块，用于根据预设规则绘制小于所述监控区域的规则区域；
第二获取模块，用于获取所述规则区域的中心，并获取目标流动方向；
设置模块，用于根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
可选地，所述设置模块包括：
第一设置子模块，用于若所述目标流动方向仅包括一个流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线；
第二设置子模块，用于若所述目标流动方向包括互为垂直的第一流动方向与第二流动方向，提示选择第一流动方向或第二流动方向，根据选择指令确定第一流动方向或第二流动方向作为所述目标流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线。
可选地，所述装置还包括：
第一接收模块，用于接收绘制小于所述监控区域的规则区域的第一绘制指令；
第一生成模块，用于根据所述第一绘制指令生成所述规则区域；
第二接收模块，用于接收划分所述规则区域的拌线的第二绘制指令；
第二生成子模块，用于根据所述第二绘制指令生成所述拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，对多帧图像进行目标检测，得到检测结果；
S2，根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
S3，根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
S4，对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，对多帧图像进行目标检测，得到检测结果；
S2，根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
S3，根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
S4，对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种目标流量统计方法，其特征在于，包括：
对多帧图像进行目标检测，得到检测结果；
根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
2.根据权利要求1所述的方法，其特征在于，所述根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果包括：
判断所述跟踪结果中的每个目标是否从所述规则图的第一区域进入第二区域，所述规则图包括规则区域与拌线，所述拌线将所述规则区域划分为第一区域与第二区域；
若判断结果为目标从所述规则图的第一区域进入第二区域，确定目标为进入，触发进入次数加1，得到进入统计结果；
若所述判断结果为目标从所述第二区域进入第一区域，确定目标为出去，触发出去次数加1，得到出去统计结果，其中，所述初步统计结果包括所述进入统计结果与所述出去统计结果。
3.根据权利要求2所述的方法，其特征在于，所述对所述预设时间段内所述初步统计结果进行相同目标的去重处理，得到目标统计结果包括：
获取所述预设时间段内的所述进入统计结果与所述出去统计结果；
将所述进入统计结果中针对同一目标的统计结果更新为1，得到目标进入统计结果；
将所述出去统计结果中针对同一目标的统计结果更新为1，得到目标出去统计结果，其中，所述目标统计结果包括所述目标进入统计结果与所述目标出去统计结果。
4.根据权利要求1所述的方法，其特征在于，所述对多帧图像进行目标检测，得到检测结果包括：
采用人脸头肩人体检测模型对所述多帧视频进行人脸、头肩、人体检测，得到包括多个目标的特征信息，所述特征信息包括每个目标的人脸、头肩、人体；
分别为所述多个目标创建标识ID信息；
记录包括所述ID信息与特征信息的所述检测结果。
5.根据权利要求1所述的方法，其特征在于，所述根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果包括：
对所述多帧图像中的每帧图像执行以下操作，直到得到所述跟踪结果，其中，正在执行操作的图像确定为当前帧图像：
根据所述检测结果将所述当前帧图像与上一帧图像进行匹配，得到第一匹配结果；
若所述匹配结果为所述当前帧图像与上一帧图像至少存在一个匹配目标，将当前帧图像中的目标的ID信息变更为所述上一帧图像中对应匹配成功的目标的ID信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
基于卡尔曼滤波算法，确定上一帧图像中每个目标在当前帧图像中的预估位置；
获取所述当前帧图像中每个目标的当前位置；
将所述预估位置与所述当前位置进行匹配，得到第二匹配结果；
根据所述第一匹配结果与所述第二匹配结果确定所述当前帧图像与上一帧图像的所述匹配目标。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述对多帧图像进行目标检测，得到检测结果之前，所述方法还包括：
根据预设规则为绘制小于所述监控区域的规则区域；
获取所述规则区域的中心，并获取目标流动方向；
根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
8.根据权利要求7所述的方法，其特征在于，所述根据所述规则区域的中心与所述目标流动方向为所述规则区域设置拌线包括：
若所述目标流动方向仅包括一个流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线；
若所述目标流动方向包括互为垂直的第一流动方向与第二流动方向，提示选择第一流动方向或第二流动方向，根据选择指令确定第一流动方向或第二流动方向作为所述目标流动方向，将通过所述规则区域的中心且垂直于所述目标流动方向的直线设置为所述拌线。
9.根据权利要求1至6中任一项所述的方法，其特征在于，在所述对多帧图像进行目标检测，得到检测结果之前，所述方法还包括：
接收绘制小于所述监控区域的规则区域的第一绘制指令；
根据所述第一绘制指令生成所述规则区域；
接收划分所述规则区域的拌线的第二绘制指令；
根据所述第二绘制指令生成所述拌线，其中，所述拌线将所述规则区域划分为第一区域与第二区域，所述拌线用于统计目标进出流量。
10.一种目标流量统计装置，其特征在于，包括：
检测模块，用于对多帧图像进行目标检测，得到检测结果；
跟踪模块，用于根据所述检测结果对所述多帧图像进行目标跟踪，得到跟踪结果；
统计模块，用于根据基于监控区域绘制的规则图与所述跟踪结果对目标流量进行统计，得到初步统计结果；
去重模块，用于对预设时间段内的所述初步统计结果进行相同目标的去重处理，得到目标统计结果。
11.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780273.2A CN113592785A (zh) | 2021-07-09 | 2021-07-09 | 一种目标流量统计方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110780273.2A CN113592785A (zh) | 2021-07-09 | 2021-07-09 | 一种目标流量统计方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113592785A true CN113592785A (zh) | 2021-11-02 |
Family
ID=78246857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110780273.2A Pending CN113592785A (zh) | 2021-07-09 | 2021-07-09 | 一种目标流量统计方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592785A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113988111A (zh) * | 2021-12-03 | 2022-01-28 | 深圳佑驾创新科技有限公司 | 公共地点人流量统计方法及计算机可读存储介质 |
| CN116993550A (zh) * | 2023-08-25 | 2023-11-03 | 广州控智电子科技有限公司 | 控制教室开启的方法、系统、计算机设备及存储介质 |
| CN117877281A (zh) * | 2023-12-18 | 2024-04-12 | 北京卓视智通科技有限责任公司 | 一种交通流量监测方法、系统、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426180A (zh) * | 2012-05-24 | 2013-12-04 | 信帧电子技术（北京）有限公司 | 一种视频拌线侦测方法 |
| CN103986910A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院自动化研究所 | 一种基于智能分析摄像机的客流统计方法和系统 |
| CN108986064A (zh) * | 2017-05-31 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种人流量统计方法、设备及系统 |
| CN110263703A (zh) * | 2019-06-18 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 人员流量统计方法、装置和计算机设备 |
| CN110659578A (zh) * | 2019-08-26 | 2020-01-07 | 中国电子科技集团公司电子科学研究院 | 基于检测跟踪技术的客流统计方法、系统及设备 |
| CN111062967A (zh) * | 2019-11-25 | 2020-04-24 | 山大地纬软件股份有限公司 | 一种基于目标动态跟踪的电力营业厅客流统计方法及系统 |
| CN111860282A (zh) * | 2020-07-15 | 2020-10-30 | 中国电子科技集团公司第三十八研究所 | 地铁断面客流量统计和行人逆行检测方法及系统 |
| CN112116556A (zh) * | 2020-08-12 | 2020-12-22 | 浙江大华技术股份有限公司 | 一种客流量统计方法、装置和计算机设备 |
| CN112307936A (zh) * | 2020-10-28 | 2021-02-02 | 江苏云从曦和人工智能有限公司 | 基于头肩检测的客流量分析方法、系统及装置 |
-
2021
- 2021-07-09 CN CN202110780273.2A patent/CN113592785A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426180A (zh) * | 2012-05-24 | 2013-12-04 | 信帧电子技术（北京）有限公司 | 一种视频拌线侦测方法 |
| CN103986910A (zh) * | 2014-05-20 | 2014-08-13 | 中国科学院自动化研究所 | 一种基于智能分析摄像机的客流统计方法和系统 |
| CN108986064A (zh) * | 2017-05-31 | 2018-12-11 | 杭州海康威视数字技术股份有限公司 | 一种人流量统计方法、设备及系统 |
| CN110263703A (zh) * | 2019-06-18 | 2019-09-20 | 腾讯科技（深圳）有限公司 | 人员流量统计方法、装置和计算机设备 |
| CN110659578A (zh) * | 2019-08-26 | 2020-01-07 | 中国电子科技集团公司电子科学研究院 | 基于检测跟踪技术的客流统计方法、系统及设备 |
| CN111062967A (zh) * | 2019-11-25 | 2020-04-24 | 山大地纬软件股份有限公司 | 一种基于目标动态跟踪的电力营业厅客流统计方法及系统 |
| CN111860282A (zh) * | 2020-07-15 | 2020-10-30 | 中国电子科技集团公司第三十八研究所 | 地铁断面客流量统计和行人逆行检测方法及系统 |
| CN112116556A (zh) * | 2020-08-12 | 2020-12-22 | 浙江大华技术股份有限公司 | 一种客流量统计方法、装置和计算机设备 |
| CN112307936A (zh) * | 2020-10-28 | 2021-02-02 | 江苏云从曦和人工智能有限公司 | 基于头肩检测的客流量分析方法、系统及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113988111A (zh) * | 2021-12-03 | 2022-01-28 | 深圳佑驾创新科技有限公司 | 公共地点人流量统计方法及计算机可读存储介质 |
| CN116993550A (zh) * | 2023-08-25 | 2023-11-03 | 广州控智电子科技有限公司 | 控制教室开启的方法、系统、计算机设备及存储介质 |
| CN116993550B (zh) * | 2023-08-25 | 2024-04-09 | 广州控智电子科技有限公司 | 控制教室开启的方法、系统、计算机设备及存储介质 |
| CN117877281A (zh) * | 2023-12-18 | 2024-04-12 | 北京卓视智通科技有限责任公司 | 一种交通流量监测方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
| CN113592785A (zh) | 一种目标流量统计方法及装置 | |
| CN107480624B (zh) | 常住人口获取方法、装置及系统、计算机装置和存储介质 | |
| JP2020149704A (ja) | ビデオデータを用いた活動モニタリングのためのシステム及び方法 | |
| CN105493502B (zh) | 视频监控方法、视频监控系统以及计算机可读存储介质 | |
| CN103839308B (zh) | 人数获取方法、装置及系统 | |
| CN109615864A (zh) | 基于视频结构化的车辆拥堵分析方法、系统、终端及存储介质 | |
| CN111126235A (zh) | 一种船只违章停泊检测处理方法及装置 | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN111160243A (zh) | 客流量统计方法及相关产品 | |
| CN110969215A (zh) | 聚类处理方法和装置、存储介质及电子装置 | |
| CN112818173A (zh) | 关联对象的识别方法、装置及计算机可读存储介质 | |
| CN113111838A (zh) | 行为识别方法及装置、设备和存储介质 | |
| CN109960969A (zh) | 移动路线生成的方法、装置及系统 | |
| CN112464755A (zh) | 一种监控方法及装置、电子设备、存储介质 | |
| CN111091106A (zh) | 图像聚类方法及装置、存储介质、电子装置 | |
| CN113963316A (zh) | 目标事件的确定方法、装置、存储介质及电子装置 | |
| CN112906590A (zh) | 一种基于FairMOT的多目标跟踪人流量监测方法 | |
| CN113705470A (zh) | 获取客流信息的方法、装置、计算机设备以及存储介质 | |
| CN114078319A (zh) | 一种检测交通事故隐患地点的方法及装置 | |
| CN111078751A (zh) | 一种基于unreal4进行目标统计的方法及其系统 | |
| CN112863195B (zh) | 车辆状态的确定方法及装置 | |
| CN117649428A (zh) | 基于云边协同的可疑人员追踪方法、装置、设备及介质 | |
| CN110855947B (zh) | 一种图像抓拍处理方法及装置 | |
| CN110046535B (zh) | 基于机器学习的智能出行时间预测系统、方法及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |