CN114332778B - 基于人流密度的智慧告警工单生成方法、装置及相关介质 - Google Patents

基于人流密度的智慧告警工单生成方法、装置及相关介质 Download PDF

Info

Publication number
CN114332778B
CN114332778B CN202210218601.4A CN202210218601A CN114332778B CN 114332778 B CN114332778 B CN 114332778B CN 202210218601 A CN202210218601 A CN 202210218601A CN 114332778 B CN114332778 B CN 114332778B
Authority
CN
China
Prior art keywords
image data
density
pedestrian
data
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210218601.4A
Other languages
English (en)
Other versions
CN114332778A (zh
Inventor
袁戟
周长源
姚钊盈
刘子伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanwuyun Technology Co ltd
Original Assignee
Shenzhen Wanwuyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wanwuyun Technology Co ltd filed Critical Shenzhen Wanwuyun Technology Co ltd
Priority to CN202210218601.4A priority Critical patent/CN114332778B/zh
Publication of CN114332778A publication Critical patent/CN114332778A/zh
Application granted granted Critical
Publication of CN114332778B publication Critical patent/CN114332778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了基于人流密度的智慧告警工单生成方法、装置及相关介质，该方法包括：通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；根据人流密度统计结果生成告警工单。本发明结合社区视频系统和门禁系统获取人流数据，并通过分时段和区域进行统计和呈现，以此生成相应的告警工单，从而提高物业精细化管理能力。

Description

基于人流密度的智慧告警工单生成方法、装置及相关介质
技术领域
本发明涉及智慧物业技术领域，特别涉及基于人流密度的智慧告警工单生成方法、装置及相关介质。
背景技术
随着AIoT技术的蓬勃发展，如今不少社区在重要监控区域已安装了视频监测系统，通过目标检测，可对社区中如电动车进楼、机动车占道、垃圾满溢等违规场景进行检测，并返回需要整改和管理的工单。以上场景的应用很大程度上推进了社区物业的精细化和智能化管理。
由于大型社区中，居民的活动范围较大，且由于居民人数较多，可能在上下班高峰期对于某些社区内道路的压力较大，造成居民出行的不便。同时，居民长期集中活动的区域，可能造成保洁和运维的需求，需要通过对居民的活动习惯进行时间和空间的统计。
现今通过摄像头进行统计，可对抽帧后的图像数据进行人流密度检测，且随着近两年算法模型的更新迭代，准确度逐步上升，已经可以实现应用级的突破。但仅通过摄像头获取人流密度数据，不仅需要花费较高的成本，且相比门禁系统得到的信息并不全面。
发明内容
本发明实施例提供了一种基于人流密度的智慧告警工单生成方法、装置、计算机设备及存储介质，旨在提高告警工单生成效率，从而提高物业精细化管理能力。
第一方面，本发明实施例提供了一种基于人流密度的智慧告警工单生成方法，包括：
通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；
通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；
采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；
利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；
根据人流密度统计结果生成告警工单。
第二方面，本发明实施例提供了一种基于人流密度的智慧告警工单生成装置，包括：
门禁统计单元，用于通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；
抽帧处理单元，用于通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；
目标检测单元，用于采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；
密度统计单元，用于利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；
工单生成单元，用于根据人流密度统计结果生成告警工单。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于人流密度的智慧告警工单生成方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于人流密度的智慧告警工单生成方法。
本发明实施例提供了一种基于人流密度的智慧告警工单生成方法、装置、计算机设备及存储介质，该方法包括：通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；根据人流密度统计结果生成告警工单。本发明实施例结合社区视频系统和门禁系统获取人流数据，并通过分时段和区域进行统计和呈现，以此生成相应的告警工单，可实现降本增效的目标，以及提高物业精细化管理能力。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于人流密度的智慧告警工单生成方法的流程示意图；
图2为本发明实施例提供的一种基于人流密度的智慧告警工单生成方法的子流程示意图；
图3为本发明实施例提供的一种基于人流密度的智慧告警工单生成装置的示意性框图；
图4为本发明实施例提供的一种基于人流密度的智慧告警工单生成装置的子示意性框图；
图5为本发明实施例提供的一种基于人流密度的智慧告警工单生成方法中的热力示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种基于人流密度的智慧告警工单生成方法，具体包括：步骤S101~S105。
S101、通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；
S102、通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；
S103、采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；
S104、利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；
S105、根据人流密度统计结果生成告警工单。
本实施例中，首先通过门禁设备读取行人开门和关门的时间，并进行分时段统计，接着通过社区视频系统（即分布于不同区域内的摄像头等视频监控设备，这里所说的区域可以指道路、电梯间、门禁附近等社区区域）获取各区域内的视频数据，并进一步通过抽帧的方式得到视频数据中的图像数据。然后利用目标检测算法对图像数据进行行人目标检测，并结合门禁设备和社区视频系统的定位信息，得到不同区域内的人流密度数据，从而根据人流密度数据生成相应的告警工单。
本实施例结合社区视频系统和门禁系统获取人流数据，并通过分时段和区域进行统计和呈现，以此生成相应的告警工单，可实现降本增效的目标，以及提高物业精细化管理能力。本实施例涉及到物业行业对于多模态传感设备的空间信息建模，通过视频抽帧获取的图像数据进行人员目标检测，融合门禁数据获取的通行数据，对大型社区中的空间人流密度进行分时段统计，结合设备的空间定位信息，通过人流密度图实现空间展示，并根据人流密度的时空变化生成物业场景下的智慧工单管理方法。
在一实施例中，所述步骤S102包括：
将所述视频数据划分为第一时段视频数据和第二时段视频数据；
对所述第一时段视频数据进行第一密度抽帧处理，得到第一图像数据；以及对所述第二时段视频数据进行第二密度抽帧处理，得到第二图像数据；其中，第一密度小于第二密度。
本实施例中，按照非高峰期和高峰期将视频数据划分为第一时段视频数据（即非高峰期）和第二时段视频数据（即高峰期）。然后针对高峰期时段的视频数据进行低密度抽帧（即第一密度抽帧），以及针对非高峰期时段的视频数据进行高密度抽帧（即第二密度抽帧），从而得到各自对应的第一图像数据和第二图像数据。举例来说，每个工作日上午7点到9点（高峰期时段，也即第一时段视频数据），每隔5分钟进行一次抽帧；对非高峰期（即第二时段视频数据）进行低密度抽帧，即每个工作日下午5点到9点，每隔10分钟进行一次抽帧。另外，本实施例所述的社区视频系统包括但不限于电梯间摄像头、社区街道中摄像头、门禁附近摄像头和产品中心存储设备NVR等。
在这里，可以理解的是，由于高峰期的人流量要大于非高峰期的人流量，故第一图像数据中的人流密度是要小于于第二图像数据中的人流密度的。
因此，在一实施例中，所述步骤S103包括：
采用YOLOv5网络模型对所述第一图像数据进行行人目标检测；
采用CSRNet网络模型对所述第二图像数据进行行人目标检测。
也就是说，本实施例通过两种不同的网络模型分别对第一图像数据和第二图像数据进行行人目标检测，即在非高峰期时段采用YOLOv5网络模型进行行人目标检测和统计；在高峰期时段，由于YOLOv5网络模型对于重叠人像检测效果检测较弱，故采用CSRNet网络模型进行行人目标检测，从而计算人流量。
通过上述两种网络模型对第一图像数据和第二图像数据进行行人目标检测后，可以得到第一图像数据和第二图像数据中的类别信息和位置信息，进一步的，在后续步骤中，通过关联摄像头GPS定位信息，可以将计数作为该时间点该区域的行人数量。
在一实施例中，如图2所示，所述采用YOLOv5网络模型对所述第一图像数据进行行人目标检测，包括：步骤S201~S204。
S201、将所述第一图像数据依次输入至YOLOv5网络模型中的骨干网络进行特征提取，得到不同尺寸的特征图；其中，所述骨干网络依次包括Focus模块、瓶颈CSP层、CBL模块和SPP层；
S202、利用neck层对不同尺寸的特征图进行串联和整合，得到不同大小的语义信息；
S203、基于所述语义信息，通过预测层输出所述第一图像数据中的类别信息和坐标信息；
S204、根据所述类别信息和坐标信息选取行人信息，并作为第一图像数据的行人目标检测结果；
本实施例中，YOLOv5网络模型主要由骨干网络、neck层和预测层组成。骨干网络由Focus模块、瓶颈CSP层、CBL模块和SPP层构成，其中CBL模块是指卷积层、BN层和Leaky ReLU层级联构成的模组。
在骨干网络中，Focus模块首先将输入图片进行切片处理，然后通过32个卷积核生成32通道的特征图。CBL模块和瓶颈CSP层起到卷积和特征提取的作用。通过SPP层，YOLOv5网络可以增加感受野，并获得不同尺寸的特征。neck层是一个至下而上的基于FPN框架的金字塔结构，neck层将不同尺寸的特征图进行串联和整合，可以获得不同大小的语义信息，从而提高网络对不同大小目标物体特征和位置信息的提取能力。预测层输出目标物体的类别信息和图片上的坐标信息。
另外，YOLOv5网络模型的损失函数包括三部分，分别为objectness loss、classloss和bbox loss。其中objectness loss和class loss采用的是BCEWith Logits Loss，具体如下式所示：
Figure DEST_PATH_IMAGE001
其中，
Figure 91564DEST_PATH_IMAGE002
表示为第i个样本的损失函数，样本是指图片中的行人，注意到一张图片中可能包含一个行人，也可能包含多个行人，在计算人流密度时，图片中的每个行人都是一个样本；
Figure 415229DEST_PATH_IMAGE003
表示样本权重；
Figure 398229DEST_PATH_IMAGE004
表示经过独热编码后的真实标签；
Figure 324597DEST_PATH_IMAGE005
表示模型对第i个样本的预测值；
Figure 811073DEST_PATH_IMAGE006
表示Sigmoid函数。
还需说明的是，在将第一图片数据输入至YOLOv5网络模型之前，还会采用矩形框对图片中的行人进行标注，即用矩形框选定行人在图片中的范围，以增加后面两类的目的在于减少负样本对于模型识别的干扰，从而增加模型的鲁棒性。标注完成后，再使用YOLOv5s网络模型对已标注数据进行训练、验证和测试。通过对已标注数据的交叉验证，可以确定最佳超参数，并选取最佳模型用于行人目标检测。
在一具体实施例中，矩形框的损失函数bbox loss采用的是GIOU loss，具体如下式所示：
Figure 836798DEST_PATH_IMAGE007
Figure 244776DEST_PATH_IMAGE008
Figure 974835DEST_PATH_IMAGE009
其中，
Figure 925605DEST_PATH_IMAGE010
表示预测矩形框和真实矩形框的区域交并比，C表示可以覆盖真实预测框和预测真实框的最小封闭凸面，“\”表示C中没覆盖到真实预测框和预测真实框的面积，
Figure 653389DEST_PATH_IMAGE011
表示真实值，
Figure 548664DEST_PATH_IMAGE012
表示预测值。
另外，所述采用CSRNet网络模型对所述第二图像数据进行行人目标检测，包括：
按照下式计算第二图像数据中的行人密度F(x)：
Figure 488938DEST_PATH_IMAGE013
式中，
Figure 543482DEST_PATH_IMAGE014
为第二图像数据，
Figure 114272DEST_PATH_IMAGE015
为第二图像数据中的第i个行人，
Figure 887055DEST_PATH_IMAGE016
表示k个邻近头部的平均距离，
Figure DEST_PATH_IMAGE017
为标准差，
Figure 393472DEST_PATH_IMAGE018
为像素位置，
Figure 568101DEST_PATH_IMAGE019
为系数。
在这里，由于第二图像数据的单位面积中的人员影像较多，使用几何自适应内核来处理高度拥挤的场景，生成热力密度图，应用于高峰期的电梯、楼道、道路和门禁附近等摄像头采集的图像数据。通过使用高斯核（归一化为1）模糊每个头部注释，考虑到每个数据集中所有图像的空间分布来生成实况。 由于单张图片中的人员太多，需要几何自适应内核来计算人群数量，并作为基准值，其中x位置周围的人流密度可表示为：
Figure 106530DEST_PATH_IMAGE020
对于在目标
Figure 241976DEST_PATH_IMAGE021
的每个目标行人
Figure 586370DEST_PATH_IMAGE015
，用
Figure 490872DEST_PATH_IMAGE016
表示k个邻近头部的平均距离。为了生成密度图，用一个标准差为
Figure 465781DEST_PATH_IMAGE022
高斯核函数卷积
Figure 681999DEST_PATH_IMAGE023
，其中x为像素在图像中的位置。具体的，
Figure 971029DEST_PATH_IMAGE024
，k=3。对上式中所有图像的位置x求和，可获取整个图像的人流密度真实值，在此定义损失函数为：
Figure DEST_PATH_IMAGE025
其中，N为训练批次，
Figure 57934DEST_PATH_IMAGE026
为用带参数
Figure 141427DEST_PATH_IMAGE027
的CSRNet计算获得的人员数量，
Figure 110520DEST_PATH_IMAGE005
表示输入图像；
Figure 734400DEST_PATH_IMAGE028
表示输入图像
Figure 879073DEST_PATH_IMAGE005
的真实值。
在一实施例中，所述基于人流密度的智慧告警工单生成方法还包括：
按照下式，利用第一损失函数对YOLOv5网络模型进行优化更新：
Figure 195785DEST_PATH_IMAGE001
式中，
Figure 527540DEST_PATH_IMAGE002
表示为所述第一图像数据中第i个行人的损失函数；
Figure 17427DEST_PATH_IMAGE003
表示权重；
Figure 282187DEST_PATH_IMAGE004
表示经过独热编码后的真实标签；
Figure 973062DEST_PATH_IMAGE005
表示YOLOv5网络模型对第i个行人的预测值；
Figure 651168DEST_PATH_IMAGE006
表示Sigmoid函数；
按照下式，利用第二损失函数对CSRNet网络模型优化更新：
Figure 85692DEST_PATH_IMAGE029
式中，N是训练批次，
Figure 470537DEST_PATH_IMAGE030
是用带参数
Figure DEST_PATH_IMAGE031
的CSRNet计算获得的行人数量；
Figure 332313DEST_PATH_IMAGE005
表示输入图像；
Figure 763295DEST_PATH_IMAGE028
表示输入图像
Figure 532668DEST_PATH_IMAGE005
的真实值。
在一实施例中，所述步骤S104包括：
针对每一区域，根据行人目标检测结果和分时段统计结果计算区域内每时间单位的平均人流密度；
将定位信息和平均人流密度结合生成区域的人流密度热力图。
本实施例中，将门禁系统和社区视频系统统计出的分时段人流数量与设备设施台账系统提供的定位信息相结合，作出分区域统计。由于社区的人员管控和保洁工单只需相对近似的数据，因而在分时段统计中，可将抽帧获取的图片计算每时间单位（例如每小时或者每几小时等）内的平均人流量，门禁系统的数据则根据实际出入人流量进行统计。同时，将摄像头视频数据统计到的人流数据作为该摄像头点位附近的数据，并采用摄像头的GPS信息结合社区地图信息生成如图5所示的人流热力图。
在一实施例中，所述基于人流密度的智慧告警工单生成方法还包括：
利用克里金法对社区视频系统未监控到的区域内的人流密度进行插值处理。
本实施例中，由于大型社区中所布置的摄像头数量有限，不少地方存在监控盲区。针对该问题，一方面可通过加装摄像头进行监控和行人目标检测计算，另一方面也可采用插值算法（例如克里金法，Kriging）对社区未监控到的区域人流密度进行插值处理。
在一具体实施例中，在利用克里金法对社区视频系统未监控到的区域内的人流密度进行插值处理时，对于一组基于人流密度的空间数据数据
Figure 975281DEST_PATH_IMAGE032
，若在
Figure 70276DEST_PATH_IMAGE033
位置数据缺失，设置
Figure 129499DEST_PATH_IMAGE034
表示在
Figure 905825DEST_PATH_IMAGE035
点上的真实值，而
Figure 999683DEST_PATH_IMAGE036
表示
Figure 327896DEST_PATH_IMAGE035
点上的估计值，根据克里金（Kriging）算法基本假设，
Figure 77678DEST_PATH_IMAGE035
点上的真实值可用周围临近点进行估计：
Figure 454432DEST_PATH_IMAGE037
其中W表示权重向量，即
Figure 996272DEST_PATH_IMAGE038
，而
Figure 901911DEST_PATH_IMAGE039
表示非缺失数据点的值向量：
Figure 138989DEST_PATH_IMAGE040
内插问题的计算误差可以定义为：
Figure 585014DEST_PATH_IMAGE041
通过构造拉格朗日方程，求解误差方程的最小方差
Figure 122305DEST_PATH_IMAGE042
，可得到平凡格里金（ordinary Kriging）系统为：
Figure 667687DEST_PATH_IMAGE043
其中
Figure 454378DEST_PATH_IMAGE044
表示估算的权重向量，
Figure DEST_PATH_IMAGE045
表示拉格朗日乘子，
Figure 364479DEST_PATH_IMAGE046
和
Figure 553014DEST_PATH_IMAGE047
分别表示方差矩阵和协方差阵，具体形式如下：
Figure 393932DEST_PATH_IMAGE048
Figure DEST_PATH_IMAGE049
表示变异系数算子，
Figure 136760DEST_PATH_IMAGE050
表示两点之间距离，具体常用形式如下：
Figure DEST_PATH_IMAGE051
Figure 816265DEST_PATH_IMAGE052
为常数，
Figure 937936DEST_PATH_IMAGE053
表示范围。当然，变异系数也可通过现场采样点的实时人流密度获取，如下式所示：
Figure 153016DEST_PATH_IMAGE054
。
在本实施例所提供的基于人流密度的智慧告警工单生成方法中，对于电梯间摄像头获取的人流密度数据，可以用于在早晚高峰期提醒居民出行时间，避开高峰时段，合理错峰出行，避免造成拥堵；对于布置在道路的摄像头获取的数据，以及通过Kriging算法推算出较为繁忙的道路（即根据插值的相对大小来判断道路是繁忙还是空闲，直观的可以从人流密度图中看出颜色较深的为人流密度较大的社区内道路。），一方面提醒居民合理安排出行时间，另一方面可根据实际通行数据，生成需要派发的保洁工单，定期和不定期地对道路卫生和设施设备进行维护；对于社区门禁系统的人流密度，可对社区保安发出合理的工单，在上下班和出行高峰期安排相应的人员进行执勤和秩序管理。
图3为本发明实施例提供的一种基于人流密度的智慧告警工单生成装置300的示意性框图，该装置300包括：
门禁统计单元301，用于通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；
抽帧处理单元302，用于通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；
目标检测单元303，用于采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；
密度统计单元304，用于利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；
工单生成单元305，用于根据人流密度统计结果生成告警工单。
在一实施例中，所述抽帧处理单元302包括：
数据划分单元，用于将所述视频数据划分为第一时段视频数据和第二时段视频数据；
密度抽帧单元，用于对所述第一时段视频数据进行第一密度抽帧处理，得到第一图像数据；以及对所述第二时段视频数据进行第二密度抽帧处理，得到第二图像数据；其中，第一密度小于第二密度。
在一实施例中，所述目标检测单元303包括：
第一检测单元，用于采用YOLOv5网络模型对所述第一图像数据进行行人目标检测；
第二检测单元，用于采用CSRNet网络模型对所述第二图像数据进行行人目标检测。
在一实施例中，如图4所示，所述第一检测单元包括：
数据输入单元401，用于将所述第一图像数据依次输入至YOLOv5网络模型中的骨干网络进行特征提取，得到不同尺寸的特征图；其中，所述骨干网络依次包括Focus模块、瓶颈CSP层、CBL模块和SPP层；
串联及整合单元402，用于利用neck层对不同尺寸的特征图进行串联和整合，得到不同大小的语义信息；
信息输出单元403，用于基于所述语义信息，通过预测层输出所述第一图像数据中的类别信息和坐标信息；
信息选取单元404，用于根据所述类别信息和坐标信息选取行人信息，并作为第一图像数据的行人目标检测结果；
所述第二检测单元包括：
密度计算单元，用于按照下式计算第二图像数据中的行人密度F(x)：
Figure 586403DEST_PATH_IMAGE013
式中，
Figure 177921DEST_PATH_IMAGE014
为第二图像数据，
Figure 13153DEST_PATH_IMAGE015
为第二图像数据中的第i个行人，
Figure 195873DEST_PATH_IMAGE016
表示k个邻近头部的平均距离，
Figure 444452DEST_PATH_IMAGE017
为标准差，
Figure 246186DEST_PATH_IMAGE018
为像素位置，
Figure 60558DEST_PATH_IMAGE019
为系数。
在一实施例中，所述基于人流密度的智慧告警工单生成装置300还包括：
第一优化单元，用于按照下式，利用第一损失函数对YOLOv5网络模型进行优化更新：
Figure 758386DEST_PATH_IMAGE001
式中，
Figure 290999DEST_PATH_IMAGE002
表示为所述第一图像数据中第i个行人的损失函数；
Figure 896424DEST_PATH_IMAGE003
表示权重；
Figure 34144DEST_PATH_IMAGE004
表示经过独热编码后的真实标签；
Figure 434033DEST_PATH_IMAGE005
表示YOLOv5网络模型对第i个行人的预测值；
Figure 719520DEST_PATH_IMAGE006
表示Sigmoid函数；
第二优化单元，用于按照下式，利用第二损失函数对CSRNet网络模型优化更新：
Figure 659795DEST_PATH_IMAGE055
式中，N是训练批次，
Figure 324125DEST_PATH_IMAGE030
是用带参数
Figure 285128DEST_PATH_IMAGE031
的CSRNet计算获得的行人数量；
Figure 870961DEST_PATH_IMAGE005
表示输入图像；
Figure 677243DEST_PATH_IMAGE028
表示输入图像
Figure 727239DEST_PATH_IMAGE005
的真实值。
在一实施例中，所述密度统计单元304包括：
平均密度计算单元，用于针对每一区域，根据行人目标检测结果和分时段统计结果计算区域内每时间单位的平均人流密度；
热力图生成单元，用于将定位信息和平均人流密度结合生成区域的人流密度热力图。
在一实施例中，所述基于人流密度的智慧告警工单生成装置300还包括：
插值处理单元，用于利用克里金法对社区视频系统未监控到的区域内的人流密度进行插值处理。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (5)

1.一种基于人流密度的智慧告警工单生成方法，其特征在于，包括：
通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；
通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；
所述通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据，包括：
将所述视频数据划分为第一时段视频数据和第二时段视频数据；
对所述第一时段视频数据进行第一密度抽帧处理，得到第一图像数据；以及对所述第二时段视频数据进行第二密度抽帧处理，得到第二图像数据；其中，第一密度小于第二密度；
采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；
所述采用目标检测算法基于所述图像数据对不同区域进行行人目标检测，包括：
采用YOLOv5网络模型对所述第一图像数据进行行人目标检测；
采用CSRNet网络模型对所述第二图像数据进行行人目标检测；
所述采用YOLOv5网络模型对所述第一图像数据进行行人目标检测，包括：
将所述第一图像数据依次输入至YOLOv5网络模型中的骨干网络进行特征提取，得到不同尺寸的特征图；其中，所述骨干网络依次包括Focus模块、瓶颈CSP层、CBL模块和SPP层；
利用neck层对不同尺寸的特征图进行串联和整合，得到不同大小的语义信息；
基于所述语义信息，通过预测层输出所述第一图像数据中的类别信息和坐标信息；
根据所述类别信息和坐标信息选取行人信息，并作为第一图像数据的行人目标检测结果；
所述采用CSRNet网络模型对所述第二图像数据进行行人目标检测，包括：
按照下式计算第二图像数据中的行人密度F(x)：
Figure 595357DEST_PATH_IMAGE001
式中，
Figure 992840DEST_PATH_IMAGE002
为第二图像数据，
Figure 534811DEST_PATH_IMAGE003
为第二图像数据中的第i个行人，
Figure 675943DEST_PATH_IMAGE004
表示k个邻近头部的平均距离，
Figure 252549DEST_PATH_IMAGE005
为标准差，
Figure 820933DEST_PATH_IMAGE006
为像素位置，
Figure 646938DEST_PATH_IMAGE007
为系数；
还包括：
按照下式，利用第一损失函数对YOLOv5网络模型进行优化更新：
Figure 342493DEST_PATH_IMAGE008
式中，
Figure 757293DEST_PATH_IMAGE009
表示为所述第一图像数据中第i个行人的损失函数；
Figure 840787DEST_PATH_IMAGE010
表示权重；
Figure 91771DEST_PATH_IMAGE011
表示经过独热编码后的真实标签；
Figure 574705DEST_PATH_IMAGE012
表示YOLOv5网络模型对第i个行人的预测值；
Figure 860324DEST_PATH_IMAGE013
表示Sigmoid函数；
按照下式，利用第二损失函数对CSRNet网络模型优化更新：
Figure 52402DEST_PATH_IMAGE014
式中，N是训练批次，
Figure 836687DEST_PATH_IMAGE015
是用带参数
Figure 874044DEST_PATH_IMAGE016
的CSRNet计算获得的行人数量；
Figure 263437DEST_PATH_IMAGE012
表示输入图像；
Figure 360838DEST_PATH_IMAGE017
表示输入图像
Figure 835681DEST_PATH_IMAGE012
的真实值；
利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；
根据人流密度统计结果生成告警工单；
还包括：
利用克里金法对社区视频系统未监控到的区域内的人流密度进行插值处理。
2.根据权利要求1所述的基于人流密度的智慧告警工单生成方法，其特征在于，所述利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计，包括：
针对每一区域，根据行人目标检测结果和分时段统计结果计算区域内每时间单位的平均人流密度；
将定位信息和平均人流密度结合生成区域的人流密度热力图。
3.一种基于人流密度的智慧告警工单生成装置，其特征在于，包括：
门禁统计单元，用于通过门禁设备读取行人开门或关门的时间数据，并将所述时间数据进行分时段统计；
抽帧处理单元，用于通过社区视频系统获取不同区域的视频数据，并对所述视频数据进行抽帧处理，得到对应的图像数据；
所述抽帧处理单元包括：
数据划分单元，用于将所述视频数据划分为第一时段视频数据和第二时段视频数据；
密度抽帧单元，用于对所述第一时段视频数据进行第一密度抽帧处理，得到第一图像数据；以及对所述第二时段视频数据进行第二密度抽帧处理，得到第二图像数据；其中，第一密度小于第二密度；
目标检测单元，用于采用目标检测算法基于所述图像数据对不同区域进行行人目标检测；
所述目标检测单元包括：
第一检测单元，用于采用YOLOv5网络模型对所述第一图像数据进行行人目标检测；
第二检测单元，用于采用CSRNet网络模型对所述第二图像数据进行行人目标检测；
所述第一检测单元包括：
数据输入单元，用于将所述第一图像数据依次输入至YOLOv5网络模型中的骨干网络进行特征提取，得到不同尺寸的特征图；其中，所述骨干网络依次包括Focus模块、瓶颈CSP层、CBL模块和SPP层；
串联及整合单元，用于利用neck层对不同尺寸的特征图进行串联和整合，得到不同大小的语义信息；
信息输出单元，用于基于所述语义信息，通过预测层输出所述第一图像数据中的类别信息和坐标信息；
信息选取单元，用于根据所述类别信息和坐标信息选取行人信息，并作为第一图像数据的行人目标检测结果；
所述第二检测单元包括：
密度计算单元，用于按照下式计算第二图像数据中的行人密度F(x)：
Figure 422869DEST_PATH_IMAGE001
式中，
Figure 666768DEST_PATH_IMAGE002
为第二图像数据，
Figure 935070DEST_PATH_IMAGE003
为第二图像数据中的第i个行人，
Figure 897210DEST_PATH_IMAGE004
表示k个邻近头部的平均距离，
Figure 276370DEST_PATH_IMAGE005
为标准差，
Figure 656666DEST_PATH_IMAGE006
为像素位置，
Figure 345137DEST_PATH_IMAGE007
为系数；
所述基于人流密度的智慧告警工单生成装置还包括：
第一优化单元，用于按照下式，利用第一损失函数对YOLOv5网络模型进行优化更新：
Figure 76464DEST_PATH_IMAGE008
式中，
Figure 587210DEST_PATH_IMAGE009
表示为所述第一图像数据中第i个行人的损失函数；
Figure 556435DEST_PATH_IMAGE010
表示权重；
Figure 415806DEST_PATH_IMAGE011
表示经过独热编码后的真实标签；
Figure 837691DEST_PATH_IMAGE012
表示YOLOv5网络模型对第i个行人的预测值；
Figure 73501DEST_PATH_IMAGE013
表示Sigmoid函数；
第二优化单元，用于按照下式，利用第二损失函数对CSRNet网络模型优化更新：
Figure 897231DEST_PATH_IMAGE014
式中，N是训练批次，
Figure 661925DEST_PATH_IMAGE015
是用带参数
Figure 571106DEST_PATH_IMAGE016
的CSRNet计算获得的行人数量；
Figure 79448DEST_PATH_IMAGE012
表示输入图像；
Figure 23264DEST_PATH_IMAGE017
表示输入图像
Figure 958859DEST_PATH_IMAGE012
的真实值；
密度统计单元，用于利用设备设施台账系统获取门禁设备及社区视频系统相对应的定位信息，并结合行人目标检测结果和分时段统计结果对不同区域进行人流密度统计；
工单生成单元，用于根据人流密度统计结果生成告警工单；
所述基于人流密度的智慧告警工单生成装置还包括：
插值处理单元，用于利用克里金法对社区视频系统未监控到的区域内的人流密度进行插值处理。
4.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述的基于人流密度的智慧告警工单生成方法。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述的基于人流密度的智慧告警工单生成方法。
CN202210218601.4A 2022-03-08 2022-03-08 基于人流密度的智慧告警工单生成方法、装置及相关介质 Active CN114332778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210218601.4A CN114332778B (zh) 2022-03-08 2022-03-08 基于人流密度的智慧告警工单生成方法、装置及相关介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210218601.4A CN114332778B (zh) 2022-03-08 2022-03-08 基于人流密度的智慧告警工单生成方法、装置及相关介质

Publications (2)

Publication Number Publication Date
CN114332778A CN114332778A (zh) 2022-04-12
CN114332778B true CN114332778B (zh) 2022-06-21

Family

ID=81034127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210218601.4A Active CN114332778B (zh) 2022-03-08 2022-03-08 基于人流密度的智慧告警工单生成方法、装置及相关介质

Country Status (1)

Country Link
CN (1) CN114332778B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596537B (zh) * 2022-05-10 2022-08-05 深圳市海清视讯科技有限公司 区域人流数据确定方法、装置、设备及存储介质
CN116258356B (zh) * 2023-05-16 2023-08-25 深圳市万物云科技有限公司 基于WaveNet的工单派发方法、装置及相关介质
CN117830949B (zh) * 2024-01-06 2024-06-11 广州市图南软件科技有限公司 一种基于图像处理的智慧城市管理系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093830A1 (zh) * 2018-11-09 2020-05-14 阿里巴巴集团控股有限公司 指定区域的人流状况估算方法和装置
CN112232333A (zh) * 2020-12-18 2021-01-15 南京信息工程大学 一种地铁站内实时客流热力图生成方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017846A1 (en) * 2015-07-15 2017-01-19 Umm Al-Qura University Crowd and traffic monitoring apparatus and method
CN109389715A (zh) * 2018-09-18 2019-02-26 中国能源建设集团广东省电力设计研究院有限公司 一体化监控系统
CN110674704A (zh) * 2019-09-05 2020-01-10 同济大学 一种基于多尺度扩张卷积网络的人群密度估计方法及装置
CN111653010A (zh) * 2020-06-11 2020-09-11 中国建设银行股份有限公司 无人经营场所客流量智能控制系统及方法
CN113326735B (zh) * 2021-04-29 2023-11-28 南京大学 一种基于YOLOv5的多模态小目标检测方法
CN113536996B (zh) * 2021-06-30 2022-04-15 大连海事大学 一种基于大量真实人群运动视频的人群运动仿真方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020093830A1 (zh) * 2018-11-09 2020-05-14 阿里巴巴集团控股有限公司 指定区域的人流状况估算方法和装置
CN112232333A (zh) * 2020-12-18 2021-01-15 南京信息工程大学 一种地铁站内实时客流热力图生成方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Privacy pre-serving crowd monitoring:Counting people withoutpeople models or tracking;A.Chan et al;《CVPR》;20081231;第1-7页 *
一种基于区域划分的人群密度估计快速方法;张燕等;《计算机与数字工程》;20110420(第04期);第134-137页 *

Also Published As

Publication number Publication date
CN114332778A (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN114332778B (zh) 基于人流密度的智慧告警工单生成方法、装置及相关介质
Bura et al. An edge based smart parking solution using camera networks and deep learning
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
JP3981391B2 (ja) 監視装置
JP2020149704A (ja) ビデオデータを用いた活動モニタリングのためのシステム及び方法
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
Sen et al. Accurate speed and density measurement for road traffic in India
US20240054321A1 (en) Traffic prediction
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN105844229A (zh) 一种乘客拥挤度的计算方法及其系统
CN112016735B (zh) 一种基于交通违法热点预测的巡逻路线规划方法、系统和可读存储介质
JP2007209008A (ja) 監視装置
CN106815563B (zh) 一种基于人体表观结构的人群数量预测方法
CN102902960A (zh) 基于高斯建模与目标轮廓的遗留物检测方法
CN114267082B (zh) 基于深度理解的桥侧坠落行为识别方法
JP3910626B2 (ja) 監視装置
CN112991130A (zh) 基于人工智能的城市治理事件处理方法及装置
US20170053172A1 (en) Image processing apparatus, and image processing method
Zhang et al. Vehicle re-identification for lane-level travel time estimations on congested urban road networks using video images
CN114926791A (zh) 一种路口车辆异常变道检测方法、装置、存储介质及电子设备
CN111380530A (zh) 导航方法及相关产品
Sheng et al. Surveilling surveillance: Estimating the prevalence of surveillance cameras with street view data
CN117035378B (zh) 一种基于物联网的智慧工地管理方法及系统
CN113920585A (zh) 行为识别方法及装置、设备和存储介质
Dobler et al. Patterns of urban foot traffic dynamics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant