CN114170568A - 基于深度学习的人员密度检测方法及检测系统 - Google Patents

基于深度学习的人员密度检测方法及检测系统 Download PDF

Info

Publication number
CN114170568A
CN114170568A CN202111465837.XA CN202111465837A CN114170568A CN 114170568 A CN114170568 A CN 114170568A CN 202111465837 A CN202111465837 A CN 202111465837A CN 114170568 A CN114170568 A CN 114170568A
Authority
CN
China
Prior art keywords
camera
deep learning
dimensional
frame
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111465837.XA
Other languages
English (en)
Other versions
CN114170568B (zh
Inventor
毛熙皓
廖长明
敬志坚
庄永忠
张翔
卢建伟
刘锐
张鑫蕊
涂雄伟
王帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ding An Hua Wisdom Internet Of Things Co ltd
Original Assignee
Chengdu Ding An Hua Wisdom Internet Of Things Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ding An Hua Wisdom Internet Of Things Co ltd filed Critical Chengdu Ding An Hua Wisdom Internet Of Things Co ltd
Priority to CN202111465837.XA priority Critical patent/CN114170568B/zh
Publication of CN114170568A publication Critical patent/CN114170568A/zh
Application granted granted Critical
Publication of CN114170568B publication Critical patent/CN114170568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的人员密度检测方法及检测系统，涉及目标检测技术领域，方法包括S1确定摄像头的内参和外参，将摄像头当前帧做仿射变换导入RTM3D网络模型；S2将摄像头的当前帧生成热点图，请将其传入检测头部；S3将热点图进行分类回归，生成8个三维框顶点和三维框中心点的分类回归，S4将8个三维框顶点和三维框中心点回归映射在摄像头的当前帧，S5生成目标在世界坐标系中的x、y坐标，S6生成所有目标的聚类中心点，计算中心点检测内的人员数量得到人员密度；通过图片进行实时人员密度计算，与现有的3D目标检测技术相比，硬件成本更低且计算速度更快，与现有的2D目标检测技术相比可提供三维空间下的人员密度计算，提供的位置信息更加准确。

Description

基于深度学习的人员密度检测方法及检测系统
技术领域
本发明涉及目标检测技术领域，尤其涉及一种基于深度学习的人员密度检测方法及检测系统。
背景技术
随着硬件计算能力的飞速提升和新基建发展战略的逐步实施，人工智能已经应用于很多领域，包括工业机器人、智能摄像头和自动驾驶等领域，其中，深度学习是人工智能产品实现的主要方法。深度学习可解决的问题分为三个方向：图像类、语音类和强化学习。近年来，算法基础理论研究取得了长足的进步，更多的算法可应用于工程领域，对提升工作效率和降低人力成本已有实质性的帮助。
随着安全意识的提升，各种场景对于人员流动的掌握需求日益提升，对人流量的检测传统方式为二维目标检测，二维目标可以准确检测出当前场景的人员数量，但是对于人员的具体位置无法精确检测，无法防范由人员密度过高所带来的的风险。三维目标检测可以检测出目标在世界坐标系和相机坐标系的准确位置，已经是自动驾驶领域的常用手法，同时，也可以解决人流量大的场景中人员密度检测的问题。
在三维目标检测算法实际使用时，使用LIDAR雷达进行三维box预测较为精准但是设备昂贵。使用扩展数据和图像进行三维box预测需要增加枝干网络来融合多种数据，暂用资源较多预测效率低。使用图像直接预测时，二维box的四条边界线不足以在训练时约束三维box。
发明内容
本发明的目的就在于为了解决上述问题设计了一种基于深度学习的人员密度检测方法及检测系统。
本发明通过以下技术方案来实现上述目的：
基于深度学习的人员密度检测方法，包括：
S1、确定摄像头的内参K1和外参K2，并将摄像头的当前帧做仿射变换导入RTM3D网络模型；
S2、将摄像头的当前帧生成热点图，请将其传入检测头部；
S3、将热点图进行分类回归，生成8个三维框顶点和三维框中心点的分类回归；
S4、将8个三维框顶点和三维框中心点回归映射在摄像头的当前帧；
S5、生成目标在世界坐标系中的x、y坐标；
S6、使用k-means聚类公式生成所有目标的聚类中心点，计算中心点检测内的人员数量得到人员密度。
基于深度学习的人员密度检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于深度学习的人员密度检测方法的步骤。
本发明的有益效果在于：本方法仅通过图片进行实时人员密度计算，与现有的3D目标检测技术相比，硬件成本更低且计算速度更快，与现有的2D目标检测技术相比可提供三维空间下的人员密度计算，提供的位置信息更加准确。
附图说明
图1是本发明基于深度学习的人员密度检测方法的示意图；
图2是本发明基于深度学习的人员密度检测方法中RTM3D网络模型的结构图；
图3是本发明基于深度学习的人员密度检测方法中关键点金字塔结构图；
图4是检测结果图；
图5是密度分析图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
基于深度学习的人员密度检测方法，包括：
S1、根据棋盘图和张正友标定法确定摄像头的内参K1和外参K2，并将摄像头当前帧缩放为1280*340并做仿射变换传入RTM3D网络模型。
S2、将摄像头的当前帧生成热点图，请将其传入检测头部；具体包括：
S21、RTM3D网络模型将摄像头的当前帧生成三种尺寸的初始热点图，并将其穿入关键点金字塔；
S22、将三种尺寸的初始热点图缩放为最大尺寸的特征图；
S23、通过
Figure BDA0003391412300000041
对不同大小的特征进行加权计算并求合，实现逐点融合生成最终的热点图。
S3、将热点图进行分类回归，分类回归为
Figure BDA0003391412300000042
其中C为目标的类别，H为输入图片的高，W为输入图片的宽，S为下采样的尺寸比例，8个三维框顶点和三维框中心点回归为
Figure BDA0003391412300000043
局部偏置为
Figure BDA0003391412300000044
中心点偏置为
Figure BDA0003391412300000045
目标二维顶点偏置为
Figure BDA0003391412300000046
目标尺寸为
Figure BDA0003391412300000047
目标位置为
Figure BDA0003391412300000048
旋转角度R(θ)。
S4、通过世界坐标系与像素坐标系的转换将8个三维框顶点和三维框中心点回归映射在摄像头的当前帧，
Figure BDA0003391412300000049
其中K1为相机内参，
Figure BDA0003391412300000051
K2为相机外部参数，
Figure BDA0003391412300000052
S5、通过生成的位置信息
Figure BDA0003391412300000053
和转换公式
Figure BDA0003391412300000054
Figure BDA0003391412300000055
生成目标在世界坐标系中的x、y坐标。
S6、使用k-means聚类公式生成所有目标的聚类中心点，计算中心点检测内的人员数量得到人员密度。
基于深度学习的人员密度检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的基于深度学习的人员密度检测方法的步骤。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (8)

1.基于深度学习的人员密度检测方法，其特征在于，包括：
S1、确定摄像头的内参K1和外参K2，并将摄像头的当前帧做仿射变换导入RTM3D网络模型；
S2、将摄像头的当前帧生成热点图，请将其传入检测头部；
S3、将热点图进行分类回归，生成8个三维框顶点和三维框中心点的分类回归；
S4、将8个三维框顶点和三维框中心点回归映射在摄像头的当前帧；
S5、生成目标在世界坐标系中的x、y坐标；
S6、使用k-means聚类公式生成所有目标的聚类中心点，计算中心点检测内的人员数量得到人员密度。
2.根据权利要求1所述的基于深度学习的人员密度检测方法，其特征在于，在S1中，根据棋盘图和张正友标定法确定摄像头的内参K1和外参K2，并将摄像头当前帧缩放为1280*340并做仿射变换传入RTM3D网络模型。
3.根据权利要求1所述的基于深度学习的人员密度检测方法，其特征在于，在S2包括：
S21、RTM3D网络模型将摄像头的当前帧生成三种尺寸的初始热点图，并将其穿入关键点金字塔；
S22、将三种尺寸的初始热点图缩放为最大尺寸的特征图；
S23、对不同大小的特征进行逐点融合生成最终的热点图。
4.根据权利要求3所述的基于深度学习的人员密度检测方法，其特征在于，在S23中，通过
Figure FDA0003391412290000011
对三种特征进行加权计算并求合，实现逐点融合生成最终的热点图。
5.根据权利要求1所述的基于深度学习的人员密度检测方法，其特征在于，在S3中，分类回归为
Figure FDA0003391412290000021
其中C为目标的类别，H为输入图片的高，W为输入图片的宽，S为下采样的尺寸比例，8个三维框顶点和三维框中心点回归为
Figure FDA0003391412290000022
局部偏置为
Figure FDA0003391412290000023
中心点偏置为
Figure FDA0003391412290000024
Figure FDA0003391412290000025
目标二维顶点偏置为
Figure FDA0003391412290000026
目标尺寸为
Figure FDA0003391412290000027
目标位置为
Figure FDA0003391412290000028
旋转角度R(θ)。
6.根据权利要求1所述的基于深度学习的人员密度检测方法，其特征在于，在S4中，通过世界坐标系与像素坐标系的转换将8个三维框顶点和三维框中心点映射在二维摄像头帧上，
Figure FDA0003391412290000029
其中K1为相机内参，
Figure FDA00033914122900000210
Figure FDA00033914122900000211
K2为相机外部参数，
Figure FDA00033914122900000212
7.根据权利要求1所述的基于深度学习的人员密度检测方法，其特征在于，在S5中，通过生成的位置信息
Figure FDA00033914122900000213
和转换公式
Figure FDA00033914122900000214
Figure FDA00033914122900000215
生成目标在世界坐标系中的x、y坐标。
8.基于深度学习的人员密度检测系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的基于深度学习的人员密度检测方法的步骤。
CN202111465837.XA 2021-12-03 2021-12-03 基于深度学习的人员密度检测方法及检测系统 Active CN114170568B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111465837.XA CN114170568B (zh) 2021-12-03 2021-12-03 基于深度学习的人员密度检测方法及检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111465837.XA CN114170568B (zh) 2021-12-03 2021-12-03 基于深度学习的人员密度检测方法及检测系统

Publications (2)

Publication Number Publication Date
CN114170568A true CN114170568A (zh) 2022-03-11
CN114170568B CN114170568B (zh) 2024-05-31

Family

ID=80482718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111465837.XA Active CN114170568B (zh) 2021-12-03 2021-12-03 基于深度学习的人员密度检测方法及检测系统

Country Status (1)

Country Link
CN (1) CN114170568B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272487A (zh) * 2018-08-16 2019-01-25 北京此时此地信息科技有限公司 一种基于视频的公共区域内人群的数量统计方法
CN109697392A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 绘制目标对象热力图的方法及装置
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN111612645A (zh) * 2020-05-27 2020-09-01 各珍珍 基于枪球联动与bim的畜牧动物入栏检测方法
CN112232333A (zh) * 2020-12-18 2021-01-15 南京信息工程大学 一种地铁站内实时客流热力图生成方法
CN112257615A (zh) * 2020-10-26 2021-01-22 上海数川数据科技有限公司 一种基于聚类的顾客数量统计方法
WO2021098261A1 (zh) * 2019-11-22 2021-05-27 苏州浪潮智能科技有限公司 一种目标检测方法与装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109697392A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 绘制目标对象热力图的方法及装置
CN109272487A (zh) * 2018-08-16 2019-01-25 北京此时此地信息科技有限公司 一种基于视频的公共区域内人群的数量统计方法
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
WO2021098261A1 (zh) * 2019-11-22 2021-05-27 苏州浪潮智能科技有限公司 一种目标检测方法与装置
CN111612645A (zh) * 2020-05-27 2020-09-01 各珍珍 基于枪球联动与bim的畜牧动物入栏检测方法
CN112257615A (zh) * 2020-10-26 2021-01-22 上海数川数据科技有限公司 一种基于聚类的顾客数量统计方法
CN112232333A (zh) * 2020-12-18 2021-01-15 南京信息工程大学 一种地铁站内实时客流热力图生成方法

Also Published As

Publication number Publication date
CN114170568B (zh) 2024-05-31

Similar Documents

Publication Publication Date Title
Shao et al. Real-time and accurate UAV pedestrian detection for social distancing monitoring in COVID-19 pandemic
US11127189B2 (en) 3D skeleton reconstruction from images using volumic probability data
CN104463108B (zh) 一种单目实时目标识别及位姿测量方法
CN109682381A (zh) 基于全向视觉的大视场场景感知方法、系统、介质及设备
CN111814827B (zh) 基于yolo的关键点目标检测方法
CN108537844B (zh) 一种融合几何信息的视觉slam回环检测方法
CN111047626A (zh) 目标跟踪方法、装置、电子设备及存储介质
Xu et al. GraspCNN: Real-time grasp detection using a new oriented diameter circle representation
Wang et al. Bev-lanedet: An efficient 3d lane detection based on virtual camera via key-points
WO2023109664A1 (zh) 监测方法和相关产品
CN112215308B (zh) 一种吊装物体单阶检测方法、装置、电子设备及存储介质
Xu et al. Object detection based on fusion of sparse point cloud and image information
CN111914615A (zh) 基于立体视觉的消防区域可通过性分析系统
Liu et al. Comparison of 2D image models in segmentation performance for 3D laser point clouds
CN112801928B (zh) 一种基于注意力机制的毫米波雷达与视觉传感器融合方法
Shi et al. Cobev: Elevating roadside 3d object detection with depth and height complementarity
Wu et al. Smart explorer: Recognizing objects in dense clutter via interactive exploration
Wu et al. DST3D: DLA-swin transformer for single-stage monocular 3D object detection
CN114170568A (zh) 基于深度学习的人员密度检测方法及检测系统
Li et al. Monocular 3-D Object Detection Based on Depth-Guided Local Convolution for Smart Payment in D2D Systems
CN114494427A (zh) 一种对吊臂下站人的违规行为检测方法、系统及终端
Li et al. Low-cost 3D building modeling via image processing
CN114359680A (zh) 一种基于深度学习的全景视觉水面目标检测方法
CN115272904A (zh) 多个单目摄像头下的目标实时跟踪与距离度量系统及方法
CN114022609A (zh) 一种基于遥感图像的三维模型构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant