CN113673326A - 一种基于图像深度学习的无人机平台人群计数方法及系统 - Google Patents

一种基于图像深度学习的无人机平台人群计数方法及系统 Download PDF

Info

Publication number
CN113673326A
CN113673326A CN202110793315.6A CN202110793315A CN113673326A CN 113673326 A CN113673326 A CN 113673326A CN 202110793315 A CN202110793315 A CN 202110793315A CN 113673326 A CN113673326 A CN 113673326A
Authority
CN
China
Prior art keywords
image
module
jwt
unmanned aerial
aerial vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110793315.6A
Other languages
English (en)
Other versions
CN113673326B (zh
Inventor
孔昊
陈志�
岳文静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202110793315.6A priority Critical patent/CN113673326B/zh
Publication of CN113673326A publication Critical patent/CN113673326A/zh
Application granted granted Critical
Publication of CN113673326B publication Critical patent/CN113673326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像深度学习的无人机平台人群计数方法及系统，解决固定摄像头覆盖范围较小和无人机视角下因行人目标尺度小、人体比例不标准而导致人群计数误差大等问题。首先采集多张不同场景的无人机航拍图，使用k‑means算法提取先验框，并预训练了改进和的YOLO v3算法；通过无人机机载摄像头采集图像，根据飞行高度阈值判断是否对图像进行有重叠的分割，再使用改进后的YOLO v3算法对处理后的图像进行行人检测，输出行人数量后，采用非极大值抑制方法对行人定位做去重处理，最终得到具体的行人数量信息，最后采用HTTPS协议和JWT技术进行无人机对外的信息传输和安全认证。

Description

一种基于图像深度学习的无人机平台人群计数方法及系统
技术领域
本发明涉及深度学习技术领域，特别是涉及种基于图像深度学习的无人机平台人群计数方法及系统。
背景技术
无人机在一系列民用领域如农林植保、生产监控、地理测绘、治安巡查、应急救援等领域应用广泛。随着硬件性能的不断提高，无人机和计算机视觉的联系日益加深。与街道固定的摄像头相比，无人机有着更强的灵活性，能够对任意范围的公共场所、工厂、道路交通进行监控和侦查，而人群检测与计数是无人机对于生产监控、治安巡查等领域的重要研究方向之一，具有较高的实用价值。
人群计数，即通过实时图像等信息检测并估计实际场景下的人群数量情况，通过对人群数量的计算，可完成对该监控场景下的预警工作，一定程度上为实现实时人群疏导和制定安全决策带来方便。目前，人群计数方法主要有两类：基于检测的方法和基于回归的方法。
基于检测的方法是使用一定的目标检测器，通过定位图像上的每个人或者每个人的头部，累加得到计数结果。该类方法在高度较低的摄像头下容易造成遮挡，从而降低准确率。基于回归的方法是直接从图像中估计人群数量，然而密度图回归的方法在背景和前景区分上存在一些问题，在新场景下需要其透视图对模型进行微调，一定程度上限制了其实际应用。对于灵活性强、检测场景多变的无人机平台，基于检测的方法可靠性更强，模型泛化能力更强，适应多种场景。
对于无人机平台下的人群计数，由于涉及到硬件设备和准确度较高的算法落地，国内外所采用的技术也不成熟，对适用场景有较强的依赖性，不适合工业化与商用的需求。
目前为止，对于无人机平台下人群计数方法和系统，还需要进行大量的研究工作。
发明内容
有鉴于此，本发明的目的在于提供一种基于图像深度学习的无人机平台人群计数方法及系统，用以解决背景技术中提及的技术问题。本发明通过一套系统，采用深度学习算法模型，从机载摄像头捕获图像中实时计算人群的数量，并将结果安全传输给服务器。
为了实现上述目的，本发明采用如下技术方案：
一种基于图像深度学习的无人机平台人群计数方法，包括以下步骤：
步骤S1、构建数据集，通过采集多张真实航拍的行人图像，再对该多张图像中的行人进行标注，生成存储坐标信息的xml格式文件；
步骤S2、建立行人识别模型，首先通过保留原始YOLO v3模型中26×26和52×52两个尺度的特征图，其次通过k-means聚类算法从步骤S1中的数据集中提取先验框尺度，再用提取到先验框尺度替换原始YOLO v3模型中的模型参数；
步骤S3、构建损失函数，该损失函数采用交叉熵损失函数；
步骤S4、将步骤S1构建的数据集输入至步骤S2中构建的行人识别模型中进行训练，并且将学习率调整为l1，动量设为m1，权重衰减为m2，输入图像尺寸为m3×m3，训练至步骤S3中的损失函数收敛，得到训练后的行人识别模型；
步骤S5、通过机载摄像头捕获图像，并且获取此时的飞行高度，将飞行高度与预先设定的飞行高度阀值进行比较；
若获取到的飞行高度低于预先设定的飞行高度阀值，则，通过图像预处理与分割模块对图像进行调整，将图像尺寸调整至m3×m3，然后再调整后的图像输入至所述训练后的行人识别模型中进行识别，将模型的识别结果传入步骤S7中，其识别结果表示为预测框的坐标集合；
若获取到的飞行高度高于预先设定的飞行高度阀值，则进行步骤S6；
步骤S6、通过图像预处理与分割模块对图像进行m重叠率的n分割，然后再将分割后的图像输入至所述训练后的行人识别模型中进行识别，暂存输出结果，其输出结果表示为预测框的坐标集合，如有下一图像则重复该步骤的操作，若没有，则采用非极大值抑制方法对因分割造成的重复目标识别结果去重，最后将去重后的识别结果传入步骤S7中；
步骤S7、计算所得集合的一维空间长度，该数值即为最终人群计数结果；
步骤S8、HTTPS网络传输模块读取本地配置文件，得到秘钥和本机编号，JWT的头部进行类型声明，使用base46加密算法对头部进行加密；JWT的第二部分标注其本机编号与接收方，并且进行base64加密；JWT的尾部为使用头部和第二部分以及秘钥进行HMAC SHA256组合加密得到，最后将头部、第二部分和尾部进行组合拼接得到JWT；
步骤S9、通过HTTPS网络传输模块将步骤S7中得到的最终人群计数结果以及步骤S8中得到的JWT传输至服务器端，后端模块从服务器端获取最终人群计数结果以及JWT，然后所述后端模块根据机号和秘钥生成后端JWT，再将后端JWT与步骤S8所得到的JWT进行比较；若比较成功即视为合法请求，所述后端模块将最终人群计数结果转存至信息存储模块；
步骤S10、更新所述无人机平台的前飞行高度信息，然后判断识别动作是否终止，若未终止，返回步骤S5。
进一步的，在所述步骤S2中，通过过k-means聚类算法从步骤S1中的数据集中提取先验框尺度具体包括：
步骤S201、定义样本为x＝(w,h)，其中w是数据集中样本框的宽度，h是样本框高度，随机选取k个质心μj(j∈1,2,...k)；
步骤S202、对于每个x，计算与每个质心μj的欧式距离，将x加入距离最近质心的簇
Figure BDA0003161868670000031
其中，hi表示当前样本x的高度，hj表示质心的高度，wi表示当前样本x的宽度，wj表示质心的宽度。
步骤S203、对于每一个簇c(j)，通过计算平均值重新获得质心坐标
Figure BDA0003161868670000032
步骤S204、重复步骤S202和步骤S203直到算法收敛，最终得到的k个质心坐标作为先验框的尺度。
进一步的，所述数据集中的行人图像不少于206张，并且通过labelImg图像标注软件对图像中的行人进行标注。
进一步的，在所述步骤S201中，k取6。
进一步的，在所述步骤S4中，l1、m1、m2和m3分别取0.001、0.9、0.0005和416。
进一步的，在所述步骤S6中，当IoU≥t时，对结果进行去重，其中，其中，IOU为两识别结果的交并比，即
Figure BDA0003161868670000033
t取0.3。
进一步的，在所述步骤S6中，所述m重叠率的n分割具体为：10％重叠率的四分割。
一种基于图像深度学习的无人机平台人群计数系统，所述系统包括：无人机平台、后端模块、信息存储模块、前端系统界面，所述无人机平台上设置有机载摄像头、图像预处理与分割模块、神经网络模型模块、非极大值抑制方法去重模块、HTTPS网络传输模块，其中，
所述机载摄像头，用于捕获图像；
所述图像预处理与分割模块，用于将所述机载摄像头捕获的图像进行m重叠率的n分割或者将图像尺寸调整至m3×m3，
所述神经网络模型模块，用于根据预先构建的数据集以及损失函数对行人识别模型进行训练，得到训练后的行人识别模型；
所述非极大值抑制方法去重模块，用于对因分割造成的重复目标识别结果去重；
所述HTTPS网络传输模块，用于将最终人群计数结果以及JWT传输至服务器端；
所述后端模块，用于从服务器端获取最终人群计数结果以及JWT，然后所述后端模块根据机号和秘钥生成后端JWT，再将后端JWT与步骤S8所得到的JWT进行比较；若比较成功即视为合法请求，将最终人群计数结果转存至信息存储模块；
所述信息存储模块，用于储存当为合法请求时，所述后端模块传输的最终人群计数结果；
所述前端系统界面，用于展示最终人群计数结果。
本发明的有益效果是：
本发明能够解决无人机平台行人计数的问题，具有鲁棒性和实时性。
附图说明
图1为实施例1中提供的一种基于图像深度学习的无人机平台人群计数方法的流程示意图。
图2为实施例1中提供的基于图像深度学习的无人机平台人群计数系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
参见图1，本实施例提供一种基于图像深度学习的无人机平台人群计数方法，具体包括：
步骤S1、构建数据集，通过采集多张真实航拍的行人图像，再对该多张图像中的行人进行标注，生成存储坐标信息的xml格式文件；
具体的说，数据集中的行人图像不少于206张，并且通过labelImg图像标注软件对图像中的行人进行标注。
步骤S2、建立行人识别模型，首先通过保留原始YOLO v3模型中26×26和52×52两个尺度的特征图，其次通过k-means聚类算法从步骤S1中的数据集中提取先验框尺度，再用提取到先验框尺度替换原始YOLO v3模型中的模型参数；
具体的说，k-means算法是一种基于欧氏距离的聚类算法，采用距离作为相似性的评价指标，认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标，通过k-means聚类算法从步骤S1中的数据集中提取先验框尺度具体包括：
步骤S201、定义样本为x＝(w,h)，其中w是数据集中样本框的宽度，h是样本框高度，随机选取k个质心μj(j∈1,2,...k)，k取6；
步骤S202、对于每个x，计算与每个质心μj的欧式距离，将x加入距离最近质心的簇
Figure BDA0003161868670000041
其中，hi表示当前样本x的高度，hj表示质心的高度，wi表示当前样本x的宽度，wj表示质心的宽度。
步骤S203、对于每一个簇c(j)，通过计算平均值重新获得质心坐标
Figure BDA0003161868670000042
步骤S204、重复步骤S202和步骤S203直到算法收敛，最终得到的k个质心坐标作为先验框的尺度。
步骤S3、构建损失函数，该损失函数采用交叉熵损失函数；
具体的说，在本实施例中，损失函数为预测坐标与真实坐标的误差、分类误差与置信度误差总和，高宽误差采用均方误差，中心坐标、分类和置信度误差采用交叉熵损失函数，置信度为当前框中检测出对象的概率与真实对象的交并比，即
Figure BDA0003161868670000051
其中，IOU为两检测结果的交并比，即
Figure BDA0003161868670000052
步骤S4、将步骤S1构建的数据集输入至步骤S2中构建的行人识别模型中进行训练，并且将学习率调整为l1，动量设为m1，权重衰减为m2，输入图像尺寸为m3×m3，训练至步骤S3中的损失函数收敛，得到训练后的行人识别模型；
具体的说，在本实施例中，l1、m1、m2和m3分别取0.001、0.9、0.0005和416。
步骤S5、通过机载摄像头捕获图像，并且获取此时的飞行高度，将飞行高度与预先设定的飞行高度阀值进行比较；
若获取到的飞行高度低于预先设定的飞行高度阀值，则，通过图像预处理与分割模块对图像进行调整，将图像尺寸调整至m3×m3，然后再调整后的图像输入至训练后的行人识别模型中进行识别，将模型的识别结果传入步骤S7中，其识别结果表示为预测框的坐标集合；
若获取到的飞行高度高于预先设定的飞行高度阀值，则进行步骤S6；
步骤S6、通过图像预处理与分割模块对图像进行10％重叠率的四分割，然后再将分割后的图像输入至训练后的行人识别模型中进行识别，暂存输出结果，其输出结果表示为预测框的坐标集合，如有下一图像则重复该步骤的操作，若没有，则采用非极大值抑制方法对因分割造成的重复目标识别结果去重，最后将去重后的识别结果传入步骤S7中；
具体的说，当IoU≥t时，对结果进行去重，其中，IOU为两识别结果的交并比，即
Figure BDA0003161868670000053
t取0.3。
步骤S7、计算所得集合的一维空间长度，该数值即为最终人群计数结果；
步骤S8、HTTPS网络传输模块读取本地配置文件，得到秘钥和本机编号，JWT的头部进行类型声明，使用base46加密算法对头部进行加密；JWT的第二部分标注其本机编号与接收方，并且进行base64加密；JWT的尾部为使用头部和第二部分以及秘钥进行HMAC SHA256组合加密得到，最后将头部、第二部分和尾部进行组合拼接得到JWT；
步骤S9、通过HTTPS网络传输模块将步骤S7中得到的最终人群计数结果以及步骤S8中得到的JWT传输至服务器端，后端模块从服务器端获取最终人群计数结果以及JWT，然后后端模块根据机号和秘钥生成后端JWT，再将后端JWT与步骤S8所得到的JWT进行比较；若比较成功即视为合法请求，后端模块将最终人群计数结果转存至信息存储模块；
步骤S10、更新无人机平台的前飞行高度信息，然后判断识别动作是否终止，若未终止，返回步骤S5。
实施例2
本实施例在实施例1的基础之上进行进一步的说明，具体包括：
设置阈值H＝H0，摄像头采集图像同时判断飞行高度是否超过阈值，若超出阈值，则进行10％重叠率的四分割，具体操作如下：
Figure BDA0003161868670000061
调整图像尺寸为416×416，输入预训练模型，得到预测结果的坐标集合，整合到一个集合中，对此集合进行非极大值抑制方法的去重处理，即当两个及两个以上预测框重叠率达到阈值0.3，保留一个有效结果，具体算法如下：
Figure BDA0003161868670000062
Figure BDA0003161868670000071
处理完成后，该集合一维空间长度即为最终的计数结果。将该计数结果作为参数发送给服务端，与JWT一起通过HTTPS协议发送给服务端，JWT参数由三部分组成：
(1)header：声明类型与加密算法，实现如下：
base64({type:JWT,alg:HS256})
(2)playload：存放无人机编号和接收对象(可以是IP)，实现如下：
base64({id:编号,aud:接收方})
(3)signature：存放秘钥和其它签证信息，实现如下：
encodedString＝base64UrlEncode(header)+'.'+base64UrlEncode(payload)；
signature＝HMACSHA256(encodedString,秘钥)；
服务端通过解析JWT的id信息，从配置文件读取秘钥后生成JWT并与该请求中的JWT比较，成功则处理该请求，对结果进行存储和其它操作。
实施例3
参见图2，本实施例提供一个应用实施例1的系统，该系统为一种基于图像深度学习的无人机平台人群计数系统，具体包括：
无人机平台、后端模块、信息存储模块、前端系统界面，所述无人机平台上设置有机载摄像头、图像预处理与分割模块、神经网络模型模块、非极大值抑制方法去重模块、HTTPS网络传输模块，其中，
所述机载摄像头，用于捕获图像；
所述图像预处理与分割模块，用于将所述机载摄像头捕获的图像进行m重叠率的n分割或者将图像尺寸调整至m3×m3，
所述神经网络模型模块，用于根据预先构建的数据集以及损失函数对行人识别模型进行训练，得到训练后的行人识别模型；
所述非极大值抑制方法去重模块，用于对因分割造成的重复目标识别结果去重；
所述HTTPS网络传输模块，用于将最终人群计数结果以及JWT传输至服务器端；
所述后端模块，用于从服务器端获取最终人群计数结果以及JWT，然后所述后端模块根据机号和秘钥生成后端JWT，再将后端JWT与步骤S8所得到的JWT进行比较；若比较成功即视为合法请求，将最终人群计数结果转存至信息存储模块；
所述信息存储模块，用于储存当为合法请求时，所述后端模块传输的最终人群计数结果；
所述前端系统界面，用于展示最终人群计数结果。
本发明未详述之处，均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种基于图像深度学习的无人机平台人群计数方法，其特征在于，包括以下步骤：
步骤S1、构建数据集，通过采集多张真实航拍的行人图像，再对该多张图像中的行人进行标注，生成存储坐标信息的xml格式文件；
步骤S2、建立行人识别模型，首先通过保留原始YOLOv3模型中26×26和52×52两个尺度的特征图，其次通过k-means聚类算法从步骤S1中的数据集中提取先验框尺度，再用提取到先验框尺度替换原始YOLOv3模型中的模型参数；
步骤S3、构建损失函数，该损失函数采用交叉熵损失函数；
步骤S4、将步骤S1构建的数据集输入至步骤S2中构建的行人识别模型中进行训练，并且将学习率调整为l1，动量设为m1，权重衰减为m2，输入图像尺寸为m3×m3，训练至步骤S3中的损失函数收敛，得到训练后的行人识别模型；
步骤S5、通过机载摄像头捕获图像，并且获取此时的飞行高度，将飞行高度与预先设定的飞行高度阀值进行比较；
若获取到的飞行高度低于预先设定的飞行高度阀值，则，通过图像预处理与分割模块对图像进行调整，将图像尺寸调整至m3×m3，然后再调整后的图像输入至所述训练后的行人识别模型中进行识别，将模型的识别结果传入步骤S7中，其识别结果表示为预测框的坐标集合；
若获取到的飞行高度高于预先设定的飞行高度阀值，则进行步骤S6；
步骤S6、通过图像预处理与分割模块对图像进行m重叠率的n分割，然后再将分割后的图像输入至所述训练后的行人识别模型中进行识别，暂存输出结果，其输出结果表示为预测框的坐标集合，如有下一图像则重复该步骤的操作，若没有，则采用非极大值抑制方法对因分割造成的重复目标识别结果去重，最后将去重后的识别结果传入步骤S7中；
步骤S7、计算所得集合的一维空间长度，该数值即为最终人群计数结果；
步骤S8、HTTPS网络传输模块读取本地配置文件，得到秘钥和本机编号，JWT的头部进行类型声明，使用base46加密算法对头部进行加密；JWT的第二部分标注其本机编号与接收方，并且进行base64加密；JWT的尾部为使用头部和第二部分以及秘钥进行HMACSHA256组合加密得到，最后将头部、第二部分和尾部进行组合拼接得到JWT；
步骤S9、通过HTTPS网络传输模块将步骤S7中得到的最终人群计数结果以及步骤S8中得到的JWT传输至服务器端，后端模块从服务器端获取最终人群计数结果以及JWT，然后所述后端模块根据机号和秘钥生成后端JWT，再将后端JWT与步骤S8所得到的JWT进行比较；若比较成功即视为合法请求，所述后端模块将最终人群计数结果转存至信息存储模块；
步骤S10、更新所述无人机平台的前飞行高度信息，然后判断识别动作是否终止，若未终止，返回步骤S5。
2.根据权利要求1所述的一种基于图像深度学习的无人机平台人群计数方法，其特征在于，在所述步骤S2中，通过过k-means聚类算法从步骤S1中的数据集中提取先验框尺度具体包括：
步骤S201、定义样本为x＝(w,h)，其中w是数据集中样本框的宽度，h是样本框高度，随机选取k个质心μj(j∈1,2,...k)；
步骤S202、对于每个x，计算与每个质心μj的欧式距离，将x加入距离最近质心的簇
Figure FDA0003161868660000021
其中，hi表示当前样本x的高度，hj表示质心的高度，wi表示当前样本x的宽度，wj表示质心的宽度；
步骤S203、对于每一个簇c(j)，通过计算平均值重新获得质心坐标
Figure FDA0003161868660000022
步骤S204、重复步骤S202和步骤S203直到算法收敛，最终得到的k个质心坐标作为先验框的尺度。
3.根据权利要求2述的一种基于图像深度学习的无人机平台人群计数方法，其特征在于，在所述步骤S1中，所述数据集中的行人图像不少于206张，并且通过labelImg图像标注软件对图像中的行人进行标注。
4.根据权利要求3述的一种基于图像深度学习的无人机平台人群计数方法，其特征在于，在所述步骤S201中，k取6。
5.根据权利要求3述的一种基于图像深度学习的无人机平台人群计数方法，其特征在于，在所述步骤S4中，l1、m1、m2和m3分别取0.001、0.9、0.0005和416。
6.根据权利要求3述的一种基于图像深度学习的无人机平台人群计数方法，其特征在于，在所述步骤S6中，当IoU≥t时，对结果进行去重，其中，其中，IOU为两识别结果的交并比，即
Figure FDA0003161868660000023
t取0.3。
7.根据权利要求3述的一种基于图像深度学习的无人机平台人群计数方法，其特征在于，在所述步骤S6中，所述m重叠率的n分割具体为：10％重叠率的四分割。
8.应用权利要求1-7中任一权利要求所述的一种基于图像深度学习的无人机平台人群计数方法的系统，其特征在于，所述系统包括：无人机平台、后端模块、信息存储模块、前端系统界面，所述无人机平台上设置有机载摄像头、图像预处理与分割模块、神经网络模型模块、非极大值抑制方法去重模块、HTTPS网络传输模块，其中，
所述机载摄像头，用于捕获图像；
所述图像预处理与分割模块，用于将所述机载摄像头捕获的图像进行m重叠率的n分割或者将图像尺寸调整至m3×m3；
所述神经网络模型模块，用于根据预先构建的数据集以及损失函数对行人识别模型进行训练，得到训练后的行人识别模型；
所述非极大值抑制方法去重模块，用于对因分割造成的重复目标识别结果去重；
所述HTTPS网络传输模块，用于将最终人群计数结果以及JWT传输至服务器端；
所述后端模块，用于从服务器端获取最终人群计数结果以及JWT，然后所述后端模块根据机号和秘钥生成后端JWT，再将后端JWT与步骤S8所得到的JWT进行比较；若比较成功即视为合法请求，将最终人群计数结果转存至信息存储模块；
所述信息存储模块，用于储存当为合法请求时，所述后端模块传输的最终人群计数结果；所述前端系统界面，用于展示最终人群计数结果。
CN202110793315.6A 2021-07-14 2021-07-14 一种基于图像深度学习的无人机平台人群计数方法及系统 Active CN113673326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110793315.6A CN113673326B (zh) 2021-07-14 2021-07-14 一种基于图像深度学习的无人机平台人群计数方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110793315.6A CN113673326B (zh) 2021-07-14 2021-07-14 一种基于图像深度学习的无人机平台人群计数方法及系统

Publications (2)

Publication Number Publication Date
CN113673326A true CN113673326A (zh) 2021-11-19
CN113673326B CN113673326B (zh) 2023-08-15

Family

ID=78539259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110793315.6A Active CN113673326B (zh) 2021-07-14 2021-07-14 一种基于图像深度学习的无人机平台人群计数方法及系统

Country Status (1)

Country Link
CN (1) CN113673326B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984672A (zh) * 2023-03-17 2023-04-18 成都纵横自动化技术股份有限公司 基于深度学习的高清图像内小目标的检测方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
CN110895681A (zh) * 2019-10-11 2020-03-20 昆明理工大学 基于yolo v3的行人识别方法
CN111241939A (zh) * 2019-12-31 2020-06-05 沈阳农业大学 一种基于无人机数码影像的水稻产量估测方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN112001339A (zh) * 2020-08-27 2020-11-27 杭州电子科技大学 一种基于YOLO v4的行人社交距离实时监测方法
CN112766188A (zh) * 2021-01-25 2021-05-07 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886085A (zh) * 2019-01-03 2019-06-14 四川弘和通讯有限公司 基于深度学习目标检测的人群计数方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN110895681A (zh) * 2019-10-11 2020-03-20 昆明理工大学 基于yolo v3的行人识别方法
CN111241939A (zh) * 2019-12-31 2020-06-05 沈阳农业大学 一种基于无人机数码影像的水稻产量估测方法
CN112001339A (zh) * 2020-08-27 2020-11-27 杭州电子科技大学 一种基于YOLO v4的行人社交距离实时监测方法
CN112766188A (zh) * 2021-01-25 2021-05-07 浙江科技学院 一种基于改进yolo算法的小目标行人检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂鑫;刘文;吴巍;: "复杂场景下基于增强YOLOv3的船舶目标检测", 计算机应用, no. 09 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984672A (zh) * 2023-03-17 2023-04-18 成都纵横自动化技术股份有限公司 基于深度学习的高清图像内小目标的检测方法和装置
CN115984672B (zh) * 2023-03-17 2023-05-30 成都纵横自动化技术股份有限公司 基于深度学习的高清图像内小目标的检测方法和装置

Also Published As

Publication number Publication date
CN113673326B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
EP4109331A1 (en) Obstacle detection method and apparatus, computer device, and storage medium
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
CN108446630B (zh) 机场跑道智能监控方法、应用服务器及计算机存储介质
CN107153817B (zh) 行人重识别数据标注方法和装置
CN103824070A (zh) 一种基于计算机视觉的快速行人检测方法
Liu et al. Insulator detection in aerial images based on faster regions with convolutional neural network
CN110147714B (zh) 基于无人机的煤矿采空区裂缝识别方法及检测系统
CN111582129A (zh) 一种盾构机司机工作状态实时监测报警方法及装置
CN106331636A (zh) 基于行为事件触发的输油管道智能视频监控系统及方法
CN111126184B (zh) 一种基于无人机视频的震后建筑物损毁检测方法
CN108932273B (zh) 图片筛选方法及装置
CN111008574A (zh) 一种基于形体识别技术的重点人员轨迹分析方法
Sharma et al. A hybrid technique for license plate recognition based on feature selection of wavelet transform and artificial neural network
CN110852179B (zh) 基于视频监控平台的可疑人员入侵的检测方法
CN111753651A (zh) 一种基于车站二维人群密度分析的地铁群体异常行为检测方法
CN112836657A (zh) 一种基于轻量化YOLOv3的行人检测方法及系统
CN111667655A (zh) 基于红外图像的高速铁路安全区入侵警报装置及方法
CN112861617A (zh) 一种基于监控图像的边坡灾害识别系统
CN113284144A (zh) 一种基于无人机的隧道检测方法及装置
CN113673326B (zh) 一种基于图像深度学习的无人机平台人群计数方法及系统
CN106327876B (zh) 一种基于行车记录仪的套牌车捕捉系统及方法
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN113963373A (zh) 一种基于视频图像动态检测与跟踪算法系统及方法
Pinthong et al. The License Plate Recognition system for tracking stolen vehicles
CN112926415A (zh) 一种行人避让系统和行人监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant