CN112153352A - 一种基于深度学习的无人机疫情监测辅助方法及其装置 - Google Patents

一种基于深度学习的无人机疫情监测辅助方法及其装置 Download PDF

Info

Publication number
CN112153352A
CN112153352A CN202011124832.6A CN202011124832A CN112153352A CN 112153352 A CN112153352 A CN 112153352A CN 202011124832 A CN202011124832 A CN 202011124832A CN 112153352 A CN112153352 A CN 112153352A
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
computer
deep learning
epidemic situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011124832.6A
Other languages
English (en)
Inventor
张伟
王亚刚
徐国骏
张赛
张涛
李开言
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202011124832.6A priority Critical patent/CN112153352A/zh
Publication of CN112153352A publication Critical patent/CN112153352A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种基于深度学习的无人机疫情监测装置,包括:无人机,设置于所述无人机上的无人机飞控,所述无人机无人飞控用于用来控制无人机的飞行以及传输接收信号;设置于所述无人飞控上的高清摄像头,所述高清摄像头用于来采集地面人群视频图像;计算机,所述计算机上设置有图像接模块及无线通信发送端;设置于所述无人机上的报警电路、图像传输端及无线通信接收端,所述报警电路用于对人群做出语音报警提示,所述图像传输端用于将采集到的视频图像传输至计算机。根据本发明,通过无人机的移动性强,对大型公共场所或者人群密集处做到实时监测,减少人力资源的浪费,监测效率高。

Description

一种基于深度学习的无人机疫情监测辅助方法及其装置
技术领域
本发明涉及无人机监控的技术领域,特别涉及一种基于深度学习的无人机疫情监测辅助方法及其装置。
背景技术
基于当前疫情全球还在持续且暂时未研制出有效疫苗的背景下,提出的一种基于深度学习的无人机疫情检测人群社交距离和人群佩戴口罩情况的方法,无人机平台实现的功能除飞行功能外,还具有语音播报、自稳、定高、视觉以及巡航等功能。所运用到的技术主要有图像采集技术、图像传输技术以及无线通信等技术,PC端处理实时图像所用到的技术主要是基于深度学习yolov3算法。
现有技术只能实现单一地检测行人佩戴口罩情况,效率较低,且经过查阅可知没有一项检测人群社交距离的专利,与此同时,现有技术的检测设备一般都是固定的设备,移动性较差,对于大型公共场所或者人群密集处,很难能够做到实时监测。并且,现有技术在使用过程中,还需要工作人员的配合,这样不仅浪费大量的人力资源,还会增加工作人员被感染病毒的风险,并且使用的检测设备一般都是固定的设备,无法做到移动检测,检测范围较窄,效率较低。
发明内容
针对现有技术中存在的不足之处,本发明的目的是提供一种基于深度学习的无人机疫情监测辅助方法,无人机的移动性强,对大型公共场所或者人群密集处做到实时监测,减少人力资源的浪费,监测效率高。为了实现根据本发明的上述目的和其他优点,提供了一种基于深度学习的无人机疫情监测装置,包括:
无人机,设置于所述无人机上的无人机飞控,所述无人机无人飞控用于用来控制无人机的飞行以及传输接收信号;
设置于所述无人飞控上的高清摄像头,所述高清摄像头用于来采集地面人群视频图像;
计算机,所述计算机上设置有图像接模块及无线通信发送端;
设置于所述无人机上的报警电路、图像传输端及无线通信接收端,所述报警电路用于对人群做出语音报警提示,所述图像传输端用于将采集到的视频图像传输至计算机。
优选的,所述计算机通过图像接模块接受无人机端传输过来的视频图像,计算机对接收的视频图像进行处理,对人群中未佩戴口罩现象和人群社交距离进行识别判断。
优选的,计算机对未佩戴口罩和社交距离过近现象,则对此违规行为进行标记,通过无线通信发送端将报警指令发送至无人机,所述无人机通过无线通信接收端接收报警指令对报警电路进行控制,报警电路做出语音报警提示。
一种基于深度学习的无人机疫情监测辅助方法,包括以下方法步骤:
S1、无人机端高清摄像头初始化,高清摄像头开始采集视频图像;
S2、无人机将采集实时视频图像通过图像传输端发送计算机;
S3、系统软件平台从视频中读取每帧画面;
S4、在下一帧通过计算机的目标检测神经网络,构建先验锚框,对每个被检测到的人找到对应的锚框;
S5、计算每个人之间的距离,对该距离进行判断;
S6、如果判断低于最小距离阈值,则在每对最小值点之间呈红色框显示;
S7、通过计算机发送指令至无人机启动报警电路进行报警提示。
优选的,所述步骤S4还包括,对检测人群中口罩佩戴情况进行检测,如果检测到未佩戴口罩,未佩戴口罩呈红色框显示。
本发明与现有技术相比,其有益效果是:
(1)针对当前疫情监测设备移动性差,且若检测大面积区域时需要布控多点监测的缺点,本作品采用无人机取代固定设备用于疫情防控的方式,在人流密集处,比如人流量较大的交通路口或者景区,此时人工检测实现不了,可用无人机代替人工检测。本设计不仅仅可以用于疫情防控,更改模型后还可以用到检测车流量、客运量等。
(2)针对当前市场监测设备功能单一的缺点,本作品既实现了人群中佩戴口罩的情况进行实时监测,还采用检测人群中社交距离方式来进行疫情防护。
(3)作品本身为弥补无人机实时计算能力的不足,采用远距离无线视频传输,将图像传回软件平台辅助计算,并将运算结果传回无人机,让无人机执行命令。保证了计算结果的实时性。
(4)对于当前一些检测设备只能检测出结果,还需要搭配人力实时提醒,且值守人本身也会有感染病毒风险这个缺点,本作品在无人机上搭载语音播报设备,在接收到PC端发送的指令后,即会对违规异常现象进行播报提醒,节省人力财力,降低工作人员受感染的风险。
附图说明
图1为根据本发明的基于深度学习的无人机疫情监测辅助方法的流程框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参照图1,一种基于深度学习的无人机疫情监测装置,包括:无人机,设置于所述无人机上的无人机飞控,所述无人机无人飞控用于用来控制无人机的飞行以及传输接收信号;
设置于所述无人飞控上的高清摄像头,所述高清摄像头用于来采集地面人群视频图像;
计算机,所述计算机上设置有图像接模块及无线通信发送端;
设置于所述无人机上的报警电路、图像传输端3及无线通信接收端,所述报警电路用于对人群做出语音报警提示,所述图像传输端用于将采集到的视频图像传输至计算机。
进一步的,所述计算机通过图像接模块接受无人机端传输过来的视频图像,计算机对接收的视频图像进行处理,对人群中未佩戴口罩现象和人群社交距离进行识别判断。
进一步,计算机对未佩戴口罩和社交距离过近现象,则对此违规行为进行标记,通过无线通信发送端将报警指令发送至无人机,所述无人机通过无线通信接收端接收报警指令对报警电路进行控制,报警电路做出语音报警提示。
利用嵌入式技术搭建无人机平台采集图像,通过远程无线通信技术回传图像至PC端,PC端在建立一个航拍数据集后,使用K-means聚类构建合适的先验锚框,再基于darknet-53卷积神经网络,结合yolov3目标检测、人体属性识别、人流密度估计等技术在内的多种技术计算社交距离和口罩检测,并在PC端显示无人机采集的图像以及PC端计算的结果,与程序设定的阈值进行对比判断,若距离过近、未佩戴口罩则PC端通过蓝牙无线通信发送指令至无人机,机载的语音播报模块进行提示警告。
无人机端设计是基于STM32系列的四旋翼飞行器航拍平台,以四旋翼飞行器为载体,辅以云台的航拍系统并搭载语音播报。该平台除了基本无人机飞行功能外,还具有语音播报、视觉、定点、自稳、巡航功能。主控制器采用Pixhawk飞行控制器,自行组装搭建了四旋翼无人机平台。该主控以一个STM32F427为主控芯片,并采用一个STM32F103芯片为协处理器,若主处理器死机,协处理器依旧能保障无人机安全运行。除此之外,主控预留PWM接口、USART接口、IIC接口、SPI接口等,保证飞控扩展多种功能。Pixhawk飞行控制器为目前使用较为广泛的飞行控制器。该飞行器同时装有16位陀螺仪、14位加速度计磁力计和MS5611气压计,因此可以确保无人机定位和自稳功能。无人机平台的动力系统由2212KV920型无刷电机和电调驱动器提供,配电规格为1047的螺旋桨,能够使无人机实现有效载重。视频传输模块采用的微5.8GHZ无线视频传输模块,可将无人机采集的视频实时传输到PC端。无人机在飞行过程中,需要与软件平台进行数据交互,图传模块只负责图像视频的传输,因此还需要一个数传模块与软件平台通信,包括发送温度传感器检测的温度值,接收软件平台发送来的报警指令等。本发明采用HC-05蓝牙模块进行数据交互,由于PC端没有蓝牙设备,因此采用CH340串口转TTL模块连接一个HC-05蓝牙模块,CH340模块连接电脑。无人机端也采用HC-05与PC端进行配对使用,通过单片机控制蓝牙模块进行接收与发送数据。无人机的数传模块接收到PC端发送来的指令后,控制语音播报模块播放相应的语音进行提醒警告。语音播报采用TTS-V5型号的模块,其优点在于使用串口控制方式,操作简单,成本低。飞控预留串口通信接口,因此直接连接模块的串口端子,使用5V供电,通过串口发送需要播报的内容,TTS模块即可通过喇叭播报。
由于coco内没有口罩的数据集,因此选取国内AIZOO提供的开源口罩数据集,并采用opencv框架来训练自己的数据集,最后进行口罩检测测试。口罩检测使用的物体检测方法为基于统计的方法,所以必须有大量的样本,分类器对这些样本进行学习来获得参数。再得到目标分类器后,进行检测时就相比较快。本章节使用的是OpenCV中自带的HAAR特征级联分类器进行训练。
一种基于深度学习的无人机疫情监测辅助方法,包括以下方法步骤:
S1、无人机端高清摄像头初始化,高清摄像头开始采集视频图像;
S2、无人机将采集实时视频图像通过图像传输端发送计算机;
S3、系统软件平台从视频中读取每帧画面;
S4、在下一帧通过计算机的目标检测神经网络,构建先验锚框,对每个被检测到的人找到对应的锚框;
S5、计算每个人之间的距离,对该距离进行判断;
S6、如果判断低于最小距离阈值,则在每对最小值点之间呈红色框显示;
S7、通过计算机发送指令至无人机启动报警电路进行报警提示。
进一步的,所述步骤S4还包括,对检测人群中口罩佩戴情况进行检测,如果检测到未佩戴口罩,未佩戴口罩呈红色框显示,无人机平台搭载摄像头模块,通过远程通信技术将采集到的图像信息回传至PC端;PC端对接收到的图像信息进行运算处理,对两两之间的社交距离和人群中佩戴口罩的现象进行识别判断,如果发现存在未戴口罩或社交距离过近的情况,计算机将对其违规行为进行标注,并发送指令至无人机平台,对此行为做出警告,提示行人保持好安全距离和佩戴好口罩。本发明利用无人机对行人进行监测,替代固定化的监测设备,具有灵活度高、实时性强、精度高等优点。
这里说明的设备数量和处理规模是用来简化本发明的说明的,对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (5)

1.一种基于深度学习的无人机疫情监测装置,其特征在于,包括:
无人机,设置于所述无人机上的无人机飞控,所述无人机无人飞控用于用来控制无人机的飞行以及传输接收信号;
设置于所述无人飞控上的高清摄像头,所述高清摄像头用于来采集地面人群视频图像;
计算机,所述计算机上设置有图像接模块及无线通信发送端;
设置于所述无人机上的报警电路、图像传输端及无线通信接收端,所述报警电路用于对人群做出语音报警提示,所述图像传输端用于将采集到的视频图像传输至计算机。
2.如权利要求1所述的一种基于深度学习的无人机疫情监测装置,其特征在于,所述计算机通过图像接模块接受无人机端传输过来的视频图像,计算机对接收的视频图像进行处理,对人群中未佩戴口罩现象和人群社交距离进行识别判断。
3.如权利要求2所述的一种基于深度学习的无人机疫情监测装置,其特征在于,计算机对未佩戴口罩和社交距离过近现象,则对此违规行为进行标记,通过无线通信发送端将报警指令发送至无人机,所述无人机通过无线通信接收端接收报警指令对报警电路进行控制,报警电路做出语音报警提示。
4.如权利要求1所述的一种基于深度学习的无人机疫情监测辅助方法,其特征在于,包括以下方法步骤:
S1、无人机端高清摄像头初始化,高清摄像头开始采集视频图像;
S2、无人机将采集实时视频图像通过图像传输端发送计算机;
S3、系统软件平台从视频中读取每帧画面;
S4、在下一帧通过计算机的目标检测神经网络,构建先验锚框,对每个被检测到的人找到对应的锚框;
S5、计算每个人之间的距离,对该距离进行判断;
S6、如果判断低于最小距离阈值,则在每对最小值点之间呈红色框显示;
S7、通过计算机发送指令至无人机启动报警电路进行报警提示。
5.如权利要求4所述的一种基于深度学习的无人机疫情监测辅助方法,其特征在于,所述步骤S4还包括,对检测人群中口罩佩戴情况进行检测,如果检测到未佩戴口罩,未佩戴口罩呈红色框显示。
CN202011124832.6A 2020-10-20 2020-10-20 一种基于深度学习的无人机疫情监测辅助方法及其装置 Pending CN112153352A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011124832.6A CN112153352A (zh) 2020-10-20 2020-10-20 一种基于深度学习的无人机疫情监测辅助方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011124832.6A CN112153352A (zh) 2020-10-20 2020-10-20 一种基于深度学习的无人机疫情监测辅助方法及其装置

Publications (1)

Publication Number Publication Date
CN112153352A true CN112153352A (zh) 2020-12-29

Family

ID=73954090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011124832.6A Pending CN112153352A (zh) 2020-10-20 2020-10-20 一种基于深度学习的无人机疫情监测辅助方法及其装置

Country Status (1)

Country Link
CN (1) CN112153352A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120585A (zh) * 2021-12-01 2022-03-01 云知声(上海)智能科技有限公司 在疫情期间监控人员之间安全距离的方法及系统
CN114821987A (zh) * 2021-01-18 2022-07-29 漳州立达信光电子科技有限公司 提醒方法、装置及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111556294A (zh) * 2020-05-11 2020-08-18 腾讯科技(深圳)有限公司 安全监测方法、装置、服务器、终端及可读存储介质
CN111709285A (zh) * 2020-05-09 2020-09-25 五邑大学 一种基于无人机的疫情防护监控方法、装置和存储介质
CN111717390A (zh) * 2020-07-06 2020-09-29 湖北经济学院 一种多功能无人机系统
CN111739651A (zh) * 2020-06-16 2020-10-02 南京众智未来人工智能研究院有限公司 一种基于群体识别的多个体间距检测系统和方法
CN111784948A (zh) * 2020-06-15 2020-10-16 樊明延 一种社交距离监控与追溯装置及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709285A (zh) * 2020-05-09 2020-09-25 五邑大学 一种基于无人机的疫情防护监控方法、装置和存储介质
CN111556294A (zh) * 2020-05-11 2020-08-18 腾讯科技(深圳)有限公司 安全监测方法、装置、服务器、终端及可读存储介质
CN111784948A (zh) * 2020-06-15 2020-10-16 樊明延 一种社交距离监控与追溯装置及其方法
CN111739651A (zh) * 2020-06-16 2020-10-02 南京众智未来人工智能研究院有限公司 一种基于群体识别的多个体间距检测系统和方法
CN111717390A (zh) * 2020-07-06 2020-09-29 湖北经济学院 一种多功能无人机系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114821987A (zh) * 2021-01-18 2022-07-29 漳州立达信光电子科技有限公司 提醒方法、装置及终端设备
CN114821987B (zh) * 2021-01-18 2024-04-30 漳州立达信光电子科技有限公司 提醒方法、装置及终端设备
CN114120585A (zh) * 2021-12-01 2022-03-01 云知声(上海)智能科技有限公司 在疫情期间监控人员之间安全距离的方法及系统

Similar Documents

Publication Publication Date Title
CN112660157B (zh) 一种多功能无障碍车远程监控与辅助驾驶系统
CN110858295B (zh) 一种交警手势识别方法、装置、整车控制器及存储介质
CN106251701B (zh) 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
CN107657236A (zh) 汽车安全驾驶预警方法及车载预警系统
CN112153352A (zh) 一种基于深度学习的无人机疫情监测辅助方法及其装置
CN108545019A (zh) 一种基于图像识别技术的安全辅助驾驶系统和方法
CN102201148A (zh) 一种基于视觉的驾驶员疲劳检测方法及系统
CN110682914A (zh) 基于无线感知的驾驶行为识别系统及方法
CN107909772A (zh) 一种智能化车载疲劳监测方法
CN107818694A (zh) 报警处理方法、装置及终端
CN103909826A (zh) 一种协同感知驾驶员违规行为的优化处理方法
WO2018225984A1 (ko) 해상 위험상황을 판단하는 방법 및 서버
CN108597225A (zh) 智能道路交通监控系统及其监控方法
CN104331687A (zh) 一种基于车载式视频分析的未系安全带行为检测方法
CN104743084A (zh) 一种水面综合救援系统及其方法
CN110525337A (zh) 车辆安全控制装置及方法
CN112861683A (zh) 一种行驶朝向检测方法、装置、计算机设备及存储介质
CN108346265A (zh) 一种危险目标识别报警方法及装置
CN104361317B (zh) 一种卡口式视频分析未系安全带行为检测系统及其方法
CN107463886A (zh) 一种双闪识别以及车辆避障的方法和系统
CN209879697U (zh) 一种基于物联网的道路安全预警系统
CN206074002U (zh) 一种行车辅助电子装置
CN116129641B (zh) 一种基于多端协同辨识的车辆安全态势计算方法及系统
CN114613183B (zh) 一种基于智慧交通的信号灯调节系统
CN115578699A (zh) 一种基于5g通信的多功能智慧灯杆控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201229