CN113358100B - 嵌入式与yolo4改进算法的无人机实时目标识别系统 - Google Patents

嵌入式与yolo4改进算法的无人机实时目标识别系统 Download PDF

Info

Publication number
CN113358100B
CN113358100B CN202110573522.0A CN202110573522A CN113358100B CN 113358100 B CN113358100 B CN 113358100B CN 202110573522 A CN202110573522 A CN 202110573522A CN 113358100 B CN113358100 B CN 113358100B
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
module
client
vehicle management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110573522.0A
Other languages
English (en)
Other versions
CN113358100A (zh
Inventor
黄方
陈胜亿
彭书颖
陈胤杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110573522.0A priority Critical patent/CN113358100B/zh
Publication of CN113358100A publication Critical patent/CN113358100A/zh
Application granted granted Critical
Publication of CN113358100B publication Critical patent/CN113358100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种嵌入式与YOLO4改进算法的无人机实时目标识别系统，属于实时目标检测领域。本发明嵌入式与YOLO4改进算法的无人机实时目标识别系统，摒弃了传统的“一对一”模式，能被同时用于多个无人机数据处理应用，且不同地理位置的多用户还能通过远程对系统进行管理和控制。特别的，本发明目标识别客户端中，为了得到更好的实时识别效果，对YOLOv4目标识别算法进行了改进，获得了更好的识别结果及更快的识别速度。因此，本发明系统能有效地减少相应研究者基于无人机的实时数据处理工作量，且系统部署简单，可移植性强，使用方便，能显著提升相关研究者的工作效率。

Description

嵌入式与YOLO4改进算法的无人机实时目标识别系统
技术领域
本发明属于实时目标检测领域，具体涉及一种嵌入式与YOLO4改进算法的无人机实时目标识别系统。
背景技术
目标检测是集机器学习、计算机视觉与模式识别等于一身的非常前沿的研究方向，在公安领域的目标追捕、危险勘测等方面具有很大的应用价值。随着人工智能的迅猛发展，无人机作为一种新型的运载平台和实现工具被广泛应用于多个领域并具有巨大发展潜力。近年来，基于无人机的目标检测与识别更是研究中的一个热门课题。
当前，以无人机平台为影像获取来源的目标检测与识别研究中，其影像数据的处理可分为地面处理和机上实时处理。传统的无人机影像目标检测与识别主要以地面处理为主，无人机仅作为影像获取平台，获取到的影像被放至本地计算机进行目标检测与识别，工作人员需要将获取的影像单独处理，远达不到实时识别的要求。而机上进行实时处理的研究也因受制于算法选择和平台性能等硬性条件发展受限。
因此，基于无人机和嵌入式技术，来实现一套自动化的、实时的、多用途的和多用户使用的目标检测系统是非常有必要的。
发明内容
本发明的目的在于，针对背景技术所存在的问题，提供一种嵌入式与YOL O4改进算法的无人机实时目标识别系统。本发明提供的无人机实时目标识别系统，通过无人机进行实时目标识别(还可进行变化检测和目标跟踪)、GPS信息采集、结果传输等功能，识别后的结果通过传输模块实时传输至服务端，多用户通过IP对服务端进行访问，从而获得识别结果和位置信息。
为实现上述目的，本发明采用的技术方案如下：
一种嵌入式与YOLO4改进算法的无人机实时目标识别系统，其特征在于，所述目标识别系统包括无人机客户端、无人机管理服务端和无人机管理前端；
其中，无人机客户端包括目标识别客户端、变化检测客户端和目标跟踪客户端，所述目标识别客户端包括影像获取模块、目标识别模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由G PS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标识别模块，经目标识别模块进行目标的识别，并将识别的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描(根据设定的时间间隔周期性对存储模块进行扫描)，判断识别结果是否被传输过，若未被传输，则对存储模块中的识别结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标识别客户端定时给无人机管理服务端发送心跳信号(根据设定的时间间隔周期性给无人机管理服务端发送心跳信号)，以确认目标识别客户端和无人机管理服务端是否正常连接；
所述变化检测客户端包括影像获取模块、变化检测模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由G PS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至变化检测模块，经变化检测模块进行影像变化的检测，并将检测的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断检测结果是否被传输过，若未被传输，则对存储模块中的检测结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，变化检测客户端定时给无人机管理服务端发送心跳信号，以确认变化检测客户端和无人机管理服务端是否正常连接；
所述目标跟踪客户端包括影像获取模块、目标跟踪模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由G PS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标跟踪模块，经目标跟踪模块进行目标判断，并将判断的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断判断结果是否被传输过，若未被传输，则对存储模块中的判断结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标跟踪客户端定时给无人机管理服务端发送心跳信号，以确认目标跟踪客户端和无人机管理服务端是否正常连接；
所述无人机管理服务端包括Netty文件传输服务模块和无人机管理模块，用于实现心跳检测、断点续传、文件接收、拍照指令传输和自动重连；所述无人机管理模块包括无人机管理、信息管理和拍照管理；所述Netty文件传输服务模块接收到无人机客户端传输的数据后，解码、恢复数据，然后传输至无人机管理模块，无人机管理模块将接收到的结果(识别结果、检测结果和判断结果)与位置信息数据进行信息管理，创建“识别结果文件夹”、“检测结果文件”和“判断结果文件夹”，并将相应的结果和位置信息存储至相应的文件夹；所述Netty文件传输服务模块对无人机客户端发送的心跳进行检测，并反馈当前连接状态，同时，心跳检测结果传输至无人机管理，将客户端的在线信息、以及最后一次心跳交互信息存储至无人机管理；在无人机客户端和无人机管理服务端网络中断又恢复后，所述Netty文件传输服务模块可实现客户端与服务端的自动连接；在传输文件过程中出现网络中断时，所述Netty文件传输服务模块可实现继续传输，无需重新开始传输、只需要继续传输未传输完成的部分即可；无人机管理模块中的拍照管理接收无人机管理前端的“手动拍照”要求后，向Netty文件传输服务模块发送拍照指令，Netty文件传输服务模块将拍照指令转换为Json数据格式，通过心跳传输至影像获取模块，实现手动拍照；
所述无人机管理前端用于实现无人机信息搜索、图片展示和手动拍照控制，无人机管理前端通过IP地址搜索感兴趣的客户端，得到该客户端的在线信息、最后一次心跳交互信息、以及结果和位置信息数据，并将该客户端的结果和位置信息数据进行图片展示。
进一步地，所述无人机客户端与无人机管理服务端是通过局域网的方式实现通信；所述无人机管理服务端与无人机管理前端是通过http协议实现通信的。
进一步地，所述无人机客户端设置于无人机上，所述无人机管理服务端和无人机管理前端设置于地面，所述无人机管理前端可通过IP访问无人机各客户端。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提供的一种嵌入式与YOLO4改进算法的无人机实时目标识别系统，摒弃了传统的“一对一”模式，能被同时用于多个无人机数据处理应用，且不同地理位置的多用户还能通过远程对系统进行管理和控制。特别的，本发明目标识别客户端中，为了得到更好的实时识别效果，对YOLOv4目标识别算法进行了改进，获得了更好的识别结果及更快的识别速度。因此，本发明系统能有效地减少相应研究者基于无人机的实时数据处理工作量，且系统部署简单，可移植性强，使用方便，能显著提升相关研究者的工作效率。
附图说明
图1为本发明提供的一种嵌入式与YOLO4改进算法的无人机实时目标识别系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。
一种嵌入式与YOLO4改进算法的无人机实时目标识别系统，其特征在于，所述目标识别系统包括无人机客户端、无人机管理服务端和无人机管理前端；
其中，无人客户端包括目标识别客户端、变化检测客户端和目标跟踪客户端，所述目标识别客户端包括影像获取模块、目标识别模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS 模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照，若影像获取模块未接收到无人机管理服务端的拍照指令，则进行自动拍照，同时在拍照前，需对GPS模块是否能正常采集当前位置的位置信息进行判断，若能正常采集当前位置的位置信息，则正常进行拍照，如不能，则返回错误；影像获取模块得到的位置信息和影像数据传输至目标识别模块，经目标识别模块进行目标的识别，并将识别的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描(根据设定的时间间隔周期性对存储模块进行扫描)，判断识别结果是否被传输过，若未被传输，则对存储模块中的识别结果进行编码，转换成Jso n数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标识别客户端定时给无人机管理服务端发送心跳信号(根据设定的时间间隔周期性给无人机管理服务端发送心跳信号)，以确认目标识别客户端和无人机管理服务端是否正常连接；
所述变化检测客户端包括影像获取模块、变化检测模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由G PS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至变化检测模块，经变化检测模块进行影像变化的检测，并将检测的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断检测结果是否被传输过，若未被传输，则对存储模块中的检测结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，变化检测客户端定时给无人机管理服务端发送心跳信号，以确认变化检测客户端和无人机管理服务端是否正常连接；
所述目标跟踪客户端包括影像获取模块、目标跟踪模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由G PS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标跟踪模块，经目标跟踪模块进行目标判断，并将判断的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断判断结果是否被传输过，若未被传输，则对存储模块中的判断结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标跟踪客户端定时给无人机管理服务端发送心跳信号，以确认目标跟踪客户端和无人机管理服务端是否正常连接；
所述无人机管理服务端包括Netty文件传输服务模块和无人机管理模块，用于实现心跳检测、断点续传、文件接收、拍照指令传输和自动重连；所述无人机管理模块包括无人机管理、信息管理和拍照管理；所述Netty文件传输服务模块接收到无人机客户端传输的数据后，解码、恢复数据，然后传输至无人机管理模块，无人机管理模块将接收到的结果(识别结果、检测结果和判断结果)与位置信息数据进行信息管理，创建“识别结果文件夹”、“检测结果文件”和“判断结果文件夹”，并将相应的结果和位置信息存储至相应的文件夹；所述Netty文件传输服务模块对无人机客户端发送的心跳进行检测，并反馈当前连接状态，同时，心跳检测结果传输至无人机管理，将客户端的在线信息、以及最后一次心跳交互信息存储至无人机管理；在无人机客户端和无人机管理服务端网络中断又恢复后，所述Netty文件传输服务模块可实现客户端与服务端的自动连接；在传输文件过程中出现网络中断时，所述Netty文件传输服务模块可实现继续传输，无需重新开始传输、只需要继续传输未传输完成的部分即可；无人机管理模块中的拍照管理接收无人机管理前端的“手动拍照”要求后，向Netty文件传输服务模块发送拍照指令，Netty文件传输服务模块将拍照指令转换为Json数据格式，通过心跳传输至影像获取模块，实现手动拍照；
所述无人机管理前端用于实现无人机信息搜索、图片展示和手动拍照控制，，无人机管理前端通过手动拍照按钮向无人机管理模块发送“手动拍照”要求，无人机管理前端通过IP地址搜索感兴趣的客户端，得到该客户端的在线信息、最后一次心跳交互信息、以及结果和位置信息数据，并将该客户端的结果和位置信息数据进行图片展示，展示时，用户将先看到缩略图，通过点击某张图片可以将它放大，观测其结果(识别结果、检测结果或判断结果)和位置信息数据。
进一步地，所述无人机客户端与无人机管理服务端是通过局域网的方式实现通信，具体的，Netty文件传输服务模块与无人机客户端的文件传输模块是通过心跳包保持通信的，无人机管理前端的手动拍照指令也是经无人机管理服务端、通过心跳包实现通信的；所述无人机管理服务端与无人机管理前端是通过http 协议实现通信的。
进一步地，所述无人机客户端设置于无人机上(目标识别客户端设置于无人机1上，变化检测客户端设置于无人机2上，目标跟踪客户端设置于无人机3 上)，所述无人机管理服务端和无人机管理前端设置于地面，所述无人机管理前端可通过IP访问无人机各客户端。
实施例
本实施例中，目标识别客户端中的目标识别模块、存储模块和文件传输模块集成于NVIDIA Jetson TX2开发板1，该设备性能强大，对深度学习处理友好，可以轻松部署本发明的YOLOv4改进算法，自动实现目标识别等一系列数据处理工作；目标识别客户端中的影像获取设备为可自动对焦且分辨率高的CCD摄像头，通过串口通信将获取到的影像传输给开发板1；GPS模块为BeiTian-880 GPS。其中，开发板1挂载在无人机1上；摄像头部署在开发板1上，由串口实现摄像头供电和拍照控制，同时由串口通信将摄像头获取到的影像传输至开发板 1进行识别处理；GPS模块部署在开发板1上，由串口实现供电及信息获取。变化检测客户端中的变化检测模块、存储模块和文件传输模集成于NVIDIA Jetson TX2开发板2上，采用K-Means算法实现变化检测，开发板2挂载于无人机2 上，摄像头和GPS的部署与目标识别客户端完全相同。目标跟踪客户端中的目标跟踪模块、存储模块和文件传输模块集成于NVIDIA Jetson TX2开发板3上，采用异类信息融合的方法实现目标跟踪，开发板3挂载于无人机3上，摄像头和 GPS的部署与目标识别客户端完全相同。本发明的无人机管理服务端可通过局域网管理多台无人机设备(无人机1、无人机2和无人机3)，获取每台设备数据结果信息后，创建“识别结果文件夹”、“检测结果文件”和“判断结果文件夹”，并将相应的结果和位置信息存储至相应的文件夹；同时无人机服务端还负责与无人机管理前端进行交互，将无人机前端的手动“拍照”转成相应指令传输给无人机客户端，实现TX2设备对摄像头的控制。无人机管理服务端是在地面端用性能较高的笔记本电脑进行部署的，可以分为Netty文件传输服务模块和无人机管理模块，Netty文件传输服务模块是基于Netty框架和TCP协议构建，实现了自动重连、断点续传、文件接收、拍照指令传输和心跳检测等功能。
所述的YOLOv4改进算法由以下步骤实现：
(1)获取无人机视觉下的目标对象(如车辆、船舶等)影像，将获取到的影像用标注工具进行标注，得到标注文件和标注图片；
(2)对获取到的标注文件进行anchor boxes聚类，得到新的执行文件；
(3)根据待训练的目标个数对配置文件进行修改，并采用步骤(2)得到的新的执行文件对步骤(1)的标注文件和标注图片进行模型训练，生成权重文件；
(4)采用TensorRT加速推理器对训练后的模型、步骤(2)得到的新的执行文件以及生成的权重文件进行加速推理，得到推理模型和引擎文件；对训练后的模型进行加速推理主要是对训练后的模型进行无用层删减、相似层合并过程；
(5)加载推理模型和引擎文件，进行高速、高精度目标识别。
特别地，本系统中的无人机仅作为一个运载和供电平台，系统所获取到的影像和位置信息都是通过单独组装的摄像头和GPS模块实现，因此，本系统无需对无人机进行过多的关注，飞手仅需要操控遥控器，通过DJI GO App对飞行状态进行关注就可以了。具体过程为：
步骤1：用户根据当地天气情况、飞行环境和识别要求，制定合适的飞行计划，报备空管局审核通过后进行飞行任务。飞手检测无人机状态、打开DJI GO App、打开遥控、开启飞机，开启TX2开发板。而后研究人员保证无人机客户端与无人机管理服务端建立起连接、保证用户可通过IP地址对服务端进行访问；
步骤2：飞手控制无人机起飞，研究人员启动相应程序。此时，若远程用户未手动控制拍照，那么将对摄像头执行自动拍照，即：无人机客户端每隔3秒发出影像获取指令，然后随即调用GPS模块，若GPS信息得以返回，则获取影像，若无GPS信息返回，则报错“GPS未正常启动”；若用户远程控制拍照(手动拍照)，则自动拍照暂时不工作；
步骤3：步骤2中获取到的影像和位置信息将保存在对应目录，而优化后的 YOLOv4目标识别算法将定时扫描对应目录，并将未识别的影像进行实时识别，然后将识别结果对应位置信息保存至另一目录；
步骤4：无人机客户端与Netty文件传输服务端建立通信，将识别后的结果及位置信息编码后通过已建立的局域网传输给服务端，服务端通过IP地址创建文件夹并保存；
步骤5：用户通过IP登录对无人机管理前端进行访问，因为前端已和服务端建立了通信，因此服务端保存的信息可以被前端用户进行访问；
步骤6：飞行任务结束，关闭无人机、遥控和DJI GO App。而用户仍然可以通过IP地址远程访问已获取并保存的数据信息。

Claims (3)

1.一种嵌入式与YOLO4改进算法的无人机实时目标识别系统，其特征在于，所述目标识别系统包括无人机客户端、无人机管理服务端和无人机管理前端；
其中，无人机客户端包括目标识别客户端、变化检测客户端和目标跟踪客户端，目标识别客户端设置于无人机1上，变化检测客户端设置于无人机2上，目标跟踪客户端设置于无人机3上，所述目标识别客户端包括影像获取模块、目标识别模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标识别模块，经目标识别模块进行目标的识别，并将识别的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断识别结果是否被传输过，若未被传输，则对存储模块中的识别结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标识别客户端定时给无人机管理服务端发送心跳信号，以确认目标识别客户端和无人机管理服务端是否正常连接；
所述变化检测客户端包括影像获取模块、变化检测模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至变化检测模块，经变化检测模块进行影像变化的检测，并将检测的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断检测结果是否被传输过，若未被传输，则对存储模块中的检测结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，变化检测客户端定时给无人机管理服务端发送心跳信号，以确认变化检测客户端和无人机管理服务端是否正常连接；
所述目标跟踪客户端包括影像获取模块、目标跟踪模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标跟踪模块，经目标跟踪模块进行目标判断，并将判断的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断判断结果是否被传输过，若未被传输，则对存储模块中的判断结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标跟踪客户端定时给无人机管理服务端发送心跳信号，以确认目标跟踪客户端和无人机管理服务端是否正常连接；
所述无人机管理服务端包括Netty文件传输服务模块和无人机管理模块，所述无人机管理模块包括无人机管理、信息管理和拍照管理；所述Netty文件传输服务模块通过局域网管理无人机1、无人机2和无人机3，获取每台无人机的数据结果信息后，解码、恢复数据，然后传输至无人机管理模块，无人机管理模块将接收到的结果与位置信息数据进行信息管理，创建“识别结果文件夹”、“检测结果文件”和“判断结果文件夹”，并将相应的结果和位置信息存储至相应的文件夹；所述Netty文件传输服务模块对无人机客户端发送的心跳进行检测，并反馈当前连接状态，同时，心跳检测结果传输至无人机管理，将客户端的在线信息、以及最后一次心跳交互信息存储至无人机管理；在无人机客户端和无人机管理服务端网络中断又恢复后，所述Netty文件传输服务模块实现客户端与服务端的自动连接；在传输文件过程中出现网络中断时，所述Netty文件传输服务模块实现继续传输；无人机管理模块中的拍照管理接收无人机管理前端的“手动拍照”要求后，向Netty文件传输服务模块发送拍照指令，Netty文件传输服务模块将拍照指令转换为Json数据格式，通过心跳传输至影像获取模块，实现手动拍照；
所述无人机管理前端用于实现无人机信息搜索、图片展示和手动拍照控制，无人机管理前端通过IP地址搜索感兴趣的客户端，得到该客户端的在线信息、最后一次心跳交互信息、以及结果和位置信息数据，并将该客户端的结果和位置信息数据进行图片展示；
所述的YOLO4改进算法由以下步骤实现：
(1)获取无人机视觉下的目标对象影像，将获取到的影像用标注工具进行标注，得到标注文件和标注图片；
(2)对获取到的标注文件进行anchor boxes聚类，得到新的执行文件；
(3)根据待训练的目标个数对配置文件进行修改，并采用步骤(2)得到的新的执行文件对步骤(1)的标注文件和标注图片进行模型训练，生成权重文件；
(4)采用TensorRT加速推理器对训练后的模型、步骤(2)得到的新的执行文件以及生成的权重文件进行加速推理，得到推理模型和引擎文件；对训练后的模型进行加速推理，加速推理包括无用层删减、相似层合并过程；
(5)加载推理模型和引擎文件，进行目标识别。
2.根据权利要求1所述的嵌入式与YOLO4改进算法的无人机实时目标识别系统，其特征在于，所述无人机客户端与无人机管理服务端通过局域网的方式实现通信；所述无人机管理服务端与无人机管理前端通过http协议实现通信。
3.根据权利要求1所述的嵌入式与YOLO4改进算法的无人机实时目标识别系统，其特征在于，所述无人机客户端设置于无人机上，所述无人机管理服务端和无人机管理前端设置于地面，所述无人机管理前端通过IP访问无人机各客户端。
CN202110573522.0A 2021-05-25 2021-05-25 嵌入式与yolo4改进算法的无人机实时目标识别系统 Active CN113358100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110573522.0A CN113358100B (zh) 2021-05-25 2021-05-25 嵌入式与yolo4改进算法的无人机实时目标识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573522.0A CN113358100B (zh) 2021-05-25 2021-05-25 嵌入式与yolo4改进算法的无人机实时目标识别系统

Publications (2)

Publication Number Publication Date
CN113358100A CN113358100A (zh) 2021-09-07
CN113358100B true CN113358100B (zh) 2022-07-29

Family

ID=77527552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573522.0A Active CN113358100B (zh) 2021-05-25 2021-05-25 嵌入式与yolo4改进算法的无人机实时目标识别系统

Country Status (1)

Country Link
CN (1) CN113358100B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150468B (zh) * 2022-06-28 2024-01-30 西安北斗星导航技术有限公司 一种基于微型导航接收机设计的断点续传系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286351B1 (ko) * 2013-03-07 2013-07-15 건국대학교 산학협력단 Ｒｂａｃ의 보안 개념이 적용된 무인 비행체 제어 시스템 및 방법
WO2015131462A1 (zh) * 2014-03-07 2015-09-11 国家电网公司 一种用于无人机输电线路巡检的集中监控系统及监控方法
CN206833237U (zh) * 2017-06-23 2018-01-02 华润电力湖北有限公司 燃煤电站煤场作业机械安全和煤场环保管理装置
CN109358649A (zh) * 2018-12-14 2019-02-19 电子科技大学 用于航拍的无人机地面站控制管理系统
CN110266803A (zh) * 2019-06-25 2019-09-20 北京工业大学 基于无人机航拍的油气管道监管系统
CN110687930A (zh) * 2019-10-15 2020-01-14 中国航空无线电电子研究所 一种多用户协作规划系统
CN111446990A (zh) * 2020-03-12 2020-07-24 北京大学 一种蜂窝无人机u2x通信模式选择和轨迹设计方法及装置
CN111765924A (zh) * 2020-07-13 2020-10-13 江苏中科智能制造研究院有限公司 一种基于多无人机的大气环境监测方法与系统
CN112541426A (zh) * 2020-12-10 2021-03-23 天津(滨海)人工智能军民融合创新中心 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN112783207A (zh) * 2020-12-31 2021-05-11 哈尔滨工程大学 一种基于多目标粒子群优化的无人机航迹规划方法
CN113750398A (zh) * 2021-09-30 2021-12-07 四川无境众创科技有限公司 一种无人机消防处置系统、方法及可存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203318681U (zh) * 2013-05-29 2013-12-04 南京信息工程大学 一种带球型保护罩的四旋翼无人飞行器
US20180239982A1 (en) * 2014-11-18 2018-08-23 Elwha Llc Satellite with machine vision
CN104503460A (zh) * 2014-12-05 2015-04-08 电子科技大学 一种通用型无人机地面站控制系统
US10228695B2 (en) * 2016-01-20 2019-03-12 Alarm.Com Incorporated Drone control device
CN105867181A (zh) * 2016-04-01 2016-08-17 腾讯科技（深圳）有限公司 无人机的控制方法和装置
KR20180074325A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 복수의 드론을 제어하는 전자 장치 및 방법
CN107911429A (zh) * 2017-11-04 2018-04-13 南京奇蛙智能科技有限公司 一种基于视频的无人机云端在线交通流量监测方法
CN109885099A (zh) * 2017-12-06 2019-06-14 智飞智能装备科技东台有限公司 一种用于无人机跟踪锁定目标的视觉识别系统
CN108234614B (zh) * 2017-12-25 2020-02-18 华南理工大学 一种基于自定义协议及Netty框架的交互方法
US11205274B2 (en) * 2018-04-03 2021-12-21 Altumview Systems Inc. High-performance visual object tracking for embedded vision systems
CN108919831A (zh) * 2018-07-23 2018-11-30 南京奇蛙智能科技有限公司 一种能够实现在浏览器中实时模拟无人机飞行场景的方法
CN108958297A (zh) * 2018-08-03 2018-12-07 南京航空航天大学 一种多无人机协同目标跟踪地面站
CN109213200A (zh) * 2018-11-07 2019-01-15 长光卫星技术有限公司 多无人机协同编队飞行管理系统及方法
KR20200062874A (ko) * 2018-11-27 2020-06-04 울산과학기술원 날개의 각도가 꺾인 6개의 회전날개를 가지는 드론
CN111369760A (zh) * 2018-12-25 2020-07-03 西南科技大学 一种基于无人机的夜间行人安全预警装置及方法
CN109725645B (zh) * 2019-03-29 2019-07-12 中国人民解放军国防科技大学 一种嵌套式无人机着陆合作标志设计及相对位姿获取方法
CN110460366A (zh) * 2019-07-12 2019-11-15 视联动力信息技术股份有限公司 一种无人机数据对接方法、系统、电子设备及存储介质
CN110544293B (zh) * 2019-07-15 2023-04-28 同济大学 一种多无人机视觉协同的建筑场景识别方法
US10904038B1 (en) * 2019-11-21 2021-01-26 Verizon Patent And Licensing Inc. Micro-adapter architecture for cloud native gateway device
CN111259748A (zh) * 2020-01-10 2020-06-09 利卓创新（北京）科技有限公司 一种用于视频监控的边缘计算与通信系统
CN112215074A (zh) * 2020-09-10 2021-01-12 鲁东大学 基于无人机视觉的实时目标识别与检测追踪系统及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286351B1 (ko) * 2013-03-07 2013-07-15 건국대학교 산학협력단 Ｒｂａｃ의 보안 개념이 적용된 무인 비행체 제어 시스템 및 방법
WO2015131462A1 (zh) * 2014-03-07 2015-09-11 国家电网公司 一种用于无人机输电线路巡检的集中监控系统及监控方法
CN206833237U (zh) * 2017-06-23 2018-01-02 华润电力湖北有限公司 燃煤电站煤场作业机械安全和煤场环保管理装置
CN109358649A (zh) * 2018-12-14 2019-02-19 电子科技大学 用于航拍的无人机地面站控制管理系统
CN110266803A (zh) * 2019-06-25 2019-09-20 北京工业大学 基于无人机航拍的油气管道监管系统
CN110687930A (zh) * 2019-10-15 2020-01-14 中国航空无线电电子研究所 一种多用户协作规划系统
CN111446990A (zh) * 2020-03-12 2020-07-24 北京大学 一种蜂窝无人机u2x通信模式选择和轨迹设计方法及装置
CN111765924A (zh) * 2020-07-13 2020-10-13 江苏中科智能制造研究院有限公司 一种基于多无人机的大气环境监测方法与系统
CN112541426A (zh) * 2020-12-10 2021-03-23 天津(滨海)人工智能军民融合创新中心 基于无人机集群协同感知的通信带宽自适应数据处理方法
CN112783207A (zh) * 2020-12-31 2021-05-11 哈尔滨工程大学 一种基于多目标粒子群优化的无人机航迹规划方法
CN113750398A (zh) * 2021-09-30 2021-12-07 四川无境众创科技有限公司 一种无人机消防处置系统、方法及可存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Service Mesh的4G无人机云平台设计与实现;黄攀;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20191201;1-74 *
采用改进YOLOv5网络的遥感图像目标识别方法;林清平 等;《空军预警学院学报》;20210430;第35卷(第2期);117-120 *

Also Published As

Publication number Publication date
CN113358100A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN108762291B (zh) 一种发现和跟踪黑飞无人机遥控者的方法与系统
CN206584232U (zh) 一种无人机系统
CN202150183U (zh) 一种交通管理空中信息采集平台
CN204557510U (zh) 无人机航拍组合装置
CN109510972A (zh) 一种基于物联网的野生动物智能监视方法
CN113358100B (zh) 嵌入式与yolo4改进算法的无人机实时目标识别系统
CN104935637A (zh) 一种车辆年审网络系统及车辆年审方法
CN110033764A (zh) 无人机的语音控制方法、装置、系统及可读存储介质
CN109510971A (zh) 一种基于物联网的野生动物智能观测系统
CN107027005A (zh) 快速寻车辅助系统和方法
CN110313174A (zh) 一种拍摄控制方法、装置及控制设备、拍摄设备
CN109495863A (zh) 交互方法及相关设备
CN108839018A (zh) 一种机器人控制操作方法及装置
CN112068464A (zh) 一种基于主动探测及视觉识别的驱鸟装置及方法
CN108766016A (zh) 一种车位资源管理方法及系统
CN209803842U (zh) 一种光伏板巡检设备
CN105515656A (zh) 一种应用于户外紧急救援的信息传输系统及应用方法
CN116938972A (zh) 一种基于5g通信与机器学习的端云协同农情检测系统
US20240078802A1 (en) System for real-time target identification of unmanned aerial vehicle based on embedded technique and improved yolo4 algorithm
CN215452584U (zh) 一种分布式光伏电站图像采集系统
CN205622768U (zh) 一种小型无人机搜救系统
CN109032187A (zh) 一种无人机路灯的控制方法及系统
CN202602813U (zh) 宠物监控与搜寻装置
CN111627220B (zh) 一种用于车辆检测的无人机与地面协同处理系统
CN211557385U (zh) 一种基于无人机的安防巡更系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant