CN112764433A - 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 - Google Patents
一种基于深度学习的无人机载火箭残骸搜寻装置及方法 Download PDFInfo
- Publication number
- CN112764433A CN112764433A CN202011567907.8A CN202011567907A CN112764433A CN 112764433 A CN112764433 A CN 112764433A CN 202011567907 A CN202011567907 A CN 202011567907A CN 112764433 A CN112764433 A CN 112764433A
- Authority
- CN
- China
- Prior art keywords
- debris
- aerial vehicle
- unmanned aerial
- rocket
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims abstract description 36
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 24
- 230000004913 activation Effects 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000013138 pruning Methods 0.000 claims description 9
- 238000011161 development Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 230000009193 crawling Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000009966 trimming Methods 0.000 claims description 3
- MPPQGYCZBNURDG-UHFFFAOYSA-N 2-propionyl-6-dimethylaminonaphthalene Chemical compound C1=C(N(C)C)C=CC2=CC(C(=O)CC)=CC=C21 MPPQGYCZBNURDG-UHFFFAOYSA-N 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 description 30
- 238000005516 engineering process Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 1
- 235000015842 Hesperis Nutrition 0.000 description 1
- 235000012633 Iberis amara Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004200 deflagration Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 1
- 239000010763 heavy fuel oil Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/12—Target-seeking control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的无人机载火箭残骸搜寻装置，包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接。本发明本装置和方法通过地面站实时监控无人机，工作人员可在地面站上看到识别后的视频图像、火箭残骸的具体位置、无人机的飞行状态。
Description
技术领域
本发明属于人工智能领域，具体涉及一种基于深度学习的无人机载火箭残骸搜寻装置及方法。
背景技术
近年来，随着航空航天技术的日渐成熟，商业火箭发射事业蓬勃发展，商业火箭发射服务行业呈现出持续增长的态势。随着发射任务的逐渐增多，由此产生了大量的火箭残骸掉落地面，火箭残骸，尤其是助推发动机部分，往往附带有毒有害物质，对周围环境、人畜带来了危害，部分火工品和储箱内剩余燃料容易引发火灾、爆燃等风险，需要第一时间进行切割、分解、回收。因此，为了避免人民群众生命财产安全遭受损失，快速搜寻并回收火箭残骸成为发射任务完成后需立即处理的紧迫任务。
目前火箭残骸回收主要有三种技术手段：一种利用可重复使用的火箭助推器，主要是一级部分，分离后在预定地点返回，主要应用于大推力火箭，成本较高，相关技术国内仍不成熟；一种通过在火箭助推器加装舵控及导航系统，指定落点范围，该方法落点精度不高，目前仅能控制在方圆5公里范围内。第三种方法为事后处理，主要利用声学定位、雷达遥测系统，在落区提前建立监测哨点，必要时采用卫星遥感搜索。该方法主要用于发射后第一时间确定落区的大致范围，精度较低。上述几种方法在追求低成本的中低轨商业运载火箭上均难以推广。在广大的山区、沙漠等人烟稀少的地区，当前仍以大规模地面搜寻为主，需要与各层级政府协调，调动大量人员、车辆等资源。随着未来火箭发射任务的大规模增长，开展残骸搜索回收任务面临巨大的人力、成本压力。
发明内容
针对现有技术的缺陷，本发明的目的是使用成本低廉的无人机，配备具有目标检测功能的嵌入式AI芯片，无人机飞行过程中检测地面环境上是否具有火箭残骸并精准定位。
为实现上述目的，本发明技术方案如下：
一种基于深度学习的无人机载火箭残骸搜寻装置，包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；
所述无人机平台，用于搭载光电吊舱(市购)、嵌入式AI自主识别芯片、CPU及导航控制模块；
所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距；
所述嵌入式AI自主识别芯片，包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标；
所述嵌入式AI芯片(3)识别出残骸目标后，通过所述CPU发出指令到光电吊舱，控制云台对准目标中心；
所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息，综合导航控制模块中的无人机实时位置、姿态信息(利用三点测距定位法)解算出目标残骸的具体物理坐标；
所述导航控制模块包括GPS、气压计，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；所述数据链采用MavLink协议、TCP/IP协议；
所述地面监控端，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
进一步地，所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别。YOLOv5基于回归的方式做检测，模型最后输出的是预测框的位置坐标和类别置信度。YOLOv5的网络结构分为四个部分：输入端、主干网络(backbone)、颈部(neck)以及预测端(prediction)。输入端进行了Mosaic数据增强，训练阶段随机使用4张图片，随机缩放、随机裁剪，再随机分布进行拼接，进一步丰富了训练集中图片的多样性。主干网络除了常用的卷积模块(CBL)外还增加了Focus模块、CSP模块和SPP模块。颈部使用了FPN+PAN结构和CSP模块，FPN自顶向上，将高层特征信息通过上采样传递融合，PAN结构是一个自底向上的特征金字塔，两个结构结合使用，对不同特征层进行特征聚合，进一步提高特征提取的能力。预测端使用三个不同尺寸的特征图(19*19、38*38、76*76)进行检测，通过多尺度检测的方式提高了小目标物体的检测精度。在火箭残骸检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。YOLOv5模型实时性高、对小目标有更好的检测精度。
更进一步地，所述火箭残骸检测数据集中的图片有两种来源，第一种是通过爬虫在互联网上爬取火箭残骸图片，第二种是用ProGAN从随机噪声中生成的足以以假乱真的火箭残骸图片。因为火箭残骸数据获取难度较大且数量较少，从互联网上爬取的残骸图片量不足以作为检测集，所以需要通过训练ProGAN生成逼真图片的方式增加火箭残骸图片集的数量，防止在检测模型训练过程中因为残骸样本量不足出现“过拟合”现象，影响检测精度。
具体地，所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来。
更进一步地，所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
本发明还提供一种基于深度学习的无人机载火箭残骸搜寻方法，包括如下步骤：
S1、首先使用爬虫在互联网上爬取一定规模的残骸图片，筛选收集到的原始图片，删掉不符合条件的非残骸图片，并将筛选后的图片进行主体区域裁剪和统一缩放操作；
S2、在步骤S1的残骸图片上训练ProGAN；
S3、用在步骤S2训练好的ProGAN随机生成大量火箭残骸图片；
S4、将步骤S1收集到的残骸图片和步骤S3生成的残骸图片共同构成大规模的火箭残骸图片集，标注每张图片中火箭残骸的位置，得到火箭残骸目标检测数据集；
S5、在步骤S4构建的残骸检测数据集上训练YOLOv5，所述训练过程需要在大算力的深度学习服务器上进行，得到高精度的残骸检测模型；
S6、将步骤S5中得到的高精度的YOLOv5残骸检测模型植入嵌入式FPGA芯片。
更进一步地，所述步骤S5中得到高精度的残骸检测模型对其进行剪枝和压缩操作，去掉冗余参数，得到精简模型。
具体地，对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。
本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明的基于深度学习的无人机载火箭残骸搜寻装置和方法，将无人机和深度学习技术结合，无人机在飞行过程中可实时检测并定位火箭残骸，在沙漠、深山等难以人力搜寻的复杂环境中可正常工作，无人机成本低廉，对起降场地要求低，所需的保障资源较少，搜寻不受地形限制，操作简单实施方便，可有效取代大规模地面式搜寻，减轻了地面搜索人员工作负荷，降低了搜寻风险，提高了搜寻效率，实现了火箭残骸快速精准定位；
2、同卫星、雷达等遥感搜寻方式相比，灵活性高、定位更精准，同大规模地面搜寻相比，无需大量人力及车辆资源；
3、本装置内部有光电吊舱，包括可见光/红外摄像头、云台、激光测距仪三个部分；摄像头采集地面视频，云台用于目标对准，激光测距仪用于测算无人机与目标残骸间的距离；
4、本装置内部装有嵌入式AI自主识别芯片，将训练好的火箭残骸检测网络进行剪枝和压缩操作得到精简的模型，植入嵌入式FPGA开发板，将芯片挂载到无人机上，可实时检测视频图像中的火箭残骸；内部有CPU，可控制云台对准目标，解算目标残骸位置；内部有导航控制模块，可控制无人机飞行，并将无人机自身的姿态、位置信息传给CPU用于残骸位置解算；
5、本装置和方法通过地面站实时监控无人机，工作人员可在地面站上看到识别后的视频图像、火箭残骸的具体位置、无人机的飞行状态。
附图说明
图1为本发明装置的硬件原理图；
图2为本发明中嵌入式AI自主识别芯片的搭建流程图；
图3为本发明系统的实施流程图；
图4为本发明的三点测距目标定位示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。
如图1所示，一种基于深度学习的无人机载火箭残骸搜寻装置，包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；所述无人机平台，用于搭载光电吊舱(市购)，集成嵌入式AI自主识别芯片、CPU及导航控制模块；无人机平台可在不同高度平稳飞行；
所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距，可见光/红外摄像头从高空采集拍摄地面视频与图像传给嵌入式AI识别芯片3，所述光电吊舱收到CPU4指令后将云台对准目标残骸中心，然后使用激光测距仪测出与目标残骸的距离，最后将距离传给CPU4用于解算；
所述嵌入式AI芯片包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标，对每帧图像进行目标检测，在图像中框出火箭残骸的位置，识别出残骸目标后，通过所述CPU发出指令到光电吊舱，控制云台对准目标中心；
所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息，综合导航控制模块中的无人机实时位置、姿态信息(利用三点测距定位法)解算出目标残骸的具体物理坐标；
所述导航控制模块包括GPS、气压计，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；所述数据链采用MavLink协议、TCP/IP协议；
所述地面监控端，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别，在火箭残骸检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。YOLOv5模型实时性高、对小目标有更好的检测精度。具体地，YOLOv5基于回归的方式做检测，模型最后输出的是预测框的位置坐标和类别置信度。YOLOv5的网络结构分为四个部分：输入端、主干网络(backbone)、颈部(neck)以及预测端(prediction)。输入端进行了Mosaic数据增强，训练阶段随机使用4张图片，随机缩放、随机裁剪，再随机分布进行拼接，进一步丰富了训练集中图片的多样性。主干网络除了常用的卷积模块(CBL)外还增加了Focus模块、CSP模块和SPP模块。颈部使用了FPN+PAN结构和CSP模块，FPN自顶向上，将高层特征信息通过上采样传递融合，PAN结构是一个自底向上的特征金字塔，两个结构结合使用，对不同特征层进行特征聚合，进一步提高特征提取的能力。预测端使用三个不同尺寸的特征图(19*19、38*38、76*76)进行检测，通过多尺度检测的方式提高了小目标物体的检测精度。
所述火箭残骸检测数据集中的图片有两种来源，第一种是通过爬虫在互联网上爬取火箭残骸图片，第二种是用ProGAN从随机噪声中生成的足以以假乱真的火箭残骸图片。因为火箭残骸数据获取难度较大且数量较少，从互联网上爬取的残骸图片量不足以作为检测集，所以需要通过训练ProGAN生成逼真图片的方式增加火箭残骸图片集的数量，防止在检测模型训练过程中因为残骸样本量不足出现“过拟合”现象，影响检测精度。
通常目标检测模型的精度依赖于大量的训练数据，如果训练样本数较少容易产生“过拟合”问题。由于火箭残骸图像获取难度较大且数量较少，在构建火箭残骸数据集时不仅需要在互联网上爬取火箭残骸图片，本发明中还采用基于ProGAN(Progressive Growingof GANs)的图像生成技术进行残骸数据增强。ProGAN是一种渐进增长式的生成对抗网络，可通过学习目标图片集的特征以生成“逼真”图片，它由生成器和判别器两部分组成，最初模型只学习4×4的图片生成，该阶段训练好后增加网络结构继续学习8×8的图片生成，这样逐步在每一阶段训练好后继续学习直至生成1024×1024的高清大图。ProGAN训练好后可以一次性生成大量逼真的火箭残骸图片，将这些生成图片与真实残骸图片混合，使用标注工具在图片中框出每个火箭残骸的位置，大量的标注图片和标注文件构成了火箭残骸目标检测数据集。
本发明采用的目标检测模型为YOLOv5，YOLOv5对小目标有更高的检测精度，考虑到无人机在高空视角下拍摄的地面图像中火箭残骸的像素可能很小，所以使用YOLOv5作为目标检测模型。
具体地，所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来，具体解算过程如下：
无人机在飞行过程，通过导航控制模块，可以获取任意时刻飞机自身经纬度和高程，通过坐标转换，可以求得无人机在大地直角坐标系下的坐标。若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标可被求解。三点测距目标定位示意图如图4所示，A、B、C为无人机在空中的三个不同时刻的位置，O代表目标残骸，R1、R2、R3分别为A、B、C与O的距离；
解算过程如下所示：
(1)求取无人机在大地直角坐标系下的坐标：设(B1,L1,H1)，(B2,L2,H2)，(B3,L3,H3)分别为无人机在空中三个不同时刻的大地坐标，通过公式(1)将大地坐标转换为大地直角坐标(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)
其中N代表卯酉圈曲率半径，e代表椭球体第一偏心率，a代表椭球体长半径。
(2)已知A、B、C三点的大地直角坐标，又已知三点与O的距离，可列出如公式(2)所示方程组，求解方程组即能得到O的大地直角坐标(x0，y0，z0)
(3)根据公式(3)将O的大地直角坐标(x0，y0，z0)，转换成大地坐标(B0，L0，H0)，完成位置解算。
所述导航控制模块包括GPS、气压计，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；
所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
如图2所示，本发明还提供一种基于深度学习的无人机载火箭残骸搜寻方法，包括如下步骤：
S1、首先使用爬虫在互联网上爬取一定规模的残骸图片，筛选收集到的原始图片，删掉不符合条件的非残骸图片，并将筛选后的图片进行主体区域裁剪和统一缩放操作；
S2、在步骤S1的残骸图片上训练ProGAN；
S3、用在步骤S2训练好的ProGAN随机生成大量火箭残骸图片；S4、将步骤S1收集到的残骸图片和步骤S3生成的残骸图片共同构成大规模的火箭残骸图片集，标注每张图片中火箭残骸的位置，得到火箭残骸目标检测数据集；用标注工具LabelImage对每张仿真图片进行标注；
S5、在步骤S4构建的残骸检测数据集上训练YOLOv5，所述训练过程需要在大算力的深度学习服务器上进行，得到高精度的残骸检测模型；
所述步骤S5中得到高精度的残骸检测模型对其进行剪枝和压缩操作，去掉冗余参数，得到精简模型。
具体地，对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。S6、将步骤S5中得到的高精度的精简的YOLOv5残骸检测模型植入嵌入式FPGA芯片；
S7、在无人机上装配成本发明的一种基于深度学习的无人机载火箭残骸搜寻装置，无人机起飞到空中，飞行过程中不断采集地面视频，并传给AI识别芯片和地面监控端，AI芯片对每帧图像进行检测，检测是否识别到火箭残骸，如果检测到目标残骸，所述CPU在接收到嵌入式AI芯片识别的目标残骸信息后，发出指令控制光电吊舱中的云台对准残骸中心，激光测距仪测出与目标残骸的距离后将距离信息返回给CPU，CPU4综合导航控制模块中的无人机实时姿态和位置信息解算得到火箭残骸的准确物理位置，CPU将解算出的火箭残骸物理位置传给AI芯片，AI芯片将残骸位置信息叠加到图像数据上，打包后通过数据链下传至地面监控端。
如图3所示，使用本发明的装置和方法进行火箭残骸搜寻的具体实施流程如下：
1.首先将无人机和地面站开机并进行信息装订；
2.释放无人机，控制无人机在大致落点区域内平稳飞行；
3.飞行过程中不断采集地面视频，并传给AI识别芯片和地面监控端，地面人员始终通过地面监控端监测无人机；
4.AI芯片对每帧图像进行检测，是否识别到火箭残骸；
5.若未识别到火箭残骸，无人机继续平稳飞行，返回步骤3；
6.若识别到火箭残骸，将云台对准目标残骸的中心；
7.对检测到的残骸使用激光测距得到无人机与残骸的距离；
8.综合无人机自身姿态、位置信息与步骤7得到的距离信息解算出残骸的物理位置；
9.AI芯片将解算出的火箭残骸物理位置叠加到图像数据上，打包成图像数据帧，下传至地面监控端；
10.地面人员得到残骸具体位置后派出回收队进行精准回收。
Claims (8)
1.一种基于深度学习的无人机载火箭残骸搜寻装置，其特征在于包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；
所述无人机平台，用于搭载光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块；
所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距；
所述嵌入式AI自主识别芯片，包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标；
所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息、无人机实时位置、姿态信息解算出目标残骸的具体物理坐标；
所述导航控制模块，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；
所述地面监控端，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
2.根据权利要求1所述的无人机载火箭残骸搜寻装置，其特征在于所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别，在火箭残骸检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。
3.根据权利要求2所述的无人机载火箭残骸搜寻装置，其特征在于所述火箭残骸检测数据集中的图片有两种来源，第一种是通过爬虫在互联网上爬取火箭残骸图片，第二种是用ProGAN从随机噪声中生成的足以以假乱真的火箭残骸图片。
4.根据权利要求3所述的无人机载火箭残骸搜寻装置，其特征在于所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来。
5.根据权利要求1-4任一项所述的无人机载火箭残骸搜寻装置，其特征在于所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
6.一种基于深度学习的无人机载火箭残骸搜寻方法，其特征在于包括如下步骤：
S1、首先使用爬虫在互联网上爬取一定规模的残骸图片，筛选收集到的原始图片，删掉不符合条件的非残骸图片，并将筛选后的图片进行主体区域裁剪和统一缩放操作；
S2、在步骤S1的残骸图片上训练ProGAN；
S3、用在步骤S2训练好的ProGAN随机生成大量火箭残骸图片；
S4、将步骤S1收集到的残骸图片和步骤S3生成的残骸图片共同构成大规模的火箭残骸图片集，标注每张图片中火箭残骸的位置，得到火箭残骸目标检测数据集；
S5、在步骤S4构建的残骸检测数据集上训练YOLOv5，所述训练过程需要在大算力的深度学习服务器上进行，得到高精度的残骸检测模型；
S6、将步骤S5中得到的高精度的YOLOv5残骸检测模型植入嵌入式FPGA芯片。
7.根据权利要求6所述的无人机载火箭残骸搜寻方法，其特征在于所述步骤S5中得到高精度的残骸检测模型对其进行剪枝和压缩操作，去掉冗余参数，得到精简模型。
8.根据权利要求7所述的无人机载火箭残骸搜寻方法，其特征在于所述剪枝和压缩操作的具体方法为：对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011567907.8A CN112764433A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011567907.8A CN112764433A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112764433A true CN112764433A (zh) | 2021-05-07 |
Family
ID=75695724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011567907.8A Pending CN112764433A (zh) | 2020-12-25 | 2020-12-25 | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112764433A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298130A (zh) * | 2021-05-14 | 2021-08-24 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
| CN113325867A (zh) * | 2021-05-21 | 2021-08-31 | 华中科技大学 | 一种无人航行器搜寻的路径规划方法、装置和无人航行器 |
| CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊系统及其工作方法 |
| CN114384940A (zh) * | 2022-03-25 | 2022-04-22 | 北京航天晨信科技有限责任公司 | 一种应用于民用无人机的嵌入式识别模型获得方法和系统 |
| CN114397913A (zh) * | 2021-12-15 | 2022-04-26 | 中国人民解放军军事科学院国防科技创新研究院 | 一种火箭残骸搜寻定位系统及方法 |
| CN114564049A (zh) * | 2022-03-21 | 2022-05-31 | 厦门大学 | 一种基于深度学习的无人机广域搜索的装置及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760855A (zh) * | 2016-03-15 | 2016-07-13 | 中国民航大学 | 一种多源光电信息融合飞机残骸识别系统 |
| CN205450787U (zh) * | 2016-03-31 | 2016-08-10 | 西安东锐航空科技有限公司 | 一种北斗导引多功能便携式无人机野战搜救系统 |
| CN109774940A (zh) * | 2019-01-23 | 2019-05-21 | 西安深瞳智控技术有限公司 | 一种察打无人机的一体化综合航电系统 |
| CN110097187A (zh) * | 2019-04-29 | 2019-08-06 | 河海大学 | 一种基于激活-熵权重剪枝的cnn模型压缩方法 |
| CN110543800A (zh) * | 2018-05-29 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
| CN110569379A (zh) * | 2019-08-05 | 2019-12-13 | 广州市巴图鲁信息科技有限公司 | 一种汽车配件图片数据集制作方法 |
| CN111597983A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于深度卷积神经网络实现生成式虚假人脸图像鉴定的方法 |
-
2020
- 2020-12-25 CN CN202011567907.8A patent/CN112764433A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760855A (zh) * | 2016-03-15 | 2016-07-13 | 中国民航大学 | 一种多源光电信息融合飞机残骸识别系统 |
| CN205450787U (zh) * | 2016-03-31 | 2016-08-10 | 西安东锐航空科技有限公司 | 一种北斗导引多功能便携式无人机野战搜救系统 |
| CN110543800A (zh) * | 2018-05-29 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
| CN109774940A (zh) * | 2019-01-23 | 2019-05-21 | 西安深瞳智控技术有限公司 | 一种察打无人机的一体化综合航电系统 |
| CN110097187A (zh) * | 2019-04-29 | 2019-08-06 | 河海大学 | 一种基于激活-熵权重剪枝的cnn模型压缩方法 |
| CN110569379A (zh) * | 2019-08-05 | 2019-12-13 | 广州市巴图鲁信息科技有限公司 | 一种汽车配件图片数据集制作方法 |
| CN111597983A (zh) * | 2020-05-14 | 2020-08-28 | 公安部第三研究所 | 基于深度卷积神经网络实现生成式虚假人脸图像鉴定的方法 |
Non-Patent Citations (8)
| Title |
|---|
| 亚历山大·V.涅贝洛夫, 中国宇航出版社 * |
| 刘晓勘: "《首都科学讲堂报告集 非常问 超级答 下》", 31 July 2017 * |
| 姚巍巍; 张洁: "基于模型剪枝和半精度加速改进YOLOv3-tiny算法的实时司机违章行为检测", 《计算机系统应用》 * |
| 孙其功: "《深度神经网络FPGA设计与实现》", 31 October 2020 * |
| 林旻序; 乔彦峰; 戴明; 宋悦铭: "单载荷航空吊舱目标定位方法研究", 《红外技术》 * |
| 武玉伟: "《深度学习基础与应用》", 30 November 2020 * |
| 石风; 朱有德: "一种无人机载光电吊舱目标定位方法", 《计算机与数字工程》 * |
| 陈丹琪; 金国栋; 谭立宁; 芦利斌; 卫文乐: "无人机载光电平台目标定位方法综述", 《飞航导弹》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298130A (zh) * | 2021-05-14 | 2021-08-24 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 目标图像的检测、目标对象检测模型的生成方法 |
| CN113325867A (zh) * | 2021-05-21 | 2021-08-31 | 华中科技大学 | 一种无人航行器搜寻的路径规划方法、装置和无人航行器 |
| CN114115359A (zh) * | 2021-10-26 | 2022-03-01 | 南京邮电大学 | 一种无人机山区寻羊系统及其工作方法 |
| CN114397913A (zh) * | 2021-12-15 | 2022-04-26 | 中国人民解放军军事科学院国防科技创新研究院 | 一种火箭残骸搜寻定位系统及方法 |
| CN114397913B (zh) * | 2021-12-15 | 2023-12-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种火箭残骸搜寻定位系统及方法 |
| CN114564049A (zh) * | 2022-03-21 | 2022-05-31 | 厦门大学 | 一种基于深度学习的无人机广域搜索的装置及方法 |
| CN114384940A (zh) * | 2022-03-25 | 2022-04-22 | 北京航天晨信科技有限责任公司 | 一种应用于民用无人机的嵌入式识别模型获得方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112764433A (zh) | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 | |
| Giordan et al. | The use of remotely piloted aircraft systems (RPASs) for natural hazards monitoring and management | |
| Qi et al. | Search and rescue rotary‐wing uav and its application to the lushan ms 7.0 earthquake | |
| Doherty et al. | A UAV search and rescue scenario with human body detection and geolocalization | |
| CN110673628B (zh) | 一种复合翼无人机油气管线巡检方法 | |
| US20130318214A1 (en) | Data transfer system and method thereof | |
| WO2003096701A1 (en) | System and method of simulated image reconstruction | |
| Huang et al. | A method for using unmanned aerial vehicles for emergency investigation of single geo-hazards and sample applications of this method | |
| Wich et al. | Conservation drones | |
| CN110647170A (zh) | 一种基于无人机的航标巡检装置与方法 | |
| CN111526478B (zh) | 一种山地景区复杂地形无人机协同搜救系统及其装置 | |
| CN114564049B (zh) | 一种基于深度学习的无人机广域搜索的装置及方法 | |
| Rana et al. | Unmanned aerial vehicles (UAVs): An emerging technology for logistics | |
| CN210835732U (zh) | 一种基于无人机的航标巡检装置 | |
| Zhang et al. | Forest fire detection solution based on UAV aerial data | |
| Dong et al. | Real-time survivor detection in UAV thermal imagery based on deep learning | |
| Daftry et al. | Lunarnav: Crater-based localization for long-range autonomous lunar rover navigation | |
| Hossain | A short review of the drone technology | |
| Kerle et al. | UAV-based structural damage mapping–Results from 6 years of research in two European projects | |
| Figueira et al. | MISSION-ORIENTED SENSOR ARRAYS AND UAVs–A CASE STUDY ON ENVIRONMENTAL MONITORING | |
| Steinhäusler et al. | Detection of victims with UAVs during wide area Search and Rescue operations | |
| Tsai et al. | The development of a direct georeferencing ready UAV based photogrammetry platform | |
| JP7423669B2 (ja) | 地空管理システム | |
| CN112859907A (zh) | 少样本条件下基于三维特效仿真的火箭残骸高空检测方法 | |
| Bertolino et al. | Advanced robot 3d simulation interface for disaster management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210507 |
|
| RJ01 | Rejection of invention patent application after publication |