CN112859907A - 少样本条件下基于三维特效仿真的火箭残骸高空检测方法 - Google Patents
少样本条件下基于三维特效仿真的火箭残骸高空检测方法 Download PDFInfo
- Publication number
- CN112859907A CN112859907A CN202011567899.7A CN202011567899A CN112859907A CN 112859907 A CN112859907 A CN 112859907A CN 202011567899 A CN202011567899 A CN 202011567899A CN 112859907 A CN112859907 A CN 112859907A
- Authority
- CN
- China
- Prior art keywords
- debris
- rocket
- aerial vehicle
- unmanned aerial
- rocket debris
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 109
- 238000004088 simulation Methods 0.000 title claims abstract description 34
- 230000000694 effects Effects 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000002372 labelling Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 10
- 238000012544 monitoring process Methods 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 23
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 238000003786 synthesis reaction Methods 0.000 claims description 22
- 238000011161 development Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013138 pruning Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000009966 trimming Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 description 32
- 230000009466 transformation Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及少样本条件下基于三维特效仿真的火箭残骸高空检测方法，如下步骤：S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎Unreal Engine(UE)建立一套火箭残骸三维场景模拟图像生成系统；S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，所有图片和标注文件构成了火箭残骸目标检测数据集；S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One‑Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；S4、压缩裁剪残骸检测模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上。本发明的方法极大丰富了火箭残骸目标检测数据集，将无人机和深度学习技术结合,实现了火箭残骸快速精准定位。
Description
技术领域
本发明属于人工智能领域，具体涉及少样本条件下基于三维特效仿真的火箭残骸高空检测方法及装置。
背景技术
残骸目标检测是火箭残骸回收任务中的关键技术之一，无人机在高空飞行过程中实时检测出地面上的火箭残骸后可进行精准回收，快捷高效、无需人力大规模地面搜寻。数据增强是目标检测领域内的一个重要研究方向，因为现阶段先进的目标检测模型如Faster-RCNN、YOLO系列、SSD等都基于深度学习和卷积神经网络实现，其检测精度和效果非常依赖大规模的训练集，所以当训练数据不足时需要使用数据增强的方法扩大数据规模。常规的数据增强方法是对原始图片进行多种仿射变换或简单的图像处理，包括几何、光照变换、添加噪声扰动等，每种变换都能得到一张新图片，以此增加训练集的规模。
在火箭残骸目标检测领域，火箭残骸图片极难获取，目前没有相关研究机构针对其构建专门的视觉知识库，少量实际拍摄的图片多为近距离地面拍摄视角，难以应用于高空视角模型的训练。常规的数据增强方法产生的数据量有限，训练样本库的丰富度/代表度仍旧不足，目标检测模型对火箭残骸的识别效果依然欠佳，所以需要一种更有效的数据增强方法扩大火箭残骸数据集的规模，提升残骸目标检测模型的效果。
发明内容
针对上述背景中火箭残骸数据集样本少，残骸目标检测效果差的问题，本发明提出一种少样本条件下基于三维特效仿真的火箭残骸高空检测方法和装置。
为实现上述目的，本发明技术方案如下：
少样本条件下基于三维特效仿真的火箭残骸高空检测方法，包括如下步骤：
S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎UnrealEngine(UE)建立一套火箭残骸三维场景模拟图像生成系统，该系统使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；UnrealEngine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；
S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，用标注工具LabelImage在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集；
S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；
S4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上。
S5、使用步骤S4中的所述无人机作为飞行平台，利用所述嵌入式AI自主识别芯片在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU或在地面端解算残骸位置传回地面端。
进一步地，所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤实现过程分为三个阶段：三维建模、UE优化、视角转换。
进一步地，所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“三维模型+实景合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤三个阶段：三维建模、引入实景图片UE优化、真实的无人机视角转换。
更进一步地，所述步骤S4对所述残骸检测模型进行压缩裁剪的具体方法是对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。
本发明还提供了少样本条件下基于三维特效仿真的火箭残骸高空检测装置，包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；
所述无人机平台，用于搭载光电吊舱(市购)、嵌入式AI自主识别芯片、CPU、导航控制模块；
所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距；
所述嵌入式AI自主识别芯片，包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标；
所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息、无人机实时位置、姿态信息(利用三点测距定位法)解算出目标残骸的具体物理坐标；
所述导航控制模块，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；所述数据链采用MavLink协议、TCP/IP协议；
所述地面监控端，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
进一步地，所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别，在火箭残骸目标检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩(即裁剪和压缩)操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。YOLOv5模型实时性高、对小目标有更好的检测精度。
更进一步地，所述火箭残骸目标检测数据集是基于开源的虚幻引擎UnrealEngine建立一套火箭残骸三维场景模拟图像生成系统，该系统使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；Unreal Engine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景。
具体地，所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来。
更进一步地，所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
1、本发明的少样本条件下基于三维特效仿真的火箭残骸高空检测方法，建立一套基于Unreal Engine的火箭残骸三维场景模拟图像生成系统，该系统可用两种方式生成不同背景、不同视角下的火箭残骸图片，更有效的数据增强方法扩大火箭残骸数据集的规模，提升残骸目标检测模型的效果；具体使用“全三维合成”和“三维模型+实景合成”两种方式生成火箭残骸图片；尤其使用三维模型+实景合成的方式生成火箭残骸图片，利用前期使用无人机拍摄了大量真实视频，积累了大量真实飞行视景数据，每一帧视频均包含同步的地理坐标信息、飞行姿态信息、高程信息等，将三维模型进行缩比和仿射/投影变换，嵌入实景图像数据中，得到无人机高空视角下的火箭残骸图片，极大丰富了火箭残骸目标检测数据集；
2、将无人机和深度学习技术结合，无人机在飞行过程中可实时检测并定位火箭残骸，在沙漠、深山等难以人力搜寻的复杂环境中可正常工作，无人机成本低廉，对起降场地要求低，所需的保障资源较少，搜寻不受地形限制，操作简单实施方便，可有效取代大规模地面式搜寻，减轻了地面搜索人员工作负荷，降低了搜寻风险，提高了搜寻效率，实现了火箭残骸快速精准定位；
3、本发明同卫星、雷达等遥感搜寻方式相比，灵活性高、定位更精准，同大规模地面搜寻相比，无需大量人力及车辆资源；
本装置内部有光电吊舱，包括可见光/红外摄像头、云台、激光测距仪三个部分；摄像头采集地面视频，云台用于目标对准，激光测距仪用于测算无人机与目标残骸间的距离；
4、本装置内部装有嵌入式AI自主识别芯片，将训练好的火箭残骸检测网络进行剪枝和压缩操作得到精简的模型，植入嵌入式FPGA开发板，将芯片挂载到无人机上，可实时检测视频图像中的火箭残骸；内部有CPU，可控制云台对准目标，解算目标残骸位置；内部有导航控制模块，可控制无人机飞行，并将无人机自身的姿态、位置信息传给CPU用于残骸位置解算；
5、本装置和方法通过地面站实时监控无人机，工作人员可在地面站上看到识别后的视频图像、火箭残骸的具体位置、无人机的飞行状态。
附图说明
图1为本发明的方法的具体步骤图；
图2为基于UE的火箭残骸图片；
图3a、3b为本发明中使用三维特效仿真系统最终生成的火箭残骸图片；
图4为本发明火箭残骸搜寻装置的硬件原理图；
图5为本发明的三点测距目标定位示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。
如图1所示，本发明提供少样本条件下基于三维特效仿真的火箭残骸高空检测方法，包括如下步骤：
S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎UnrealEngine建立一套火箭残骸三维场景模拟图像生成系统，使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片，Unreal Engine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；
所述步骤S1中的基于UE的火箭残骸三维场景模拟图像生成软件，使用“全三维合成”方式生成不同背景、不同高空视角下的火箭残骸图片，具体实现过程分为三个阶段：三维建模、UE优化、视角转换。如图2所示，三维建模时首先利用常用的三维建模软件(如Creo、Skechup等)对火箭残骸建模，国产“快舟”、美国“猎鹰”等型号其火箭外壳、形状等均为公开数据，利用公开数据可建模多种型号的火箭残骸，以FBX格式导出模型文件。UE优化阶段首先将上一阶段得到的FBX格式的火箭残骸模型导入UE，为了让模型更加真实，针对火箭模型的材质，登录专业的网站搜索下载合适的材质贴图，将贴图导入图像编辑软件(如Photoshop)，对材质贴图进行文理编辑和高光处理，将处理好的材质贴图导入UE中覆盖在火箭模型上，并结合UE中材质节点编辑功能，设置材质的部分基础属性(如粗糙度、金属值)，得到逼真的火箭残骸模型；然后对残骸落区背景进行建模，落区场景由UE本身具有的地形绘制控件进行建立，选取山林、沙漠、草地等常见落区场景。为使落区背景更加真实，在背景中添加光照、风力等动态效果，在UE中设置光照的强度、角度、RGB占比等参数，呈现多样的光源效果；设置风力紊乱值、风速、风向等参数，呈现动态的风力效果。将火箭残骸模型经过仿射/投影变换，放置在落区背景中。最后利用UE中自带的切换视角功能对火箭残骸仿真场景进行多视角展示，输出多角度下的火箭残骸图片。
所述步骤S1中的火箭残骸三维场景模拟图像生成系统，该系统使用“三维模型+实景合成”方式生成不同背景、不同高空视角下的火箭残骸图片，前期使用无人机拍摄了大量真实视频，积累了大量真实飞行视景数据，得到了现实世界中的山林、沙漠等场景图片以及真实的无人机视角数据。“三维建模+实景合成”的步骤和第一种方法类似，区别在于UE优化阶段，落区背景不再是由UE自带的地形绘制控件建立，而是引入实景图片；并且视角转换阶段按照真实的无人机视角设置摄像头角度参数，输出与无人机飞行时同一高空视角下的火箭残骸图片。最终该系统生成的多角度火箭残骸图片如图所示。
S2、构成火箭残骸目标检测数据集，对所述S1得到的仿真残骸图片进行标注，(用标注工具LabelImage)在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集，适用于无人机高空检测；
S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型，专用于无人机高空视角下的火箭残骸目标检测模型；训练调参过程只能在高性能GPU/TPU服务器上完成。考虑到无人机在高空视角下拍摄的地面图像中火箭残骸的像素可能很小，所以使用的目标检测模型需要对小目标物体有较好的检测效果。YOLOv5通过输入端Mosaic数据增强和预测端多尺度检测等方式提高了小目标物体的检测精度。因为训练集使用的是本发明自主构建的高空视角下火箭残骸检测数据集，所以得到的YOLOv5模型适用于无人机在飞行过程对地面环境进行检测。
S4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载嵌入式AI自主识别芯片上；
所述步骤S4对所述残骸检测模型进行压缩裁剪的具体方法是：对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余；
S5、使用步骤S4中的所述无人机作为飞行平台，利用所述嵌入式AI自主识别芯片在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU上解算残骸具体位置并传给地面端。
如图4所示，本发明还提供少样本条件下基于三维特效仿真的火箭残骸高空检测装置，包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；
所述无人机平台，用于搭载光电吊舱(市购)，集成嵌入式AI自主识别芯片、CPU及导航控制模块；无人机平台可在不同高度平稳飞行；
所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距，可见光/红外摄像头从高空采集拍摄地面视频与图像传给嵌入式AI识别芯片3，所述光电吊舱收到CPU4指令后将云台对准目标残骸中心，然后使用激光测距仪测出与目标残骸的距离，最后将距离传给CPU4用于解算；
所述嵌入式AI芯片包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标，对每帧图像进行目标检测，在图像中框出火箭残骸的位置，识别出残骸目标后，通过所述CPU发出指令到光电吊舱，控制云台对准目标中心；
所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息，综合导航控制模块中的无人机实时位置、姿态信息(利用三点测距定位法)解算出目标残骸的具体物理坐标；
所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别，在火箭残骸检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。YOLOv5模型实时性高、对小目标有更好的检测精度。
所述火箭残骸检测数据集中的图片使用基于Unreal Engine的火箭残骸三维场景模拟图像生成系统来生成，所述系统可用两种方式“全三维合成”、“三维建模+实景合成”生成不同背景、不同视角下的火箭残骸图片，利用网络上公开的火箭型号数据，该系统能够生成多种型号的火箭残骸图片(包括国内典型的“快舟”、“长征”全系产品，以及国外应用较广泛的“猎鹰”、“联盟号”系列)使用标注工具LabelImage在图片中框出每个火箭残骸的位置，大量的标注图片和标注文件构成了火箭残骸目标检测数据集。
本发明采用的目标检测模型为YOLOv5，YOLOv5对小目标有更高的检测精度，考虑到无人机在高空视角下拍摄的地面图像中火箭残骸的像素可能很小，所以使用YOLOv5作为目标检测模型。
具体地，所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来，具体解算过程如下：
无人机在飞行过程，通过导航控制模块，可以获取任意时刻飞机自身经纬度和高程，通过坐标转换，可以求得无人机在大地直角坐标系下的坐标。若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标可被求解。三点测距目标定位示意图如图5所示，A、B、C为无人机在空中的三个不同时刻的位置，O代表目标残骸，R1、R2、R3分别为A、B、C与O的距离；
解算过程如下所示：
(1)求取无人机在大地直角坐标系下的坐标：设(B1,L1,H1)，(B2,L2,H2)，(B3,L3,H3)分别为无人机在空中三个不同时刻的大地坐标，通过公式(1)将大地坐标转换为大地直角坐标(x1,y1,z1)，(x2,y2,z2)，(x3,y3,z3)
其中N代表卯酉圈曲率半径，e代表椭球体第一偏心率，a代表椭球体长半径。
(2)已知A、B、C三点的大地直角坐标，又已知三点与O的距离，可列出如公式(2)所示方程组，求解方程组即能得到O的大地直角坐标(x0，y0，z0)
(3)根据公式(3)将O的大地直角坐标(x0，y0，z0)，转换成大地坐标(B0，L0，H0)，完成位置解算。
所述导航控制模块包括GPS、气压计，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；所述数据链采用MavLink协议、TCP/IP协议；
所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
总之，在无人机上装配成本发明的少样本条件下基于三维特效仿真的火箭残骸高空检测装置，无人机起飞到空中，飞行过程中不断采集地面视频，并传给AI识别芯片和地面监控端，AI芯片对每帧图像进行检测，检测是否识别到火箭残骸，如果检测到目标残骸，所述CPU在接收到嵌入式AI芯片识别的目标残骸信息后，发出指令控制光电吊舱中的云台对准残骸中心，激光测距仪测出与目标残骸的距离后将距离信息返回给CPU，CPU4综合导航控制模块中的无人机实时姿态和位置信息解算得到火箭残骸的准确物理位置，CPU将解算出的火箭残骸物理位置传给AI芯片，AI芯片将残骸位置信息叠加到图像数据上，打包后通过数据链下传至地面监控端。
使用本发明的方法和装置进行火箭残骸搜寻的具体实施流程如下：
1.首先将无人机和地面站开机并进行信息装订；
2.释放无人机，控制无人机在大致落点区域内平稳飞行；
3.飞行过程中不断采集地面视频，并传给AI识别芯片和地面监控端，地面人员始终通过地面监控端监测无人机；
4.AI芯片对每帧图像进行检测，是否识别到火箭残骸；
5.若未识别到火箭残骸，无人机继续平稳飞行，返回步骤3；
6.若识别到火箭残骸，将云台对准目标残骸的中心；
7.对检测到的残骸使用激光测距得到无人机与残骸的距离；
8.综合无人机自身姿态、位置信息与步骤7得到的距离信息解算出残骸的物理位置；
9.AI芯片将解算出的火箭残骸物理位置叠加到图像数据上，打包成图像数据帧，下传至地面监控端；
10.地面人员得到残骸具体位置后派出回收队进行精准回收。
Claims (10)
1.少样本条件下基于三维特效仿真的火箭残骸高空检测方法，其特征在于包括如下步骤：
S1、基于三维特效仿真进行数据增强，具体方法是基于开源的虚幻引擎Unreal Engine建立一套火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；Unreal Engine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景；
S2、构成火箭残骸目标检测数据集，对所述残骸图片进行标注，用标注工具LabelImage在每帧图片上标注火箭残骸的区域及类别，每帧图片都有一个对应的标注文件，所有图片和标注文件构成了火箭残骸目标检测数据集；
S3、生成残骸检测模型，对所述火箭残骸目标检测数据集选用最新的One-Stage端到端目标检测算法YOLOv5进行训练，生成残骸检测模型；
S4、压缩裁剪残骸检测模型，对所述残骸检测模型进行压缩裁剪得到轻量化的精简模型，植入到资源受限的无人机载芯片上；
S5、使用无人机作为飞行平台，在飞行过程中实时检测地面环境中是否存在火箭残骸并在机载CPU或在地面端解算残骸具体位置。
2.根据权利要求1所述的火箭残骸高空检测方法，其特征在于所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤实现过程分为三个阶段：三维建模、UE优化、视角转换。
3.根据权利要求1所述的火箭残骸高空检测方法，其特征在于所述步骤S1中的火箭残骸三维场景模拟图像生成软件，该软件使用“三维模型+实景合成”方式生成不同背景、不同高空视角下的火箭残骸图片的具体方法步骤三个阶段：三维建模、引入实景图片UE优化、真实的无人机视角转换。
4.根据权利要求1-3中任一项所述的火箭残骸高空检测方法，其特征在于所述步骤S4对所述残骸检测模型进行压缩裁剪的具体方法是对训练好的残骸检测模型进行逐层剪枝，检测模型的每一层中有都大量的卷积核，通过计算权重绝对值的和来衡量卷积核的相对重要性，与该层中其他卷积核相比，权重绝对值和越小表示该卷积核越不重要，设定一个阈值，小于该阈值的卷积核可视为冗余参数；或者根据卷积神经元激活值来修剪冗余神经元，每个卷积核在卷积计算后都会进入激活层，激活值越小表示该神经元对模型的影响越小，设定一个阈值，激活值小于阈值的卷积神经元被视为冗余。
5.少样本条件下基于三维特效仿真的火箭残骸高空检测装置，其特征在于包括无人机平台、光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块、数据链、地面监控端，所述光电吊舱和CPU之间电连接进行数据交互，所述光电吊舱传输数据给所述嵌入式AI自主识别芯片两者之间电连接，所述嵌入式AI自主识别芯片和CPU之间电连接进行数据交互，所述导航控制模块传输数据给所述CPU两者之间电连接，
所述数据链通讯连接所述CPU和所述地面监控端；所述数据链还通讯连接所述嵌入式AI自主识别芯片和所述地面监控端；所述数据链还通讯连接所述导航控制模块和所述地面监控端；
所述无人机平台，用于搭载光电吊舱、嵌入式AI自主识别芯片、CPU、导航控制模块；
所述光电吊舱包括可见光/红外摄像头、云台、激光测距仪，用于实现采集地面视频、目标对准、激光测距；
所述嵌入式AI自主识别芯片，包括嵌入式FPGA开发板和目标检测算法模型软件，用于实时检测视频图像中的火箭残骸目标；
所述CPU用于控制云台对准目标残骸中心，并根据激光测距得到的残骸距离信息、无人机实时位置、姿态信息解算出目标残骸的具体物理坐标；
所述导航控制模块，用于控制无人机的飞行，将无人机的实时位置、姿态、高度信息传给CPU；
所述数据链，将视频图像数据与目标残骸的具体物理坐标信息下传至地面监控端；
所述地面监控端，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
6.根据权利要求5所述的火箭残骸高空检测装置，其特征在于所述目标检测算法模型软件采用One-Stage目标检测模型YOLOv5，用于火箭残骸目标检测和识别，在火箭残骸目标检测数据集上进行训练，并将训练好的目标检测模型YOLOv5进行剪枝和压缩操作，得到轻量化的精简模型后植入嵌入式FPGA开发板中。
7.根据权利要求5或6所述的火箭残骸高空检测装置，其特征在于所述火箭残骸目标检测数据集是基于开源的虚幻引擎Unreal Engine建立一套火箭残骸三维场景模拟图像生成软件，该软件使用“全三维合成”和“三维模型+实景合成”两种方式生成不同背景、不同高空视角下的火箭残骸图片；Unreal Engine是一款流行的游戏开发引擎，在其上进行二次开发可以制作出逼真的三维场景。
8.根据权利要求5或6所述的火箭残骸高空检测装置，其特征在于所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来。
9.根据权利要求7所述的火箭残骸高空检测装置，其特征在于所述CPU解算出目标残骸的具体物理坐标的方法为三点测距定位法，通过导航控制模块，获取任意时刻飞机自身经纬度和高程，通过坐标转换，求得无人机在大地直角坐标系下的坐标；若无人机对同一目标点进行三次激光测距，根据无人机与目标之间的距离建立方程组，解算方程组，目标残骸的大地坐标被求解出来。
10.根据权利要求5所述的火箭残骸高空检测装置，其特征在于所述地面监控端包括运载车和地面站，所述地面站放置于运载车中，用于监控无人机的状态，接收无人机传回的火箭残骸信息，对火箭残骸目标识别效果和准确性进行实时评估。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011567899.7A CN112859907A (zh) | 2020-12-25 | 2020-12-25 | 少样本条件下基于三维特效仿真的火箭残骸高空检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011567899.7A CN112859907A (zh) | 2020-12-25 | 2020-12-25 | 少样本条件下基于三维特效仿真的火箭残骸高空检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112859907A true CN112859907A (zh) | 2021-05-28 |
Family
ID=75997174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011567899.7A Pending CN112859907A (zh) | 2020-12-25 | 2020-12-25 | 少样本条件下基于三维特效仿真的火箭残骸高空检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112859907A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114623727A (zh) * | 2022-03-14 | 2022-06-14 | 北京理工大学 | 一种激光成像近程探测目标识别方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104360362A (zh) * | 2014-05-20 | 2015-02-18 | 天津航天中为数据系统科技有限公司 | 利用飞行器对观测目标进行定位的方法及系统 |
| CN104615987A (zh) * | 2015-02-02 | 2015-05-13 | 北京航空航天大学 | 一种基于误差反传神经网络的飞机残骸智能识别方法及系统 |
| CN105698762A (zh) * | 2016-01-15 | 2016-06-22 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
| CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
| CN109190674A (zh) * | 2018-08-03 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 训练数据的生成方法及装置 |
| CN109492522A (zh) * | 2018-09-17 | 2019-03-19 | 中国科学院自动化研究所 | 特定目标检测模型训练程序、设备及计算机可读存储介质 |
| CN109815844A (zh) * | 2018-12-29 | 2019-05-28 | 西安天和防务技术股份有限公司 | 目标检测方法及装置、电子设备和存储介质 |
| US20190228571A1 (en) * | 2016-06-28 | 2019-07-25 | Cognata Ltd. | Realistic 3d virtual world creation and simulation for training automated driving systems |
| CN110097187A (zh) * | 2019-04-29 | 2019-08-06 | 河海大学 | 一种基于激活-熵权重剪枝的cnn模型压缩方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| CN112015934A (zh) * | 2020-08-27 | 2020-12-01 | 华南理工大学 | 基于神经网络和Unity的智能发型推荐方法、装置及系统 |
| CN112036267A (zh) * | 2020-08-14 | 2020-12-04 | 珠海格力电器股份有限公司 | 一种目标检测方法、装置、设备和计算机可读存储介质 |
-
2020
- 2020-12-25 CN CN202011567899.7A patent/CN112859907A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104360362A (zh) * | 2014-05-20 | 2015-02-18 | 天津航天中为数据系统科技有限公司 | 利用飞行器对观测目标进行定位的方法及系统 |
| CN104615987A (zh) * | 2015-02-02 | 2015-05-13 | 北京航空航天大学 | 一种基于误差反传神经网络的飞机残骸智能识别方法及系统 |
| CN105698762A (zh) * | 2016-01-15 | 2016-06-22 | 中国人民解放军国防科学技术大学 | 一种单机航迹上基于不同时刻观测点的目标快速定位方法 |
| US20190228571A1 (en) * | 2016-06-28 | 2019-07-25 | Cognata Ltd. | Realistic 3d virtual world creation and simulation for training automated driving systems |
| CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
| CN109190674A (zh) * | 2018-08-03 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 训练数据的生成方法及装置 |
| CN109492522A (zh) * | 2018-09-17 | 2019-03-19 | 中国科学院自动化研究所 | 特定目标检测模型训练程序、设备及计算机可读存储介质 |
| CN109815844A (zh) * | 2018-12-29 | 2019-05-28 | 西安天和防务技术股份有限公司 | 目标检测方法及装置、电子设备和存储介质 |
| CN110097187A (zh) * | 2019-04-29 | 2019-08-06 | 河海大学 | 一种基于激活-熵权重剪枝的cnn模型压缩方法 |
| CN110287945A (zh) * | 2019-07-04 | 2019-09-27 | 山东浪潮人工智能研究院有限公司 | 一种5g环境下无人机目标检测方法 |
| CN112036267A (zh) * | 2020-08-14 | 2020-12-04 | 珠海格力电器股份有限公司 | 一种目标检测方法、装置、设备和计算机可读存储介质 |
| CN112015934A (zh) * | 2020-08-27 | 2020-12-01 | 华南理工大学 | 基于神经网络和Unity的智能发型推荐方法、装置及系统 |
Non-Patent Citations (1)
| Title |
|---|
| （美）亚历山大·V.涅贝洛夫，（美）约瑟夫·沃森: "《人工智能前沿技术丛书 模式识别》", 暨南大学出版社, pages: 190 - 192 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114623727A (zh) * | 2022-03-14 | 2022-06-14 | 北京理工大学 | 一种激光成像近程探测目标识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107504957B (zh) | 利用无人机多视角摄像快速进行三维地形模型构建的方法 | |
| Küng et al. | The accuracy of automatic photogrammetric techniques on ultra-light UAV imagery | |
| KR101793509B1 (ko) | 작물 모니터링을 위하여 무인 비행체의 자동 경로 산정을 통한 원격 관측 방법 및 그 시스템 | |
| US7528938B2 (en) | Geospatial image change detecting system and associated methods | |
| US7603208B2 (en) | Geospatial image change detecting system with environmental enhancement and associated methods | |
| US8433457B2 (en) | Environmental condition detecting system using geospatial images and associated methods | |
| CN108317953A (zh) | 一种基于无人机的双目视觉目标表面3d检测方法及系统 | |
| MX2013000158A (es) | Sistema de manejo de plataforma movilen tiempo real. | |
| CN108955645A (zh) | 应用于通信铁塔智能巡检的三维建模方法及装置 | |
| CN102937443A (zh) | 一种基于无人机的目标快速定位系统及方法 | |
| CN109035665A (zh) | 一种新型森林火灾预警系统及火灾预警方法 | |
| CN112764433A (zh) | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 | |
| CN110647170A (zh) | 一种基于无人机的航标巡检装置与方法 | |
| Zhang et al. | Forest fire detection solution based on UAV aerial data | |
| CN114564049B (zh) | 一种基于深度学习的无人机广域搜索的装置及方法 | |
| CN112859907A (zh) | 少样本条件下基于三维特效仿真的火箭残骸高空检测方法 | |
| Paulin et al. | Application of raycast method for person geolocalization and distance determination using UAV images in Real-World land search and rescue scenarios | |
| CN116957360A (zh) | 一种基于无人机的空间观测与重建方法及系统 | |
| Baeck et al. | Drone based near real-time human detection with geographic localization | |
| JP2020180842A (ja) | 赤外線写真画像の処理方法、赤外線写真画像の処理装置、および赤外線写真画像の処理用プログラム | |
| Liang et al. | Accuracy analysis of oblique photogrammetry measurement in 3D modeling of power line selection design | |
| Wang et al. | UAV‐based simultaneous localization and mapping in outdoor environments: A systematic scoping review | |
| Paulin et al. | Person localization and distance determination using the raycast method | |
| Wu et al. | Derivation of Geometrically and Semantically Annotated UAV Datasets at Large Scales from 3D City Models | |
| KR102557775B1 (ko) | 드론을 이용한 3차원 지도 제작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210528 |