CN114862952A - 无人机检测与防御方法及系统 - Google Patents
无人机检测与防御方法及系统 Download PDFInfo
- Publication number
- CN114862952A CN114862952A CN202210458917.0A CN202210458917A CN114862952A CN 114862952 A CN114862952 A CN 114862952A CN 202210458917 A CN202210458917 A CN 202210458917A CN 114862952 A CN114862952 A CN 114862952A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- aerial vehicle
- unmanned aerial
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000007123 defense Effects 0.000 title claims abstract description 74
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 230000004927 fusion Effects 0.000 claims abstract description 139
- 230000009466 transformation Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000005457 optimization Methods 0.000 claims abstract description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000010586 diagram Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 8
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 6
- 230000001788 irregular Effects 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 32
- 230000008569 process Effects 0.000 description 17
- 239000013598 vector Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 239000000243 solution Substances 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 239000000126 substance Substances 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 241001300198 Caperonia palustris Species 0.000 description 2
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种无人机检测与防御方法及系统，该方法包括：对目标应用场景所对应的初始三维点云进行特征提取以得到融合上下文特征，基于初始三维点云生成初始三维包围框，对初始三维包围框中的关键点进行三维变换以得到三维注意区域，基于融合上下文特征对三维注意区域进行融合优化以得到优化三维预测框集合，基于优化三维预测框集合对目标应用场景中的目标无人机进行定位，基于定位结果对目标无人机进行防御处理。采用本发明可以提高无人机的检测精度，从而可以实现对无人机进行针对性防御。
Description
技术领域
本发明涉及无人机技术领域，尤其是涉及一种无人机检测与防御方法及系统。
背景技术
近年来，消费级无人机产品价格不断下降，体积越来越小，性能越来越高且操控越来越简单，无人机正快速从军事领域向商业领域发展。无人机在给人们带来喜悦与便利的同时，也带来了安全与隐私的问题。这使得监测和识别无人机并使其远离敏感区域的技术将成为基础。与无人机相关的意外事故越来越多，例如，无人机在禁飞区非法航拍造成泄密，无人机在机场附近“黑飞”造成飞行事故，无人机肆意停放妨害公共交通，无人机坠毁造成建筑损害等。
无人机由于具有低空飞行、飞行路径易被建筑物隐匿等优点，成为犯罪分子偷取情报、危害国家安全的重要工具，因此需要实现无人机的快速检测与防御以消除潜在威胁。但现有无人机检测与防御技术主要利用雷达进行无人机的检测，探测精度较低，且无法将无人机与其他对象区分开来，从而难以对无人机进行针对性防御。
发明内容
有鉴于此，本发明的目的在于提供一种无人机检测与防御方法及系统，以提高无人机的检测精度，从而可以实现对无人机进行针对性防御。
第一方面，本发明实施例提供了一种无人机检测与防御方法，所述方法包括：对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；其中，所述初始三维点云是由设定雷达在探测到无人机时所生成的；基于所述融合上下文特征进行目标定位生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵；其中，所述五元参数组包括沿Z轴旋转角度的余弦值、沿Z轴旋转角度的正弦值、X轴上的转换坐标值、Y轴上的转换坐标值和Z轴上的转换坐标值；基于所述初始三维点云生成包含关键点的初始三维包围框，并用所述三维变换矩阵对所述初始三维包围框中的关键点进行三维变换，得到三维注意区域；基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合；基于所述优化三维预测框集合对所述目标应用场景中的目标无人机进行定位，得到所述目标无人机的第一定位信息；基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理。
作为一种可能的实现，所述方法还包括：通过一个无线电发射站向所述目标无人机发射第一无线电波，通过至少两个无线电波接收站接收所述目标无人机反射的第一无线电波对应的第二无线电波；其中，每一个所述第一无线电波和每一个所述第二无线电波分别具有各自的时间信息；每一个所述无线电发射站和每一个所述无线电波接收站分别具有各自的位置信息；所述位置信息包括位置坐标和方位角；基于每一个所述第一无线电波的时间信息和每一个所述第二无线电波的时间信息，确定所述目标无人机对应的时间差参数方程组；基于每一个所述无线电发射站的位置信息和每一个所述无线电波接收站的位置信息，确定所述目标无人机对应的方位角参数方程组；基于所述时间差参数方程组和所述方位角参数方程组，确定所述目标无人机的第二定位信息，以应用所述第二定位信息修正所述第一定位信息。
作为一种可能的实现，所述对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征的步骤，包括：对所述初始三维点云进行第一卷积处理，得到用于表征无人机轮廓信息的三维上下文特征；对所述目标应用场景所对应的初始图像集合进行第二卷积处理，得到用于表征无人机细节信息的二维上下文特征；其中，所述初始图像集合中的每一个图像均含有无人机；所述细节信息包括以下至少之一：无人机的颜色信息、型号信息、搭载设备信息；对所述三维上下文特征与所述二维上下文特征进行特征融合，得到所述融合上下文特征。
作为一种可能的实现，所述基于所述融合上下文特征生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵的步骤，包括：将所述融合上下文特征输入预先训练好的递归网络，通过所述递归网络输出第一特征；将所述第一特征输入预先训练好的全连接网络，通过所述全连接网络输出所述五元参数组和所述三维变换矩阵。
作为一种可能的实现，所述基于所述初始三维点云生成包含关键点的初始三维包围框的步骤，包括：采用最远点采样法对初始三维点云进行采样，得到关键点云；对所述关键点云进行体素特征提取，得到关键体素特征；其中，所述关键体素特征为具有位置信息的不规则的点云特征；对所述关键点云进行三维稀疏卷积编码处理，得到第一网格化特征图；将所述第一网格化特征图投影到鸟瞰图上，得到鸟瞰图特征；通过三层感知机对所述鸟瞰图特征的关键点权重进行预测，得到所述关键点云中关键点的权重；其中，所述鸟瞰图特征的关键点包括前景点和背景点，所述前景点的权重大于所述背景点的权重；对所述鸟瞰图特征的关键点进行栅格化处理，得到栅格化点特征；对所述栅格化点特征进行两层感知机的处理，得到所述初始三维包围框。
作为一种可能的实现，所述基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合的步骤，包括：按照预设采样规则对所述三维注意区域进行重采样处理，得到优化三维注意区域；基于所述融合上下文特征对所述优化三维注意区域进行融合优化，得到优化三维预测框集合。
作为一种可能的实现，所述基于所述融合上下文特征对所述优化三维注意区域进行融合优化，得到优化三维预测框集合的步骤，包括：采用特征金字塔算法对所述融合上下文特征和所述优化三维注意区域进行融合，得到包含多个第一融合特征图的第一融合特征图集合；对所述第一融合特征图集合中的所有第一融合特征图进行卷积融合，得到所述优化三维预测框集合。
作为一种可能的实现，所述基于所述优化三维预测框集合对目标无人机进行定位，得到所述目标无人机的第一定位信息的步骤，包括：通过IoU网络获取所述优化三维预测框集合中每个优化三维预测框的IoU预测值；其中，所述IoU预测值用于表征所述优化三维预测框的定位精度；根据所述优化三维预测框集合中每个优化三维预测框的IoU预测值，采用NMS算法对所述优化三维预测框集合进行后处理，得到最终三维预测框；根据所述最终三维预测框的位置坐标，确定所述第一定位信息。
作为一种可能的实现，所述基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理的步骤，包括：基于所述第一定位信息，确定所述第一定位信息对应的防御指令；所述防御指令用于控制反制设备摧毁所述目标无人机和/或控制反制设备向所述目标无人机发送干扰信号。
第二方面，本发明实施例还提供一种无人机检测与防御系统，所述系统包括：目标检测子系统、定位跟踪子系统和防御子系统；所述目标检测子系统包括特征提取模块、目标定位模块、三维变换模块和优化模块；所述特征提取模块，用于对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；其中，所述初始三维点云是由高分辨率雷达在探测到无人机时所生成的；所述目标定位模块，用于基于所述融合上下文特征进行目标定位生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵；所述三维变换模块，用于基于所述初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对所述初始三维包围框中的关键点进行三维变换，得到三维注意区域；所述优化模块，用于基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合；所述定位跟踪子系统，用于基于所述优化三维预测框集合对目标无人机进行定位，得到所述目标无人机的第一定位信息；所述防御子系统，用于基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理。
本发明实施例提供的一种无人机检测与防御方法及系统，首先对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；再基于融合上下文特征生成用于表征无人机位置信息的五元参数组和五元参数组对应的三维变换矩阵；之后基于初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对初始三维包围框中的关键点进行三维变换，得到三维注意区域；基于融合上下文特征对三维注意区域进行融合优化，得到优化三维预测框集合；基于优化三维预测框集合对目标应用场景中的目标无人机进行定位，得到目标无人机的第一定位信息；基于目标无人机的第一定位信息对目标无人机进行防御处理。采用上述技术，由于三维注意力区域反映了无人机整体信息和无人机位置信息，因而对无人机的识别准确率和检测精度较高；且三维注意区域的融合优化是结合无人机整体信息进行的，因而对无人机的定位精度较高；此外，无人机的防御处理是基于无人机的定位结果进行的，因而对无人机的针对性较强。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种无人机检测与防御方法的流程示意图；
图2为本发明实施例中特征提取网络的示例图；
图3为本发明实施例中目标定位网络的示例图；
图4为本发明实施例中PV-RCNN网络的工作过程示例图；
图5为本发明实施例中特征金字塔网络的结构示例图；
图6为本发明实施例中IoU网络的结构示例图；
图7为本发明实施例中NMS算法的代码示例图；
图8为本发明实施例中NMS算法的实现过程示例图；
图9为本发明实施例中基于时间差与方位角的无人机目标定位示例图；
图10为本发明实施例中对目标无人机进行卫星定位诱捕的流程示例图；
图11为本发明实施例提供的一种无人机检测与防御系统的结构示意图；
图12为本发明实施例提供的另一种无人机检测与防御系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前现有的无人机检测与防御技术主要利用雷达进行无人机的检测，探测精度较低，且无法将无人机与其他对象区分开来，从而难以对无人机进行针对性防御。基于此，本发明实施例提供的一种无人机检测与防御方法及系统，可以提高无人机的检测精度，从而可以实现对无人机进行针对性防御。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种无人机检测与防御方法进行详细介绍，参见图1所示的一种无人机检测与防御方法的流程示意图，该方法可以包括以下步骤：
步骤S102，对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；其中，初始三维点云是由设定雷达在探测到无人机时所生成的。
上述目标应用场景具体可以为探测静止无人机、探测移动无人机等，对此并不进行限定。
例如，在采用高分辨率雷达进行探测时，如果探测到无人机，雷达会生成由一系列三维点所组成的三维点云(即上述初始三维点云)。可预先训练一个卷积神经网络作为特征提取网络，之后将上述初始三维点云输入到特征提取网络进行特征提取，在特征提取的过程中，首先得到初始特征作为中间特征；由于初始特征通常仅包含无人机粗略信息(如大体轮廓等)，为了使卷积神经网络输出的特征包含无人机更多信息(如颜色、型号等)，在输入初始三维点云的同时，还可额外输入包含无人机更多信息的其他特征，从而在得到初始特征后，可将初始特征与额外输入的其他特征进行特征融合，得到上述融合上下文特征。
其中，上述特征融合可采用特征融合算法来实现，例如，采用多层次结构的特征融合算法、采用多模态特征融合算法(如拼接、按位乘、按位加等)。上述特征提取网络的结构可以设计成包括一个或多个子网络，具体结构可根据实际需要自行确定，对此不进行限定。
步骤S104，基于融合上下文特征生成用于表征无人机位置信息的五元参数组和五元参数组对应的三维变换矩阵；其中，五元参数组包括沿Z轴旋转角度的余弦值、沿Z轴旋转角度的正弦值、X轴上的转换坐标值、Y轴上的转换坐标值和Z轴上的转换坐标值。
由于上述融合上下文特征通常为具有方向性的三维特征向量，为了进一步实现对无人机的定位，引入上述五元参数组对无人机位置信息进行表征。可预先训练一个卷积神经网络作为目标定位网络，之后将上述融合上下文特征输入到目标定位网络进行目标定位，目标定位网络每进行一次迭代便对应输出一个五元参数组，之后根据每次迭代所对应的输入与每次迭代所对应的五元参数组之间的三维变换关系确定出上述三维变换矩阵。上述目标定位网络的结构可以设计成包括一个或多个子网络，具体结构可根据实际需要自行确定，对此不进行限定。
步骤S106，基于初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对初始三维包围框中的关键点进行三维变换，得到三维注意区域。
为了进一步实现对无人机的定位，可预先训练一个卷积神经网络作为包围框生成网络，之后将初始三维点云输入包围框生成网络，通过包围框生成网络将输入点云中具有位置关联关系(如相邻点之间的距离在一定范围内)的点作为关键点聚合在具有宽长高的初始三维包围框中；之后用上述三维变换矩阵对初始三维包围框中的关键点进行三维变换，将经过三维变换后得到的点中属于感兴趣对象的点(即检测到无人机的三维空间中心点坐标)转换到比初始三维包围框更小的三维包围框中，该三维包围框即为上述三维注意区域。例如，关键点位于一个以(0，0，0)为坐标中心，宽长高为(W,L,H)的三维包围框(即初始三维包围框)之中，经过三维变换之后，将属于感兴趣对象的点(也就是检测到的无人机的空间中心点坐标)转换到一个比原来更小的以(0，0，0)为坐标中心，宽长高分别为(W’,L’,H’)的三维包围框(即三维注意区域)之中。
步骤S108，基于融合上下文特征对三维注意区域进行融合优化，得到优化三维预测框集合。
可将上述融合上下文特征与上述三维注意区域进行特征融合，得到多个优化三维预测框，这些三维预测框便组成了上述优化三维预测框集合。特征融合方法与前文所述特征融合类似，均可根据实际需要采用一种或多种特征融合算法来实现，对此不再赘述。
步骤S110，基于优化三维预测框集合对目标应用场景中的目标无人机进行定位，得到目标无人机的第一定位信息。
在得到上述优化三维预测框集合后，可按照预设规则去除冗余的优化三维框，例如，按照一定度量标准(如分类置信度大小等)，采用NMS(非极大值抑制)算法去除冗余的优化三维框；之后可将保留下来的优化三维预测框的中心点位置坐标作为目标无人机的初始定位数据，并对初始定位数据进行数据处理(如计算多个优化三维预测框的中心点位置坐标的平均值、从多个优化三维预测框的中心点位置坐标中随机选取一个值等)，将数据处理结果确定为上述第一定位信息。
步骤S112，基于目标无人机的第一定位信息对目标无人机进行防御处理。
在得到上述第一定位信息后，可将上述第一定位信息发送至指定工作站，之后由指定工作站按照一定策略对定位出的目标无人机进行针对性防御处理，例如，摧毁目标无人机、向目标无人机发送干扰信号等。
本发明实施例提供的无人机检测与防御方法，首先对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；再基于融合上下文特征生成用于表征无人机位置信息的五元参数组和五元参数组对应的三维变换矩阵；之后基于初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对初始三维包围框中的关键点进行三维变换，得到三维注意区域；基于融合上下文特征对三维注意区域进行融合优化，得到优化三维预测框集合；基于优化三维预测框集合对目标应用场景中的目标无人机进行定位，得到目标无人机的第一定位信息；基于目标无人机的第一定位信息对目标无人机进行防御处理。采用上述技术，由于三维注意力区域反映了无人机整体信息和无人机位置信息，因而对无人机的识别准确率和检测精度较高；且三维注意区域的融合优化是结合无人机整体信息进行的，因而对无人机的定位精度较高；此外，无人机的防御处理是基于无人机的定位结果进行的，因而对无人机的针对性较强。
作为一种可能的实施方式，上述步骤S102(即对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征)可以包括：
(11)对初始三维点云进行第一卷积处理，得到用于表征无人机轮廓信息的三维上下文特征。
(12)对目标应用场景所对应的初始图像集合进行第二卷积处理，得到用于表征无人机细节信息的二维上下文特征；其中，所述初始图像集合中的每一个图像均含有无人机；所述细节信息包括以下至少之一：无人机的颜色信息、型号信息、搭载设备信息。
(13)对三维上下文特征与二维上下文特征进行特征融合，得到融合上下文特征。
将两个或多个预测精度较高的异构特征或模型进行融合往往能够取得比单一情况下更好的预测效果。例如，采用基于Voting的多维学习特征融合算法进一步融合三维上下文特征和二维上下文特征，从而提升检测结果的准确性、相关性和可解释性。基于Voting的多维学习方法是一种多层次结构的特征融合算法。多层算法是指利用多种分类器通过一种或多种算法组合成多层预测系统，其中，底层算法主要是对特征进行加工处理，提取有效的特征集合送入下一层进行预测；上层算法主要是对底层传来的特征进行进一步处理或者直接对第一层传来的特征进行训练分类。再例如，采用基于联合稀疏表示的特征融合算法进一步融合三维上下文特征和二维上下文特征。基于联合稀疏表示的特征融合算法，需要对样本提取特征后建立特征联合稀疏表示矩阵，这个稀疏表示矩阵就是多特征的融合结果。
此外，还可采用多模态融合算法进一步融合三维上下文特征和二维上下文特征。多模态融合算法特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接(concatenation)、按位乘(element-wise product)、按位加(element-wise sum)。MCB将外积的结果映射到低维空间中，并且不需要显式计算外积。
为了便于描述，以图2为例对上述步骤(11)至步骤(13)进行描述：
步骤(11)中，可将预先训练好的简化PointNet网络作为特征提取网络，将总点数为N、维度为3的初始三维点云输入特征提取网络，由特征提取网络先对输入点云进行多层感知机的一维卷积操作(即此时的第一卷积处理)，把输入点云转换到一个更高维度的特征空间，之后通过将最大池化层作为对称函数来聚合全部的输入点信息，最后采用基于形状轮廓的特征描述方法(如Hough变换方法、边界方向直方图方法等)得到一个描述输入点云的三维上下文特征，该三维上下文特征能够反映无人机轮廓信息。
步骤(12)中，预先将通过图像采集设备(如摄像头等)采集得到或从网络直接爬取得到的多张包含无人机的图像组成上述初始图像集合，之后对该初始图像集合中的所有图像进行标准的二维卷积操作，然后再进行一个最大池化操作，得到相应的特征向量；之后将特征向量表示为二维上下文特征。
步骤(13)中，将二维上下文特征输入到特征提取网络中，通过特征提取网络对三维上下文特征和二维上下文特征进行相加融合，得到融合上下文特征。
融合上下文特征既包含了无人机轮廓信息，又包含了无人机细节信息，因而能够较好的表征出无人机，从而提高无人机检测的准确性。
作为一种可能的实施方式，上述步骤S104(即基于融合上下文特征生成用于表征无人机位置信息的五元参数组和五元参数组对应的三维变换矩阵)可以包括：将融合上下文特征输入预先训练好的递归网络，通过递归网络输出第一特征；将第一特征输入预先训练好的全连接网络，通过全连接网络输出所述五元参数组和所述三维变换矩阵。
可将上述目标定位网络的结构设计成包括递归网络和全连接网络两部分，其中，递归网络在每一次迭代中会关注场景中新对象的位置，递归网络具体可采用GRU(GateRecurrent Unit)网络、LSTM(Long Short Term Memory networks)网络等，全连接网络具体可采用单层或多层结构，具体可根据实际需要自行确定，对此并不进行限定。接续前例，如图3所示，目标定位网络由GRU网络与两层全连接网络组成。对于GRU网络来说，t时刻的迭代的更新计算公式如下(⊙表示元素点乘)：
其中，输入xinput是通过对上一时刻t-1的记忆状态ht-1以及当前时刻t的向量输入xt进行特征维度的concat所获得的。σ指的是sigmoid函数，重置门神经元rt和输入门神经元zt的输出结果是向量，由于两个门神经元均采用sigmoid作为激活函数，所以输出向量的每个元素均在0～1之间，用于控制各维度流过阀门的信息量；记忆门神经元
的输出结果仍为向量，且与重置门和输入门神经元的输出向量维度等同，由于记忆门神经元使用的激活函数是tanh，所以其输出向量的每个元素均在-1～1之间。Wr、br、Wz、bz、Wh、bh是在训练过程中学习得到的各个门神经元的参数。
以图3为例，将上述融合上下文特征(图3中为xt-1)输入到GRU网络，GRU网络首先会得到第一次迭代所对应的隐藏向量，之后的每一次迭代均会将上述融合上下文特征和上一次迭代得到的隐藏向量(图3中为ht-1)输入到GRU网络；之后将所述GRU网络的输出量(即上述第一特征，图3中为ht)输入到两层全连接网络，通过两层全连接网络输出由五个参数所组成的五元参数组(cosθi,sinθi,Txi,Tyi,Tzi)，其中，θi是第i次迭代过程中沿Z轴旋转的角度，Txi、Tyi、Tzi分别为第i次迭代过程中在X轴、Y轴、Z轴上的转换坐标值；目标定位网络在输出五元参数组的过程中，还会根据每次迭代所对应的输入与每次迭代所对应的五元参数组之间的三维变换关系确定出相应的一个三维变换矩阵。
此外，对于目标应用场景较为复杂时无人机检测精度不理想的情况，还可在目标定位网络中引入由粗到细的分类回归网络，由粗到细的分类回归网络主要由三维注意区域的特征提取网络、CFR分类器和三维包围框预测网络这四个部分组成，可在不增加计算成本的情况下对无人机检测的定位精度进行一定程度的提高。
作为一种可能的实施方式，上述步骤S106中基于初始三维点云生成包含关键点的初始三维包围框可以包括：
(21)采用FPS(Farthest Point Sampling，最远点采样法)，对初始三维点云进行采样，得到关键点云；其中，关键点云用于代表目标无人机所在的整个场景的特征信息。
(22)对关键点云进行体素特征提取，得到关键体素特征；其中，关键体素特征为具有位置信息的不规则的点云特征。
可设计一个包含体素特征提取网络(如Voxelnet等)的VSA(Voxel SetAbstraction)模块，将关键点云输入到VSA模块的体素特征提取网络，通过体素特征提取网络将关键点周围非空的体素特征采集出来结合在一起，这样就得到了上述关键体素特征。
(23)对关键点云进行三维稀疏卷积编码处理，得到第一网格化特征图。
在得到关键体素特征后，可采用三维稀疏卷积编码算法将关键体素特征转换成网格化的特征(即上述第一网格化特征图)。
(24)将第一网格化特征图投影到鸟瞰图(Bird Eyes View，BEV)上，得到鸟瞰图特征。
具体可采用PIXOR、HDNet、Point-Pillars等算法将第一网格化特征图投影到鸟瞰图上，得到鸟瞰图特征。
(25)通过三层感知机对鸟瞰图特征的关键点权重进行预测，得到关键点云中关键点的权重；其中，鸟瞰图特征的关键点包括前景点和背景点，前景点的权重大于背景点的权重。
可将鸟瞰图特征输入到一个三层感知机网络，通过三层感知机网络输出关键点云中所有关键点的权重，之后将输出的所有权重一一对应分配给相应的关键点。
(26)对鸟瞰图特征的关键点进行栅格化处理，得到栅格化点特征。
可采用多尺度特征融合算法将鸟瞰图特征的关键点映射到二维栅格点中去，确定每一个栅格点的一个半径下的近邻，然后再用一个点特征提取网络(如PointNet网络中的子网络等)进行点特征提取，得到栅格化点(grid-point)特征。
(27)对栅格化点特征进行两层感知机的处理，得到所述初始三维包围框。
在得到了所有栅格化点特征后，可将所有栅格化点特征输入到一个两层感知机网络中，通过两层感知机网络输出得到初始三维包围框。
作为一种可能的实施方式，上述步骤S108(即基于融合上下文特征对三维注意区域进行融合优化，得到优化三维预测框集合)可以包括：
(31)按照预设采样规则对三维注意区域进行重采样处理，得到优化三维注意区域。
上述预设采样规则可根据需求自行确定，例如，按照图像分辨率要求对三维注意区域中属于感兴趣对象的点进行重采样。
(32)基于融合上下文特征对优化三维注意区域进行融合优化，得到优化三维预测框集合。
可采用FPN(Feature Pyramid Network，特征金字塔)算法对融合上下文特征和优化三维注意区域进行融合，得到包含多个第一融合特征图的第一融合特征图集合；之后对第一融合特征图集合中的所有第一融合特征图进行卷积融合，得到优化三维预测框集合。
为了便于实现上述无人机检测与防御方法，可预先构建PV-RCNN(Point VoxelRegion Convolutional Neural Networks)网络，通过PV-RCNN网络以实现上述步骤S106至步骤S108，具体描述如下：
由于当前点云3D检测主要分为两大类，第一类为grid-based的方法，第二类为point-based的方法。grid-based的方法将不规则的点云数据转换成规则的3D voxels(如采用Voxel-Net、SECOND、Fast Point-RCNN、Part A^2Net等算法)或者转化成2D的BEV特征图(如采用PIXOR、HDNet、Point-Pillars等算法)。point-based的方法主要由Point-Net和它的变形作为特征提取网络来直接的从原始的点云数据(如上述初始三维点云)中提取基于点的特征。一般来说，基于grid-based的方法可以获得更好的计算效率，但是由于进行voxelize的量化操作，不可避免的导致信息丢失，使得网络的定位精度下降；而point-based的方法因为通过Set Abstraction操作拥有可变的感受野，使特征拥有良好的定位信息，且基于Point-based的方法不可避免的会带来更大的计算量。基于此，使用预先构建好的PV-RCNN网络，采用结合voxel-based(grid-based)的高效编码多尺度特征层来产生三维的预测框，同时又采用point-based的灵活感受野实现精确位置定位优点。
PV-RCNN网络是一个两阶段方法，第一阶段是体素到关键点的场景编码，采用多尺度的三维稀疏卷积编码，完成对点云数据对无人机的多个特征的提取与融合，从而得到质量更高的预测框；第二阶段是关键点到网格感兴趣区域的特征提取，涉及感兴趣区域网格池化操作，目的为了使局部信息(如上述细节信息)更加精细，接着对第一阶段生成的高质量预测框进一步优化，实现最终的对目标无人机的三维目标检测。
如图4所示，PV-RCNN网络的工作过程包括：
(一)体素到关键点的场景编码
首先对初始三维点云采用voxel-based(grid-based)方法进行特征提取，同时单独设置一条采样分支采用FPS对上述初始三维点云进行采样，然后检索得到多尺度的voxel的特征。具体步骤如下：
(1)关键点抽样
单独设置一条采样分支采用FPS对目标无人机的初始三维点云数据进行采样，得到目标无人机的关键点云数据集，用于代表目标无人机所在的整个场景的特征信息。
(2)体素集抽象
设计了一个包含Voxelnet网络的VSA(Voxel Set Abstraction)模块，通过Voxelnet网络将关键点周围非空的voxel特征采集出来结合在一起，从而得到目标无人机的voxel特征数据。
(3)扩展的VSA
采用三维稀疏卷积编码算法对目标无人机的voxel特征数据进行三维稀疏卷积编码处理，得到目标无人机的voxel特征信息；通过PointNet对目标无人机的关键点云数据进行局部聚合，得到目标无人机的point特征信息，该信息包括了每个关键点本身的位置信息，用于弥补之前在voxel化时丢失的信息；采用双线性插值方式将目标无人机的关键点投影到BEV上，得到目标无人机的bev特征信息；将voxel特征信息、point特征信息和bev特征信息拼接在一起，得到目标无人机的整体结构特征信息。
(4)预测关键点权重
上述特征信息拼接(即一次特征融合的过程)实际上都是为了进一步的优化做准备，由于目标无人机的关键点中有的来自前景、有的来自背景，这一步的工作是为来自背景的关键点和来自前景的关键点分配不一样的权重，使得前景对优化的贡献更大。具体地，设计一个三层MLP网络，其sigmoid函数用于预测[0,1]之间的前景置信度，其PKW模块通过focus loss进行训练。例如，关键点有n个，通过这n个关键点的特征，可以计算n个权重值，权重值由真实的mask做监督训练，然后用每个关键点的权重值乘以该关键点的特征，得到每个关键点的最终特征。预测的关键点权重主要是用在后续对采集到的实时数据集进行检测识别这一过程之中。
(二)关键点对栅格RoI特征抽象
通过采用多尺度的策略将关键点的特征整合到网格点中去，即采用多尺度特征融合算法将被投影到BEV上的目标无人机的关键点映射到二维网格点(grid-point)中去；之后确定每一个网格点的一个半径下的近邻；然后再用一个PointNet模块将特征整合为网格点的特征，这里会采用多尺度的特征融合手段。得到了所有的网格点的特征后，通过两层感知机对网格点的特征进行处理，得到目标无人机的具有一定维度的proposals特征(即维度特征)。上述proposals特征可以为多个不同角度所对应的预测框，作为一个实现方式，可得到0度和90度两个预测框，从而为后续优化提供一个可信度更高的预测框，为最后的预测框优化节省工作时间，提高工作效率。
(三)3DProposal优化和置信度预测
设计一个两层MLP网络作为优化网络来使用，优化网络分为置信度预测和框优化两个分支。在置信度预测分支上采用了检测评价函数3D IoU，例如，对于目标无人机的第k个ROI(Region of Interest,感兴趣区域)的置信度的预测框的置信度预测是如下公式：
yk＝min(1，max(0，2IoUk-0.5))
该公式中IoUk表示第k个ROI对应的GT，因此置信度预测的损失函数采用的是交叉熵Loss：
其中，
表示预测的置信度的分数；
采用FPN算法对上述融合上下文特征和优化三维注意区域进行融合，得到包含多个融合特征图的融合特征图集合；之后对该融合特征图集合中的所有融合特征图进行卷积融合，得到优化后的三维预测框集合。
FPN算法可同时利用低层特征的高分辨率信息和高层特征的高语义信息，通过融合这些不同特征层的特征以达到相应的预测效果。并且预测是在每个融合后的特征层上单独进行的，即每个特征层在进行一次融合后均会进行一次预测，这样就得到了不同特征层对应的预测特征图(即融合特征图)，将得到的所有融合特征图组成一个融合特征图集合。
FPN将深层信息上采样，与浅层信息逐元素地相加，从而构建了尺寸不同的特征金字塔结构，FPN的结构如图5所示。
图5中，最左侧为普通的卷积网络，默认使用ResNet结构，用作提取语义信息。C1代表了ResNet的前几个卷积与池化层，而C2至C5分别为不同的ResNet卷积组，这些卷积组包含了多个Bottleneck结构，组内的特征图大小相同，组间大小递减。首先对C5进行1×1卷积降低通道数得到P5，然后依次进行上采样得到P4、P3和P2，目的是得到与C4、C3与C2长宽相同的特征，以方便下一步进行逐元素相加。可采用2倍最邻近上采样，即直接对临近元素进行复制以生成用于填充空白元素位置的元素。通过横向连接(Lateral Connection)的方式将上采样后的高语义特征与浅层的定位细节特征进行融合。高语义特征经过上采样后，其长宽与对应的浅层特征相同，而通道数固定为256，因此需要对底层特征C2至C4进行11卷积使得其通道数变为256，然后两者进行逐元素相加得到P4、P3与P2。
在得到相加后的特征后，利用3×3卷积对生成的P2至P4再进行卷积融合，目的是消除上采样过程带来的重叠效应，以生成最终的特征图。
FPN对于不同大小的RoI(region of interest，感兴趣区域)，使用不同的特征图，大尺度的RoI在深层的特征图上进行提取，如P5，小尺度的RoI在浅层的特征图上进行提取，如P2。
特征融合可表述为：
其中，
代表卷积核大小为1，通道数是256的卷积运算；
代表池化核的大小为2的最大池化；fupsampling(·)代表上采样函数；
代表矩阵元素的和；μ代表特征融合系数，通常情况下取值为0.3～0.8(如0.5、0.6等)。
在生成融合特征图的Pi时，因为相邻特征图的大小不一致，需要先把高层特征图的特征图高和宽扩大为原来的两倍，让其大小与Ci大小相同。
在上述无人机检测与防御方法的基础上，为了进一步确保无人机定位的精度，上述步骤S110(即基于优化三维预测框集合对目标应用场景中的目标无人机进行定位，得到目标无人机的第一定位信息)可以包括：
(41)通过IoU(Intersection-over-Union，交并比)网络获取优化三维预测框集合中每个优化三维预测框的IoU预测值；其中，IoU预测值用于表征优化三维预测框的定位精度。
上述IoU预测值为优化三维预测框和其对应的真实框(一个假设存在的包含目标无人机的真实框)之间的IoU值，上述IoU网络为一个预先训练好的网络，具体可根据实际需要自行选择，例如采用预先训练好的IoU-Net网络(如图6所示)等，对此并不进行限定。可将优化三维预测框集合中的所有优化三维预测框输入到一个预先训练好的IoU网络，通过IoU网络输出优化三维预测框集合中每个优化三维预测框的IoU预测值，IoU预测值越大说明优化三维预测框的定位精度越高，IoU预测值越小说明优化三维预测框的定位精度越低。
由于上述IoU网络可与目标定位网络同时进行预测，因而可在得到优化三维预测框的预测IoU预测值的同时，得到优化三维预测框的分类置信度和位置坐标。
上述IoU网络的训练样本全都采用的是正样本，它们是通过对真实框(也即真值框)进行随机抖动生成的，例如，对初始训练样本集中的一部分真实框进行随机抖动，生成了一系列候选框，并将与真实框之间的IoU小于预设阈值的候选框作为负样本移除，将剩余候选框作为正样本保留下来，这些被保留下来的正样本即为上述IoU网络的训练样本。用这样的训练样本来训练IoU网络可以带来更高的性能与稳健性。
同时可使用Smooth L1 Loss损失函数来训练上述IoU网络。Smooth L1 loss能从以下两个方面限制IoU网络的梯度值：第一：当预测框与真实框差别过大时，梯度值不至于过大；第二：当预测框与真实框差别很小时，梯度值足够小。此外，训练上述IoU网络所用损失函数还可使用Focal loss、L1 Loss、L2 Loss等，对此并不进行限定。
(42)根据优化三维预测框集合中每个优化三维预测框的IoU预测值，采用NMS(非极大值抑制)算法对优化三维预测框集合进行后处理，得到最终三维预测框。
NMS算法的目的是消除同一个物体上的冗余的预测框，从而筛选出定位与分类最准确的预测框。
参见图7所示的NMS算法的代码示例图，图7中，邻域情况下的NMS算法需要判断一维数组I[W]的元素I[i](2<＝i<＝W-1)是否大于其左邻元素I[i-1]和右邻元素I[i+1]。具体地，先判断当前元素I[i]是否大于其左邻与右邻元素(对应代码第3-5行)，若是(即当前元素大于其左邻与右邻元素)，则将当前元素确定为极大值点；对于极大值点I[i]，已知I[i]>I[i+1]，故无需对i+1位置元素做进一步处理，直接跳至i+2位置(对应代码第12行)；若元素I[i]不满足代码第3行判断条件，将其右邻I[i+1]作为极大值候选(对应代码第7行)；采用单调递增的方式向右查找，直至找到满足I[i]>I[i+1]的元素，若i<＝W-1，该点即为极大值点(对应代码第10-11行)。
在得到优化三维预测框的IoU预测值后，可按照IoU预测值大小对优化三维预测框集合中的所有优化三维预测框进行排序，之后选择前k个优化三维预测框组成一个候选框集合，其中k为小于优化三维预测框总数量的正整数。之后NMS算法的实现过程如图8所示，从候选框集合中选出IoU预测值最大的候选框作为目标框，将目标框存入最终检测框，将目标框从候选框集合中剔除；遍历候选框集合，计算候选框与目标框之间的IoU值；判断候选框与目标框之间的IoU值是否大于预设IoU阈值，如果是(即候选框与目标框之间的IoU值大于预设IoU阈值)，将候选框从候选框集合中剔除，如果否(即候选框与目标框之间的IoU值不大于预设IoU阈值)，将候选框存入最终检测框；直到候选框集合为空，得到最终预测框和对应类别分数。
(43)根据最终三维预测框的位置坐标，确定第一定位信息。
在确定上述最终三维预测框后，由于已知最终三维预测框的位置坐标，因而可根据最终三维预测框的位置坐标确定出上述第一定位信息；例如，可直接将最终三维预测框的位置坐标或者该位置坐标对应的计算值作为上述第一定位信息；再例如，可将最终三维预测框的位置坐标或者该位置坐标对应的计算值转换成所需数据格式的数据，之后将格式转换后的数据作为上述第一定位信息。
采用上述利用IoU预测值来指导NMS算法处理的方式，能够避免定位精度较高但分类置信度较低的预测框被错误地抑制，从而保留定位更加精确的预测框，进而提高无人机的定位精度。
在上述无人机检测与防御方法的基础上，为了进一步提高无人机定位的精度，上述方法还可以包括：
(51)通过一个无线电发射站向目标无人机发射第一无线电波，通过至少两个无线电波接收站接收目标无人机反射的第一无线电波对应的第二无线电波；其中，每一个第一无线电波和每一个第二无线电波分别具有各自的时间信息；每一个无线电发射站和每一个无线电波接收站分别具有各自的位置信息；位置信息包括位置坐标和方位角。
假设目标无人机为非法闯入校园进行偷拍的无人机，可在学校的不同建筑物架设无线电发射机与无线电接收机，例如，将无线电发射机架设在学校中心的食堂，将不同无线电接收机分别架设在图书馆、学生公寓和图书馆附近，每一个无线电发射机发射无线电波的时刻和每一个无线电接收机接收到目标无人机反射无线电波的时刻便形成了一组时间信息，每一个无线电发射机和每一个无线电接收机各自架设位置的位置坐标及无线电接收方位角便形成了一组位置信息。
(52)基于每一个第一无线电波的时间信息和每一个第二无线电波的时间信息，确定目标无人机对应的时间差参数方程组。
(53)基于每一个无线电发射站的位置信息和每一个无线电波接收站的位置信息，确定目标无人机对应的方位角参数方程组。
(54)基于时间差参数方程组和方位角参数方程组，确定目标无人机的第二定位信息，以应用第二定位信息修正第一定位信息。
为了便于描述，在此以图9为例对上述步骤(51)至步骤(54)进行描述如下：在不同位置设置有一个无线电波发射站(即图9中的发射站)和三个接收站(即图9中的接收站1、接收站2和接收站3)，假设待测的目标无人机坐标P(x，y，z)T，发射站坐标P0(x0，y0，z0)T，接收站i坐标Pi(xi，yi，zi)T(i＝1，2，3)。定位方程如下：
ΔRi＝Ri-R0(i＝1，2，3) (1)
其中，R0为主站到无人机的距离，Ri为接收站i到目标无人机的距离，ΔRi为接收站i到目标无人机的距离与发射站到目标无人机距离的差值。
定位精度高低通常用GDOP(Geometric Dilution Precision，几何精度因子)来进行衡量。GDOP值越小则说明定位精度越高。对ΔRi＝Ri-R0求微分得
d(ΔRi)＝(cix-c0x)dx+(ciy-c0y)dy+(ciz-c0z)dz+(ki-k0)(i＝1，2，3) (2)
其中，
ki＝-(cixdxi+ciydyi+cizdzi)(i＝1，2，3)。
由公式(2)可知，目标无人机位置误差(dx，dy，dz)与时差的测量误差dΔTi(dΔRi＝dΔTi·c)及站址误差(dxi，dyi，dzi)(i＝0，1，2，3)有关。
将三个误差方程改写成矩阵形式
dΔR＝CdX+dXs
其中
dΔR＝[dΔR1 dΔR2 dΔR3]T
dX＝[dx dy dz]T
dXs＝[k0+k1 k0+k2 k0+k3]T
由dΔR＝CdX+dXs用伪逆法可以解得目标的定位误差为：
dX＝(CTC)-1CT[dΔR-dXs]
站址误差在每次测量中是保持不变的，且站址误差各分量之间及各站之间互不相关，故定位误差协方差为：
Pdx＝E[dXdXT]＝G{E[(dΔR)(dΔR)T]+E[dXsdXs T]}GT
其中，
c为光速，σ1，σ2，σ3分别为接收站1、接收站2、接收站3的时差测量的标注差，ηij为接收站i、接收站j时差测量的误差之间的相关系数。
定位精度用GDOP(Geometric Dilution Precision，几何精度因子)表示，GDOP是衡量定位精度的很重要的一个系数，它代表GPS测距误差造成的无线电接收机与空间卫星间的距离矢量放大因子。GDOP的数值越大，所代表的单位矢量形体体积越小，即无线电接收机至空间卫星的角度十分相似导致的结果，此时的GDOP会导致定位精度变差。GDOP数值常常是由导航解处理过程计算得到的重要参量。GDOP是在无线电接收机用于导航时，由无线电接收机架设位置和卫星的位置计算出来的几何关系确定的。在作业规划中，GDOP通常是由卫星历书(即星历文件)和无线电接收机估算位置计算出来的。
其中，
接收站i的方位角参数方程为：
θi＝arctan[(y-yi)/(x-xi)] (3)
时间差参数方程：
TDOAi＝(τT，0+τT，1-τi) (4)
其中：
τT，0＝[(x-x0)2+(y-y0)2+(z-z0)2]1/2
τt，1＝[(x-xi)2+(y-yi)2+(z-zi)2]1/2
τi＝[(x0-xi)2+(y0-yi)2+(z0-zi)2]1/2
当无人机目标定位系统中仅有两个接收站接收到无人机反射信号时，可以利用每个接收站接收到的方位角和时间差信息构建公式(1)～(4)对目标无人机的位置进行定位解算，最终获得目标无人机的坐标(x,y,z)、定位精度和精度因子。解算过程有反复迭代的步骤主要用到牛顿迭代法，直到解算的精度满足要求。其中，精度因子用于表示各个方向和时钟的误差放大倍数。
上述步骤(51)至步骤(54)的定位方式可以解决在对无人机实际定位过程中信号容易被建筑物遮挡而导致的同一时间只有两个接收站接收到信号问题。且用第二定位信息修正第一定位信息后，进一步提高了无人机的定位精度。
作为一种可能的实施方式，上述步骤S112(即基于目标无人机的第一定位信息对目标无人机进行防御处理)可以包括：基于第一定位信息，确定第一定位信息对应的防御指令；防御指令用于控制反制设备摧毁目标无人机和/或控制反制设备向目标无人机发送干扰信号。
在得到上述第一定位信息后，可将上述第一定位信息发送至带反制设备的工作站；工作站基于第一定位信息确定第一定位信息对应的防御指令，并将防御指令发送至反制设备；反制设备接收到防御指令后，会执行防御指令所对应的动作(如摧毁目标无人机、向目标无人机发送干扰信号等)。
作为一个示例，可采用卫星定位诱捕与无线电通信协议破解相结合的方式使目标无人机的迫降。卫星定位诱捕通过向目标无人机发射虚假卫星定位信号的方式实施诱捕，向目标无人机发布错误的位置信号，达到使其误判位置而降落或返航的目的。无线电通信协议破解通过破解目标无人机信号通信协议，模仿遥控者向目标无人机发送控制信号，且不会影响其他设备正常运行。例如，向目标无人机释放更强的诱骗性卫星信号让目标无人机接受错误的定位，使得目标无人机的飞行控制模块被错误诱导，从而实现对目标无人机的诱骗。
卫星定位诱捕具体实现流程可参考图10所示，卫星定位诱捕主要包括三个部分。
第一部分：控制与调整定位信息部分
通过智能终端(如移动终端、固定终端等)输入控制信息，并将控制信息发送至控制信息的接收方(如观测站的服务器等)。
第二部分：定位信息生成部分
控制信息接收方开启接收控制信息进程，从而实现控制信息的接收，之后开启定位信息生成进程，从而实现定位信息的生成。在定位信息生成进程生成定位信息的过程中，需要获取卫星上的包含目标无人机位置参数的星历文件，之后解析出控制信息和星历文件中的数据，并根据解析得到的数据生成定位数据；之后将生成的定位数据转换成二进制数据格式的定位信息。
第三部分：定位信息发送部分
控制信息接收方开启定位信息发送程序，通过定位信息发送程序将定位信息发送至目标无人机的飞行控制模块，使目标无人机的飞行控制模块被定位信息错误诱导，从而实现对目标无人机的诱捕。
针对目标无人机正在进行移动的情形，首先需要预测出与目标无人机所在位置对应的拦截位置，具体可以采用以下操作方式：
通过获取目标无人机的相对位置信息，根据目标无人机的运动速度和运动规律预测目标无人机的位置，具体过程为：首先将预测拦截位置点的相对位置信息(R、Ω、
)由站心球坐标转换为站心直角坐标；然后，结合雷达所处位置的GPS信息，将预测拦截位置的站心直角坐标转换为大地直角坐标系；最后，再将预测拦截位置点的大地直角坐标转换到GPS坐标系下。
雷达所在位置的GPS精确值(记为B1，L1，H1)可通过高精度定位仪测得，根据以下公式转换为极大地坐标(记为X1，Y1，Z1)。
其中B1为雷达所在位置的经度，L1为雷达所在位置的纬度，H1为雷达所在位置的大地高度，
a为椭球(即地球)的长半轴，e为椭球的偏心率。
根据站心直角坐标系向大地直角坐标系的转换公式：
再经过坐标平移，就能得到预测拦截位置点的大地直角坐标值(记为X2，Y2，Z2)。
根据得到的预测目标无人机拦截位置的大地直角坐标(X2，Y2，Z2)，采用近似直接法即可得到预测拦截位置的GPS坐标值(记为B2、L2、H2)。
反制设备收到拦截指令(即此时的防御指令)及预测拦截位置信息，到达预测拦截点并切换自主搜寻模式，视觉引导系统引导反制设备识别并进行无人机的捕捉拦截。
基于上述无人机检测与防御方法，参见图11所示，本发明实施例还提供一种无人机检测与防御系统，该系统包括：目标检测子系统111、定位跟踪子系统112和防御子系统113；目标检测子系统111包括特征提取模块1111、目标定位模块1112、三维变换模块1113和优化模块1114；
上述特征提取模块1111，用于对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；其中，所述初始三维点云是由高分辨率雷达在探测到无人机时所生成的；
上述目标定位模块1112，用于基于所述融合上下文特征生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵；其中，所述五元参数组包括沿Z轴旋转角度的余弦值、沿Z轴旋转角度的正弦值、X轴上的转换坐标值、Y轴上的转换坐标值和Z轴上的转换坐标值；
上述三维变换模块1113，用于基于所述初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对所述初始三维包围框中的关键点进行三维变换，得到三维注意区域；
上述优化模块1114，用于基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合；
上述定位跟踪子系统112，用于基于所述优化三维预测框集合对目标无人机进行定位，得到所述目标无人机的第一定位信息；
上述防御子系统113，用于基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理。
本发明实施例提供的无人机检测与防御系统，首先对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；再基于融合上下文特征生成用于表征无人机位置信息的五元参数组和五元参数组对应的三维变换矩阵；之后基于初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对初始三维包围框中的关键点进行三维变换，得到三维注意区域；基于融合上下文特征对三维注意区域进行融合优化，得到优化三维预测框集合；基于优化三维预测框集合对目标应用场景中的目标无人机进行定位，得到目标无人机的第一定位信息；基于目标无人机的第一定位信息对目标无人机进行防御处理。采用上述技术，由于三维注意力区域反映了无人机整体信息和无人机位置信息，因而对无人机的识别准确率和检测精度较高；且三维注意区域的融合优化是结合无人机整体信息进行的，因而对无人机的定位精度较高；此外，无人机的防御处理是基于无人机的定位结果进行的，因而对无人机的针对性较强。
上述特征提取模块1111，还用于：对所述初始三维点云进行第一卷积处理，得到用于表征无人机轮廓信息的三维上下文特征；对所述目标应用场景所对应的初始图像集合进行第二卷积处理，得到用于表征无人机细节信息的二维上下文特征；其中，所述初始图像集合中的每一个图像均含有无人机；所述细节信息包括以下至少之一：无人机的颜色信息、型号信息、搭载设备信息；对所述三维上下文特征与所述二维上下文特征进行特征融合，得到所述融合上下文特征。
上述目标定位模块1112，还用于：将所述融合上下文特征输入预先训练好的递归网络，通过所述递归网络输出第一特征；将所述第一特征输入预先训练好的全连接网络，通过所述全连接网络输出所述五元参数组和所述三维变换矩阵。
上述三维变换模块1113，还用于：采用最远点采样法对初始三维点云进行采样，得到关键点云；对所述关键点云进行体素特征提取，得到关键体素特征；其中，所述关键体素特征为具有位置信息的不规则的点云特征；对所述关键点云进行三维稀疏卷积编码处理，得到第一网格化特征图；将所述第一网格化特征图投影到鸟瞰图上，得到鸟瞰图特征；通过三层感知机对所述鸟瞰图特征的关键点权重进行预测，得到所述关键点云中关键点的权重；其中，所述鸟瞰图特征的关键点包括前景点和背景点，所述前景点的权重大于所述背景点的权重；对所述鸟瞰图特征的关键点进行栅格化处理，得到栅格化点特征；对所述栅格化点特征进行两层感知机的处理，得到所述初始三维包围框。
上述优化模块1114，还用于：按照预设采样规则对所述三维注意区域进行重采样处理，得到优化三维注意区域；基于所述融合上下文特征对所述优化三维注意区域进行融合优化，得到优化三维预测框集合。
上述优化模块1114，还用于：采用特征金字塔算法对所述融合上下文特征和所述优化三维注意区域进行融合，得到包含多个第一融合特征图的第一融合特征图集合；对所述第一融合特征图集合中的所有第一融合特征图进行卷积融合，得到所述优化三维预测框集合。
上述定位跟踪子系统112，还用于：通过IoU网络获取所述优化三维预测框集合中每个优化三维预测框的IoU预测值；其中，所述IoU预测值用于表征所述优化三维预测框的定位精度；根据所述优化三维预测框集合中每个优化三维预测框的IoU预测值，采用NMS算法对所述优化三维预测框集合进行后处理，得到最终三维预测框；根据所述最终三维预测框的位置坐标，确定所述第一定位信息。
上述防御子系统113，还用于：基于所述第一定位信息，确定所述第一定位信息对应的防御指令；所述防御指令用于控制反制设备摧毁所述目标无人机和/或控制反制设备向所述目标无人机发送干扰信号。
基于上述无人机检测与防御系统，本发明实施例还提供另一种无人机检测与防御系统，参见图12所示，该系统还包括：
修正子系统114，用于通过一个无线电发射站向所述目标无人机发射第一无线电波，通过至少两个无线电波接收站接收所述目标无人机反射的第一无线电波对应的第二无线电波；其中，每一个所述第一无线电波和每一个所述第二无线电波分别具有各自的时间信息；每一个所述无线电发射站和每一个所述无线电波接收站分别具有各自的位置信息；所述位置信息包括位置坐标和方位角；基于每一个所述第一无线电波的时间信息和每一个所述第二无线电波的时间信息，确定所述目标无人机对应的时间差参数方程组；基于每一个所述无线电发射站的位置信息和每一个所述无线电波接收站的位置信息，确定所述目标无人机对应的方位角参数方程组；基于所述时间差参数方程组和所述方位角参数方程组，确定所述目标无人机的第二定位信息，以应用所述第二定位信息修正所述第一定位信息。
本发明实施例所提供的无人机检测与防御系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种无人机检测与防御方法，其特征在于，所述方法包括：
对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；其中，所述初始三维点云是由设定雷达在探测到无人机时所生成的；
基于所述融合上下文特征生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵；其中，所述五元参数组包括沿Z轴旋转角度的余弦值、沿Z轴旋转角度的正弦值、X轴上的转换坐标值、Y轴上的转换坐标值和Z轴上的转换坐标值；
基于所述初始三维点云生成包含关键点的初始三维包围框，并用所述三维变换矩阵对所述初始三维包围框中的关键点进行三维变换，得到三维注意区域；
基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合；
基于所述优化三维预测框集合对所述目标应用场景中的目标无人机进行定位，得到所述目标无人机的第一定位信息；
基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理。
2.根据权利要求1所述的无人机检测与防御方法，其特征在于，所述方法还包括：
通过一个无线电发射站向所述目标无人机发射第一无线电波，通过至少两个无线电波接收站接收所述目标无人机反射的第一无线电波对应的第二无线电波；其中，每一个所述第一无线电波和每一个所述第二无线电波分别具有各自的时间信息；每一个所述无线电发射站和每一个所述无线电波接收站分别具有各自的位置信息；所述位置信息包括位置坐标和方位角；
基于每一个所述第一无线电波的时间信息和每一个所述第二无线电波的时间信息，确定所述目标无人机对应的时间差参数方程组；
基于每一个所述无线电发射站的位置信息和每一个所述无线电波接收站的位置信息，确定所述目标无人机对应的方位角参数方程组；
基于所述时间差参数方程组和所述方位角参数方程组，确定所述目标无人机的第二定位信息，以应用所述第二定位信息修正所述第一定位信息。
3.根据权利要求1所述的无人机检测与防御方法，其特征在于，所述对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征的步骤，包括：
对所述初始三维点云进行第一卷积处理，得到用于表征无人机轮廓信息的三维上下文特征；
对所述目标应用场景所对应的初始图像集合进行第二卷积处理，得到用于表征无人机细节信息的二维上下文特征；其中，所述初始图像集合中的每一个图像均含有无人机；所述细节信息包括以下至少之一：无人机的颜色信息、型号信息、搭载设备信息；
对所述三维上下文特征与所述二维上下文特征进行特征融合，得到所述融合上下文特征。
4.根据权利要求1所述的无人机检测与防御方法，其特征在于，所述基于所述融合上下文特征生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵的步骤，包括：
将所述融合上下文特征输入预先训练好的递归网络，通过所述递归网络输出第一特征；
将所述第一特征输入预先训练好的全连接网络，通过所述全连接网络输出所述五元参数组和所述三维变换矩阵。
5.根据权利要求1所述的无人机检测与防御方法，其特征在于，所述基于所述初始三维点云生成包含关键点的初始三维包围框的步骤，包括：
采用最远点采样法对初始三维点云进行采样，得到关键点云；
对所述关键点云进行体素特征提取，得到关键体素特征；其中，所述关键体素特征为具有位置信息的不规则的点云特征；
对所述关键点云进行三维稀疏卷积编码处理，得到第一网格化特征图；
将所述第一网格化特征图投影到鸟瞰图上，得到鸟瞰图特征；
通过三层感知机对所述鸟瞰图特征的关键点权重进行预测，得到所述关键点云中关键点的权重；其中，所述鸟瞰图特征的关键点包括前景点和背景点，所述前景点的权重大于所述背景点的权重；
对所述鸟瞰图特征的关键点进行栅格化处理，得到栅格化点特征；
对所述栅格化点特征进行两层感知机的处理，得到所述初始三维包围框。
6.根据权利要求1所述的无人机检测与防御方法，其特征在于，所述基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合的步骤，包括：
按照预设采样规则对所述三维注意区域进行重采样处理，得到优化三维注意区域；
基于所述融合上下文特征对所述优化三维注意区域进行融合优化，得到优化三维预测框集合。
7.根据权利要求6所述的无人机检测与防御方法，其特征在于，所述基于所述融合上下文特征对所述优化三维注意区域进行融合优化，得到优化三维预测框集合的步骤，包括：
采用特征金字塔算法对所述融合上下文特征和所述优化三维注意区域进行融合，得到包含多个第一融合特征图的第一融合特征图集合；
对所述第一融合特征图集合中的所有第一融合特征图进行卷积融合，得到所述优化三维预测框集合。
8.根据权利要求1所述的无人机检测与防御方法，其特征在于，所述基于所述优化三维预测框集合对目标无人机进行定位，得到所述目标无人机的第一定位信息的步骤，包括：
通过IoU网络获取所述优化三维预测框集合中每个优化三维预测框的IoU预测值；其中，所述IoU预测值用于表征所述优化三维预测框的定位精度；
根据所述优化三维预测框集合中每个优化三维预测框的IoU预测值，采用NMS算法对所述优化三维预测框集合进行后处理，得到最终三维预测框；
根据所述最终三维预测框的位置坐标，确定所述第一定位信息。
9.根据权利要求1-8任一项所述的无人机检测与防御方法，其特征在于，所述基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理的步骤，包括：
基于所述第一定位信息，确定所述第一定位信息对应的防御指令；所述防御指令用于控制反制设备摧毁所述目标无人机和/或控制反制设备向所述目标无人机发送干扰信号。
10.一种无人机检测与防御系统，其特征在于，所述系统包括：目标检测子系统、定位跟踪子系统和防御子系统；所述目标检测子系统包括特征提取模块、目标定位模块、三维变换模块和优化模块；
所述特征提取模块，用于对目标应用场景所对应的初始三维点云进行特征提取，得到用于表征无人机整体信息的融合上下文特征；其中，所述初始三维点云是由高分辨率雷达在探测到无人机时所生成的；
所述目标定位模块，用于基于所述融合上下文特征生成用于表征无人机位置信息的五元参数组和所述五元参数组对应的三维变换矩阵；其中，所述五元参数组包括沿Z轴旋转角度的余弦值、沿Z轴旋转角度的正弦值、X轴上的转换坐标值、Y轴上的转换坐标值和Z轴上的转换坐标值；
所述三维变换模块，用于基于所述初始三维点云生成包含关键点的初始三维包围框，并用三维变换矩阵对所述初始三维包围框中的关键点进行三维变换，得到三维注意区域；
所述优化模块，用于基于所述融合上下文特征对所述三维注意区域进行融合优化，得到优化三维预测框集合；
所述定位跟踪子系统，用于基于所述优化三维预测框集合对目标无人机进行定位，得到所述目标无人机的第一定位信息；
所述防御子系统，用于基于所述目标无人机的第一定位信息对所述目标无人机进行防御处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210458917.0A CN114862952B (zh) | 2022-04-27 | 2022-04-27 | 无人机检测与防御方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210458917.0A CN114862952B (zh) | 2022-04-27 | 2022-04-27 | 无人机检测与防御方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114862952A true CN114862952A (zh) | 2022-08-05 |
| CN114862952B CN114862952B (zh) | 2024-03-19 |
Family
ID=82634261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210458917.0A Active CN114862952B (zh) | 2022-04-27 | 2022-04-27 | 无人机检测与防御方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862952B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115913323A (zh) * | 2022-10-14 | 2023-04-04 | 西安空间无线电技术研究所 | 一种基于时空网格的低轨接入选择方法、存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019060125A1 (en) * | 2017-09-22 | 2019-03-28 | Zoox, Inc. | THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN113611082A (zh) * | 2021-07-12 | 2021-11-05 | 北京铁科特种工程技术有限公司 | 一种无人机铁路边坡监控与预警系统及方法 |
| CN113989797A (zh) * | 2021-10-26 | 2022-01-28 | 清华大学苏州汽车研究院（相城） | 一种基于体素点云融合的三维动态目标检测方法及装置 |
-
2022
- 2022-04-27 CN CN202210458917.0A patent/CN114862952B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019060125A1 (en) * | 2017-09-22 | 2019-03-28 | Zoox, Inc. | THREE-DIMENSIONAL DELIMITATION FRAMEWORK BASED ON TWO-DIMENSIONAL IMAGE DATA AND CLOUD OF POINTS |
| WO2021139069A1 (zh) * | 2020-01-09 | 2021-07-15 | 南京信息工程大学 | 自适应注意力指导机制的一般性目标检测方法 |
| CN113611082A (zh) * | 2021-07-12 | 2021-11-05 | 北京铁科特种工程技术有限公司 | 一种无人机铁路边坡监控与预警系统及方法 |
| CN113989797A (zh) * | 2021-10-26 | 2022-01-28 | 清华大学苏州汽车研究院（相城） | 一种基于体素点云融合的三维动态目标检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 严娟;方志军;高永彬;: "结合混合域注意力与空洞卷积的3维目标检测", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) * |
| 高仁强;张显峰;孙敏;赵庆展;: "融合无人机LiDAR和高分辨率光学影像的点云分类方法", 南京信息工程大学学报(自然科学版), no. 01, 28 January 2018 (2018-01-28) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115913323A (zh) * | 2022-10-14 | 2023-04-04 | 西安空间无线电技术研究所 | 一种基于时空网格的低轨接入选择方法、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114862952B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929692B (zh) | 一种基于多传感器信息融合的三维目标检测方法及装置 | |
| US10678257B2 (en) | Generating occlusion-aware bird eye view representations of complex road scenes | |
| US10915793B2 (en) | Method and system for converting point cloud data for use with 2D convolutional neural networks | |
| US9086484B2 (en) | Context-based target recognition | |
| KR20220119396A (ko) | 카메라 맵 및/또는 레이더 정보를 이용한 오브젝트 사이즈 추정 | |
| US20200302237A1 (en) | System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN117058646B (zh) | 基于多模态融合鸟瞰图的复杂道路目标检测方法 | |
| CN114862952B (zh) | 无人机检测与防御方法及系统 | |
| CN115147333A (zh) | 一种目标检测方法及装置 | |
| Jindal et al. | Bollard segmentation and position estimation from lidar point cloud for autonomous mooring | |
| CN106649607A (zh) | 基于矢量掩膜的遥感图像在线目标识别与监测方法及系统 | |
| CN108873931A (zh) | 一种基于主观与客观结合的无人机视觉防撞方法 | |
| Persson et al. | Automatic building detection from aerial images for mobile robot mapping | |
| Braga et al. | Estimation of UAV position using LiDAR images for autonomous navigation over the ocean | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| WO2023159073A1 (en) | Methods and systems of sensor fusion in cooperative perception systems | |
| CN116309348A (zh) | 一种基于改进TransUnet网络的月球南极撞击坑检测方法 | |
| CN115578539A (zh) | 室内空间高精度视觉位置定位方法、终端及存储介质 | |
| Guptha M et al. | Generative adversarial networks for unmanned aerial vehicle object detection with fusion technology | |
| CN115240168A (zh) | 感知结果获取方法、装置、计算机设备、存储介质 | |
| Xu et al. | Indoor localization using region-based convolutional neural network | |
| JP2023508276A (ja) | 多重解像度ボクセルにおける共分散を含むマップ | |
| Grelsson | Vision-based localization and attitude estimation methods in natural environments | |
| Shahbazi | Professional drone mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Xuetao Inventor after: Fan Kuangang Inventor after: Xu Yiwei Inventor after: Sun Wen Inventor before: Fan Kuangang Inventor before: Zhang Xuetao Inventor before: Xu Yiwei Inventor before: Sun Wen |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |