CN117372907A - 一种基于人工智能无人机模拟训练的集群方法 - Google Patents
一种基于人工智能无人机模拟训练的集群方法 Download PDFInfo
- Publication number
- CN117372907A CN117372907A CN202311383196.2A CN202311383196A CN117372907A CN 117372907 A CN117372907 A CN 117372907A CN 202311383196 A CN202311383196 A CN 202311383196A CN 117372907 A CN117372907 A CN 117372907A
- Authority
- CN
- China
- Prior art keywords
- target
- images
- image
- unmanned aerial
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 title claims abstract description 42
- 238000004088 simulation Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 25
- 238000013145 classification model Methods 0.000 claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 18
- 230000001629 suppression Effects 0.000 claims description 12
- 238000009826 distribution Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 claims 8
- 238000000638 solvent extraction Methods 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于人工智能无人机模拟训练的集群方法其包括：目标识别模型、目标检测模型；子区域图像拼接、子区域目标识别、跨区域信息交互、边缘区域图像拼接、边缘区域目标识别；针对所述目标对象的多个区域图像，每个区域图像包括目标对象的残缺结构；将多个区域图像分别与预定背景图像融合，得到针对所述目标对象的完整图像，对多个实际类别和所述多个预测类别，对所述目标分类模型进行训练；本发明对大范围的区域进行分区划分，通过人工智能模型进行子区域内图像的拼接，并采用轻量化的目标识别模块，可以提高精度和速度；同时针对边缘区域进行图像拼接和目标识别，可以消除目标检测的死角，实现快速、全区域目标识别与检测。
Description
技术领域
本发明涉及无人机技术领域，尤其是涉及一种基于人工智能无人机模拟训练的集群方法。
背景技术
在一些应急救援的行动中，通常采用无人机进行救援目标的检测。尤其在一些面积较大的区域，通常采用多台无人机子区域进行目标检测，以提升目标检测和搜救速度。但是由于配备在无人机上的摄像头，无法在特定高度获取到无畸变的全景图，需要采用图像拼接技术来解决这一问题。现有技术中而已有的一些拼接算法，由于时间消耗太大无法满足实时拼接的要求。同时特定目标识别模型存在计算量和参数量较大，在复杂场景和远距离小目标场景中检测效果较差，需要采用轻量级、高效的目标识别模型，以满足无人机远距离和实时目标识别的需要。另外在相邻的边缘区域，尤其在一些不规则的边缘，无人机在航拍时容易存在盲区，同时当检测目标位于边缘附近时，单个无人机检测时容易漏检的现象，因此需要提高边缘区域目标检测的准确率。
因此，有必要提供一种基于人工智能无人机模拟训练的集群方法来解决上述技术问题。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
因此，本发明的目的在于提供一种基于人工智能无人机模拟训练的集群方法，从而克服上述现有技术中图像拼接技术实时性差、复杂场景和远距离小目标场景中检测效果较差，相邻的边缘区域目标容易漏检的不足。
为解决上述技术问题，本发明提供如下技术方案：一种基于人工智能无人机模拟训练的集群方法，其特征在于：所述方法包括：
检测包括完整结构的目标对象的第一样本图像，得到所述目标对象的关键点信息；
根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的多个区域图像，每个区域图像包括所述目标对象的残缺结构；
将所述多个区域图像分别与预定背景图像融合，得到多个第二样本图像；以及
根据所述多个第二样本图像对所述目标检测模型进行训练，
其中，所述对象识别模型还包括目标分类模型；所述方法还包括：根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的完整图像，所述完整图像包括所述目标对象的完整结构；
根据所述多个区域图像和所述完整图像，得到多个第三样本图像，每个所述第三样本图像包括表示所述目标对象的结构的实际类别；
将多个所述第三样本图像输入所述目标分类模型，得到针对多个所述第三样本图像的多个预测类别；以及
根据多个所述第三样本图像包括的多个实际类别和所述多个预测类别，对所述目标分类模型进行训练；
还包括多模型任务分配、子区域图像拼接、子区域目标识别、跨区域信息交互、边缘区域图像拼接、边缘区域目标识别；具体步骤如下：
S1：所述各无人机模型接收目标识别控制指令；
S2：所述各无人机对分配子区域内的图像进行拼接处理；
S3：所述子区域目标识别用于所述子区域内的目标进行识别；
S4：所述跨区域信息交互用于所述无人机之间，跨区域将图像、地理位置等信息基于边缘区域多参数数据帧结构进行传输；
S5：所述无人机进行所述边缘区域图像拼接；
S6：所述边缘区域目标识别用于在所述边缘区域内对地面目标进行识别。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述步骤S2的区域内的人工智能模型图像拼接步骤如下：
S7：开始计算，获取无人机航拍参数，参数包括图像；
S8：通过窗口偏移后图像灰度平均变化值计算图像的角点；
S9：采用非极大值抑制获得最优的关键点空间分布；
S10：使用代价函数求解进行关键点匹配；
S11：采用加权平滑融合计算重叠区域像素值，进行图像合成。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述关键点信息包括描述所述目标对象的多个关键点的位置信息；所述根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的多个区域图像包括：
确定所述多个关键点中分别描述所述目标对象的多个目标部位的目标关键点，得到分别对应所述目标对象的多个残缺结构的多个目标关键点组；
分别根据所述多个目标关键点组中关键点的位置信息，确定所述第一样本图像中分别针对所述多个残缺结构的多个区域；以及
根据所述多个区域裁剪所述第一样本图像，得到所述多个区域图像；
其中，所述多个目标关键点组中的每个目标关键点组包括：描述所述每个目标关键点组所对应的残缺结构的关键点；以及描述所述多个目标部位中与所述每个目标关键点组所对应的残缺结构相邻的相邻部位的关键点。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述步骤S3的子区域内目标识别步骤包如下：
S12：开始计算，获取拼接后的图像；
S13：进行自适应图像增强；
S14：通过主干层对输入图片进行特征提取；
S15：在颈部层通过自底向顶和自顶向底双路径聚合，对提取的特征进行融合；
S16：通过非极大值抑制对多目标框进行筛选；
S17：输出置信度值最高的预测类别，并返回目标位置的预测框坐标。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述步骤S4的子区域内目标识别步骤包如下：
S18：向相邻子区域无人机发送子区域检测完成和边缘区域所在位置信息；S19：等待相邻子区域无人机飞向的边缘区域；
S20：跨区域将目标识别图像、地理位置信息基于边缘区域多参数的数据帧结构进行传输；
S21：实时图像拼接和目标识别，相互传输边缘区域目标识别结果。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，其中，所述第一样本图像包括多个图像，所述多个图像包括标识不同的多个预定对象；所述方法还包括：将多个所述第三样本图像输入所述目标分类模型，得到针对多个所述第三样本图像的多个特征图；
将多个所述特征图组成多个第一特征图对和多个第二特征图对；每个所述第一特征图对中的两个特征图所针对的两个第三样本图像具有相同的实际类别；每个所述第二特征图对中的两个特征图所针对的两个第三样本图像具有不同的实际类别；以及
根据针对所述第一特征图对的第一差异与针对所述第二特征图对的第二差异之间的差值，对所述目标分类模型进行训练，其中，所述第一差异为所述第一特征图对中两个特征图之间的差异，所述第二差异为所述第二特征图对中两个特征图之间的差异。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述步骤S5的边缘区域图像拼接步骤如下：
S22：开始计算，获取无人机参数，参数包括边缘区域图像；
S23：通过窗口偏移后图像灰度平均变化值计算图像的角点；
S24：采用非极大值抑制获得最优的关键点空间分布；
S25：根据相邻位置计算图像的特征点距离，进行特征点匹配；
S26：对重叠区域进行光束平差处理；
S27：进行缝合隙初步搜索，得到重叠区像素点强度值；
S28：进行亮度的增量补偿以及基于图像金字塔的多波段融合；
S29：对拼接后的地理信息进行插值融合。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述步骤S6的边缘区域目标识别步骤如下：
S30：开始计算，获取拼接后的图像；
S31：进行自适应图像增强；
S32：通过主干层对输入图片进行特征提取；
S33：在颈部层通过自底向顶和自顶向底双路径聚合，对提取的特征进行融合；
S34：通过非极大值抑制对多目标框进行筛选；
S35：输出置信度值最高的预测类别，并返回目标位置的预测框坐标。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述将所述多个区域图像分别与预定背景图像融合，得到多个第二样本图像包括：根据预定尺寸比例调整所述多个区域图像，得到多个调整后图像；以及将所述多个调整后图像与所述预定背景图像融合，得到所述多个第二样本图像。
作为本发明所述基于人工智能无人机模拟训练的集群方法的一种优选方案，所述基于边缘区域多参数数据帧结构包括边缘区域航拍图像、地理位置、飞行方向、飞行速度、航拍角度、传输速率数据。
本发明的有益效果：本发明对大范围的区域进行分区划分，针对各子区域的图像进性拼接，采用角点检测后利用自适应非极大值抑制算法去除重复的关键点，获取无畸变的全景图，根据相邻位置计算图像的特征点距离进行特征点匹配，缩短拼接时间，运算速度高，实时性强；同时采用轻量级、高效的目标识别模型，通过自适应图像增强，降低复杂环境中的背景干扰，通过多尺度特征融合,提升检测和分类性能，减少特定目标识别模型参数量和计算量，满足无人机大场景和小目标场景中检测的需要。针对边缘区域进行图像拼接和目标识别，对重叠区域进行光束平差处理计算减少累计误差，通过基于图像金字塔的多波段融合和地理信息进行插值融合，提升图像拼接的准确性和速度，避免边缘区域尤其不规则地形中的目标漏检，消除目标检测的死角，实现无人机快速、全区域的目标检测。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
其中：
图1本发明的一种实施例所述基于人工智能无人机模拟训练的集群方法的协同目标检测功能模块组成示意图；
图2本发明的一种实施例所述基于人工智能无人机模拟训练的集群方法的跨区域信息交互示意图；
图3本发明的一种实施例所述基于人工智能无人机模拟训练的集群方法的图像拼接处理示意图；
图4本发明的一种实施例所述基于人工智能无人机模拟训练的集群方法的无人机区域划分示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
实施例1
参照图1-4，本发明的第一个实施例，一种基于人工智能无人机模拟训练的集群方法，其特征在于：
检测包括完整结构的目标对象的第一样本图像，得到所述目标对象的关键点信息；根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的多个区域图像，每个区域图像包括所述目标对象的残缺结构；将所述多个区域图像分别与预定背景图像融合，得到多个第二样本图像；以及
根据所述多个第二样本图像对所述目标检测模型进行训练，
其中，所述对象识别模型还包括目标分类模型；所述方法还包括：根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的完整图像，所述完整图像包括所述目标对象的完整结构；
根据所述多个区域图像和所述完整图像，得到多个第三样本图像，每个所述第三样本图像包括表示所述目标对象的结构的实际类别；
将多个所述第三样本图像输入所述目标分类模型，得到针对多个所述第三样本图像的多个预测类别；以及
根据多个所述第三样本图像包括的多个实际类别和所述多个预测类别，对所述目标分类模型进行训练；
还包括多模型任务分配、子区域图像拼接、子区域目标识别、跨区域信息交互、边缘区域图像拼接、边缘区域目标识别；具体步骤如下：步骤S1：所述各无人机接收目标识别控制指令；
步骤S2：所述各无人机对分配子区域内的图像进行拼接处理；
步骤S3：所述子区域目标识别用于所述子区域内的目标进行识别；
步骤S4：所述跨区域信息交互用于所述无人机之间，跨区域将图像、地理位置等信息基于边缘区域多参数数据帧结构进行传输；
步骤S5：所述无人机进行所述边缘区域图像拼接；
步骤S6：所述边缘区域目标识别用于在所述边缘区域内对地面目标进行识别。
具体的，在上述方法中，所述步骤S2包括：
S7：开始计算，获取无人机航拍参数，参数包括图像；
S8：当窗口中心为(x,y)时，通过窗口偏移(u,v)后图像灰度平均变化值
E(x,y)为：
实对称矩阵
其中Wx,y为图像窗口函数，Ix、Iy分别为图像I在x和y方向上的梯度。再设置阈值T，计算角点的响应值R
R＝detM-α(traceM)2
此时det为矩阵的行列式，trace为矩阵的迹，α为常数，R≥T即为图像的角点；
S9：先是确定每个边框的置信度得分，再根据置信度得分进行价值排序，选择置信度最高得边界框入列表，计算所有边界框面积、置信度最高的边界框和其它框的IOU,再删除IOU大于阈值的边界框，这样通过非极大值
抑制获得最优的关键点空间分布；
S10：使用代价函数求解进行关键点匹配，当模型为最优解时，对应的代
价函数最小：
其中(x’,y’)为图像角点位置，hi,j(i,j＝1,2,3)为最优单应性矩阵元素。
S11：采用加权平滑融合计算重叠区域像素值，进行图像合成：
其中f1(x,y)和f2(x,y)为需要拼接的图像，d1和d2表示重叠区域中点到两图像重叠区域左、右边界的距离。
具体的，在上述方法中，所述步骤S3包括：
S12：开始计算，获取拼接后的图像；
S13：进行自适应图像增强，先将图像的亮度分量和反射分量分离得到被分离后得反射分量：
其中I(x,y)表示RGB各通道的亮度，L(x,y)表示图像的亮度分量，再对亮度分量进行校正，得到：
L’(x,y)＝L(x,y)γ(x,y)
其中γ(x,y)为系数矩阵，再通过融合R(x,y)和L’(x,y)，得到增强后的图像：
I’(x,y)＝R(x,y)·L’(x,y)
S14：通过主干层对输入图片进行特征提取，使用Conv模块和C3模块进行特征的提取，C3模块可以起到压缩模型并提高推理速度的作用，通过增加注意力机制模块，在接收到中间特征图后沿着通道和空间上的两个独立维度进行处理，将得到的特征图与输入时的特征图相乘，实现自适应的特征优化，增加重要特征信息关注度，抑制次要信息的关注度；
S15：接着在颈部层对提取的特征进行融合，通过自底向顶和自顶向底双路径聚合，实现底层特征信息和高层强语义信息的特征融合；
S16：通过非极大值抑制对多目标框进行筛选；
S17：输出置信度值最高的预测类别，并返回目标位置的预测框坐标。所述关键点信息包括描述所述目标对象的多个关键点的位置信息；所述根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的多个区域图像包括：
确定所述多个关键点中分别描述所述目标对象的多个目标部位的目标关键点，得到分别对应所述目标对象的多个残缺结构的多个目标关键点组；
分别根据所述多个目标关键点组中关键点的位置信息，确定所述第一样本图像中分别针对所述多个残缺结构的多个区域；以及
根据所述多个区域裁剪所述第一样本图像，得到所述多个区域图像；
其中，所述多个目标关键点组中的每个目标关键点组包括：描述所述每个目标关键点组所对应的残缺结构的关键点；以及描述所述多个目标部位中与所述每个目标关键点组所对应的残缺结构相邻的相邻部位的关键点。
其中，所述第一样本图像包括多个图像，所述多个图像包括标识不同的多个预定对象；所述方法还包括：将多个所述第三样本图像输入所述目标分类模型，得到针对多个所述第三样本图像的多个特征图；
将多个所述特征图组成多个第一特征图对和多个第二特征图对；
每个所述第一特征图对中的两个特征图所针对的两个第三样本图像具有相同的实际类别；每个所述第二特征图对中的两个特征图所针对的两个第三样本图像具有不同的实际类别；以及
根据针对所述第一特征图对的第一差异与针对所述第二特征图对的第二差异之间的差值，对所述目标分类模型进行训练，其中，所述第一差异为所述第一特征图对中两个特征图之间的差异，所述第二差异为所述第二特征图对中两个特征图之间的差异。
具体的，在上述方法中，所述步骤S4包括：
S18：向相邻子区域无人机发送子区域检测完成；
S19：等待相邻子区域无人机检测结束并到达附近的边缘区域；
S20：跨区域将目标识别图像、地理位置等信息基于边缘区域多参数的数据帧结构进行传输；
S21：实时图像拼接和目标识别，相互传输边缘区域目标识别结果。
进一步地，在上述方法中，所述步骤S5包括：
S22：开始计算，获取无人机参数，参数包括边缘区域图像；
S23：当窗口中心为(x,y)时，通过窗口偏移(u,v)后图像灰度平均变化值E(x,y)，
实对称矩阵
其中Wx,y为图像窗口函数，Ix、Iy分别为图像I在x和y方向上的梯度。再设置阈值T，计算角点的响应值R
R＝detM-α(traceM)2
此时det为矩阵的行列式，trace为矩阵的迹，α为常数，R≥T即为图像的角点；
S24：先是确定每个边框的置信度得分，再根据置信度得分进行价值排序，选择置信度最高得边界框入列表，计算所有边界框面积、置信度最高的边界框和其它框的IOU，再删除IOU大于阈值的边界框，这样通过非极大值抑制获得最优的关键点空间分布；
S25：根据相邻位置计算图像的特征点距离，进行特征点匹配:
使用k近邻算法计算2幅图像间的特征点距离，记特征点最近距离为m0，次近距离为m1，当m0/m1<阈值T，则特征点为匹配点；
S26：对重叠区域进行光束平差处理；
S27：进行缝合隙初步搜索，得到重叠区像素点强度值：
E(x,y)＝E1(x,y)+E2(x,y)；
其中E1(x,y)和E2(x,y)分别为拼接图像上像素点的灰度差值和梯度差值。
S28：进行亮度的增量补偿以及基于图像金字塔的多波段融合；
S29：对拼接后的地理信息进行插值融合，选取在融合点的经纬度差值小于0.0001的图像，取两者的平均值作为拼接图像的经纬度。
具体的，在上述方法中，所述步骤S6包括：
S30：开始计算，获取拼接后的图像；
S31：进行自适应图像增强，先将图像的亮度分量和反射分量分离得到被分离后得反射分量：
其中I(x,y)表示RGB各通道的亮度，L(x,y)表示图像的亮度分量，再对亮度分量进行校正，得到：
L’(x,y)＝L(x,y)γ(x,y)
其中γ(x,y)为系数矩阵，再通过融合R(x,y)和L’(x,y)，得到增强后的图像：
I’(x,y)＝R(x,y)·L’(x,y)
S32：通过主干层对输入图片进行特征提取，使用Conv模块和C3模块进行特征的提取，C3模块可以起到压缩模型并提高推理速度的作用，通过增加注意力机制模块，在接收到中间特征图后沿着通道和空间上的两个独立维度进行处理,将得到的特征图与输入时的特征图相乘，实现自适应的特征优化，增加重要特征信息关注度，抑制次要信息的关注度；
S33：接着在颈部层对提取的特征进行融合，通过自底向顶和自顶向底双路径聚合，实现底层特征信息和高层强语义信息的特征融合；
S34：通过非极大值抑制对多目标框进行筛选；
S35：输出置信度值最高的预测类别，并返回目标位置的预测框坐标。
将所述多个区域图像分别与预定背景图像融合，得到多个第二样本图像包括：根据预定尺寸比例调整所述多个区域图像，得到多个调整后图像；以及将所述多个调整后图像与所述预定背景图像融合，得到所述多个第二样本图像。
综上所述，本发明对大范围的区域进行分区划分，UAVm及UAVn是指第m,n座人工智能模型(m,n表示序号),先针对各子区域的图像进行拼接，获取无畸变的全景图，根据相邻位置计算图像的特征点距离进行特征点匹配，缩短拼接时间，运算速度高，实时性强；针对边缘区域进行图像拼接和目标识别，对重叠区域进行光束平差处理计算减少累计误差，通过基于图像金字塔的多波段融合和地理信息进行插值融合，提升图像拼接的准确性和速度。同时采用轻量级、高效的目标识别模型，实现多尺度特征融合,提升检测和分类性能，减少特定目标识别模型参数量和计算量，实现无人机快速、全区域的目标检测。
此外，为了提供示例性实施方案的简练描述，可以不描述实际实施方案的所有特征(即，与当前考虑的执行本发明的最佳模式不相关的那些特征，或于实现本发明不相关的那些特征)。
应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于人工智能无人机模拟训练的集群方法，其特征在于：
检测包括完整结构的目标对象的第一样本图像，得到所述目标对象的关键点信息；
根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的多个区域图像，每个区域图像包括所述目标对象的残缺结构；
将所述多个区域图像分别与预定背景图像融合，得到多个第二样本图像；以及
根据所述多个第二样本图像对所述目标检测模型进行训练，
其中，所述对象识别模型还包括目标分类模型；所述方法还包括：
根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的完整图像，所述完整图像包括所述目标对象的完整结构；
根据所述多个区域图像和所述完整图像，得到多个第三样本图像，每个所述第三样本图像包括表示所述目标对象的结构的实际类别；
将多个所述第三样本图像输入所述目标分类模型，得到针对多个所述第三样本图像的多个预测类别；以及
根据多个所述第三样本图像包括的多个实际类别和所述多个预测类别，对所述目标分类模型进行训练；
还包括多模型任务分配、子区域图像拼接、子区域目标识别、跨区域信息交互、边缘区域图像拼接、边缘区域目标识别；具体步骤如下：
步骤S1：所述各无人机接收目标识别控制指令；
步骤S2：所述各无人机对分配子区域内的图像进行拼接处理；
步骤S3：所述子区域目标识别用于所述子区域内的目标进行识别；
步骤S4：所述跨区域信息交互用于所述无人机之间，跨区域将图像、地理位置信息基于边缘区域多参数数据帧结构进行传输；
步骤S5：所述无人机进行所述边缘区域图像拼接；
步骤S6：所述边缘区域目标识别用于在所述边缘区域内对地面目标进行识别。
2.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述步骤S2的区域内的人工智能模型图像拼接步骤如下：
S7：开始计算，获取无人机航拍参数，参数包括图像；
S8：通过窗口偏移后图像灰度平均变化值计算图像的角点；
S9：采用非极大值抑制获得最优的关键点空间分布；
S10：使用代价函数求解进行关键点匹配；
S11：采用加权平滑融合计算重叠区域像素值，进行图像合成。
3.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述关键点信息包括描述所述目标对象的多个关键点的位置信息；所述根据所述关键点信息裁剪所述第一样本图像，得到针对所述目标对象的多个区域图像包括：
确定所述多个关键点中分别描述所述目标对象的多个目标部位的目标关键点，得到分别对应所述目标对象的多个残缺结构的多个目标关键点组；
分别根据所述多个目标关键点组中关键点的位置信息，确定所述第一样本图像中分别针对所述多个残缺结构的多个区域；以及
根据所述多个区域裁剪所述第一样本图像，得到所述多个区域图像；
其中，所述多个目标关键点组中的每个目标关键点组包括：描述所述每个目标关键点组所对应的残缺结构的关键点；以及描述所述多个目标部位中与所述每个目标关键点组所对应的残缺结构相邻的相邻部位的关键点。
4.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述步骤S3的子区域内目标识别步骤包如下：
S12：开始计算，获取拼接后的图像；
S13：进行自适应图像增强；
S14：通过主干层对输入图片进行特征提取；
S15：在颈部层通过自底向顶和自顶向底双路径聚合，对提取的特征进行融合；
S16：通过非极大值抑制对多目标框进行筛选；
S17：输出置信度值最高的预测类别，并返回目标位置的预测框坐标。
5.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述步骤S4的子区域内目标识别步骤包如下：
S18：向相邻子区域无人机发送子区域检测完成和边缘区域所在位置信息；
S19：等待相邻子区域无人机飞向附近的边缘区域；
S20：跨区域将目标识别图像、地理位置信息基于边缘区域多参数的数据帧结构进行传输；
S21：实时图像拼接和目标识别，相互传输边缘区域目标识别结果。
6.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：其中，所述第一样本图像包括多个图像，所述多个图像包括标识不同的多个预定对象；所述方法还包括：将多个所述第三样本图像输入所述目标分类模型，得到针对多个所述第三样本图像的多个特征图；
将多个所述特征图组成多个第一特征图对和多个第
二特征图对；每个所述第一特征图对中的两个特征图所针对的两个第三样本图像具有相同的实际类别；每个所述第二特征图对中的两个特征图所针对的两个第三样本图像具有不同的实际类别；以及
根据针对所述第一特征图对的第一差异与针对所述第二特征图对的第二差异之间的差值，对所述目标分类模型进行训练，其中，所述第一差异为所述第一特征图对中两个特征图之间的差异，所述第二差异为所述第二特征图对中两个特征图之间的差异。
7.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述步骤S5的边缘区域图像拼接步骤如下：
S22：开始计算，获取无人机参数，参数包括边缘区域图像；
S23：通过窗口偏移后图像灰度平均变化值计算图像的角点；
S24：采用非极大值抑制获得最优的关键点空间分布；
S25：根据相邻位置计算图像的特征点距离，进行特征点匹配；
S26：对重叠区域进行光束平差处理；
S27：进行缝合隙初步搜索，得到重叠区像素点强度值；
S28：进行亮度的增量补偿以及基于图像金字塔的多波段融合；
S29：对拼接后的地理信息进行插值融合。
8.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述步骤S6的边缘区域目标识别步骤如下：
S30：开始计算，获取拼接后的图像；
S31：进行自适应图像增强；
S32：通过主干层对输入图片进行特征提取；
S33：在颈部层通过自底向顶和自顶向底双路径聚合，对提取的特征进行融合；
S34：通过非极大值抑制对多目标框进行筛选；
S35：输出置信度值最高的预测类别，并返回目标位置的预测框坐标。
9.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法，其特征在于：所述将所述多个区域图像分别与预定背景图像融合，得到多个第二样本图像包括：根据预定尺寸比例调整所述多个区域图像，得到多个调整后图像；以及将所述多个调整后图像与所述预定背景图像融合，得到所述多个第二样本图像。
10.根据权利要求1所述的基于人工智能无人机模拟训练的集群方法其特征在于，所述基于边缘区域多参数数据帧结构包括边缘区域航拍图像、地理位置、飞行方向、飞行速度、航拍角度、传输速率数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311383196.2A CN117372907A (zh) | 2023-10-24 | 2023-10-24 | 一种基于人工智能无人机模拟训练的集群方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311383196.2A CN117372907A (zh) | 2023-10-24 | 2023-10-24 | 一种基于人工智能无人机模拟训练的集群方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117372907A true CN117372907A (zh) | 2024-01-09 |
Family
ID=89400022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311383196.2A Pending CN117372907A (zh) | 2023-10-24 | 2023-10-24 | 一种基于人工智能无人机模拟训练的集群方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117372907A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970945A (zh) * | 2024-03-29 | 2024-05-03 | 西北工业大学 | 一种多无人机协同侦察轻量化双层空间表征方法 |
-
2023
- 2023-10-24 CN CN202311383196.2A patent/CN117372907A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117970945A (zh) * | 2024-03-29 | 2024-05-03 | 西北工业大学 | 一种多无人机协同侦察轻量化双层空间表征方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115439424B (zh) | 一种无人机航拍视频图像智能检测方法 | |
| CN109145747B (zh) | 一种水面全景图像语义分割方法 | |
| CN111551167B (zh) | 一种基于无人机拍摄和语义分割的全局导航辅助方法 | |
| CN107145867A (zh) | 基于多任务深度学习的人脸及人脸遮挡物检测方法 | |
| CN106971185B (zh) | 一种基于全卷积网络的车牌定位方法及装置 | |
| CN117372907A (zh) | 一种基于人工智能无人机模拟训练的集群方法 | |
| CN113673444A (zh) | 一种基于角点池化的路口多视角目标检测方法及系统 | |
| CN110705412A (zh) | 一种基于运动历史图像的视频目标检测方法 | |
| CN111126205A (zh) | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 | |
| CN111931572B (zh) | 一种遥感影像的目标检测方法 | |
| CN114723944A (zh) | 图像分析方法、存储介质和电子设备 | |
| CN113052108A (zh) | 基于深度神经网络的多尺度级联航拍目标检测方法和系统 | |
| CN113297959A (zh) | 一种基于角点注意力孪生网络的目标跟踪方法及系统 | |
| CN116958528A (zh) | 一种基于图像融合的多无人机协同目标检测方法 | |
| CN115331127A (zh) | 一种基于注意力机制的无人机移动目标侦测方法 | |
| CN118264763A (zh) | 光线和运动物体自适应的多相机视频拼接方法、系统及装置 | |
| CN112347967B (zh) | 一种复杂场景下融合运动信息的行人检测方法 | |
| CN113780187A (zh) | 交通标志识别模型训练方法、交通标志识别方法和装置 | |
| CN117974497A (zh) | 一种雾霾场景驾驶视觉增强及目标检测方法 | |
| CN117422743A (zh) | 基于高速车辆检测和重识别的跨摄像头多目标跟踪系统 | |
| CN112069997A (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN116630904A (zh) | 融合非临近跳连与多尺度残差结构的小目标车辆检测方法 | |
| Ying et al. | Large-Scale High-Altitude UAV-Based Vehicle Detection via Pyramid Dual Pooling Attention Path Aggregation Network | |
| CN117011722A (zh) | 基于无人机实时监控视频的车牌识别方法及装置 | |
| CN114140494A (zh) | 复杂场景下单目标跟踪系统、方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |