CN116563553B - 一种基于深度学习的无人机图像分割方法和系统 - Google Patents

一种基于深度学习的无人机图像分割方法和系统 Download PDF

Info

Publication number
CN116563553B
CN116563553B CN202310840032.1A CN202310840032A CN116563553B CN 116563553 B CN116563553 B CN 116563553B CN 202310840032 A CN202310840032 A CN 202310840032A CN 116563553 B CN116563553 B CN 116563553B
Authority
CN
China
Prior art keywords
image
resolution image
feature extraction
extraction module
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310840032.1A
Other languages
English (en)
Other versions
CN116563553A (zh
Inventor
姜明华
张影
余锋
刘莉
宋坤芳
周昌龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202310840032.1A priority Critical patent/CN116563553B/zh
Publication of CN116563553A publication Critical patent/CN116563553A/zh
Application granted granted Critical
Publication of CN116563553B publication Critical patent/CN116563553B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于深度学习的无人机图像分割方法和系统，所述的无人机的图像分割方法包括以下步骤：首先设计适用于无人机图像分割的深度学习模型，然后获取无人机集群的实时图像数据，将获取的图像数据输入到设计的深度模型中进行实时图像语义分割，最后得到实时的像素级预测的图像。所述的适用于无人机图像分割的深度模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块。本发明可以实时的获取图像分割结果，提高了无人机集群的智能化程度和操作效率。

Description

一种基于深度学习的无人机图像分割方法和系统
技术领域
本发明涉及无人机视觉领域，并且更具体地，涉及一种基于深度学习的无人机图像分割方法和系统。
背景技术
目前，无人机技术已经广泛应用于军事、民用等领域，如军事侦察、边境巡逻、物流配送等。随着无人机技术的不断发展，无人机的图像分割技术已经成为无人机技术发展的重要方向。无人机的图像分割可以帮助无人机实现自主导航、目标检测、地图绘制等应用，对于提高自主导航和智能化水平具有重要意义。
然而，无人机图像分割面临的问题是如何精准将收集到的图片进行分割，使得无人机的图像分割具有更高的准确性，同时能够更好的适应复杂场景。传统的无人机的图像分割通常需要手动设置参数，分割精度不高，且对于复杂环境下的无人机分割效果不佳。
发明内容
针对现有技术的以上缺陷或者改进需求，本发明提供了一种基于深度学习的无人机图像分割方法，其目的在于通过深度学习算法有效解析的无人机获取图片中的语义信息，提高对图像中信息分割的准确度。
本发明具有较高的精度和较快的处理速度，可以对无人机场景中的目标进行精确的识别和跟踪。本发明将深度学习应用于无人机语义分割中，利用其强大的识别能力，实现了对无人机的智能化控制和管理。
为实验上述目的，按照本发明的一个方面，提供了一种基于深度学习的无人机图像分割方法，包括以下步骤：
步骤1，设计适用于无人机图像分割模型；
所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；
首先对原始的输入图像分别进行下采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；
步骤2，训练设计好的图像语义分割模型；
步骤3，获取无人机集群的实时图像数据；
步骤4，使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
进一步的，步骤1中的低分辨率图像特征提取模块用于快速提取低分辨率图像中的语义特征。对输入图像下采样两次获得的1/4分辨率图像（低分辨率图像），同时使用该模块对低分辨率图像进行两次特征提取，将两次提取的语义特征进行融合。该模块包含3个卷积层和一个池化层，其中第三个卷积层的步长为2，以进一步降低分辨率。
进一步的，步骤1中的中分辨率图像特征提取模块中输入图像下采样一次获得的1/2分辨率图像（中分辨率图像），中分辨率图像首先被输入到步长为2的卷积层，卷积层对输入图片进行特征提取。经过卷积层后，图像的特征图被送入一个具有步幅的下采样层，以减小特征图的分辨率，减少为输入下采样层前的1/4。经过下采样后的特征图被送入具有步幅为2的上采样层（反卷积层），以增加特征图的分辨率。最后，经过反卷积层的特征图送入步长为2的卷积层。
进一步的，步骤1高分辨率图像特征提取模块中，输入图像首先经过一个3×3卷积层进行特征提取，得到64个特征图。紧接着是两个步长为2的下采样层，分别用于减小特征图的空间分辨率和通道数。
进一步的，步骤1特征融合模块中，将低分辨率图像特征提取模块和中分辨率图像特征提取模块的输出特征按照一定比例进行上采样。接着，将上采样后的特征和高分辨率图像特征提取模块的输出特征进行融合，最终生成全分辨率的预测结果。
进一步的，步骤2中，训练过程的使用的损失函数由三部分组成，第一部分是高分辨率图像特征提取模块的损失函数，第二部分是中分辨率图像特征提取模块的损失函数/>，第三部分是低分辨率图像特征提取模块的损失函数/>。
训练中使用的损失函数,其中/>和/>是超参数，用来平衡不同分辨率的损失。
=N / (C * n_c)
其中，输入的图片大小为HW，C为类别数，/>为适应无人机集群的不同场景下的权重，/>表示在输入图像中第 i 个像素的真实标签值，其中标签值是按照独热向量的格式表示的，/>表示每个像素点在该类别的概率，N 是训练集中的总样本数，n_c 是类别 c在训练集中的样本数量。
进一步的，所述3个卷积层和一个池化层的具体操作为：输入图像首先通过第一个卷积层进行特征提取。接着，通过第二个卷积层进一步提取特征，并通过池化层将分辨率降低为原始图像的1/8。最后，通过第三个卷积层进一步提取特征，并通过步长为2的卷积操作将分辨率降低为原始图像的1/16。
进一步的，所述的下采样层的具体操作为：下采样层包含四个不同大小的池化层，每个池化层的步幅大小都不同，分别是1、2、3、6。这些池化层分别对输入特征图进行池化，并将每个池化层的结果按通道方向拼接在一起，以获得一个具有全局上下文信息的特征图。
进一步的，所述的两个步长为2的下采样层的具体操作为：第一个下采样层包含一个3×3的卷积层和一个2×2的最大池化层，用于减小特征图的大小和通道数。第二个下采样层只包含一个3×3的卷积层，用于进一步减小特征图的通道数。
本发明还提供一种基于深度学习的无人机图像分割系统，包括以下模块：
模型设计模块，用于设计适用于无人机的图像分割模型；
所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；
首先对原始的输入图像分别进行上采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；
模型训练模块，用于训练设计好的图像语义分割模型；
数据获取模块，用于获取无人机的实时图像数据；
输出模块，用于使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
（1）加深网络的深度增强模型的学习能力，提高模型识别的精确度。
（2）使用新的损失函数，使模型训练更好的获取语义信息和细节，同时训练效果更好，更加符合图像场景。
（3）通过实时提取图像语义分割信息，能够应对不同环境和任务的需求，提高无人机图像分割的效率和性能。
附图说明
图1 本发明实施例提供的的技术方案流程图。
图2本发明实施例提供的无人机图像分割模型模块示意图。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的一种基于深度学习的无人机图像分割方法的实现方案，请参见附图1，图1是实施用例提供的一种基于深度学习的无人机图像分割方法的技术方案流程图，具体包含如下步骤：
（1）设计适用于无人机图像分割模型；
其中，所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块，中分辨率图像特征提取模块，高分辨率图像特征提取模块和特征融合模块，请参见图2，图2是实施例提供的一种基于深度学习的无人机图像分割方法的模型模块示意图；
其中，低分辨率图像特征提取模块包含3个卷积层和一个池化层，对输入图像下采样两次获得的1/4分辨率图像（低分辨率图像），同时使用该模块进行两次特征提取，将两次提取的语义特征进行融合。该模块包含3个卷积层和一个池化层，其中第三个卷积层的步长为2，以进一步降低分辨率。其中输入图像是通过无人机集群实时获取的图像。
图像首先通过第一个卷积层进行特征提取。接着，通过第二个卷积层进一步提取特征，并通过池化层将分辨率降低为原始图像的1/8。最后，通过第三个卷积层进一步提取特征，并通过步长为2的卷积操作将分辨率降低为原始图像的1/16。
其中，中分辨率图像特征提取模块包含2个卷积层和两个采样层，中分辨率图像特征提取模块中输入图像下采样一次获得的1/2分辨率图像（中分辨率图像），中分辨率图像首先被输入到步长为2的卷积层，卷积层对输入图片进行特征提取。经过卷积层后，图像的特征图被送入一个具有步幅的下采样层，以减小特征图的分辨率，减少为输入下采样层前的1/4。经过下采样后的特征图被送入具有步幅为2的上采样层（反卷积层），以增加特征图的分辨率。最后，经过反卷积层的特征图送入步长为2的卷积层。
其中，高分辨率图像特征提取模块包含1个卷积层和一个采样层，高分辨率图像特征提取模块中输入图像首先经过一个3×3卷积层进行特征提取，得到64个特征图。紧接着是两个步长为2的下采样层，分别用于减小特征图的空间分辨率和通道数。
其中，特征融合模块是将低中高三种分辨率的图像提取的特征进行融合，特征融合模块将低分辨率图像特征提取模块和中分辨率图像特征提取模块的输出特征按照一定比例进行上采样。接着，将上采样后的特征和高分辨图像特征提取模块的输出特征进行融合，最终生成全分辨率的预测结果。
具体的，所述的下采样层的操作：下采样层包含四个不同大小的池化层，每个池化层的步幅大小都不同，分别是1、2、3、6。这些池化层分别对输入特征图进行池化，并将每个池化层的结果按通道方向拼接在一起，以获得一个具有全局上下文信息的特征图。所述的两个步长为2的下采样层的具体操作。第一个下采样层包含一个3×3的卷积层和一个2×2的最大池化层，用于减小特征图的大小和通道数。第二个下采样层只包含一个3×3的卷积层，用于进一步减小特征图的通道数。
（2）训练设计好的图像语义分割模型；
具体的，训练过程的使用的损失函数由三部分组成，第一部分是高分辨率图像特征提取模块的损失函数，第二部分是中分辨率图像特征提取模块的损失函数/>，第三部分是低分辨率图像特征提取模块的损失函数/>。
训练中使用的损失函数,其中/>和/>是超参数，用来平衡不同分辨率的损失。
=N / (C * n_c)
其中，输入的图片大小为HW，C为类别数，/>为适应无人机集群的不同场景下的权重，/>表示在输入图像中第 i 个像素的真实标签值，其中标签值是按照独热向量的格式表示的，/>表示每个像素点在该类别的概率，N 是训练集中的总样本数，n_c 是类别 c在训练集中的样本数量。
（3）获取无人机集群的实时图像数据。
具体的，在无人机集群的各个飞行器上安装摄像头传感器，可以实时采集无人机周围的环境图像信息。这些图像信息可以包含周围的建筑物、道路、树木、人和其他无人机等元素。
（4）使用训练好的图像语义分割模型来解析实时获取的图片，生成像素级的预测图像。
具体的，在无人机集群执行任务过程中，不断根据实时获取的传感器数据更新环境感知信息，并使用语义分割模型对更新后的环境感知信息进行分析和预测，以便对无人机集群的行动进行调整和优化。
本发明提供一种基于深度学习的无人机图像分割方法，可以通过基于深度学习的无人机图像分割方法模型来解析传感器实时图像，获得像素级标注图像。
本发明实施例还提供一种基于深度学习的无人机图像分割系统，包括以下模块：
模型设计模块，用于设计适用于无人机的图像分割模型；
所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；
首先对原始的输入图像分别进行上采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；
模型训练模块，用于训练设计好的图像语义分割模型；
数据获取模块，用于获取无人机的实时图像数据；
输出模块，用于使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
各模块的具体实现方式与各步骤相同，本发明不予撰述。
本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于深度学习的无人机图像分割方法，其特征在于，包括以下步骤：
步骤1，设计适用于无人机的图像分割模型；
所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；
首先对原始的输入图像分别进行下采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；
步骤2，训练设计好的图像语义分割模型；
步骤2中，训练过程的使用的损失函数由三部分组成，第一部分是高分辨率图像特征提取模块的损失函数，第二部分是中分辨率图像特征提取模块的损失函数/>，第三部分是低分辨率图像特征提取模块的损失函数/>；
训练中使用的损失函数，其中/>和/>是超参数，用来平衡不同分辨率的损失；
；
；
；
=N / (C * n_c)；
其中，输入的图片大小为HW，C为类别数，/>为适应无人机集群的不同场景下的权重，表示在输入图像中第 i 个像素的真实标签值，其中标签值是按照独热向量的格式表示的，/>表示每个像素点在该类别的概率，N 是训练集中的总样本数，n_c 是类别 c 在训练集中的样本数量；
步骤3，获取无人机的实时图像数据；
步骤4，使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
2.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1中的低分辨率图像特征提取模块用于快速提取低分辨率图像中的语义特征，对输入图像下采样两次获得的1/4分辨率图像即低分辨率图像，同时使用低分辨率图像特征提取模块对低分辨率图像进行两次特征提取，然后将两次提取的语义特征进行融合；所述低分辨率图像特征提取模块包含3个卷积层和一个池化层，其中第三个卷积层的步长为2，以进一步降低分辨率。
3.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1中的中分辨率图像特征提取模块用于快速提取中分辨率图像中的语义特征，输入图像下采样一次获得的1/2分辨率图像即中分辨率图像，中分辨率图像首先被输入到步长为2的卷积层，卷积层对输入图片进行特征提取，经过卷积层后，图像的特征图被送入一个具有步幅的下采样层，以减小特征图的分辨率，减少为输入下采样层前的1/4，经过下采样后的特征图被送入具有步幅为2的上采样层即反卷积层，以增加特征图的分辨率；最后，经过反卷积层的特征图送入步长为2的卷积层。
4.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1高分辨率图像特征提取模块中，输入图像首先经过一个3×3卷积层进行特征提取，得到64个特征图，紧接着是两个步长为2的下采样层，分别用于减小特征图的空间分辨率和通道数。
5.如权利要求1所述的一种基于深度学习的无人机图像分割方法，其特征在于：步骤1特征融合模块中，将低分辨率图像特征提取模块和中分辨率图像特征提取模块的输出特征按照一定比例进行上采样；接着，将上采样后的特征和高分辨率图像特征提取模块的输出特征进行融合，最终生成全分辨率的预测结果。
6.如权利要求2所述的一种基于深度学习的无人机图像分割方法，其特征在于：所述3个卷积层和一个池化层的具体操作为，低分辨率图像首先通过第一个卷积层进行特征提取；接着，通过第二个卷积层进一步提取特征，并通过池化层将分辨率降低为原始图像的1/8；最后，通过第三个卷积层进一步提取特征，并通过步长为2的卷积操作将分辨率降低为原始图像的1/16。
7.如权利要求3所述的一种基于深度学习的无人机图像分割方法，其特征在于：所述下采样层的具体操作为，下采样层包含四个不同大小的池化层，每个池化层的步幅大小都不同，分别是1、2、3、6，这些池化层分别对输入特征图进行池化，并将每个池化层的结果按通道方向拼接在一起，以获得一个具有全局上下文信息的特征图。
8.如权利要求4所述的一种基于深度学习的无人机图像分割方法，其特征在于：所述的两个步长为2的下采样层的具体操作为，第一个下采样层包含一个3×3的卷积层和一个2×2的最大池化层，用于减小特征图的大小和通道数，第二个下采样层只包含一个3×3的卷积层，用于进一步减小特征图的通道数。
9.一种基于深度学习的无人机图像分割系统，其特征在于，包括以下模块：
模型设计模块，用于设计适用于无人机的图像分割模型；
所述的基于深度学习的无人机图像分割方法模型包括低分辨率图像特征提取模块、中分辨率图像特征提取模块、高分辨率图像特征提取模块和特征融合模块；
首先对原始的输入图像分别进行下采样操作得到中分辨率图像和低分辨率图像，然后将原始的输入图像、中分辨率图像和低分辨率图像分别输入到高分辨率图像特征提取模块、中分辨率图像特征提取模块和低分辨率图像特征提取模块得到不同的语义特征，最后通过特征融合模块对不同的语义特征进行融合，生成全分辨率的预测结果；
模型训练模块，用于训练设计好的图像语义分割模型；
训练过程的使用的损失函数由三部分组成，第一部分是高分辨率图像特征提取模块的损失函数，第二部分是中分辨率图像特征提取模块的损失函数/>，第三部分是低分辨率图像特征提取模块的损失函数/>；
训练中使用的损失函数，其中/>和/>是超参数，用来平衡不同分辨率的损失；
；
；
；
=N / (C * n_c)；
其中，输入的图片大小为HW，C为类别数，/>为适应无人机集群的不同场景下的权重，表示在输入图像中第 i 个像素的真实标签值，其中标签值是按照独热向量的格式表示的，/>表示每个像素点在该类别的概率，N 是训练集中的总样本数，n_c 是类别 c 在训练集中的样本数量；
数据获取模块，用于获取无人机的实时图像数据；
输出模块，用于使用训练好的图像语义分割模型来解析实时获取的图像，生成像素级的预测图像。
CN202310840032.1A 2023-07-10 2023-07-10 一种基于深度学习的无人机图像分割方法和系统 Active CN116563553B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310840032.1A CN116563553B (zh) 2023-07-10 2023-07-10 一种基于深度学习的无人机图像分割方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310840032.1A CN116563553B (zh) 2023-07-10 2023-07-10 一种基于深度学习的无人机图像分割方法和系统

Publications (2)

Publication Number Publication Date
CN116563553A CN116563553A (zh) 2023-08-08
CN116563553B true CN116563553B (zh) 2023-09-29

Family

ID=87495094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310840032.1A Active CN116563553B (zh) 2023-07-10 2023-07-10 一种基于深度学习的无人机图像分割方法和系统

Country Status (1)

Country Link
CN (1) CN116563553B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117409208B (zh) * 2023-12-14 2024-03-08 武汉纺织大学 一种实时服装图像语义分割方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN110276354A (zh) * 2019-05-27 2019-09-24 东南大学 一种高分辨率街景图片语义分割训练与实时分割方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113947102A (zh) * 2021-08-30 2022-01-18 上海大学 一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法
CN115393596A (zh) * 2022-10-28 2022-11-25 武汉纺织大学 一种基于人工智能的服装图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11188799B2 (en) * 2018-11-12 2021-11-30 Sony Corporation Semantic segmentation with soft cross-entropy loss

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268870A (zh) * 2018-01-29 2018-07-10 重庆理工大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
WO2020215236A1 (zh) * 2019-04-24 2020-10-29 哈尔滨工业大学（深圳） 图像语义分割方法和系统
CN110276354A (zh) * 2019-05-27 2019-09-24 东南大学 一种高分辨率街景图片语义分割训练与实时分割方法
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
AU2020103901A4 (en) * 2020-12-04 2021-02-11 Chongqing Normal University Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field
CN113947102A (zh) * 2021-08-30 2022-01-18 上海大学 一种用于复杂环境移动机器人场景理解的主干双路图像语义分割方法
CN115393596A (zh) * 2022-10-28 2022-11-25 武汉纺织大学 一种基于人工智能的服装图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Encoder- and Decoder-Based Networks Using Multiscale Feature Fusion and Nonlocal Block for Remote Sensing Image Semantic Segmentation;Yang Wang et al.;《IEEE Geoscience and Remote Sensing Letters》;第18卷(第7期);全文 *
基于下采样的特征融合遥感图像语义分割;李帅;郭艳艳;卫霞;;测试技术学报(第04期);全文 *

Also Published As

Publication number Publication date
CN116563553A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN111598030B (zh) 一种航拍图像中车辆检测和分割的方法及系统
CN110728200B (zh) 一种基于深度学习的实时行人检测方法及系统
CN110781850A (zh) 道路识别的语义分割系统和方法、计算机存储介质
CN112991487B (zh) 一种多线程实时构建正射影像语义地图的系统
WO2022206414A1 (zh) 三维目标检测方法及装置
CN116229452B (zh) 一种基于改进的多尺度特征融合的点云三维目标检测方法
CN116563553B (zh) 一种基于深度学习的无人机图像分割方法和系统
CN112766409A (zh) 一种遥感图像目标检测的特征融合方法
CN111382647B (zh) 一种图片处理方法、装置、设备及存储介质
CN109657538B (zh) 基于上下文信息指导的场景分割方法和系统
CN117079163A (zh) 一种基于改进yolox-s的航拍图像小目标检测方法
CN113052106A (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN114612741A (zh) 缺陷识别模型的训练方法、装置、电子设备及存储介质
CN111767854B (zh) 一种结合场景文本语义信息的slam回环检测方法
Wang et al. Global perception-based robust parking space detection using a low-cost camera
CN115035295A (zh) 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法
Li et al. Improved YOLOv5s algorithm for small target detection in UAV aerial photography
CN113610032A (zh) 基于遥感影像的建筑物识别方法和装置
CN114463205A (zh) 一种基于双分支Unet噪声抑制的车辆目标分割方法
CN117710839A (zh) 一种注意力驱动自适应特征融合轻量级目标检测方法
CN112561961A (zh) 一种实例追踪的方法及装置
CN114359258B (zh) 红外移动对象目标部位的检测方法、装置及系统
Tan et al. UAV image object recognition method based on small sample learning
CN114550016A (zh) 一种基于上下文信息感知的无人机定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant