CN117911908B - 一种无人机航拍图像的增强处理方法及系统 - Google Patents
一种无人机航拍图像的增强处理方法及系统 Download PDFInfo
- Publication number
- CN117911908B CN117911908B CN202410317531.7A CN202410317531A CN117911908B CN 117911908 B CN117911908 B CN 117911908B CN 202410317531 A CN202410317531 A CN 202410317531A CN 117911908 B CN117911908 B CN 117911908B
- Authority
- CN
- China
- Prior art keywords
- image
- layer
- feature map
- module
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 17
- 238000011176 pooling Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 29
- 238000003709 image segmentation Methods 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 230000008521 reorganization Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 claims 3
- 239000003623 enhancer Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000010287 polarization Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 102100022778 POC1 centriolar protein homolog A Human genes 0.000 description 1
- 101710125073 POC1 centriolar protein homolog A Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种无人机航拍图像的增强处理方法及系统，属于图像处理技术领域，所述方法包括：步骤S1：建立图像数据集；步骤S2：构建图像增强网络；步骤S3：基于所述图像数据集对所述图像增强网络进行训练，迭代至损失函数收敛；步骤S4：操控无人机采集目标区域的航拍图像；步骤S5：将所述无人机采集的航拍图像输入至训练好的所述图像增强网络，得到增强后的无人机航拍图像。本发明对图像结构层和图像细节层分别进行处理，能够有效保留图像的颜色分布信息，同时目标物体的轮廓边缘得到增强。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种无人机航拍图像的增强处理方法及系统。
背景技术
随着无人机技术的迅速发展，搭载成像设备的无人机被广泛应用于救灾救援、森林防火、环境保护、公共安全等。通过对无人机航拍图像进行分析，能够有效捕捉到航拍区域存在的问题。然而，由于无人机航拍区域存在拍摄场景复杂、环境亮度低等情况，需要对无人机航拍的图像进行增强处理，之后才能够准确的进行图像分析。
目前，针对无人机航拍图像进行增强处理，有两种主要的处理方式。一种是传统的图像处理方法，包括gamma校正、直方图均衡、Retinex算法等，但上述方法存在受光照影响大、算法复杂度高、执行效率地下等问题。另一种是基于深度学习的图像增强处理方法，如采用卷积神经网络等直接实现端到端的图像生成，从而达到图像增强的效果。然而，由于无人机航拍场景变化较快，上述方法未关注到图像结构与图像细节，以及未对图像噪声进行针对性处理，导致难以取得令人满意的增强处理效果。
因此，亟需一种新型的无人机航拍图像的增强处理方法及系统，该方法和系统能够实现对不同光照条件下无人机航拍图像的高效、准确处理，提高图像增强处理的效果。
发明内容
针对上述现有技术中存在的缺陷，本发明提供一种无人机航拍图像的增强处理方法，所述方法包括：
步骤S1：建立图像数据集，所述图像数据集用于对图像增强网络进行训练，其中所述图像数据集包括训练集、验证集；
步骤S2：构建图像增强网络，所述图像增强网络包括图像分割模块、双分支处理模块和融合模块；
其中，所述图像分割模块采用改进的SegNet网络将输入图像划分为图像结构层和图像细节层；
其中，所述双分支处理模块包括结构层增强分支和细节层增强分支，所述结构层增强分支用于对所述图像结构层进行增强处理，所述细节层增强分支用于对所述图像细节层进行增强处理；
其中，所述融合模块对结构层增强分支和细节层增强分支的输出进行融合；
步骤S3：基于所述图像数据集对所述图像增强网络进行训练，迭代至损失函数收敛；
步骤S4：操控无人机采集目标区域的航拍图像；
步骤S5：将所述无人机采集的航拍图像输入至训练好的所述图像增强网络，得到增强后的无人机航拍图像。
所述步骤S2中，所述改进的SegNet网络包括编码器模块、ASPP模块以及解码器模块；
其中，所述编码器模块包括卷积层、归一化层和ReLU激活函数，在编码器中，采用混合池化进行下采样，以保留更多的细节特征；在进行池化时，不再存储相应的最大池化索引；
其中，所述ASPP模块包括多个并行的空洞卷积层，每个层使用不同的膨胀率来提取多尺度特征图；将所述多尺度特征图进行1×1卷积融合，得到融合后的多尺度特征图；
其中，所述解码器模块与所述编码器模块相对应，所述解码器模块将ASPP模块输出的所述融合后的多尺度特征图与对应层次的编码器特征图通过残差连接进行融合；使用像素重组的方式进行上采样以恢复图像空间分辨率；随后进行卷积操作来提取和细化特征。
所述步骤S2中，所述混合池化具体为：
；
；
；
其中：
表示第l层的第k个特征图；
表示对/>进行均值极化；
表示对/>进行最大极化；
表示相对权重，取值范围在0-1之间；
Lin表示输入的第k个特征图的长度；
kernel_size表示池化窗口的大小；
stride表示池化窗口移动的步长；
dilation表示池化窗口内部元素之间的步长；
根据无人机航拍对象的不同，对应调整的值，从而平衡均值池化和最大池化以得到最佳的混合池化结果。
所述步骤S2中，所述每个层使用不同的膨胀率来提取多尺度特征图，将所述多尺度特征图进行1×1卷积融合，得到融合后的多尺度特征图，具体包括：
将并行的空洞卷积层的膨胀率设置为[1，6，12，18]；
对于输入的特征图，同时采用具有不同膨胀率的多个并行空洞卷积层进行处理，每个并行空洞卷积层都会生成不同感受野大小的多尺度特征图；
对所述多尺度特征图进行通道拼接；
对拼接后的多尺度特征图进行1×1卷积融合，从而得到融合后的多尺度特征图；
其中，空洞卷积的感受野计算公式为：
；
其中：
s'是空洞卷积后的实际感受野大小；
s是卷积核的大小；
r 是膨胀率，决定卷积核在特征图上采样时的间隔。
所述步骤S2中，所述使用像素重组的方式进行上采样以恢复图像空间分辨率，具体包括：
设置中间卷积层对所述残差连接后的图像进行t²次尺寸不变卷积，得到t²个通道的特征图；其中所述残差连接后的图像分辨率大小为W×H，t为放大倍数，即上采样后图像的分辨率大小为tW×tH；
通过轮询的方式依次选取每个通道对应位置的像素，进行压缩重组，即将多个通道的单一像素组合成新的特征图上的一个像素单元，从而得到分辨率变为tW×tH的新的特征图，其中，所述单一像素等价于所述新的特征图上的一个亚像素；
采用高斯滤波器对所述分辨率大小为tW×tH的新的特征图进行滤波处理，以得到最终的空间分辨率恢复的图像。
所述步骤S2中，所述结构层增强分支采用添加了通道注意力机制的Pix2PixHD网络对所述图像结构层进行增强处理，
所述Pix2PixHD网络包括生成器和判别器；
其中，所述生成器包括全局生成器G1和局部增强器G2，所述判别器包括多尺度判别器。
所述通道注意力机制被添加在所述全局生成器G1中，以使其能够更好地捕捉全局特征；具体为：
将全局生成器中的每个卷积层输出的特征图，输入至通道注意力机制模块中，该通道注意力机制模块由两个全连接层以及位于中间的ReLU激活函数构成；
所述通道注意力机制模块计算所述特征图的每个通道的注意力权重；
将所述每个通道的注意力权重与所述特征图的每个通道相乘，从而实现对上述特征图的通道级别的重加权。
所述步骤S2中，所述细节层增强分支用于对所述图像细节层进行增强处理，具体为：
将所述图像分割模块划分得到的所述图像细节层进行二维傅里叶变换，获得所述图像细节层的频域信号；
根据无人机航拍目标的不同，设置匹配的频域噪声滤波器；
将所述图像细节层的频域信号输入至所述频域噪声滤波器中，以滤除相应的噪声信号；
将滤除噪声信号后的频域信号进行反傅里叶变换，得到所述图像细节层的时域信号。
所述步骤S3中，所述损失函数具体为：
；
；
；
；
；
其中，为图像增强网络的损失函数，/>为图像分割模块的损失函数，为双分支处理模块的损失函数；/>和/>分别为权重系数，/>为真实概率分布，/>为预测概率分布，i为像素样本；n为像素样本的个数；/>为生成器损失，/>为判别器损失，G为生成器，/>为判别器，k=1，2，3；/>为超参数，用于控制生成器损失和判别器损失二者的权重；/>表示数学期望，/>表示语义标签图，/>表示对应的真实图片，T表示判别器总层数，/>表示第/>层元素的数量。
本发明还公开了一种无人机航拍图像的增强处理系统，包括存储器、处理器，其特征在于，所述存储器中存储计算机程序代码，所述处理器用于执行所述计算机程序代码实现前述的无人机航拍图像的增强处理方法。
本发明将无人机航拍图像分割为图像结构层和图像细节层，并对图像结构层和图像细节层分别进行处理，能够有效保留图像的颜色分布信息，同时目标物体的轮廓边缘得到增强。本发明采用改进的SegNet网络进行图像分割，以较低的模型复杂度和计算资源提高图像分割的准确性。在上述改进的SegNet网络中，由于解码器采用像素重组方式替换了最大池化索引方式来实现上采样，避免了上采样的精度损失，同时使得编码器能够采用混合池化来替代最大池化，能够更好地保留图像的细节信息和纹理信息，并避免过拟合问题。本发明采用添加了通道注意力机制的Pix2PixHD网络对所述图像结构层进行增强处理，能够高精度保持图像结构特征。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
图1是示出根据本发明实施例的一种无人机航拍图像的增强处理方法的流程图。
图2是示出根据本发明实施例的一种图像增强网络。
图3是示出根据本发明实施例的一种改进的SegNet网络的结构图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
如图1所示，本发明公开了一种无人机航拍图像的增强处理方法，所述方法包括：
步骤S1：建立图像数据集，所述图像数据集用于对图像增强网络进行训练，其中所述图像数据集包括训练集、验证集。
所述步骤S1中，根据无人机航拍任务的不同，可以选择不同的公开数据集来建立用于模型训练的数据集，如NPS-Drones, Pascal Voc 2012等。在从公开数据集中选取适当数量的图像数据后，对其进行数据增强，如翻转或随机裁剪等。在一具体实施例中，可按照2：1设置训练集和验证集的比例。可根据需要设置图像增强处理网络训练次数，如2500次，最初的学习率可设置为0.002。
步骤S2：构建图像增强网络，如图2所示，所述图像增强网络包括图像分割模块、双分支处理模块和融合模块。
所述步骤S2中，所述图像分割模块用于将输入图像划分为图像结构层和图像细节层，所述双分支处理模块分布对图像结构层和图像细节层进行增强处理，所述融合模块用于将经过增强处理后的图像结构层和图像细节层进行叠加融合。
步骤S3：基于所述图像数据集对所述图像增强网络进行训练，迭代至损失函数收敛。
所述步骤S3中，选取合适的损失函数能够提高图像增强处理模型训练的准确性。根据图像增强处理模型采用的训练网络的不同，可对应地采用交叉熵损失、骰子损失等作为损失函数。
步骤S4：操控无人机采集目标区域的航拍图像。
所述步骤S4中，根据无人机航拍任务的要求，操控无人机采集目标区域一定数量的航拍图像，以用作增强处理。
步骤S5：将所述无人机采集的航拍图像输入至训练好的所述图像增强网络，得到增强后的无人机航拍图像。
本发明将采用图像增强网络将无人机航拍图像分割为图像结构层和图像细节层，图像结构层包括图像的全局结构，如图像的主要形状、轮廓和结构特征，图像细节层包括图像的局部细节，如图像的纹理、噪声以及较小的局部变化等。通过对图像结构层和图像细节层分别进行处理，能够有效保留图像的颜色分布信息，同时目标物体的轮廓边缘得到增强。
上述图像分割模块得到的图像结构层和图像细节层，是后续按分支进行图像增强处理的基础，对于最终的图像增强处理效果有重要影响。因此，必须选择合适的图像分割网络来进行图像分割。目前，常见的基于深度学习的图像分割网络包括U-net、SegNet以及基于条件生成对抗网络CGAN等。其中，U-net需要分别预测每一个patch的类别，patch之间的重叠导致每次预测都要重复计算同一个点，存在算法冗余。CGAN应用场景有限，并且超参数较多，训练时间开销大。SegNet是一个基于深度学习的语义分割网络，用于从图像中分离出不同的语义对象。它采用了encoder-decoder结构，使用了卷积、下采样和上采样等技术，使得网络具有较高的精度和速度。基于以上原因，本方案选择SegNet网络进行图像分割，同时对SegNet网络进行改进，以避免上采样的精度损失和过拟合问题。
改进的SegNet网络结构如图3所示，其包括编码器模块、ASPP(Atrous spatialpyramid pooling)模块以及解码器模块。
其中，所述编码器模块与现有SegNet网络结构的编码器模块结构基本相同，均包括卷积层、归一化层和ReLU激活函数。区别在于，在该编码器中，采用混合池化替换现有的最大池化来进行下采样，以保留更多的细节特征，并能够避免过拟合问题。在进行池化操作时，编码器模块不再存储相应的最大池化索引，原因在于，对应的解码器模块不再采用最大池化索引的方式进行上采样，因此编码器模块无需再存储最大池化索引，详细内容将在下文进行介绍。
采用混合池化能够兼顾最大池化和均值池化，相比于现有的仅采用最大池化的编码器，采用混合池化的编码器能够解决过拟合问题并提高模型分类精度。所述混合池化具体为：
；
；
；
其中：
表示第l层的第k个特征图；
表示对/>进行均值极化；
表示对/>进行最大极化；
表示相对权重，取值范围在0-1之间；
Lin表示输入的第k个特征图的长度；
padding 表示输入的每一条边补充0的层数；
kernel_size表示池化窗口的大小；
stride表示池化窗口移动的步长；
Dilation表示池化窗口内部元素之间的步长；
在具体应用时，可以根据无人机航拍目标对象的不同，对应调整的值，从而平衡均值池化和最大池化以得到最佳的混合池化结果。
如图3所示，该改进的SegNet网络结构包括所述ASPP模块，引入该模块能够提升SegNet网络对不同尺度目标的识别能力，可以通过不同膨胀率的空洞卷积来捕获多尺度的上下文信息，并将这些信息融入到特征图中，从而提升图像分割的精度。
所述ASPP模块包括多个并行的空洞卷积层，每个层使用不同的膨胀率来提取多尺度特征图；将所述多尺度特征图进行1×1卷积融合，得到融合后的多尺度特征图。
在一具体实施例中，所述ASPP模块的具体实现如下：
将并行的空洞卷积层的膨胀率设置为[1，6，12，18]；
对于输入的特征图，同时采用具有不同膨胀率的多个并行空洞卷积层进行处理，每个并行空洞卷积层都会生成不同感受野大小的多尺度特征图；
对所述多尺度特征图进行通道拼接；
对拼接后的多尺度特征图进行1×1卷积融合，从而得到融合后的多尺度特征图；
其中，空洞卷积的感受野计算公式为：
；
其中：
s'是空洞卷积后的实际感受野大小；
s是卷积核的大小；
r 是膨胀率，决定卷积核在特征图上采样时的间隔。
如图3所示，所述解码器模块与所述编码器模块相对应，所述解码器模块将ASPP模块输出的所述融合后的多尺度特征图与对应层次的编码器特征图通过残差连接进行融合。采用上述方式，能够将不同尺度的上下文信息融入到特征图中，提升不同尺度目标的识别能力。并且由于采用了残差连接，可以获取图像的深层次特征，得到更多的图像细节信息，有效缓解梯度消失问题。
现有的SegNet网络中，其在编码器进行最大池化操作时记录最大池化索引，并在解码器通过对应的最大池化索引来实现非线性上采样，从而避免在上采样阶段采用反卷积来进行学习，这样处理的优势在于节省存储空间和计算资源。然而，这种方式是以牺牲图像分割精度为代价的。原因在于，仅依赖最大池化索引来对图像进行上采样，丢失了较多的图像细节特征，最终导致图像分割精度降低。
为了提高SegNet网络的图像分割精度，同时避免采用反卷积需要大量计算资源的问题，本方案中采用图像像素重组的方式对图像进行上采样。像素重组是一种上采样方法，主要用于将低分辨率的特征图转换为高分辨率的特征图，其能够实现高效的上采样，同时不需要额外的计算资源。此外，由于像素重组是在特征图级别进行的，因此可以与其他卷积神经网络结构相结合，实现端到端的训练。并且，由于不再依赖最大池化索引，使得解码器对应的编码器也能够对其池化操作进行改进，如将最大池化替换为均值池化等。
如图3所示，所述解码器模块采用像素重组的方式进行上采样以恢复图像空间分辨率；随后进行卷积操作来提取和细化特征。
在一具体实施例中，所述使用像素重组的方式进行上采样以恢复图像空间分辨率，具体实现如下：
设置中间卷积层对所述残差连接后的图像进行t²次尺寸不变卷积，得到t²个通道的特征图；其中所述残差连接后的图像分辨率大小为W×H，t为放大倍数，即上采样后图像的分辨率大小为tW×tH；
通过轮询的方式依次选取每个通道对应位置的像素，进行压缩重组，即将多个通道的单一像素组合成新的特征图上的一个像素单元，从而得到分辨率变为tW×tH的新的特征图，其中，所述单一像素等价于所述新的特征图上的一个亚像素；
采用高斯滤波器对所述分辨率大小为tW×tH的新的特征图进行滤波处理，以得到最终的空间分辨率恢复的图像。
Pix2Pix提供了一个统一的图像翻译(image-to-image-translation)的框架，整体的结构是conditional GAN。Pix2PixHD是Pix2Pix的重要升级，可以实现高分辨率图像生成和图片的语义编辑。对于一个生成对抗网络(GAN)，学习的关键就是理解生成器、判别器和损失函数这三部分。Pix2PixHD采用了多级生成器和多尺度判别器，单一生成器和判别器的结构和Pix2Pix是一样的。
相比于生成对抗网络GAN，以及其变体CycleGAN、StyleGAN，Pix2PixHD网络具有更好的细节表现能力，并且具有更好的全局和局部一致性。因此，在双分支处理模块中的结构层增强分支对图像结构层进行增强处理时，本发明采用添加了通道注意力机制的Pix2PixHD网络来进行图像增强处理。
所述添加了通道注意力机制的Pix2PixHD网络包括生成器和判别器；其中，所述生成器包括全局生成器G1和局部增强器G2，所述判别器包括多尺度判别器。
Pix2PixHD 的全局生成器G1负责以粗比例创建图像的全局结构。而通道注意力机制可以让模型自适应地关注图像中的重要区域，从而提高特征捕捉的准确性。因此，为了提高对图像结构层的增强处理效果，所述通道注意力机制被添加在所述全局生成器G1中，以使其能够更好地捕捉全局特征，如图像整体布局和颜色分布等。
在一具体实施例中，将通道注意力添加至全局生成器G1，具体实现为：
将全局生成器中的每个卷积层输出的特征图，输入至通道注意力机制模块中，该通道注意力机制模块由两个全连接层以及位于中间的ReLU激活函数构成；
所述通道注意力机制模块计算所述特征图的每个通道的注意力权重；
将所述每个通道的注意力权重与所述特征图的每个通道相乘，从而实现对上述特征图的通道级别的重加权。
在双分支处理模块的细节层增强分支对图像细节层进行增强处理时，本方案采用变换域滤波的方式进行图像增强处理。变换域滤波的效果比时域滤波更好，因为变换可以将信号中的不同成分分离到不同的域中，从而可以更方便地处理这些成分。此外，变换域滤波还可以减少计算量，因为变换后的信号通常具有稀疏性，即大部分系数为零或接近于零，这可以减少计算复杂度。
在一具体实施例中，细节层增强分支对图像细节层进行增强处理，具体实现为：
将所述图像分割模块划分得到的所述图像细节层进行二维傅里叶变换，获得所述图像细节层的频域信号；
根据无人机航拍目标的不同，设置匹配的频域噪声滤波器；
将所述图像细节层的频域信号输入至所述频域噪声滤波器中，以滤除相应的噪声信号；
将滤除噪声信号后的频域信号进行反傅里叶变换，得到所述图像细节层的时域信号。
设输入图像信号为f(x,y)，滤波函数为h(x,y)，输出图像为g(x,y)，则傅里叶变换域滤波可表示为：
；
其中，F(u,v)是f(x,y)的傅里叶变换，H(u,v)是h(x,y)的傅里叶变换，F-1表示傅里叶反变换。H(u,v)被称为滤波器，常用的滤波方式有低通滤波、高通滤波、带通滤波和带阻滤波等。
图像增强网络对图像进行了图像分割和双分支处理，对应地，损失函数包括两部分，即图像分割损失和图像双分支处理损失。其中图像双分支处理损失主要考虑对图像结构层进行增强处理对应的损失。
在一具体实施例中，图像增强网络对应的损失函数如下：
；
；
；
；
；
其中，为图像增强网络的损失函数，/>为图像分割模块的损失函数，为双分支处理模块的损失函数；/>和/>分别为权重系数，/>为真实概率分布，/>为预测概率分布，i为像素样本；n为像素样本的个数；/>为生成器损失，/>为判别器损失，G为生成器，/>为判别器，k=1，2，3；/>为超参数，用于控制生成器损失和判别器损失二者的权重；/>表示数学期望，/>表示语义标签图，/>表示对应的真实图片，T表示判别器总层数，/>表示第/>层元素的数量。
为了验证本方案的效果，将本方案与现有的图像处理算法Unet、RetinexNet进行比较，以图像客观质量评价的方式对图像的多个客观评价指标进行判断。实验结果表明，本方案在以较低处理时间，取得了更好的增强处理效果，如物体边缘轮廓更加明显，图像颜色失真最小等。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
以上介绍了本发明的较佳实施方式，旨在使得本发明的精神更加清楚和便于理解，并不是为了限制本发明，凡在本发明的精神和原则之内，所做的修改、替换、改进，均应包含在本发明所附的权利要求概括的保护范围之内。
Claims (7)
1.一种无人机航拍图像的增强处理方法，所述方法包括：
步骤S1：建立图像数据集，所述图像数据集用于对图像增强网络进行训练，其中所述图像数据集包括训练集、验证集；
步骤S2：构建图像增强网络，所述图像增强网络包括图像分割模块、双分支处理模块和融合模块；
其中，所述图像分割模块采用改进的SegNet网络将输入图像划分为图像结构层和图像细节层；
其中，所述双分支处理模块包括结构层增强分支和细节层增强分支，所述结构层增强分支用于对所述图像结构层进行增强处理，所述细节层增强分支用于对所述图像细节层进行增强处理；
其中，所述融合模块对结构层增强分支和细节层增强分支的输出进行融合；
步骤S3：基于所述图像数据集对所述图像增强网络进行训练，迭代至损失函数收敛；
步骤S4：操控无人机采集目标区域的航拍图像；
步骤S5：将所述无人机采集的航拍图像输入至训练好的所述图像增强网络，得到增强后的无人机航拍图像；
所述步骤S2中，所述改进的SegNet网络包括编码器模块、ASPP模块以及解码器模块；
其中，所述编码器模块包括卷积层、归一化层和ReLU激活函数，在所述编码器模块中，采用混合池化进行下采样，以保留更多的细节特征；在进行池化时，不再存储相应的最大池化索引；
其中，所述ASPP模块包括多个并行的空洞卷积层，每个层使用不同的膨胀率来提取多尺度特征图；将所述多尺度特征图进行1×1卷积融合，得到融合后的多尺度特征图；
其中，所述解码器模块与所述编码器模块相对应，所述解码器模块将ASPP模块输出的所述融合后的多尺度特征图与对应层次的编码器特征图通过残差连接进行融合；使用像素重组的方式进行上采样以恢复图像空间分辨率；随后进行卷积操作来提取和细化特征；
所述步骤S2中，所述结构层增强分支采用添加了通道注意力机制的Pix2PixHD网络对所述图像结构层进行增强处理，所述Pix2PixHD网络包括生成器和判别器；
其中，所述生成器包括全局生成器G1和局部增强器G2，所述判别器包括多尺度判别器；
所述步骤S3中，所述损失函数具体为：
；
；
；
；
；
其中，为图像增强网络的损失函数，/>为图像分割模块的损失函数，为双分支处理模块的损失函数；/>和/>分别为权重系数，/>为真实概率分布，/>为预测概率分布，i为像素样本；n为像素样本的个数；/>为生成器损失，/>为判别器损失，G为生成器，/>为判别器，k=1,2,3；/>为超参数，用于控制生成器损失和判别器损失二者的权重；/>表示数学期望，/>表示语义标签图，/>表示对应的真实图片，T表示判别器总层数，/>表示第/>层元素的数量。
2.如权利要求1所述的一种无人机航拍图像的增强处理方法，其特征在于，所述步骤S2中，所述混合池化具体为：
；
；
；
其中：
表示第l层的第k个特征图；
表示对/>进行均值池化；
表示对/>进行最大池化；
表示相对权重，取值范围在0-1之间；
Lin表示输入的第k个特征图的长度；
padding表示输入的每一条边补充0的层数；
kernel_size表示池化窗口的大小；
stride表示池化窗口移动的步长；
dilation表示池化窗口内部元素之间的步长；
根据无人机航拍对象的不同，对应调整的值，从而平衡均值池化和最大池化以得到最佳的混合池化结果。
3.如权利要求1所述的一种无人机航拍图像的增强处理方法，其特征在于，所述步骤S2中，所述每个层使用不同的膨胀率来提取多尺度特征图，将所述多尺度特征图进行1×1卷积融合，得到融合后的多尺度特征图，具体包括：
将并行的空洞卷积层的膨胀率设置为[1，6，12，18]；
对于输入的特征图，同时采用具有不同膨胀率的多个并行空洞卷积层进行处理，每个并行空洞卷积层都会生成不同感受野大小的多尺度特征图；
对所述多尺度特征图进行通道拼接；
对拼接后的多尺度特征图进行1×1卷积融合，从而得到融合后的多尺度特征图；
其中，空洞卷积的感受野计算公式为：
；
其中：
s'是空洞卷积后的实际感受野大小；
s是卷积核的大小；
r是膨胀率，决定卷积核在特征图上采样时的间隔。
4.如权利要求2所述的一种无人机航拍图像的增强处理方法，其特征在于，所述步骤S2中，所述使用像素重组的方式进行上采样以恢复图像空间分辨率，具体包括：
设置中间卷积层对所述残差连接后的图像进行t²次尺寸不变卷积，得到t²个通道的特征图；其中所述残差连接后的图像分辨率大小为W×H，t为放大倍数，即上采样后图像的分辨率大小为tW×tH；
通过轮询的方式依次选取每个通道对应位置的像素，进行压缩重组，即将多个通道的单一像素组合成新的特征图上的一个像素单元，从而得到分辨率变为tW×tH的新的特征图，其中，所述单一像素等价于所述新的特征图上的一个亚像素；
采用高斯滤波器对所述分辨率大小为tW×tH的新的特征图进行滤波处理，以得到最终的空间分辨率恢复的图像。
5.如权利要求4所述的一种无人机航拍图像的增强处理方法，其特征在于，所述通道注意力机制被添加在所述全局生成器G1中，以使其能够更好地捕捉全局特征；具体为：
将全局生成器中的每个卷积层输出的特征图，输入至通道注意力机制模块中，该通道注意力机制模块由两个全连接层以及位于中间的ReLU激活函数构成；
所述通道注意力机制模块计算所述特征图的每个通道的注意力权重；
将所述每个通道的注意力权重与所述特征图的每个通道相乘，从而实现对上述特征图的通道级别的重加权。
6.如权利要求1所述的一种无人机航拍图像的增强处理方法，其特征在于，所述步骤S2中，所述细节层增强分支用于对所述图像细节层进行增强处理，具体为：
将所述图像分割模块划分得到的所述图像细节层进行二维傅里叶变换，获得所述图像细节层的频域信号；
根据无人机航拍目标的不同，设置匹配的频域噪声滤波器；
将所述图像细节层的频域信号输入至所述频域噪声滤波器中，以滤除相应的噪声信号；
将滤除噪声信号后的频域信号进行反傅里叶变换，得到所述图像细节层的时域信号。
7.一种无人机航拍图像的增强处理系统，包括存储器、处理器，其特征在于，所述存储器中存储计算机程序代码，所述处理器用于执行所述计算机程序代码实现权利要求1-6中任一项所述的无人机航拍图像的增强处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410317531.7A CN117911908B (zh) | 2024-03-20 | 2024-03-20 | 一种无人机航拍图像的增强处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410317531.7A CN117911908B (zh) | 2024-03-20 | 2024-03-20 | 一种无人机航拍图像的增强处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117911908A CN117911908A (zh) | 2024-04-19 |
| CN117911908B true CN117911908B (zh) | 2024-05-28 |
Family
ID=90683999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410317531.7A Active CN117911908B (zh) | 2024-03-20 | 2024-03-20 | 一种无人机航拍图像的增强处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117911908B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435282A (zh) * | 2021-06-18 | 2021-09-24 | 南京农业大学 | 基于深度学习的无人机影像麦穗识别方法 |
| CN114187450A (zh) * | 2021-12-15 | 2022-03-15 | 山东大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN114581762A (zh) * | 2021-12-20 | 2022-06-03 | 河南大学 | 一种基于多尺度条形池化和金字塔池化的道路提取方法 |
| CN114937148A (zh) * | 2022-06-08 | 2022-08-23 | 华南理工大学 | 一种小目标特征增强图像分割方法及系统 |
| WO2022199143A1 (zh) * | 2021-03-26 | 2022-09-29 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
| KR20230018209A (ko) * | 2021-07-29 | 2023-02-07 | 주식회사 씨앤에이아이 | Gan을 이용하여 피부암 이미지 데이터를 생성하는 방법 및 그를 이용한 장치 |
| CN115700731A (zh) * | 2022-11-17 | 2023-02-07 | 大连海事大学 | 一种基于双通道卷积神经网络的水下图像增强方法 |
| CN115965559A (zh) * | 2023-01-30 | 2023-04-14 | 闽江学院 | 面向森林场景的一体化航拍图像增强方法 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| JP2023067219A (ja) * | 2021-10-29 | 2023-05-16 | 国立大学法人東海国立大学機構 | 医用画像解析装置 |
| CN116229056A (zh) * | 2022-12-16 | 2023-06-06 | 长沙理工大学 | 基于双分支特征融合的语义分割方法、装置、设备 |
| CN116258645A (zh) * | 2023-02-24 | 2023-06-13 | 长春理工大学 | 一种基于图像分解的低照度彩色图像增强方法 |
| CN116363020A (zh) * | 2023-06-01 | 2023-06-30 | 青岛市中心医院 | 一种肺癌影像智能识别增强系统 |
| CN116824413A (zh) * | 2023-07-25 | 2023-09-29 | 江苏科技大学 | 一种基于多尺度空洞卷积的航拍图像目标检测方法 |
| CN117292128A (zh) * | 2023-09-21 | 2023-12-26 | 西安邮电大学 | 一种基于stdc网络的图像实时语义分割方法及装置 |
| CN117409412A (zh) * | 2023-11-07 | 2024-01-16 | 中国石油大学(华东) | 一种基于细节增强的双分辨率实时语义分割方法 |
| CN117557487A (zh) * | 2023-11-10 | 2024-02-13 | 四川轻化工大学 | 基于pix2pixHD的光滑物体高光去除方法、系统及缺陷检测装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362331A (zh) * | 2020-03-04 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 图像分割方法、装置、电子设备及计算机存储介质 |
| CN114841972A (zh) * | 2022-05-09 | 2022-08-02 | 浙江大学 | 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 |
-
2024
- 2024-03-20 CN CN202410317531.7A patent/CN117911908B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022199143A1 (zh) * | 2021-03-26 | 2022-09-29 | 南京邮电大学 | 一种基于u型网络的医学图像分割方法 |
| CN113435282A (zh) * | 2021-06-18 | 2021-09-24 | 南京农业大学 | 基于深度学习的无人机影像麦穗识别方法 |
| KR20230018209A (ko) * | 2021-07-29 | 2023-02-07 | 주식회사 씨앤에이아이 | Gan을 이용하여 피부암 이미지 데이터를 생성하는 방법 및 그를 이용한 장치 |
| JP2023067219A (ja) * | 2021-10-29 | 2023-05-16 | 国立大学法人東海国立大学機構 | 医用画像解析装置 |
| WO2023077816A1 (zh) * | 2021-11-03 | 2023-05-11 | 中国华能集团清洁能源技术研究院有限公司 | 边界优化的遥感图像语义分割方法、装置、设备及介质 |
| CN114187450A (zh) * | 2021-12-15 | 2022-03-15 | 山东大学 | 一种基于深度学习的遥感图像语义分割方法 |
| CN114581762A (zh) * | 2021-12-20 | 2022-06-03 | 河南大学 | 一种基于多尺度条形池化和金字塔池化的道路提取方法 |
| CN114937148A (zh) * | 2022-06-08 | 2022-08-23 | 华南理工大学 | 一种小目标特征增强图像分割方法及系统 |
| CN115700731A (zh) * | 2022-11-17 | 2023-02-07 | 大连海事大学 | 一种基于双通道卷积神经网络的水下图像增强方法 |
| CN116229056A (zh) * | 2022-12-16 | 2023-06-06 | 长沙理工大学 | 基于双分支特征融合的语义分割方法、装置、设备 |
| CN115965559A (zh) * | 2023-01-30 | 2023-04-14 | 闽江学院 | 面向森林场景的一体化航拍图像增强方法 |
| CN116258645A (zh) * | 2023-02-24 | 2023-06-13 | 长春理工大学 | 一种基于图像分解的低照度彩色图像增强方法 |
| CN116363020A (zh) * | 2023-06-01 | 2023-06-30 | 青岛市中心医院 | 一种肺癌影像智能识别增强系统 |
| CN116824413A (zh) * | 2023-07-25 | 2023-09-29 | 江苏科技大学 | 一种基于多尺度空洞卷积的航拍图像目标检测方法 |
| CN117292128A (zh) * | 2023-09-21 | 2023-12-26 | 西安邮电大学 | 一种基于stdc网络的图像实时语义分割方法及装置 |
| CN117409412A (zh) * | 2023-11-07 | 2024-01-16 | 中国石油大学(华东) | 一种基于细节增强的双分辨率实时语义分割方法 |
| CN117557487A (zh) * | 2023-11-10 | 2024-02-13 | 四川轻化工大学 | 基于pix2pixHD的光滑物体高光去除方法、系统及缺陷检测装置 |
Non-Patent Citations (4)
| Title |
|---|
| DANet: A Semantic Segmentation Network for Remote Sensing of Roads Based on Dual-ASPP Structure;Shuang Zhao 等;《Electronics》;20230727;第12卷(第15期);1-15 * |
| 基于Non-local的腰椎间盘突出患者多裂肌分割方法;李夏 等;《桂林电子科技大学学报》;20230625;第43卷(第03期);217-222 * |
| 基于深度学习的高分辨率遥感图像建筑物识别;宋廷强;李继旭;张信耶;;计算机工程与应用;20201231(第08期);32-40 * |
| 航拍图像质量评价及其在图像增强中的应用;郭昌;周务员;刘皓挺;;计算机仿真;20200415(第04期);371-375 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117911908A (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188765B (zh) | 图像语义分割模型生成方法、装置、设备及存储介质 | |
| Zhang et al. | Single image defogging based on multi-channel convolutional MSRCR | |
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN106934397B (zh) | 图像处理方法、装置及电子设备 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| CN115035295B (zh) | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN115147598A (zh) | 目标检测分割方法、装置、智能终端及存储介质 | |
| Huang et al. | Remote Sensing Image Fusion Algorithm Based on Two‐Stream Fusion Network and Residual Channel Attention Mechanism | |
| CN115546640A (zh) | 遥感影像的云检测方法、装置、电子设备及存储介质 | |
| CN115131256A (zh) | 图像处理模型、图像处理模型的训练方法及装置 | |
| CN117351448B (zh) | 一种基于YOLOv8改进的偏振图像道路目标检测方法 | |
| Quan et al. | Neumann network with recursive kernels for single image defocus deblurring | |
| CN115187474A (zh) | 一种基于推理的两阶段浓雾图像去雾方法 | |
| Li et al. | Efficient burst raw denoising with variance stabilization and multi-frequency denoising network | |
| CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
| CN115810112A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN116309612B (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN117911908B (zh) | 一种无人机航拍图像的增强处理方法及系统 | |
| CN116309050A (zh) | 图像超分辨率方法、程序产品、存储介质及电子设备 | |
| CN112052863B (zh) | 一种图像检测方法及装置、计算机存储介质、电子设备 | |
| CN114429602A (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| CN114155165A (zh) | 一种基于半监督的图像去雾方法 | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| Li et al. | Fast matching method of UAV aerial photography enhanced low illumination image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |