CN117689890A - 一种基于晴雾场景的语义分割方法、装置及存储介质 - Google Patents
一种基于晴雾场景的语义分割方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117689890A CN117689890A CN202410031066.0A CN202410031066A CN117689890A CN 117689890 A CN117689890 A CN 117689890A CN 202410031066 A CN202410031066 A CN 202410031066A CN 117689890 A CN117689890 A CN 117689890A
- Authority
- CN
- China
- Prior art keywords
- ship
- scene
- image
- feature map
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004927 fusion Effects 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010586 diagram Methods 0.000 claims description 126
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 45
- 238000011176 pooling Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉技术领域，具体而言，涉及一种基于晴雾场景的语义分割方法、装置及存储介质。一种基于晴雾场景的语义分割方法，包括：获取不同场景的船舶图像；通过对船舶图像进行特征提取，得到船舶图像的船舶特征图；根据船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；根据融合船舶特征图将船舶图像分为晴天船舶图像和雾天船舶图像；将晴天船舶图像输入训练好的晴天的语义分割模型，得到每个晴天船舶图像对应的晴天场景分割掩码；将雾天船舶图像输入训练好的雾天的语义分割模型，得到每个雾天船舶图像对应的雾天场景分割掩码。本发明的技术方案可以有效地提高晴天场景和雾天场景船舶图像语义分割的精度。
Description
技术领域
本发明涉及计算机视觉技术领域，具体而言，涉及一种基于晴雾场景的语义分割方法、装置及存储介质。
背景技术
近年来，随着深度学习的快速发展，基于深度卷积神经网络的图像语义分割方法取得了显著的进展。语义分割在许多领域都具有广泛的应用，如船舶分类、自动驾驶、医学图像分析和智能视频监控等。
在语义分割任务中，图像通常被表示为一个像素矩阵，其中每个像素都具有其对应的语义类别标签，根据语义标签实现对图像的精细分割和理解。在实际应用中，需要进行语义分割图像可能包括不同的场景，而语义分割模型只能定位到最具判别性区域，对其他区域的判别能力较弱，因此，导致语义分割对不同场景图像的语义分割能力较弱。
发明内容
本发明解决的问题如何改善不同场景图像语义分割的精度。
为解决上述问题，本发明提供一种基于晴雾场景的语义分割方法、装置及存储介质。
第一方面，本发明提供了一种基于晴雾场景的语义分割方法，包括：
获取不同场景的船舶图像；
通过对所述船舶图像进行特征提取，得到所述船舶图像的船舶特征图；
根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；
根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，并根据所述分类结果，将所述船舶图像分为晴天船舶图像和雾天船舶图像；
将所述晴天船舶图像输入训练好的晴天的语义分割模型，得到每个所述晴天船舶图像对应的晴天场景分割掩码；
将所述雾天船舶图像输入训练好的雾天的语义分割模型，得到每个所述雾天船舶图像对应的雾天场景分割掩码。
可选地，所述根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图，包括：
获取N个卷积核大小为k×k，通道数为M的所述预设卷积核；
将全部所述预设卷积核进行分离，得到N个大小为k×k的单通道卷积核和N个通道为M的1×1多通道卷积核，其中，所述1×1多通道卷积核的通道数M等于所述船舶特征图的通道数；
通过每个所述单通道卷积核分别对所述船舶特征图进行逐通道卷积，得到N个深度特征图；
将每个所述深度特征图中相同通道的特征图进行融合，得到融合通道特征图；
根据所述融合通道特征图，通过N个所述1×1多通道卷积核分别进行卷积融合，得到所述融合船舶特征图。
可选地，所述根据所述融合通道特征图，通过N个所述1×1多通道卷积核分别进行卷积融合，得到所述融合船舶特征图，包括：
根据N个所述1×1多通道卷积核分别对所述融合通道特征图进行卷积处理，得到N个线性特征图；
将所述线性特征图进行通道融合，得到单通道线性特征图；
根据全部N个所述单通道线性特征图生成通道数为N的融合船舶特征图。
可选地，所述根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，包括：
将所述融合船舶特征图通过平均池化，得到池化特征图；
根据所述池化特征图，通过全连接层得到一维特征向量；
将所述一维特征向量输入激活函数，分别得到晴天场景和雾天场景的概率；
根据所述概率确定所述分类结果。
可选地，所述语义分割模型的训练方法包括：
获取场景船舶图像；
根据所述场景船舶图像，通过训练好的残差网络，得到场景船舶特征图和场景中间特征图；
根据所述场景船舶特征图，通过类激活技术，得到船舶热力图；
通过所述场景中间特征图对所述船舶热力图进行优化，得到修正热力图；
根据所述场景船舶图像，通过仿射变换，得到仿射船舶图像；
根据所述仿射船舶图像，通过所述残差网络，得到仿射船舶特征图和仿射中间特征图；
根据所述仿射船舶特征图，通过所述类激活技术，得到仿射船舶热力图；
通过所述仿射中间特征图对所述船舶热力图进行优化，得到修正仿射热力图；
通过所述船舶热力图、所述修正船舶热力图、所述仿射船舶热力图、所述修正仿射船舶热力图和损失函数，对所述语义分割模型进行训练，得到特定场景的训练好的所述语义分割模型。
可选地，所述根据所述船舶特征图，通过类激活技术，得到船舶热力图，包括：
获取所述残差网络的全连接层权重；
根据所述全连接层权重，对所述船舶特征图进行线性加权求和，生成所述船舶热力图；
所述热力图关系满足：
；
其中，MC（x，y）为所述船舶热力图，C为船舶类别数量，为第k个所述船舶类别的所述全连接层权重，f（x，y）为所述船舶特征图，x为所述船舶特征图的像素点横坐标位置，y为所述船舶特征图的像素点纵坐标位置。
可选地，所述通过所述场景中间特征图对所述船舶热力图进行优化，得到修正热力图，包括：
根据所述场景中间特征图，通过像素间的距离关系，得到空间关系矩阵；
根据所述空间关系矩阵和所述船舶热力图，通过矩阵乘法，得到优化热力图；
根据所述船舶热力图和所述场景中间特征图的转置进行矩阵乘法，得到通道关联矩阵；
根据所述场景中间特征图、所述通道关联矩阵和权重矩阵关系，得到像素权重参数矩阵；
将所述像素权重参数矩阵和所述船舶热力图进行矩阵乘法，得到权重船舶热力图；
根据所述权重船舶热力图与所述优化热力图进行矩阵加法，得到所述修正热力图。
第二方面，一种基于晴雾场景的语义分割装置，包括：
获取模块，用于获取不同场景的船舶图像；
特征提取模块，用于通过对所述船舶图像进行特征提取，得到所述船舶图像的船舶特征图；
融合模块，用于根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；
分类模块，用于根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，并根据所述分类结果，将所述船舶图像分为晴天船舶图像和雾天船舶图像；
晴天分割模块，用于将所述晴天船舶图像输入训练好的晴天的语义分割模型，得到每个所述晴天船舶图像对应的晴天场景分割掩码；
雾天分割模块，用于将所述雾天船舶图像输入训练好的雾天的语义分割模型，得到每个所述雾天船舶图像对应的雾天场景分割掩码。
第三方面，一种电子装置，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如第一方面所述的基于晴雾场景的语义分割方法。
第四方面，一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的基于晴雾场景的语义分割方法。
本发明的基于晴雾场景的语义分割方法、装置及存储介质的有益效果是：将获取到的不同场景的船舶图像进行特征提取，得到船舶特征图，通过特征提取得到具有船舶图像特征信息的船舶特征图，可以根据该船舶特征图获取船舶图像丰富的图像特征信息。将船舶特征图通过卷积融合，得到融合船舶特征，通过得到的融合船舶特征可以进一步提高融合特征的表达能力，并使其包含了船舶图像更加丰富的语义信息，可以进一步提高对船舶图像分类的准确度。根据融合船舶特征得到每个对应船舶图像的分类结果，通过将船舶图像划分为晴天和雾天两种场景，并通过对应的训练好的晴天和雾天的两个语义分割模型，得到全部船舶图像对应分割掩码，实现对船舶图像的语义分割。通过将不同场景的船舶图像分为晴天船舶图像和雾天船舶图像，并通过由晴天场景专门训练得到训练好的语义分割模型，针对特定的场景语义分割模型具有更高的分割能力，进而通过两个语义分割模型对各自场景下的船舶图像进行语义分割，使得晴天和雾天场景都能实现有效分割，也使得最后的分割掩码质量更高，提高了对于晴天和雾天场景下语义分割的精度。
附图说明
图1 为本发明实施例的一种基于晴雾场景的语义分割方法的流程示意图；
图2 为本发明实施例的预设卷积核分离示意图；
图3 为本发明实施例的修正热力图卷积融合示意图；
图4 为本发明实施例的一种基于晴雾场景的语义分割装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。虽然附图中显示了本发明的某些实施例，然而应当理解的是，本发明可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本发明。应当理解的是，本发明的附图及实施例仅用于示例性作用，并非用于限制本发明的保护范围。
应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”；术语“可选地”表示“可选的实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本发明中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
如图1所示，为解决上述技术问题，本发明实施例提供了一种基于晴雾场景的语义分割方法，包括：
步骤S1，获取不同场景的船舶图像；
具体地，通过图像采集设备获取到的不同场景下的船舶图像，其中，船舶图像的场景主要分为晴天场景下的船舶图像和雾天场景下的船舶图像。
步骤S2，通过对所述船舶图像进行特征提取，得到所述船舶图像的船舶特征图；
具体地，将全部船舶图像进行预处理，调整不同船舶图像的尺寸使其统一，再对预处理后的船舶图像提取高维度的船舶特征图，通过高维度的船舶特征图可以获取船舶图像更丰富的图像特征信息。
步骤S3，根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；
具体地，通过预设卷积核进行卷积处理，得到船舶图像不同深度的特征图信息，再将不同的特征图进行融合，得到融合船舶特征图，通过融合可以增加特征图的多样性，使融合船舶特征图获取船舶图像中更全面的细节和结构信息。
步骤S4，根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，并根据所述分类结果，将所述船舶图像分为晴天船舶图像和雾天船舶图像；
具体地，将融合船舶特征图通过池化进行降维和特征融合，得到池化船舶特征图，并将池化船舶特征图展平为一维特征向量，通过展平操作将池化船舶特征图的空间信息转化为线性的特征向量。
进一步地，将一维特征向量输入到全连接层中进行处理，该全连接层由一系列全连接神经元组成，通过神经元学习一维特征向量相对于晴天场景和雾天场景两种类别之间的关系，最后通过softmax函数将全连接层的输出进行分类结果计算，得到船舶图像属于晴天场景和雾天场景的概率分布，将概率高的类别确定为该船舶图像的分类场景。
步骤S5，将所述晴天船舶图像输入训练好的晴天的语义分割模型，得到每个所述晴天船舶图像对应的晴天场景分割掩码；
步骤S6，将所述雾天船舶图像输入训练好的雾天的语义分割模型，得到每个所述雾天船舶图像对应的雾天场景分割掩码；
具体地，将分类为晴天场景的船舶图像，输入针对晴天场景训练得到的晴天的语义分割模型，输出每个晴天场景船舶图像对应的晴天场景分割掩码，该语义分割模型对晴天场景船舶图像具有更强的分割能力，得到的晴天场景分割掩码精度更高，通过晴天场景分割掩码可以准确地确定晴天场景船舶图像中边界和位置。
进一步地，将分类为雾天场景的船舶图像，输入针对雾天场景训练得到的雾天的语义分割模型，输出每个雾天场景船舶图像对应的雾天场景分割掩码，该语义分割模型对雾天场景船舶图像具有更强的分割能力，得到的雾天场景分割掩码精度更高，通过雾天场景分割掩码可以准确地确定雾天场景船舶图像中边界和位置。
本实施例中，将获取到的不同场景的船舶图像进行特征提取，得到船舶特征图，通过特征提取得到具有船舶图像特征信息的船舶特征图，可以根据该船舶特征图获取船舶图像丰富的图像特征信息。将船舶特征图通过卷积融合，得到融合船舶特征，通过得到的融合船舶特征可以进一步提高融合特征的表达能力，并使其包含了船舶图像更加丰富的语义信息，可以进一步提高对船舶图像分类的准确度。根据融合船舶特征得到每个对应船舶图像的分类结果，通过将船舶图像划分为晴天和雾天两种场景，并通过对应的训练好的晴天和雾天的两个语义分割模型，得到全部船舶图像对应分割掩码，实现对船舶图像的语义分割。通过将不同场景的船舶图像分为晴天船舶图像和雾天船舶图像，并通过由晴天场景专门训练得到训练好的语义分割模型，针对特定的场景语义分割模型具有更高的分割能力，进而通过两个语义分割模型对各自场景下的船舶图像进行语义分割，使得晴天和雾天场景都能实现有效分割，也使得最后的分割掩码质量更高，提高了对于晴天和雾天场景下语义分割的精度。
如图2所示，在一个可选的实施例中，所述根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图，包括：
获取N个卷积核大小为k×k，通道数为M的所述预设卷积核；
将全部所述预设卷积核进行分离，得到N个大小为k×k的单通道卷积核和N个通道为M的1×1多通道卷积核，其中，所述1×1多通道卷积核的通道数M等于所述船舶特征图的通道数；
通过每个所述单通道卷积核分别对所述船舶特征图进行逐通道卷积，得到N个深度特征图；
根据所述融合通道特征图，通过N个所述1×1多通道卷积核分别进行卷积融合，得到所述融合船舶特征图。
在一个可选的实施例中，所述根据所述融合通道特征图，通过N个所述1×1多通道卷积核分别进行卷积融合，得到所述融合船舶特征图，包括：
根据N个所述1×1多通道卷积核分别对所述融合通道特征图进行卷积处理，得到N个线性特征图；
将所述线性特征图进行通道融合，得到单通道线性特征图；
根据全部N个所述单通道线性特征图生成通道数为N的融合船舶特征图。
示例性地，设定2个预设卷积核的大小为3×3，通道数为3，其中，预设卷积核与船舶特征图的通道数都为3，将2个预设卷积核进行分离，分别得到2个大小为3×3的单通道卷积核和2个大小为1×1×3的多通道卷积核，将每个单通道卷积核分别对船舶特征图中的每个通道进行卷积运算，得到每个通道经过卷积运算后的通道特征图，并将两个相同通道位置的通道特征图进行矩阵加法生成新的通道特征图，即将两个单通道卷积核分别与船舶特征图的第一个通道特征图进行卷积运算，得到两个卷积后的第一通道特征图，并将两个特征图相同为值的像素值相加，得到该位置的融合像素值，根据全部的融合像素值生成该第一通道特征图对应的第一融合通道特征图，同理，分别得到第二通道特征图对应的第二融合通道特征图和第三通道特征图对应的第三融合通道特征图，最后，根据第一融合通道特征图、第二融合通道特征图和第三融合通道特征图生成具有3个通道的融合通道特征图。
进一步地，根据融合通道特征图，通过2个1×1×3的多通道卷积核进行卷积运算，得到2个通道数为3的线性特征图，将线性特征图的3个通道进行融合，即将3个通道特征图中对应位置的像素值相加求和，得到给位置的更新像素值，根据全部更新像素值生成单通道线性特征图，根据2个单通道线性特征图生成通道数为2的融合船舶特征图，其中，融合船舶特征图中每个通道的特征图为单通道特征图。
本可选的实施例中，通过多通道卷积核获取每个通道的独立的特征信息，再通过多通道卷积核将这些独立的特征信息进行融合，可以有效地提取细节和局部信息，增加融合船舶特征图的表达能力，并且减少了卷积和的数量，提高了预算速度。
在一个可选的实施例中，所述根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，包括：
将所述融合船舶特征图通过平均池化，得到池化特征图；
根据所述池化特征图，通过全连接层得到一维特征向量；
将所述一维特征向量输入激活函数，分别得到晴天场景和雾天场景的概率；
根据所述概率确定所述分类结果。
具体地，通过池化窗口对融合船舶特征图进行平均池化，得到池化特征图，通过池化可以降低融合船舶特征图的空间维度，减少融合船舶特征图的尺寸的同时保留主要特征。
进一步地，全连接层用于将卷积层和池化层提取的池化特征图进行分类。将池化特征图输入全连接层，全连接层的输出一维特征向量，表示不同类别的概率分布，最后通过softmax函数将全连接层的输出进行分类结果计算，得到船舶图像属于晴天场景和雾天场景的概率分布，将概率高的类别确定为该船舶图像的分类场景。
本可选的实施例中，通过不同的卷积核提取船舶图像的特征，将多个特征图融合后可以得到更全面、更丰富的特征表示，从而提高了船舶图像场景分类的准确性。
在一个可选的实施例中，所述语义分割模型的训练方法包括：
获取场景船舶图像；
根据所述场景船舶图像，通过训练好的残差网络，得到场景船舶特征图和场景中间特征图；
根据所述场景船舶特征图，通过类激活技术，得到船舶热力图；
通过所述场景中间特征图对所述船舶热力图进行优化，得到修正热力图；
根据所述场景船舶图像，通过仿射变换，得到仿射船舶特征图像；
根据所述仿射船舶特征图像，通过所述残差网络，得到仿射船舶特征图和仿射中间特征图；
根据所述仿射船舶特征图，通过所述类激活技术，得到仿射船舶热力图；
通过所述仿射中间特征图对所述船舶热力图进行优化，得到修正仿射热力图；
通过所述船舶热力图、所述修正船舶热力图、所述仿射船舶热力图、所述修正仿射船舶热力图和损失函数，对所述语义分割模型进行训练，得到特定场景的训练好的所述语义分割模型，其中，损失函数包括分类损失、等变正则化损失和交叉等变正则化损失。
在一个可选的实施例中，所述根据所述船舶特征图，通过类激活技术，得到船舶热力图，包括：
获取所述残差网络的全连接层权重；
根据所述全连接层权重，对所述船舶特征图进行线性加权求和，生成所述船舶热力图；
所述热力图关系满足：
；
其中，MC（x，y）为所述船舶热力图，C为船舶类别数量，为第k个所述船舶类别的所述全连接层权重，f（x，y）为所述船舶特征图，x为所述船舶特征图的像素点横坐标位置，y为所述船舶特征图的像素点纵坐标位置。
具体地，根据分割语义模型使用环境选择对应的场景船舶图像对语义分割模型进行训练，其中，场景船舶图像包括晴天场景船舶图像或雾天场景船舶图像，当需要得到晴天场景的语义分割模型时，则需要选择晴天场景的船舶图像进行模型训练，来得到训练好的晴天的语义分割模型，而当需要得到雾天场景的语义分割模型时，则需要选择雾天场景的船舶图像进行模型训练，来得到训练好的雾天的语义分割模型。通过残差网络（ResNet38）对特定场景的船舶图像进行特征提取，得到场景船舶特征图，并将残差网络内部conv4和conv5这两层特征相同位置相加，得到场景中间特征图，根据场景船舶特征图通过了类激活技术得到船舶热力图，并通过双线性插值方法保持与船舶热力图尺寸一致，同时通过场景中间特征图提取的特征信息对船舶热力图进行优化，得到修正热力图。
进一步地，对场景船舶图像进行仿射变换得到仿射船舶图像，首先根据场景船舶图像，通过预设仿射矩阵，生成仿射船舶图像，同样通过残差网络得到仿射船舶特征图和仿射中间特征图，并根据仿射船舶特征图和仿射中间特征图得到仿射船舶热力图和修正仿射热力图，最后根据船舶热力图、修正船舶热力图、仿射船舶热力图、修正仿射船舶热力图和损失函数，对所述语义分割模型进行训练，得到特定场景的训练好的所述语义分割模型，其中，损失函数包括分类损失、等变正则化损失和交叉等变正则化损失。
本可选的实施例中，通过对场景中间特征图的特征提取和处理，捕捉长距离上下文语义、通道关系，通过提取的特征信息对传播热力图进行优化，提高优化后的修正热力图的质量，从而提高通过修正后的热力图象训练得到的语义分割模型的精度。
如图3所示，在一个可选的实施例中，所述通过所述场景中间特征图对所述船舶热力图进行优化，得到修正热力图，包括：
根据所述场景中间特征图，通过像素间的距离关系，得到空间关系矩阵；
具体地，距离关系满足：
；
其中，为空间关系矩阵，g（X）为对场景中间特征图进行1×1卷积，T为转置，为g（X）的范数。
根据所述空间关系矩阵和所述船舶热力图，通过矩阵乘法，得到优化热力图；
根据所述船舶热力图和所述场景中间特征图的转置进行矩阵乘法，得到通道关联矩阵；
具体地，通道关联矩阵满足：
；
其中，Z为通道关联矩阵，SoftMax为激活函数，Y为船舶热力图，X为场景中间特征图，T为转置。
根据所述场景中间特征图、所述通道关联矩阵和权重矩阵关系，得到像素权重参数矩阵；
具体地，权重矩阵关系满足：
；
其中，W为权重矩阵，g（X）为对场景中间特征图进行1×1卷积，f（Z）为对通道关联矩阵进行1×1卷积，T为转置，为g（X）f（Z）的范数。
将所述像素权重参数矩阵和所述船舶热力图进行矩阵乘法，得到权重船舶热力图；
根据所述权重船舶热力图与所述优化热力图进行矩阵加法，得到所述修正热力图。
示例性地，修正热力矩阵满足：
；
其中，YPCCM为修正热力图，YPC为优化热力图，Y为船舶热力图，W为像素权重参数矩阵。
如图4所示，本发明实施例提供的一种基于晴雾场景的语义分割装置，包括：
获取模块，用于获取不同场景的船舶图像；
特征提取模块，用于通过对所述船舶图像进行特征提取，得到所述船舶图像的船舶特征图；
融合模块，用于根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；
分类模块，用于根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，并根据所述分类结果，将所述船舶图像分为晴天船舶图像和雾天船舶图像；
晴天分割模块，用于将所述晴天船舶图像输入训练好的晴天的语义分割模型，得到每个所述晴天船舶图像对应的晴天场景分割掩码；
雾天分割模块，用于将所述雾天船舶图像输入训练好的雾天的语义分割模型，得到每个所述雾天船舶图像对应的雾天场景分割掩码。
本发明实施例中的一种基于晴雾场景的语义分割装置具有上述基于晴雾场景的语义分割方法法相近似的技术效果，在此不再进行赘述。
本发明实施例提供的一种电子装置，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上所述的基于晴雾场景的语义分割方法。
本发明实施例中的一种电子装置具有上述基于晴雾场景的语义分割方法相近似的技术效果，在此不再进行赘述。
本发明实施例提供的一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的基于晴雾场景的语义分割方法。
本发明实施例中的一种计算机可读存储介质具有上述基于晴雾场景的语义分割方法相近似的技术效果，在此不再进行赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明披露如上，但本发明的保护范围并非仅限于此。本领域技术人员在不脱离本发明的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (10)
1.一种基于晴雾场景的语义分割方法，其特征在于，包括：
获取不同场景的船舶图像；
通过对所述船舶图像进行特征提取，得到所述船舶图像的船舶特征图；
根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；
根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，并根据所述分类结果，将所述船舶图像分为晴天船舶图像和雾天船舶图像；
将所述晴天船舶图像输入训练好的晴天的语义分割模型，得到每个所述晴天船舶图像对应的晴天场景分割掩码；
将所述雾天船舶图像输入训练好的雾天的语义分割模型，得到每个所述雾天船舶图像对应的雾天场景分割掩码。
2.根据权利要求1所述的基于晴雾场景的语义分割方法，其特征在于，所述根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图，包括：
获取N个卷积核大小为k×k，通道数为M的所述预设卷积核；
将全部所述预设卷积核进行分离，得到N个大小为k×k的单通道卷积核和N个通道为M的1×1多通道卷积核，其中，所述1×1多通道卷积核的通道数M等于所述船舶特征图的通道数；
通过每个所述单通道卷积核分别对所述船舶特征图进行逐通道卷积，得到N个深度特征图；
将每个所述深度特征图中相同通道的特征图进行融合，得到融合通道特征图；
根据所述融合通道特征图，通过N个所述1×1多通道卷积核分别进行卷积融合，得到所述融合船舶特征图。
3.根据权利要求2所述的基于晴雾场景的语义分割方法，其特征在于，所述根据所述融合通道特征图，通过N个所述1×1多通道卷积核分别进行卷积融合，得到所述融合船舶特征图，包括：
根据N个所述1×1多通道卷积核分别对所述融合通道特征图进行卷积处理，得到N个线性特征图；
将所述线性特征图进行通道融合，得到单通道线性特征图；
根据全部N个所述单通道线性特征图生成通道数为N的融合船舶特征图。
4.根据权利要求1所述的基于晴雾场景的语义分割方法，其特征在于，所述根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，包括：
将所述融合船舶特征图通过平均池化，得到池化特征图；
根据所述池化特征图，通过全连接层得到一维特征向量；
将所述一维特征向量输入激活函数，分别得到晴天场景和雾天场景的概率；
根据所述概率确定所述分类结果。
5.根据权利要求1所述的基于晴雾场景的语义分割方法，其特征在于，所述语义分割模型的训练方法包括：
获取场景船舶图像；
根据所述场景船舶图像，通过训练好的残差网络，得到场景船舶特征图和场景中间特征图；
根据所述场景船舶特征图，通过类激活技术，得到船舶热力图；
通过所述场景中间特征图对所述船舶热力图进行优化，得到修正热力图；
根据所述场景船舶图像，通过仿射变换，得到仿射船舶图像；
根据所述仿射船舶图像，通过所述残差网络，得到仿射船舶特征图和仿射中间特征图；
根据所述仿射船舶特征图，通过所述类激活技术，得到仿射船舶热力图；
通过所述仿射中间特征图对所述船舶热力图进行优化，得到修正仿射热力图；
通过所述船舶热力图、所述修正船舶热力图、所述仿射船舶热力图、所述修正仿射船舶热力图和损失函数，对所述语义分割模型进行训练，得到特定场景的训练好的所述语义分割模型。
6.根据权利要求5所述的基于晴雾场景的语义分割方法，其特征在于，所述根据所述船舶特征图，通过类激活技术，得到船舶热力图，包括：
获取所述残差网络的全连接层权重；
根据所述全连接层权重，对所述船舶特征图进行线性加权求和，生成所述船舶热力图；
所述热力图关系满足：
；
其中，MC（x，y）为所述船舶热力图，C为船舶类别数量，为第k个所述船舶类别的所述全连接层权重，f（x，y）为所述船舶特征图，x为所述船舶特征图的像素点横坐标位置，y为所述船舶特征图的像素点纵坐标位置。
7.根据权利要求5所述的基于晴雾场景的语义分割方法，其特征在于，所述通过所述场景中间特征图对所述船舶热力图进行优化，得到修正热力图，包括：
根据所述场景中间特征图，通过像素间的距离关系，得到空间关系矩阵；
根据所述空间关系矩阵和所述船舶热力图，通过矩阵乘法，得到优化热力图；
根据所述船舶热力图和所述场景中间特征图的转置进行矩阵乘法，得到通道关联矩阵；
根据所述场景中间特征图、所述通道关联矩阵和权重矩阵关系，得到像素权重参数矩阵；
将所述像素权重参数矩阵和所述船舶热力图进行矩阵乘法，得到权重船舶热力图；
根据所述权重船舶热力图与所述优化热力图进行矩阵加法，得到所述修正热力图。
8.一种基于晴雾场景的语义分割装置，其特征在于，包括：
获取模块，用于获取不同场景的船舶图像；
特征提取模块，用于通过对所述船舶图像进行特征提取，得到所述船舶图像的船舶特征图；
融合模块，用于根据所述船舶特征图，通过预设卷积核进行卷积处理和融合，得到融合船舶特征图；
分类模块，用于根据所述融合船舶特征图，通过池化层和全连接层，得到每个所述船舶图像的分类结果，并根据所述分类结果，将所述船舶图像分为晴天船舶图像和雾天船舶图像；
晴天分割模块，用于将所述晴天船舶图像输入训练好的晴天的语义分割模型，得到每个所述晴天船舶图像对应的晴天场景分割掩码；
雾天分割模块，用于将所述雾天船舶图像输入训练好的雾天的语义分割模型，得到每个所述雾天船舶图像对应的雾天场景分割掩码。
9.一种电子装置，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至7任一所述的基于晴雾场景的语义分割方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至7任一所述的基于晴雾场景的语义分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410031066.0A CN117689890B (zh) | 2024-01-09 | 2024-01-09 | 一种基于晴雾场景的语义分割方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410031066.0A CN117689890B (zh) | 2024-01-09 | 2024-01-09 | 一种基于晴雾场景的语义分割方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117689890A true CN117689890A (zh) | 2024-03-12 |
| CN117689890B CN117689890B (zh) | 2024-07-02 |
Family
ID=90139167
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410031066.0A Active CN117689890B (zh) | 2024-01-09 | 2024-01-09 | 一种基于晴雾场景的语义分割方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117689890B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090911A (zh) * | 2018-01-08 | 2018-05-29 | 北京航空航天大学 | 一种光学遥感图像的近岸舰船分割方法 |
| CN109800735A (zh) * | 2019-01-31 | 2019-05-24 | 中国人民解放军国防科技大学 | 一种船目标精确检测与分割方法 |
| CN113987029A (zh) * | 2021-11-09 | 2022-01-28 | 智道网联科技(北京)有限公司 | 天气信息共享方法、云服务器及系统 |
| CN114219989A (zh) * | 2021-11-25 | 2022-03-22 | 哈尔滨工程大学 | 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 |
| CN114648638A (zh) * | 2022-04-02 | 2022-06-21 | 北京百度网讯科技有限公司 | 语义分割模型的训练方法、语义分割方法与装置 |
| US20230056332A1 (en) * | 2019-12-13 | 2023-02-23 | Huawei Technologies Co., Ltd. | Image Processing Method and Related Apparatus |
| CN115830324A (zh) * | 2022-12-08 | 2023-03-21 | 武汉大学 | 基于候选标签集的语义分割域适应标签纠正方法及装置 |
| WO2023113437A1 (ko) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | 메모리를 이용하는 의미론적 영상 분할 장치 및 방법 |
-
2024
- 2024-01-09 CN CN202410031066.0A patent/CN117689890B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108090911A (zh) * | 2018-01-08 | 2018-05-29 | 北京航空航天大学 | 一种光学遥感图像的近岸舰船分割方法 |
| CN109800735A (zh) * | 2019-01-31 | 2019-05-24 | 中国人民解放军国防科技大学 | 一种船目标精确检测与分割方法 |
| US20230056332A1 (en) * | 2019-12-13 | 2023-02-23 | Huawei Technologies Co., Ltd. | Image Processing Method and Related Apparatus |
| CN113987029A (zh) * | 2021-11-09 | 2022-01-28 | 智道网联科技(北京)有限公司 | 天气信息共享方法、云服务器及系统 |
| CN114219989A (zh) * | 2021-11-25 | 2022-03-22 | 哈尔滨工程大学 | 一种基于干扰抑制和动态轮廓的雾天场景船舶实例分割方法 |
| WO2023113437A1 (ko) * | 2021-12-15 | 2023-06-22 | 연세대학교 산학협력단 | 메모리를 이용하는 의미론적 영상 분할 장치 및 방법 |
| CN114648638A (zh) * | 2022-04-02 | 2022-06-21 | 北京百度网讯科技有限公司 | 语义分割模型的训练方法、语义分割方法与装置 |
| CN115830324A (zh) * | 2022-12-08 | 2023-03-21 | 武汉大学 | 基于候选标签集的语义分割域适应标签纠正方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| YUHONG ZHENG等: "RepUNet:A Fast Image Semantic Segmentation Model Based on Convolutional Reparameterization of Ship Satellite Images", IEEE, 31 December 2021 (2021-12-31) * |
| 孙雨鑫: "基于注意力机制的SOLOA船舶实例分割算法", 智能系统学报, 30 November 2023 (2023-11-30) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117689890B (zh) | 2024-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| CN107945204B (zh) | 一种基于生成对抗网络的像素级人像抠图方法 | |
| CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN109583483B (zh) | 一种基于卷积神经网络的目标检测方法和系统 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
| CN114549913B (zh) | 一种语义分割方法、装置、计算机设备和存储介质 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN112347888A (zh) | 基于双向特征迭代融合的遥感图像场景分类方法 | |
| CN111461213A (zh) | 一种目标检测模型的训练方法、目标快速检测方法 | |
| CN111768415A (zh) | 一种无量化池化的图像实例分割方法 | |
| CN112149526B (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN111739037B (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
| CN117079098A (zh) | 一种基于位置编码的空间小目标检测方法 | |
| CN112418032A (zh) | 一种人体行为识别方法、装置、电子设备及存储介质 | |
| CN115761888A (zh) | 基于nl-c3d模型的塔吊操作人员异常行为检测方法 | |
| CN114998756A (zh) | 一种基于yolov5的遥感图像检测方法、装置及存储介质 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN116630828B (zh) | 基于地形环境适配的无人机遥感信息采集系统及方法 | |
| CN115861595B (zh) | 一种基于深度学习的多尺度域自适应异源图像匹配方法 | |
| CN117011515A (zh) | 基于注意力机制的交互式图像分割模型及其分割方法 | |
| CN111242839A (zh) | 一种基于尺度等级的图像缩放裁剪方法 | |
| CN117689890B (zh) | 一种基于晴雾场景的语义分割方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |