CN116664596A - 港口区域遥感图像的分割方法、装置、电子设备和介质 - Google Patents

港口区域遥感图像的分割方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN116664596A
CN116664596A CN202310598127.7A CN202310598127A CN116664596A CN 116664596 A CN116664596 A CN 116664596A CN 202310598127 A CN202310598127 A CN 202310598127A CN 116664596 A CN116664596 A CN 116664596A
Authority
CN
China
Prior art keywords
remote sensing
image
feature
feature map
port area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310598127.7A
Other languages
English (en)
Inventor
毕福昆
鞠浩然
史崟妮
徐盛野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN202310598127.7A priority Critical patent/CN116664596A/zh
Publication of CN116664596A publication Critical patent/CN116664596A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理技术领域，提供一种港口区域遥感图像的分割方法、装置、电子设备和介质，该方法包括：采集港口区域遥感图像；将港口区域遥感图像输入图像分割模型，获取图像分割模型输出的港口区域遥感图像的轮廓分割图像；其中，图像分割模型包括重参数化网络、密集连接结构和空洞卷积层。本发明采用预先构建的图像分割模型对港口区域遥感图像进行港口区域轮廓分割，该图像分割模型采用结构重参数化网络提取港口区域遥感图像的浅层特征图、中层特征图以及第一深层特征图，并通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，提高了港口区域遥感图像的分割精度。

Description

港口区域遥感图像的分割方法、装置、电子设备和介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种港口区域遥感图像的分割方法、装置、电子设备和介质。
背景技术
随着遥感技术的发展，港口场景越来越复杂，传统的港口区域遥感图像处理方法不易对遥感图像进行有效的分析，针对复杂场景的特征无法进行有效的信息提取，难以准确地对遥感图像海岸线进行分割。
传统卷积神经网络虽然在语义分割领域中具有一定的普适性，但针对港口区域遥感图像进行分割时，其效果并不理想。随着遥感图像技术的发展，遥感图像的分辨率及信息量日益增大，导致传统卷积神经网络的结构参数量大，使传统卷积神经网络不适用大尺幅特点的遥感港口图像高效处理。并且，不同尺度下的特征差异和遥感图像近岸区域的部分边界模糊等问题对传统卷积神经网络的分割精度也产生巨大影响，同时遥感图像中，海洋陆地样本类别不平衡，容易影响分割精度。
发明内容
本发明提供一种港口区域遥感图像的分割方法、装置、电子设备和介质，用以解决港口区域遥感图像分割精度低的问题，通过采用预先构建的图像分割模型对港口区域遥感图像进行港口区域轮廓分割，该图像分割模型采用结构重参数化网络提取港口区域遥感图像的浅层特征图、中层特征图以及第一深层特征图，并通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，提高了港口区域遥感图像的分割精度。
本发明提供一种港口区域遥感图像的分割方法，包括：
采集港口区域遥感图像；
将所述港口区域遥感图像输入图像分割模型，获取所述图像分割模型输出的所述港口区域遥感图像的轮廓分割图像；
其中，所述图像分割模型的编码器包括特征提取模块和尺度特征融合模块；所述特征提取模块基于结构重参数化网络提取所述港口区域遥感图像的特征信息，所述特征信息包括浅层特征图、中层特征图和第一深层特征图；所述结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；所述尺度特征融合模块通过密集连接和空洞卷积层对所述第一深层特征图进行特征提取和特征融合。
在一个实施例中，所述图像分割模型通过以下步骤得到：
采集样本港口区域遥感图像；
提取所述样本港口区域遥感图像的样本特征信息，所述样本特征信息包括样本浅层特征图、样本中层特征图和第一样本深层特征图；
通过密集连接和空洞卷积层对所述第一样本深层特征图进行特征提取和特征融合，得到第二样本深层特征图；
对所述第二样本深层特征图进行上采样，得到第三样本深层特征图；
对所述第三样本深层特征图、所述样本浅层特征图和所述样本中层特征图进行跳跃连接得到样本特征图；
对所述样本特征图进行卷积得到所述样本港口区域遥感图像的预测轮廓分割图；
采用所述预测轮廓分割图和真实轮廓分割图对预设的损失函数进行训练，得到所述图像分割模型。
在一个实施例中，所述多分支网络包括卷积层和BN层；
所述卷积层的操作公式为：
yconv＝ω·x+b；
其中，yconv为卷积，x为输入，ω为权重，b为偏置；
所述BN层的操作公式为：
其中，BNγ，β(yconv)为融合前的BN层，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数。
在一个实施例中，所述多分支网络和所述单分支网络的参数进行融合包括：所述BN层与所述卷积层之间的融合，以及所述卷积层与所述卷积层之间的融合；
其中，所述BN层与所述卷积层之间的融合公式为：
其中，BNγ，β(x)为融合后的BN层，ω为权重，b为偏置，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数，x为输入；
所述卷积层和所述卷积层之间的融合公式为：
其中，O为融合后的特征，I为输入特征，K1、K2、K3为卷积参数，B1、B2、B3为偏移量。
在一个实施例中，所述空洞卷积层包括多个不同采样率的空洞卷积，用于提取所述第一深层特征图的多尺度特征信息，并生成第二深层特征图。
在一个实施例中，所述密集连接中的第N个所述空洞卷积层连接N-1个所述空洞卷积层的所述第二深层特征图，其中，第N个所述空洞卷积层的第二深层特征图是结合N-1个所述空洞卷积层的第二深层特征图中的特征信息生成的，所有所述第二深层特征图经过密集连接的融合生成第三深层特征图。
在一个实施例中，所述预设的损失函数的计算公式为：
loss(x,class)＝weight[class](x[class]+log∑jexp(x[j]))；
其中，x为预测值，j为遍历，loss为损失，weight为权重，class为分割的像素类别。
本发明还提供一种港口区域遥感图像轮廓分割装置，包括：
图像采集模块，用于采集港口区域遥感图像；
图像分割模块，用于将所述港口区域遥感图像输入图像分割模型，得到所述图像分割模型输出的所述港口区域遥感图像的轮廓分割图像；
其中，所述图像分割模型的编码器包括特征提取模块和尺度特征融合模块；所述特征提取模块基于结构重参数化网络提取所述港口区域遥感图像的特征信息，所述特征信息包括浅层特征图、中层特征图和第一深层特征图；所述结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；所述尺度特征融合模块通过密集连接和空洞卷积层对所述第一深层特征图进行特征提取和特征融合。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述港口区域遥感图像的分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述港口区域遥感图像的分割方法。
本发明提供的港口区域遥感图像的分割方法、装置、电子设备和介质，通过采集港口区域遥感图像；将所述港口区域遥感图像输入图像分割模型，获取所述图像分割模型输出的所述港口区域遥感图像的轮廓分割图像；其中，所述图像分割模型的编码器包括特征提取模块和尺度特征融合模块；所述特征提取模块基于结构重参数化网络提取所述港口区域遥感图像的特征信息，所述特征信息包括浅层特征图、中层特征图和第一深层特征图；所述结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；所述尺度特征融合模块通过密集连接和空洞卷积层对所述第一深层特征图进行特征提取和特征融合。本发明采用预先构建的图像分割模型对港口区域遥感图像进行港口区域轮廓分割，该图像分割模型采用结构重参数化网络提取港口区域遥感图像的浅层特征图、中层特征图以及第一深层特征图，并通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，提高了港口区域遥感图像的分割精度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的港口区域遥感图像的分割方法的流程示意图之一；
图2是本发明提供的港口区域遥感图像的分割方法的流程示意图之二；
图3是本发明提供的结构重参数化网络的多分支网络结构；
图4是本发明提供的空洞卷积与普通卷积的对比示意图；
图5是本发明提供的具有密集结构的空洞卷积层的结构示意图；
图6是本发明提供的港口区域遥感图像轮廓分割装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图7描述本发明的港口区域遥感图像的分割方法、装置、电子设备和介质。
具体地，本发明提供了一种港口区域遥感图像的分割方法，参照图1、2。
本发明实施例提供的港口区域遥感图像的分割方法，包括：
S100，采集港口区域遥感图像；
需要说明的是，遥感图像是指记录各种地物电磁波大小的胶片或照片，遥感图像具有空间分辨率、光谱分辨率、时间序列、多源数据融合等特点，可以对地球表面进行全方位监测和观测。
港口是位于海、江、河、湖、水库沿岸。
通过卫星、飞机、无人机等平台采集港口区域遥感图像，或者通过地面测量仪器采集港口区域遥感图像。
进一步地，为提高港口区域遥感图像的轮廓分割的准确性，在采集港口区域遥感图像后，需要对港口区域遥感图像进行预处理，例如，对港口区域遥感图像进行图像融合、图像分幅、线性拉伸以及图像滤波等处理。
S200，将港口区域遥感图像输入图像分割模型，获取图像分割模型输出的港口区域遥感图像的轮廓分割图像；
其中，图像分割模型的编码器包括特征提取模块和尺度特征融合模块；特征提取模块基于结构重参数化网络提取港口区域遥感图像的特征信息，特征信息包括浅层特征图、中层特征图和第一深层特征图；结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；尺度特征融合模块通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合。
将预处理后的港口区域遥感图像输入图像分割模型，图像分割模型中的特征提取模块基于结构化重参数提取港口区域遥感图像的浅层特征图、中层特征图和第一深层特征图。尺度特征融合模块通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，得到第三深层特征图；通过空洞卷积层扩大感受野，通过密集连接的方式增强第一深层特征图中的特征上下文信息。
对第三深层特征图、浅层特征图和中层特征图进行跳跃连接，融合得到特征图，以提高图像分割模型的鲁棒性，对特征图进行进行卷积和上采样得到港口区域遥感图像的轮廓分割图像。
本发明实施例提供的港口区域遥感图像的分割方法，通过采集港口区域遥感图像；将港口区域遥感图像输入图像分割模型，获取图像分割模型输出的港口区域遥感图像的轮廓分割图像；其中，图像分割模型的编码器包括特征提取模块和尺度特征融合模块；特征提取模块基于结构重参数化网络提取港口区域遥感图像的特征信息，特征信息包括浅层特征图、中层特征图和第一深层特征图；结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；尺度特征融合模块通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合。本发明实施例采用预先构建的图像分割模型对港口区域遥感图像进行港口区域轮廓分割，该图像分割模型采用结构重参数化网络提取港口区域遥感图像的浅层特征图、中层特征图以及第一深层特征图，并通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，提高了港口区域遥感图像的分割精度。
基于上述实施例，图像分割模型通过以下步骤得到：
S201，采集样本港口区域遥感图像；
S202，提取样本港口区域遥感图像的样本特征信息，样本特征信息包括样本浅层特征图、样本中层特征图和第一样本深层特征图；
S203，通过密集连接和空洞卷积层对第一样本深层特征图进行特征提取和特征融合，得到第二样本深层特征图；
S204，对第二样本深层特征图进行上采样，得到第三样本深层特征图；
S205，对第三样本深层特征图、样本浅层特征图和样本中层特征图进行跳跃连接得到样本特征图；
S206，对样本特征图进行卷积得到样本港口区域遥感图像的预测轮廓分割图；
S207，采用预测轮廓分割图和真实轮廓分割图对预设的损失函数进行训练，得到所述图像分割模型。
需要说明的是，图像分割模型是采用样本港口区域遥感图像对预设模型进行训练得到的，其中，预设模型包括编码器和解码器，编码器包括特征提取模块和尺度特征融合模块。
在采集样本港口区域遥感图像后，对样本港口区域遥感图像进行预处理，并将预处理后的样本港口区域遥感图像输入编码器，编码器的特征提取模块通过结构重参数化网络对预处理后的样本港口区域遥感图像进行特征提取，获取样本港口区域遥感图像的样本浅层特征图、样本中层特征图和第一样本深层特征图。
编码器的尺度特征融合模块通过不同空洞率的空洞卷积，对第一样本深层特征图的不同尺度特征进行上下文信息融合，并且通过全局池化层捕捉第一样本深层特征图的全局信息，得到第二深层特征图。在将第一样本深层特征图输入多尺度特征金字塔之前，引入一个前置卷积层，该前置卷积层会对第一样本深层特征图进行降采样，得到一个缩小的第一样本深层特征图，然后再将这个缩小的第一样本深层特征图和原第一样本深层特征图输入到多尺度特征金字塔中进行特征提取得到第二样本深层特征图。可以理解的是，前置卷积层可以帮助网络更好地处理第一样本深层特征图中的小目标。
解码器包括上采样模块、跳跃连接和1*1卷积模块。由于编码器中使用了降采样，解码器通过上采样将第二样本深层特征图恢复到原第一样本深层特征图大小，得到第三样本深层特征图。
可选的，上采样可以采用双线性插值(Bilinear Interpolation)方法，其中，双线性插值方法可以比较快速地将第二样本深层特征图进行放大。
将编码器的样本浅层特征图、样本中层特征图和解码器的第三样本深层特征图进行跳跃连接得到样本特征图，如此，可以保留更多图像的细节信息。例如，跳跃连接包括：将编码器中的样本浅层特征图和样本中层特征图与解码器中的第三样本深层特征图进行拼接得到样本特征图；或者，将编码器中的样本浅层特征图和样本中层特征图经过1*1卷积压缩之后与解码器中的第三样本深层特征图进行拼接得到样本特征图。
最后，解码器对样本特征图进行多个1*1卷积操作，进而提取样本特征图中的特征，其中，多个1*1卷积可以减少计算量和参数量。具体的，多个1*1卷积操作为两个1*1卷积层，分别将跳跃连接后的样本特征图进行通道数的调整和特征的整合。将经过多个卷积后的样本特征图映射到语义分割结果，该分类器包括一个1*1卷积层和一个插值层，其中，卷积核大小为1的卷积层可以减少特征图的通道数以达到压缩通道的目的，然后利用选定的插值方法将样本特征图进行上采样，得到样本港口区域遥感图像的预测轮廓分割图。
对样本港口区域遥感图像中的港口轮廓进行标注，得到真实轮廓分割图。
采用预测轮廓分割图和真实轮廓分割图对预设的损失函数进行训练，得到图像分割模型。
本发明实施例通过样本港口区域遥感图像对预设模型进行训练得到图像分割模型。预设模型的训练过程采用结构重参数化网络提取样本港口区域遥感图像的样本浅层特征图、样本中层特征图和第一样本深层特征图，并通过密集连接和空洞卷积层对第一样本深层特征图进行融合，得到了图像分割模型，基于此，提高了图像分割模型的分割精度。
基于上述实施例，多分支网络包括卷积层和BN层；卷积层的操作公式为：
yconv＝ω·x+b；
其中，yconv为卷积，x为输入，ω为权重，b为偏置；
BN层的操作公式为：
其中，BNγ，β(yconv)为融合前的BN层，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数。
经过结构重参数化网络，实现利用多分支网络进行训练，利用单分支网络进行推理。在训练过程中使用多分支结构，多分支结构包括卷积层和BN层，最下面分支包括BN层，如图3所示。
本发明实施例通过在结构重参数化网络中设置卷积层和BN层，提高了结构重参数化网络的特征提取能力，同时也加快了推理速度。
基于上述实施例，多分支网络和单分支网络的参数进行融合包括：BN层与卷积层之间的融合，以及卷积层与卷积层之间的融合；
其中，BN层与卷积层之间的融合公式为：
其中，BNγ，β(x)为融合后的BN层，ω为权重，b为偏置，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数，x为输入；
卷积层和卷积层之间的融合公式为：
其中，O为融合后的特征，I为输入特征，K1、K2、K3为卷积参数，B1、B2、B3为偏移量。
在推理过程中，将所有分支参数进行融合，包括BN层与卷积层之间的融合、卷积层与卷积层之间的融合。
在BN层与卷积层融合的过程中，若为0，会造成计算错误，为了避免此情况，可设置ε为一个非常小的常数，设：
进而可以得到：
其中，为设置后的权重，/>为设置后的偏置。
通过卷积层的参数和BN层的参数进行融合，进而实现利用单分支网络进行推理。
在卷积层与卷积层之间的融合时，先将1*1的卷积的分支和只有BN层的分支扩充为3*3的卷积分支，扩充方法为：将1*1的卷积使用0填充成3*3大小，将只有BN层的分支同样使用0扩充为3*3的卷积，然后利用卷积的可加性将这些的卷积分支融合在一起。
本发明实施例通过BN层与卷积层之间的融合以及卷积层与卷积层之间的融合，实现利用单分支网络进行推理，加快了网络推理速度，同时减少了推理时的运算量，提高了网络的推理速度。
基于上述实施例，空洞卷积层包括多个不同采样率的空洞卷积，用于提取第一深层特征图的多尺度特征信息，并生成第二深层特征图。
如图4所示，空洞卷积是通过等间隔采样实现卷积层中的空洞，空洞卷积可以通过改变膨胀率，从而调整由特征提取网络计算的特征大小，获取不同的感受野大小。空洞卷积相比于普通卷积操作，其可以在不改变该模块的参数量的情况下，提高模块的感受野，从而更高效的提取输入图像的复杂特征，除此之外，空洞卷积可以通过调整扩张率来获取更多的多尺度上下文，利用这些多尺度上下文信息，对不同尺度的特征信息进行相应的提取。通过使用多个不同采样率的空洞卷积层对第一深层特征图进行采集，得到多个相同大小的第二深层特征图，解决了港口区域特征复杂的问题，在不增加计算量的情况下有效提高了网络特征的提取能力。
空洞卷积层通过不同采样率的空洞卷积获取第一深层特征图的多尺度特征信息，并生成第二深层特征图。空洞卷积层把不同尺度的特征图利用相应的膨胀因子的空洞卷积，使其输出都是相同大小的第二深层特征图，可以使网络无论是训练过程还是推理过程都可以摆脱尺度的限制。
本发明实施例采用空洞卷积层对第一深层特征图进行特征提取，例如，采用四种不同空洞率的空洞卷积对前一层的输出结果进行卷积运算，一次扩大感受野，以获得多尺度信息，并进行上采样以恢复正确的维数。通过构建不同感受野的空洞卷积，在不增加运算量的情况下缩小特征图，从而获取多尺度特征信息，如图4所示。
本发明实施例的4种空洞卷积层经过卷积得到4张大小相同的第二深层特征图，然后通过密集连接对4张相同大小的第二深层特征图进行融合，得到第三深层特征图。
本发明实施例，通过采用密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，提高了第一深层特征图的利用率，有利于提高图像分割模型的精度。
基于上述实施例，密集连接中的第N个所述空洞卷积层连接N-1个所述空洞卷积层的第二深层特征图，其中，第N个空洞卷积层的第二深层特征图是结合N-1个空洞卷积层的第二深层特征图中的特征信息生成的，所有第二深层特征图经过密集连接的融合生成第三深层特征图。
如图5所示，密集连接通过连接所有卷积层的输出，实现了网络中特征的高度共享和信息的高度流通，具有更好的特征重用能力和更少的参数数量。
需要进一步说明的是，N为大于等于2的整数。
将第N个空洞卷积层连接其前面N-1个空洞卷积层的第二深层特征图，并获取该N-1个空洞卷积层的N-1张第二深层特征图中的深层特征信息。第N个空洞卷积层结合深层特征信息生成第N个空洞卷积层的第二深层特征图。
本发明实施例中空洞卷积层的个数为4，4个空洞卷积层共生成4张第二深层特征图，对该4张第二深层特征图进行融合得到第三深层特征图。
在空洞卷积中使用密集连接结构可以让网络更好地利用特征信息，空洞卷积层中的每个空洞卷积层连接前面所有空洞卷积层的输出，这样可以让每个空洞卷积层都能够接收前面所有空洞卷积层输出的特征信息。
本发明实施例，通过每个空洞卷积层连接前面所有空洞卷积层的输出，提高了第二深层特征图的重用率和表达能力，使得第二深层特征图可以被更加全面地利用，同时避免了信息丢失和特征重复的问题，同时由于利用了密集连接模块实现共享特征，减少了网络的参数数量。
基于上述实施例，预设的损失函数的计算公式为：
loss(x,class)＝weight[class](x[class]+log∑jexp(x[j]))；
其中，x为预测值，j为遍历，loss为损失，weight为权重，class为分割的像素类别。
由于分割时港口区域遥感图像中的样本不平衡，容易对分割精度产生影响，而在港口区域遥感图像中通常面临海洋陆地样本不平衡问题，因此在本发明中，使用加权损失函数对图像分割模型进行优化。在语义分割任务中，通常使用交叉熵损失函数来训练模型，其计算公式为：
其中，x为预测值，j为遍历，loss为损失，class为分割的像素类别。
然而由于这种损失是通过像素的总和进行计算出来的，因此不能很好的解决港口区域遥感图像中类别不平衡所带来的分割问题。为了解决港口区域遥感图像中海洋区域和陆地港口区域样本不平衡问题，本发明实施例在交叉熵损失函数中加入了加权因子weight[class]，使其成为加权损失函数。
本发明实施例通过在交叉熵损失函数中加入加权损失函数，更好地克服了港口区域遥感图像中海陆样本不平衡的问题，进一步提高了图像分割模型的精度。
如图6所示，本发明实施例还提供一种港口区域遥感图像轮廓分割装置，包括：
图像采集模块601，用于采集港口区域遥感图像；
图像分割模块602，用于将所述港口区域遥感图像输入图像分割模型，得到所述图像分割模块输出的所述港口区域遥感图像的轮廓分割图像；
其中，图像分割模型的编码器包括特征提取组件和尺度特征融合组件；特征提取组件基于结构重参数化网络提取港口区域遥感图像的特征信息，特征信息包括浅层特征图、中层特征图和第一深层特征图；结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；尺度特征融合组件通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合。
本发明实施例的港口区域遥感图像轮廓分割装置，通过采集港口区域遥感图像；将港口区域遥感图像输入图像分割模型，获取图像分割模型输出的港口区域遥感图像的轮廓分割图像；其中，图像分割模型的编码器包括特征提取模块和尺度特征融合模块；特征提取模块基于结构重参数化网络提取港口区域遥感图像的特征信息，特征信息包括浅层特征图、中层特征图和第一深层特征图；结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；尺度特征融合模块通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合。本发明实施例采用预先构建的图像分割模型对港口区域遥感图像进行港口区域轮廓分割，该图像分割模型采用结构重参数化网络提取港口区域遥感图像的浅层特征图、中层特征图以及第一深层特征图，并通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合，提高了港口区域遥感图像的分割精度。
在一个实施例中，港口区域遥感图像轮廓分割装置还包括模型训练模块；
模型训练模块，用于采集样本港口区域遥感图像；提取样本港口区域遥感图像的样本特征信息，样本特征信息包括样本浅层特征图、样本中层特征图和第一样本深层特征图；通过密集连接和空洞卷积层对第一样本深层特征图进行特征提取和特征融合，得到第二样本深层特征图；对第二样本深层特征图进行上采样，得到第三样本深层特征图；对第三样本深层特征图、样本浅层特征图和样本中层特征图进行跳跃连接得到样本特征图；对样本特征图进行卷积得到样本港口区域遥感图像的预测轮廓分割图；采用预测轮廓分割图和真实轮廓分割图对预设的损失函数进行训练，得到图像分割模型。
在一个实施例中，所述多分支网络包括卷积层和BN层；所述卷积层的操作公式为：
yconv＝ω·x+b；
其中，yconv为卷积，x为输入，ω为权重，b为偏置；
所述BN层的操作公式为：
其中，BNγ，β(yconv)为融合前的BN层，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数。
在一个实施例中，多分支网络和所述单分支网络的参数进行融合包括：BN层与卷积层之间的融合和卷积层与卷积层之间的融合；
其中，BN层与卷积层之间的融合公式为：
其中，BNγ，β(x)为融合后的BN层，ω为权重，b为偏置，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数，x为输入；
卷积层和卷积层之间的融合公式为：
其中，O为融合后的特征，I为输入特征，K1、K2、K3为卷积参数，B1、B2、B3为偏移量。
在一个实施例中，空洞卷积层包括多个不同采样率的空洞卷积，用于提取所述第一深层特征图的多尺度特征信息，并生成第二深层特征图。
在一个实施例中，密集连接中的第N个空洞卷积层连接N-1个空洞卷积层的第二深层特征图，其中，第N个空洞卷积层的第二深层特征图是结合N-1个空洞卷积层的第二深层特征图中的特征信息生成的，所有第二深层特征图经过密集连接的融合生成第三深层特征图。
在一个实施例中，预设的损失函数的计算公式为：
loss(x,class)＝weight[class](x[class]+log∑jexp(x[j]))；
其中，x为预测值，j为遍历，loss为损失，weight为权重，class为分割的像素类别。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行港口区域遥感图像的分割方法，该方法包括：
采集港口区域遥感图像；
将港口区域遥感图像输入图像分割模型，获取图像分割模型输出的港口区域遥感图像的轮廓分割图像；
其中，图像分割模型的编码器包括特征提取模块和尺度特征融合模块；特征提取模块基于结构重参数化网络提取港口区域遥感图像的特征信息，特征信息包括浅层特征图、中层特征图和第一深层特征图；结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；尺度特征融合模块通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的港口区域遥感图像的分割，该方法包括：
采集港口区域遥感图像；
将港口区域遥感图像输入图像分割模型，获取图像分割模型输出的港口区域遥感图像的轮廓分割图像；
其中，图像分割模型的编码器包括特征提取模块和尺度特征融合模块；特征提取模块基于结构重参数化网络提取港口区域遥感图像的特征信息，特征信息包括浅层特征图、中层特征图和第一深层特征图；结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；尺度特征融合模块通过密集连接和空洞卷积层对第一深层特征图进行特征提取和特征融合。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种港口区域遥感图像的分割方法，其特征在于，包括：
采集港口区域遥感图像；
将所述港口区域遥感图像输入图像分割模型，获取所述图像分割模型输出的所述港口区域遥感图像的轮廓分割图像；
其中，所述图像分割模型的编码器包括特征提取模块和尺度特征融合模块；所述特征提取模块基于结构重参数化网络提取所述港口区域遥感图像的特征信息，所述特征信息包括浅层特征图、中层特征图和第一深层特征图；所述结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；所述尺度特征融合模块通过密集连接和空洞卷积层对所述第一深层特征图进行特征提取和特征融合。
2.根据权利要求1所述的港口区域遥感图像的分割方法，其特征在于，所述图像分割模型通过以下步骤得到：
采集样本港口区域遥感图像；
提取所述样本港口区域遥感图像的样本特征信息，所述样本特征信息包括样本浅层特征图、样本中层特征图和第一样本深层特征图；
通过密集连接和空洞卷积层对所述第一样本深层特征图进行特征提取和特征融合，得到第二样本深层特征图；
对所述第二样本深层特征图进行上采样，得到第三样本深层特征图；
对所述第三样本深层特征图、所述样本浅层特征图和所述样本中层特征图进行跳跃连接得到样本特征图；
对所述样本特征图进行卷积得到所述样本港口区域遥感图像的预测轮廓分割图；
采用所述预测轮廓分割图和真实轮廓分割图对预设的损失函数进行训练，得到所述图像分割模型。
3.根据权利要求1所述的港口区域遥感图像的分割方法，其特征在于，所述多分支网络包括卷积层和BN层；
所述卷积层的操作公式为：
yconv＝ω·x+b；
其中，yconv为卷积，x为输入，ω为权重，b为偏置；
所述BN层的操作公式为：
其中，BNγ，β(yconv)为融合前的BN层，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数。
4.根据权利要求3所述的港口区域遥感图像的分割方法，其特征在于，所述多分支网络和所述单分支网络的参数进行融合包括：所述BN层与所述卷积层之间的融合，以及所述卷积层与所述卷积层之间的融合；
其中，所述BN层与所述卷积层之间的融合公式为：
其中，BNγ，β(x)为融合后的BN层，ω为权重，b为偏置，γ为经过网络反向传播过程中更新的平移参数，β为经过网络反向传播过程中更新的缩放参数，μB为全部训练数据的均值，σB为全部训练数据的方差，ε为常数，x为输入；
所述卷积层和所述卷积层之间的融合公式为：
其中，O为融合后的特征，I为输入特征，K1、K2、K3为卷积参数，B1、B2、B3为偏移量。
5.根据权利要求1所述的港口区域遥感图像的分割方法，其特征在于，所述空洞卷积层包括多个不同采样率的空洞卷积，用于提取所述第一深层特征图的多尺度特征信息，并生成第二深层特征图。
6.根据权利要求5所述的港口区域遥感图像的分割方法，其特征在于，所述密集连接中的第N个所述空洞卷积层连接N-1个所述空洞卷积层的所述第二深层特征图，其中，第N个所述空洞卷积层的第二深层特征图是结合N-1个所述空洞卷积层的第二深层特征图中的特征信息生成的，所有所述第二深层特征图经过密集连接的融合生成第三深层特征图。
7.根据权利要求2所述的港口区域遥感图像的分割方法，其特征在于，所述预设的损失函数的计算公式为：
loss(x,class)＝weight[class](x[class]+log∑jexp(x[j]))；
其中，x为预测值，j为遍历，loss为损失，weight为权重，class为分割的像素类别。
8.一种港口区域遥感图像轮廓分割装置，其特征在于，包括：
图像采集模块，用于采集港口区域遥感图像；
图像分割模块，用于将所述港口区域遥感图像输入图像分割模型，得到所述图像分割模型输出的所述港口区域遥感图像的轮廓分割图像；
其中，所述图像分割模型的编码器包括特征提取模块和尺度特征融合模块；所述特征提取模块基于结构重参数化网络提取所述港口区域遥感图像的特征信息，所述特征信息包括浅层特征图、中层特征图和第一深层特征图；所述结构重参数化网络利用多分支网络进行训练，利用单分支网络进行推理，在推理过程中，将多分支网络和单分支网络的参数进行融合；所述尺度特征融合模块通过密集连接和空洞卷积层对所述第一深层特征图进行特征提取和特征融合。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述港口区域遥感图像的分割方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述港口区域遥感图像的分割方法。
CN202310598127.7A 2023-05-25 2023-05-25 港口区域遥感图像的分割方法、装置、电子设备和介质 Pending CN116664596A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310598127.7A CN116664596A (zh) 2023-05-25 2023-05-25 港口区域遥感图像的分割方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310598127.7A CN116664596A (zh) 2023-05-25 2023-05-25 港口区域遥感图像的分割方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
CN116664596A true CN116664596A (zh) 2023-08-29

Family

ID=87719956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310598127.7A Pending CN116664596A (zh) 2023-05-25 2023-05-25 港口区域遥感图像的分割方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN116664596A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117789153A (zh) * 2024-02-26 2024-03-29 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法
CN117789153B (zh) * 2024-02-26 2024-05-03 浙江驿公里智能科技有限公司 基于计算机视觉的汽车油箱外盖定位系统及方法

Similar Documents

Publication Publication Date Title
CN110232394B (zh) 一种多尺度图像语义分割方法
CN112016507B (zh) 基于超分辨率的车辆检测方法、装置、设备及存储介质
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
Zhao et al. ADRN: Attention-based deep residual network for hyperspectral image denoising
CN113554032B (zh) 基于高度感知的多路并行网络的遥感图像分割方法
JP2011501308A (ja) フィンガープリントにおける特異点の分析のための方法およびシステム
US11727591B2 (en) Method and apparatus with image depth estimation
CN116664596A (zh) 港口区域遥感图像的分割方法、装置、电子设备和介质
CN114742733A (zh) 云去除方法、装置、计算机设备和存储介质
CN117788296B (zh) 基于异构组合深度网络的红外遥感图像超分辨率重建方法
Lu et al. Multi-scale enhanced deep network for road detection
Yuan et al. Underwater image fish recognition technology based on transfer learning and image enhancement
Zhao et al. SSIR: Spatial shuffle multi-head self-attention for single image super-resolution
CN116309612B (zh) 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质
CN111967292B (zh) 一种轻量级的sar图像船只检测方法
Zou et al. Diffcr: A fast conditional diffusion framework for cloud removal from optical satellite images
CN115565034A (zh) 基于双流增强网络的红外小目标检测方法
Chen et al. Remote sensing image super-resolution with residual split attention mechanism
He et al. Fast and Accurate Sea-Land Segmentation Based on Improved SeNet and Coastline Database for Large-Scale Image
CN113538248A (zh) 一种基于数字孪生的γ光子图像超分辨率图像增强方法
Zhang et al. Geometry and context guided refinement for stereo matching
Mutreja et al. Comparative Assessment of Different Deep Learning Models for Aircraft Detection
Huang et al. Dual-branche attention network for super-resolution of remote sensing images
Patel et al. Deep Learning Architecture U-Net Based Road Network Detection from Remote Sensing Images.
Marek et al. End-to-end deep learning pipeline for on-board extraterrestrial rock segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination