CN112749670B - 一种多源遥感图像的逐像素分类方法、介质及设备 - Google Patents

一种多源遥感图像的逐像素分类方法、介质及设备 Download PDF

Info

Publication number
CN112749670B
CN112749670B CN202110064881.3A CN202110064881A CN112749670B CN 112749670 B CN112749670 B CN 112749670B CN 202110064881 A CN202110064881 A CN 202110064881A CN 112749670 B CN112749670 B CN 112749670B
Authority
CN
China
Prior art keywords
output
pixel
branch
channel
step length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110064881.3A
Other languages
English (en)
Other versions
CN112749670A (zh
Inventor
朱浩
孙柯楠
焦李成
马文萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110064881.3A priority Critical patent/CN112749670B/zh
Publication of CN112749670A publication Critical patent/CN112749670A/zh
Application granted granted Critical
Publication of CN112749670B publication Critical patent/CN112749670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多源遥感图像的逐像素分类方法、介质及设备，从数据集中读入多光谱影像；基于自适应捕获中心像素点纹理结构的采样策略从数据中选择PAN和MS图像数据样本；分别对选择的PAN和MS图像数据样本进行预处理，选取训练数据集和测试数据集；构造双支路融合网络模型；构造构造的双支路融合网络模型的损失函数；利用训练数据集对损失函数进行训练，得到训练好的分类模型；利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别，完成逐像素分类。本发明针对遥感数据的特点，构造了自适应捕获中心像素点纹理结构的采样策略，提出了针对遥感数据的新型网络模型，提升了多分辨率遥感图像分类性能。

Description

一种多源遥感图像的逐像素分类方法、介质及设备
技术领域
本发明属于图像处理技术领域，具体涉及一种多源遥感图像的逐像素分类方法、介质及设备。
背景技术
如今，随着地球空间信息技术的发展和先进设备技术的支持，可以同时获取同一场景中的高分辨率与多光谱信息。但由于技术限制，单个传感器无法实现该目标，因此借助当前的多个传感器可获得多光谱(MS)图像，具体MS图包含RGB以及近红外光谱信息，而PAN图虽然为单通道图像，但分辨率是MS图的四倍。所以相比于使用单一较多的光谱信息MS图用于遥感图像分类，结合PAN图中丰富的空间信息的方法更有利于分类任务，因为PAN图中的高分辨率信息较为准确的描述实际地物中形状与结构。
目前，基于PAN和MS图像的多源遥感图像分类主要有两种：
一是利用PAN锐化技术将PAN中的高分辨率信息融合到MS图，再将PAN锐化后的MS图进行分类。虽然PAN锐化技术已非常成熟，但在处理过程中仍会损失PAN中含有的光谱信息，并在MS图放大过程中引入噪声。
二是固定MS和PAN图截取尺寸，然后利用深度学习分类网络提取特征进行分类。但这种方法，没有考虑到遥感图像在同一场景中包含的实际地物尺度差异较大，可能出现属于两种类别的中心像素，但为中心像素服务的邻域信息重合率过高的现象。从而影像的分类结果。
三是将MS和PAN图像联合提取特征，然后分类。即将MS和PAN图像在网络的输入就直接通过通道维度进行合并，但是该方法会造成有利于分类的独有特征被MS和PAN图像共有的特征所覆盖。
针对多源遥感图像中的逐像素分类，通常截取以预测像素点为中心的图像块作为网络的输入，即邻域信息为中心像素点服务。虽然中心像素的真实标签是确定的类别，但由于遥感图像包含的实际地物的尺寸差异较大，固定尺寸截取图块时，对于小尺寸目标而言，会有不必要的邻域信息，导致信息冗余，影响分类结果。而对于大尺寸目标而言，不能完全的表征实际地物的轨迹和趋势。
其次由于遥感图像成像的原因，由于不可避免的噪音、云雾遮挡、形变、等导致的实际地物局部发生畸变。因此需要设计更好的模块提取更鲁棒的特征表示。
最后由于PAN图与MS图尺寸的差异各自具有的特性，在特征融合时，如果采用简单“暴力”级联方式，可能导致特征信息的丢失，因此在网络融合时，要同时兼顾浅层特征与深层特征的差异与特性。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种多源遥感图像的逐像素分类方法、介质及设备，在数据样本选择时考虑实际地物纹理结构，根据不同的地物尺度确定该中心像素需要截取图块的尺寸大小。在网络设计时考虑了遥感成像时存在局部畸变的情况，设计了可以提取更鲁棒的特征表示网络。在特征融合模块，考虑了PAN图与MS图之间的差异，采用了逐步融合的方式，结合了浅层特征与深层特征各自的特点，可用于环境监测、土地覆盖、城市建设等遥感图像地物分类相关领域中。
本发明采用以下技术方案：
一种多源遥感图像的逐像素分类方法，包括以下步骤：
S1、从数据集中读入多光谱影像，包括已配准后的PAN和MS图像数据以及对应只有部分区域的类标ground truth图；
S2、基于自适应捕获中心像素点纹理结构的采样策略从步骤S1的数据中选择PAN和MS图像数据样本；
S3、分别对步骤S2选择的PAN和MS图像数据样本进行预处理，选取训练数据集和测试数据集；
S4、构造双支路融合网络模型；
S5、针对步骤S4构造的双支路融合网络模型构造损失函数；
S6、利用步骤S3的训练数据集对步骤S5构造的损失函数进行训练，得到训练好的分类模型；
S7、利用步骤S6训练好的分类模型对步骤S3的测试数据集进行分类，得到测试数据集中每个像素点的类别，完成逐像素分类。
具体的，步骤S2具体为：
S201、使用超像素经典算法SLIC对MS图的RGB三通道进行区域分割，同时根据K均值聚类方法高效的生成超像素同质区域；
S202、使用DoG检测实际地物的纹理结构；
S203、根据DoG检测的极值点及超像素算法SLIC划分的同质区域逐像素自适应的确定图像块的大小。
进一步的，步骤S202中，应用高斯差分算法检测实际地物的纹理结构，高斯差分结构如下：
定义直径使DoG过零点求解/>k取/>则DE≈4.75σ1，σ1为尺度空间信息。
进一步的，步骤S203中，使用SLIC算法划分超像素同质区域，判断同质区域内部是否有极值点，如果不存在极值点则根据超像素区域最大欧式距离确定图块大小，如果存在极值点，则判断同质区域内极值点据中心像素点距离，以最小的欧式距离与使用DoG确定的纹理结构直径DE共同决定；图块大小Psize计算如下：
其中，Sin为超像素区域的最大直径，xP为超像素区域内像素点横坐标，为超像素区域内极值点横坐标，yp为超像素区域内像素点纵坐标，/>为超像素区域内极值点纵坐标，为纹理结构的直径，Ei为极值点位置，Sp为超像素区域，N为在超像素区域中检测到极值点的个数。
具体的，步骤S3具体为：
S301、数据归一化，分别对PAN和MS图像矩阵中所有像素点的值归一化到[0，1]之间；
S302、选取训练集和测试集，在步骤S301归一化后的图像中找到有对应类标的像素点，以每一个像素点为中心自适应的确定的图块大小，确定MS图的邻域信息，PAN图邻域是MS的4倍，最后将MS图邻域统一到16*16，PAN图邻域统一到64*64，形成样本块对；每个块的邻域为中心像素点的分类所服务，然后取每类的百分之十样本作为训练集，其余作为测试集。
具体的，步骤S4具体为：
S401、PAN图先经过一层步长为1的3*3卷积与步长为2，2*2，padding为0的平均池化，PAN图输出维度为32*32*C；MS图经过一层3*3卷积步长为1；MS图输出维度为16*16*C；
S402、采用逐级融合的方式对MS图和PAN图进行特征融合，包含Block1、Block2和Block3，Block1中两条支路相互独立，Block2中部分特征融合，Block3中完全融合；
S403、将MS图与PAN图的特征完全融合后，经过一层1*1卷积步长为2，输出为4*4*512；将输出拉成一维向量，再经过三层全连接层与一层softmax分类层，全连接层一：输入8192节点，输出500节点；全连接层二：输入500节点，输出200节点；全连接层三：输入128节点，输出样本类别数节点。
进一步的，步骤S402中，Block1包括三组Block1基础双分支模块和通道拼接支路，三组Block1基础双分支模块输入为[M，N，54]，输出为[M，N，54]，经过1*1卷积升维，步长为1，输出[M，N，108]；通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接，输出通道数为3*54，然后经过1*1卷积降维，步长为1，输出为[M，N，108]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，108]；
Block1基础双分支模块采用恒等映射与稠密连接构成，并且在稠密连接中引入了组卷积；输入维度为[M，N，54]；
稠密连接路径经过1*1卷积，步长为1，输出通道为18；再3*3卷积，步长为1，组为6，输出通道数为18，再3*3卷积，步长为1，组为6，输出通道数为18，将其上层输出通道与当前通道拼接，则输出通道为36，将当前输出通道经过1*1卷积，步长为1，输出通道为18，将此输出通道与上层输出为36的通道拼接，则输出通道为54；将稠密连接路径输出特征图与恒等映射特征图逐像素的相加，最后输出维度为[M，N，54]；
Block2包括三组Block2基础双分支模块和通道拼接支路，三组Block2基础双分支模块输入为[M，N，108]，输出为[M，N，108]，经过1*1卷积升维，步长为1，输出[M，N，216]；通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接，输出通道数为3*108，然后经过1*1卷积降维，步长为1，输出为[M，N，216]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，216]；
Block2基础双分支模块采用恒等映射与稠密连接构成，并且在稠密连接中引入组卷积；输入维度为[M，N，108]，稠密连接路径经过1*1卷积层，步长为1，输出通道数为36，再经过3*3卷积层，步长为1，组为6，输出通道数为36，将上层输出通道与当前通道拼接，则输出通道数为72；再经过1*1卷积层，步长为1，输出通道数为36，将当前输出通道与上层输出为72的通道进行拼接，则输出通道数为108，最后将当前输出与恒等映射输出逐像素相加，输出维度为[M，N，108]；
Block3包括三组Block3基础双分支模块和通道拼接支路，三组Block3基础双分支模块输入为[M，N，216]，输出为[M，N，216]，经过1*1卷积升维，步长为1，输出[M，N，512]；通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接输出为3*216，然后经过1*1卷积降维，步长为1，输出为[M，N，512]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，512]；
Block3基础双分支模块采用恒等映射与稠密连接构成，并且在稠密连接中引入组卷积；输入维度为[M，N，216]，稠密连接路径经过1*1卷积层，步长为1，输出通道数为72，再经过3*3卷积层，步长为1，分组为6，输出通道数为72，将上层输出通道与当前通道拼接，则输出通道数为144；再经过1*1卷积层，步长为1，输出通道数为72，将当前输出通道与上层输出为144的通道进行拼接，则输出通道数为216，最后将当前输出与恒等映射输出逐像素相加，输出维度为[M，N，216]；
PAN图支路：经过预处理层输出为[32，32，54]，经过Block1输出为[32，32，108]；
MS图支路：经过预处理层输出为[16，16，54]，经过Block1输出为[16，16，108]；
将PAN图支路经过Block1后的通道拼接支路采用2*2，步长为2的平均池化降采样，再与MS图支路经过Block1后逐像素相加，输出为[16，16，108]；再经过Block2，输出为[16，16，216]，最后经过2*2，步长为2的平均池化层，输出为[8，8，216]；
将MS图支路经过Block1后产生的通道拼接支路特征图与PAN图支路经过Block1后采用2*2，步长为2的平均池化降采产生的特征图逐像素相加；输出为[16，16，108]；再经过Block2，输出为[16，16，216]，最后经过2*2，步长为2的平均池化层，输出为[8，8，216]；
最后将PAN图支路与MS图支路逐元素相加，再经过Block3后采用2*2，步长为2的平均池化降采样，输出维度为[4，4，512]。
具体的，步骤S5中，网络损失函数E为：
其中，yi为第i类真实标，为第i类预测标签的概率，n为每一批次的数量。
本发明的另一个技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
本发明的另一个技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种多源遥感图像的逐像素分类方法，在遥感图像融合分类任务中，针对与遥感图像包含实际地物的尺度差异较大，成像时存在局部畸变的特性。提出了自适应捕获中心像素点纹理结构的采样策略，有利于提取出准确的邻域信息为中心像素点服务。提出了双支路融合模块，有利于提取更加鲁棒的特征表示，以解决遥感图像存在局部畸变的问题。提出了逐步特征融合策略，结合了不同深度特征图的特点，有利于提升网络的分类能力。
进一步的，步骤S2采用高斯差分(DoG)检测纹理结构，经典超像素SLIC划分同质区域从而自适应的确定中心像素点的邻域信息。
进一步的，由于遥感图像成像的特点，同一场景下存在实际地物尺寸较大。因此使用高斯差分结构检测实际地物的纹理结构有助于自适应确定中心像素点的邻域信息。
进一步的，采用高斯差分(DoG)算法与超像素SLIC算法结合的目的是为了适应遥感图像成像的特点，自适应的确定中心像素点的邻域信息，从而逐像素点自适应的确定截块的大小。与传统固定尺寸截块的方式相比，减少了邻域信息冗余或表征中心像素点不准确信息。
进一步的，步骤S3将MS图与PAN图分别进行归一化处理，以克服多源数据分布范围差异较大。
进一步的，步骤S4构造多源遥感图像逐像素分类的融合网络模型，网络主干采用残差模块，结合了组卷积，稠密网络的优点。从而避免了梯度弥散或梯度爆炸，降低了参数量，节约了计算成本。
进一步的，步骤S402通过逐步融合的策略，结合了浅层特征描述的细节特征与深层特征描述的语义特征。
进一步的，使用交叉熵损失函数得到损失值，根据损失值使用随机梯度下降的策略，训练网络。
综上所述，本发明针对遥感数据的特点，构造了自适应捕获中心像素点纹理结构的采样策略，提出了针对遥感数据的新型网络模型，提升了多分辨率遥感图像分类性能。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种基于自适应采样策略与双支路逐步融合网络的多源遥感图像的逐像素分类方法，从数据中读入多光谱影像，包括已配准后的PAN图与MS图像数据，以及对应只有部分区域的类别ground truth图；自适应捕获中心像素点纹理结构的采样策略；分别对PAN图与MS图进行预处理，选取训练集和测试集；构造双支路逐步融合网络模型；用训练数据集对分类模型进行训练，得到训练好的分类模型；利用训练好的分类模型对测试数据集进行分类，得到测试集中每个像素点的类别。本发明构造了自适应捕获中心像素点纹理结构的采样策略与双支路逐步融合网络模型，提升了遥感图像的逐像素分类性能。
请参阅图1，本发明一种多源遥感图像的逐像素分类方法，包括以下步骤：
S1、从数据集中读入多光谱影像，其中包括已配准后的PAN和MS图像数据以及对应的只有部分区域的类标ground truth图；
S2、自适应捕获中心像素点纹理结构的采样策略，选择数据样本；
S201、使用超像素经典算法SLIC对MS图的RGB三通道进行区域分割，同时根据K均值聚类方法高效的生成超像素同质区域；
S202、使用DoG检测实际地物的纹理结构；
应用高斯差分(DoG)算法检测实际地物的纹理结构，高斯差分结构如下：
定义直径
使DoG过零点求解其中k取/>则DE≈4.75σ1，σ1为尺度空间信息，极值点确定则尺度空间信息σ1就确定。
S203、根据DoG检测的极值点及超像素算法SLIC划分的同质区域逐像素的自适应的确定图像块的大小。
使用SLIC算法划分超像素同质区域，判断同质区域内部是否有极值点，如果不存在极值点则根据超像素区域最大欧式距离确定图块大小，如果存在极值点，则判断同质区域内极值点据中心像素点距离，以最小的欧式距离与使用DoG确定的纹理结构直径DE共同决定。
具体图块大小计算如下：
S3、分别对PAN和MS图像进行预处理，选取训练集和测试集；
S301、数据归一化，分别对PAN和MS图像矩阵中所有像素点的值归一化到[0，1]之间；
采用min-max标准化公式进行计算，图像中的任一像素值pi为：
其中，pmin为图像中的最小像素值，pmax为图像中的最大像素值。
S302、选取训练集和测试集，在归一化后的图像中找到有对应类标的像素点，以每一个像素点为中心自适应的确定的图块大小，确定MS图的邻域信息，PAN图邻域是MS的4倍，最后将MS图邻域统一到16*16，PAN图邻域统一到64*64，形成样本块对。每个块的邻域为中心像素点的分类所服务，然后取每类的百分之十样本作为训练集，其余作为测试集。
S4、构造双支路融合网络模型；
S401、由于PAN图是MS图的四倍，所以PAN图先经过一层步长为1的3*3卷积与步长为2，2*2，padding为0的平均池化，PAN图输出维度为32*32*C。而MS经过一层3*3卷积步长为1。MS输出维度为16*16*C。
S402、特征融合采用逐级融合的方式，包含三个Block，第一个Block中两条支路相互独立，第二个Block中部分特征融合，第三个Block中完全融合。
步骤S402具体为：
Block1：由三组Block1基础双分支模块与通道拼接支路构成，其中三组Block1基础双分支模块输入为[M，N，54]，输出为[M，N，54]，经过1*1卷积升维，步长为1，输出[M，N，108]。通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接，输出通道数为3*54，然后经过1*1卷积降维，步长为1，输出为[M，N，108]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加。输出为[M，N，108]。
Block1基础双分支模块：基础双分支模块由恒等映射与稠密连接构成，并且在稠密连接中引入了组卷积。输入维度为[M，N，54]。稠密连接路径：经过1*1卷积，步长为1，输出通道为18。再3*3卷积，步长为1，组为6，输出通道数为18，将其上层输出通道与当前通道拼接，则输出通道为36，将当前输出通道经过1*1卷积，步长为1，输出通道为18，将此输出通道与上层输出为36的通道拼接，则输出通道为54。将稠密连接路径输出特征图与恒等映射特征图逐像素的相加，最后输出维度为[M，N，54]。
Block2：由三组Block2基础双分支模块与通道拼接支路组成，其中三组Block2基础双分支模块输入为[M，N，108]，输出为[M，N，108]，经过1*1卷积升维，步长为1，输出[M，N，216]。通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接，输出通道数为3*108，然后经过1*1卷积降维，步长为1，输出为[M，N，216]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，216]。
Block2基础双分支模块:基础双分支模块由恒等映射与稠密连接构成，并且在稠密连接中引入组卷积。输入维度为[M，N，108]，稠密连接路径经过1*1卷积层，步长为1，输出通道数为36，再经过3*3卷积层，步长为1，组为6，输出通道数为36，将上层输出通道与当前通道拼接，则输出通道数为72。再经过1*1卷积层，步长为1，输出通道数为36，将当前输出通道与上层输出为72的通道进行拼接，则输出通道数为108，最后将当前输出与恒等映射输出逐像素相加，输出维度为[M，N，108]。
Block3：由三组Block3基础双分支模块与通道拼接支路组成，其中三组Block3基础双分支模块输入为[M，N，216]，输出为[M，N，216]，经过1*1卷积升维，步长为1，输出[M，N，512]。通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接输出为3*216，然后经过1*1卷积降维，步长为1，输出为[M，N，512]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，512]。
Block3基础双分支模块:基础双分支模块由恒等映射与稠密连接构成，并且在稠密连接中引入组卷积。输入维度为[M，N，216]，稠密连接路径经过1*1卷积层，步长为1，输出通道数为72，再经过3*3卷积层，步长为1，分组为6，输出通道数为72，将上层输出通道与当前通道拼接，则输出通道数为144。再经过1*1卷积层，步长为1，输出通道数为72，将当前输出通道与上层输出为144的通道进行拼接，则输出通道数为216，最后将当前输出与恒等映射输出逐像素相加，输出维度为[M，N，216]。
PAN图支路：经过预处理层输出为[32，32，54]，经过Block1输出为[32，32，108]。
MS图支路：经过预处理层输出为[16，16，54]，经过Block1输出为[16，16，108]。
将PAN图经过Block1后的通道拼接支路采用2*2，步长为2的平均池化降采样，再与MS图支路经过Block1后逐像素相加，输出为[16，16，108]。再经过Block2，输出为[16，16，216]，最后经过2*2，步长为2的平均池化层，输出为[8，8，216]。
将MS图经过Block1后产生的通道拼接支路特征图与PAN图经过Block1后采用2*2，步长为2的平均池化降采产生的特征图逐像素相加。输出为[16，16，108]。再经过Block2，输出为[16，16，216]，最后经过2*2，步长为2的平均池化层，输出为[8，8，216]。
上述PAN图支路与MS图支路逐元素相加，再经过Block3后采用2*2，步长为2的平均池化降采样，输出维度为[4，4，512]。
S403、将MS与PAN的特征完全融合后，经过一层1*1卷积步长为2，输出为4*4*512；将输出拉成一维向量，再经过三层全连接层与一层softmax分类层。
全连接层一：输入8192节点，输出500节点；
全连接层二：输入500节点，输出200节点；
全连接层三：输入128节点，输出样本类别数节点。
S5、构造网络损失函数；
在网络训练时，使用交叉熵损失函数；
S6、用训练数据集对分类模型进行训练，得到训练好的分类模型；
将训练数据集的样本块对作为分类器的输入，其中MS和PAN图相对应的一对同时输入两个网络的两个支路，训练数据集中每个像素点的类别作为分类模型的输出，通过求解上述类别与地面实况图上所对应的真实类别之间的误差并对误差进行反向传播，来优化分类模型的网络参数，得到训练好的分类模型。
S7、利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。
训练好的分类模型的输入为测试数据集的样本块，输出为测试数据集中每个像素点进行分类得到的分类类别。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于多源遥感图像的逐像素分类的操作，包括：。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关多源遥感图像的逐像素分类方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：。
本发明的效果可以通过以下仿真实验进一步说明：
1、仿真条件：
硬件平台为：HP-Z840工作站，TITAN-X-12GB-GPU，64GB RAM。
软件平台为：MATLAB R2014a，Caffe深度学习框架。
2、仿真内容与结果：
本发明仿真实验的图像是西安市区遥感图像。其中PAN图像由3200*3320像素组成，MS图像由800*830*4像素组成。带标签的分类场景有建筑、道路、树木、土壤、平地、水和阴影共七类。
表1是分别使用传统方法(在特征提取阶段无融合方法)，本发明(自适应采样，使用传统网架结构)，本发明三种方法进行测试。并统计了各个类别的预测准确率，整个测试集的准确率，各个类别的平均准确率以及Kappa系数。
表1本发明与传统方法的性能比较
从表1中可以看出，用本发明方法相比于传统方法，在样本选择阶段，根据实地地物纹理结构自适应选择样本有助于分类性能的提升，而且使用双支路网络也确实能进一步提升遥感图像的逐像素分类性能。
综上所述，本发明一种多源遥感图像的逐像素分类方法、介质及设备，使用了高斯差分与超像素策略自适应的确定中心像素点邻域信息，有利于提取出准确的邻域信息为中心像素点服务。提出了双支路融合模块，有利于提取更加鲁棒的特征表示，以解决遥感图像存在局部畸变的问题。提出了逐步特征融合策略，结合了不同深度特征图的特点，有利于提升网络的分类能力。从而提高分类精度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (6)

1.一种多源遥感图像的逐像素分类方法，其特征在于，包括以下步骤：
S1、从数据集中读入多光谱影像，包括已配准后的PAN和MS图像数据以及对应只有部分区域的类标ground truth图；
S2、基于自适应捕获中心像素点纹理结构的采样策略从步骤S1的数据中选择PAN和MS图像数据样本，步骤S2具体为：
S201、使用超像素经典算法SLIC对MS图的RGB三通道进行区域分割，同时根据K均值聚类方法高效的生成超像素同质区域；
S202、使用DoG检测实际地物的纹理结构，应用高斯差分算法检测实际地物的纹理结构，高斯差分结构如下：
定义直径使DoG过零点求解/>k取/>则DE≈4.75σ1，σ1为尺度空间信息；
S203、根据DoG检测的极值点及超像素算法SLIC划分的同质区域逐像素自适应的确定图像块的大小，使用SLIC算法划分超像素同质区域，判断同质区域内部是否有极值点，如果不存在极值点则根据超像素区域最大欧式距离确定图块大小，如果存在极值点，则判断同质区域内极值点据中心像素点距离，以最小的欧式距离与使用DoG确定的纹理结构直径DE共同决定；图块大小Psize计算如下：
其中，Sin为超像素区域的最大直径，xP为超像素区域内像素点横坐标，为超像素区域内极值点横坐标，yp为超像素区域内像素点纵坐标，/>为超像素区域内极值点纵坐标，/>为纹理结构的直径，Ei为极值点位置，Sp为超像素区域，N为在超像素区域中检测到极值点的个数；
S3、分别对步骤S2选择的PAN和MS图像数据样本进行预处理，选取训练数据集和测试数据集；
S4、构造双支路融合网络模型，具体为：
S401、PAN图先经过一层步长为1的3*3卷积与步长为2，2*2，padding为0的平均池化，PAN图输出维度为32*32*C；MS图经过一层3*3卷积步长为1；MS图输出维度为16*16*C；
S402、采用逐级融合的方式对MS图和PAN图进行特征融合，包含Block1、Block2和Block3，Block1中两条支路相互独立，Block2中部分特征融合，Block3中完全融合；
S403、将MS图与PAN图的特征完全融合后，经过一层1*1卷积步长为2，输出为4*4*512；将输出拉成一维向量，再经过三层全连接层与一层softmax分类层，全连接层一：输入8192节点，输出500节点；全连接层二：输入500节点，输出200节点；全连接层三：输入128节点，输出样本类别数节点；
S5、针对步骤S4构造的双支路融合网络模型构造损失函数；
S6、利用步骤S3的训练数据集对步骤S5构造的损失函数进行训练，得到训练好的分类模型；
S7、利用步骤S6训练好的分类模型对步骤S3的测试数据集进行分类，得到测试数据集中每个像素点的类别，完成逐像素分类。
2.根据权利要求1所述的方法，其特征在于，步骤S3具体为：
S301、数据归一化，分别对PAN和MS图像矩阵中所有像素点的值归一化到[0，1]之间；
S302、选取训练集和测试集，在步骤S301归一化后的图像中找到有对应类标的像素点，以每一个像素点为中心自适应的确定的图块大小，确定MS图的邻域信息，PAN图邻域是MS的4倍，最后将MS图邻域统一到16*16，PAN图邻域统一到64*64，形成样本块对；每个块的邻域为中心像素点的分类所服务，然后取每类的百分之十样本作为训练集，其余作为测试集。
3.根据权利要求1所述的方法，其特征在于，步骤S402中，Block1包括三组Block1基础双分支模块和通道拼接支路，三组Block1基础双分支模块输入为[M，N，54]，输出为[M，N，54]，经过1*1卷积升维，步长为1，输出[M，N，108]；通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接，输出通道数为3*54，然后经过1*1卷积降维，步长为1，输出为[M，N，108]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，108]；
Block1基础双分支模块采用恒等映射与稠密连接构成，并且在稠密连接中引入了组卷积；输入维度为[M，N，54]；
稠密连接路径经过1*1卷积，步长为1，输出通道为18；再3*3卷积，步长为1，组为6，输出通道数为18，再3*3卷积，步长为1，组为6，输出通道数为18，将其上层输出通道与当前通道拼接，则输出通道为36，将当前输出通道经过1*1卷积，步长为1，输出通道为18，将此输出通道与上层输出为36的通道拼接，则输出通道为54；将稠密连接路径输出特征图与恒等映射特征图逐像素的相加，最后输出维度为[M，N，54]；
Block2包括三组Block2基础双分支模块和通道拼接支路，三组Block2基础双分支模块输入为[M，N，108]，输出为[M，N，108]，经过1*1卷积升维，步长为1，输出[M，N，216]；通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接，输出通道数为3*108，然后经过1*1卷积降维，步长为1，输出为[M，N，216]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，216]；
Block2基础双分支模块采用恒等映射与稠密连接构成，并且在稠密连接中引入组卷积；输入维度为[M，N，108]，稠密连接路径经过1*1卷积层，步长为1，输出通道数为36，再经过3*3卷积层，步长为1，组为6，输出通道数为36，将上层输出通道与当前通道拼接，则输出通道数为72；再经过1*1卷积层，步长为1，输出通道数为36，将当前输出通道与上层输出为72的通道进行拼接，则输出通道数为108，最后将当前输出与恒等映射输出逐像素相加，输出维度为[M，N，108]；
Block3包括三组Block3基础双分支模块和通道拼接支路，三组Block3基础双分支模块输入为[M，N，216]，输出为[M，N，216]，经过1*1卷积升维，步长为1，输出[M，N，512]；通道拼接支路将每组双分支模块稠密连接路径输出的特征图拼接输出为3*216，然后经过1*1卷积降维，步长为1，输出为[M，N，512]，最后将三组堆叠双分支支路与通道拼接支路逐像素的相加，输出为[M，N，512]；
Block3基础双分支模块采用恒等映射与稠密连接构成，并且在稠密连接中引入组卷积；输入维度为[M，N，216]，稠密连接路径经过1*1卷积层，步长为1，输出通道数为72，再经过3*3卷积层，步长为1，分组为6，输出通道数为72，将上层输出通道与当前通道拼接，则输出通道数为144；再经过1*1卷积层，步长为1，输出通道数为72，将当前输出通道与上层输出为144的通道进行拼接，则输出通道数为216，最后将当前输出与恒等映射输出逐像素相加，输出维度为[M，N，216]；
PAN图支路：经过预处理层输出为[32，32，54]，经过Block1输出为[32，32，108]；
MS图支路：经过预处理层输出为[16，16，54]，经过Block1输出为[16，16，108]；
将PAN图支路经过Block1后的通道拼接支路采用2*2，步长为2的平均池化降采样，再与MS图支路经过Block1后逐像素相加，输出为[16，16，108]；再经过Block2，输出为[16，16，216]，最后经过2*2，步长为2的平均池化层，输出为[8，8，216]；
将MS图支路经过Block1后产生的通道拼接支路特征图与PAN图支路经过Block1后采用2*2，步长为2的平均池化降采产生的特征图逐像素相加；输出为[16，16，108]；再经过Block2，输出为[16，16，216]，最后经过2*2，步长为2的平均池化层，输出为[8，8，216]；
最后将PAN图支路与MS图支路逐元素相加，再经过Block3后采用2*2，步长为2的平均池化降采样，输出维度为[4，4，512]。
4.根据权利要求1所述的方法，其特征在于，步骤S5中，网络损失函数E为：
其中，yi为第i类真实标，为第i类预测标签的概率，n为每一批次的数量。
5.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至4所述的方法中的任一方法。
6.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至4所述的方法中的任一方法的指令。
CN202110064881.3A 2021-01-18 2021-01-18 一种多源遥感图像的逐像素分类方法、介质及设备 Active CN112749670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110064881.3A CN112749670B (zh) 2021-01-18 2021-01-18 一种多源遥感图像的逐像素分类方法、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110064881.3A CN112749670B (zh) 2021-01-18 2021-01-18 一种多源遥感图像的逐像素分类方法、介质及设备

Publications (2)

Publication Number Publication Date
CN112749670A CN112749670A (zh) 2021-05-04
CN112749670B true CN112749670B (zh) 2023-09-05

Family

ID=75652383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110064881.3A Active CN112749670B (zh) 2021-01-18 2021-01-18 一种多源遥感图像的逐像素分类方法、介质及设备

Country Status (1)

Country Link
CN (1) CN112749670B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273938A (zh) * 2017-07-13 2017-10-20 西安电子科技大学 基于双通道卷积阶梯网的多源遥感影像地物分类方法
CN111291826A (zh) * 2020-02-25 2020-06-16 西安电子科技大学 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法
WO2020199468A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
CN111967516A (zh) * 2020-08-14 2020-11-20 西安电子科技大学 一种逐像素分类方法、存储介质及分类设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273938A (zh) * 2017-07-13 2017-10-20 西安电子科技大学 基于双通道卷积阶梯网的多源遥感影像地物分类方法
WO2020199468A1 (zh) * 2019-04-04 2020-10-08 平安科技（深圳）有限公司 图像分类方法、装置及计算机可读存储介质
CN111291826A (zh) * 2020-02-25 2020-06-16 西安电子科技大学 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN111523521A (zh) * 2020-06-18 2020-08-11 西安电子科技大学 一种双支路融合多尺度注意神经网络的遥感图像分类方法
CN111967516A (zh) * 2020-08-14 2020-11-20 西安电子科技大学 一种逐像素分类方法、存储介质及分类设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CNN的高分辨率遥感影像多级云检测;王智敏;谭海;郭正胜;魏旭;;测绘与空间地理信息(第09期);全文 *

Also Published As

Publication number Publication date
CN112749670A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
Wei et al. Toward automatic building footprint delineation from aerial images using CNN and regularization
CN111199214B (zh) 一种残差网络多光谱图像地物分类方法
CN111291826B (zh) 基于相关性融合网络的多源遥感图像的逐像素分类方法
CN109840556B (zh) 一种基于孪生网络的图像分类识别方法
CN112084869B (zh) 一种基于紧致四边形表示的建筑物目标检测方法
CN113076871B (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
CN113223068B (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN111860683B (zh) 一种基于特征融合的目标检测方法
KR101618996B1 (ko) 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치
CN114972191A (zh) 一种耕地变化检测方法和装置
CN111523439B (zh) 一种基于深度学习的目标检测的方法、系统、设备及介质
CN113469074B (zh) 基于孪生注意力融合网络的遥感图像变化检测方法及系统
CN111353580B (zh) 目标检测网络的训练方法、电子设备及存储介质
CN113901900A (zh) 一种同源或异源遥感图像用无监督变化检测方法及系统
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN113326763A (zh) 一种基于边界框一致性的遥感目标检测方法
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN114331946A (zh) 一种图像数据处理方法、设备以及介质
Liu et al. A new multi-channel deep convolutional neural network for semantic segmentation of remote sensing image
CN111027412A (zh) 一种人体关键点识别方法、装置及电子设备
CN112749670B (zh) 一种多源遥感图像的逐像素分类方法、介质及设备
CN111967516A (zh) 一种逐像素分类方法、存储介质及分类设备
CN111126187A (zh) 火情检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant