CN114463173A - 一种基于超像素分割的高光谱遥感图像子图重构方法 - Google Patents
一种基于超像素分割的高光谱遥感图像子图重构方法 Download PDFInfo
- Publication number
- CN114463173A CN114463173A CN202210014977.3A CN202210014977A CN114463173A CN 114463173 A CN114463173 A CN 114463173A CN 202210014977 A CN202210014977 A CN 202210014977A CN 114463173 A CN114463173 A CN 114463173A
- Authority
- CN
- China
- Prior art keywords
- node
- subgraph
- remote sensing
- superpixel
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003595 spectral effect Effects 0.000 claims abstract description 17
- 238000001228 spectrum Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000011524 similarity measure Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于超像素分割的高光谱遥感图像子图重构方法,采用超像素分割(SLIC)算法对影像进行分割预处理,得到由具有空间‑光谱特征高度相似的多个像素点构成的超像素块,即每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域,生成的超像素保存高光谱图像的空间局部结构信息。因此,该分割结果将指引对目标节点的邻域节点的选取和对应邻接边的构建,从而完成构建基于图卷积的高光谱遥感影像分类初始输入子图的需求。本方案适用于任意光谱维度的同源遥感图像进行图卷积分类,实现端到端的遥感图像分类,具有进一步提高图卷积算法在影像地物分类上精度能力,此外,子图分割重构方案可以满足部署平台有限的资源规模需求。
Description
技术领域
本发明涉及图像重构领域,具体涉及一种基于超像素分割的高光谱遥感图像子图重构方法,可以应用于高光谱遥感影像图卷积分类领域,利用超像素分割技术对遥感图像进行输入子图的重构处理。
背景技术
相较于自然图像,高光谱遥感图像的光谱维包含了更加丰富的信息,且高光谱遥感图像种类繁多,数据量大。高光谱遥感图像处理原理是有效地利用地物的反射光谱特性,进行地物属性识别与信息量化提取,实现对地物类型的识别和划分。通过高光谱图像信息,不仅可以反映样本的大小、外观、平滑等外部品质特征,也可以分析出地物样本内部的物理构造、化学组成成分的区别。因此,利用不同地物所具有的光谱曲线差异,高光谱遥感图像分类技术被广泛应用于国民经济的各个领域。随着基于图神经网络在遥感影像分类中的应用普及,如何有效的利用遥感图像光谱和空间特征构建准确的初始子图从而显著提升图分类精度以及缓解内存增长等挑战是遥感图像应用过程中亟待解决的问题。
新兴的图像处理方法图卷积学习(Graph convolutional Learning)通过从少量训练样本中半监督学习目标的特征来完成特定的任务。目前图卷积学习已经在图像分类、推荐系统、社交网络等多个领域取得了重大成就。
目前,现有的图卷积学习的数据集,即输入图都是直接存在的,比如,蛋白质分子,社交网络等,而基于图卷积学习的高光谱遥感图像分类需要先将影像构建成输入图,然后对图节点进行邻接卷积嵌入表示,进行分类任务。Qin A等人(参考文献Qin A,Shang Z,Tian J,et al.Spectral–Spatial Graph Convolutional Networks for SemisupervisedHyperspectral Image Classification[J].IEEE Geoscience and Remote SensingLetters,2019,16(2):241-245.)提出了基于空谱图卷积神经网络的高光谱图像分类。该算法以每个像素作为图节点,利用了K-邻近法选取目标节点的空间邻域内节点作为邻居节点,并构建相应的邻接边,邻域外的节点则没有边连接。然后基于该输入图并结合像素丰富的光谱信息和空间信息进行卷积,取得较好的分类结果。宫辰等人(参考文献S.Wan,C.Gong,P.Zhong,B.Du,L.Zhang,and J.Yang,"Multiscale Dynamic GraphConvolutional Network for Hyperspectral Image Classification,"IEEETransactions on Geoscience and Remote Sensing,pp.1-16,2019.)提出了基于多尺度图卷积神经网络的高光谱图像分类。该算法以影像通过超像素分割得到的每个超像素作为图节点,并对超像素点直接邻接的其他超像素点作为邻接节点,并构建相应的邻接边,未直接邻接的点则无邻接边。然后基于该输入图捕捉不同邻居的尺度信息,实现自适应提取高光谱图像类边缘特征。Hong等人(参考文献D.Hong,L.Gao,J.Yao,B.Zhang,A.Plaza,andJ.Chanussot,"Graph Convolutional Networks for Hyperspectral ImageClassification,"IEEE Transactions on Geoscience and Remote Sensing,pp.1-13,2020,doi:10.1109/TGRS.2020.3015157.)等提出了基于批量图卷积神经网络的高光谱图像分类。此算法以每个像素作为图节点,随机选取固定数量的邻接点做邻近节点,并构建邻接边,其他点则与目标节点无邻接边。然后基于该输入图,融合卷积网络和图卷积网络的不同感受野,实现对影像地物的分类任务。但是这些作者提出的方法都是主要针对图卷积算法本身的结构和功能的改进,而不是针对初始输入图的如何精细构建。此外,随着大尺度遥感影像数据集的出现,构建的输入图所占内存也日益庞大,如何克服图卷积在显存资源需求上的壁垒,也是一项重要的议题。
综上所述,目前的基于图卷积学习的高光谱遥感图像分类还需要针对如何构建精细化的输入图来设计一套较为有效的方案,以进一步提高图卷积算法在影像地物分类上精度;同时为解决由大尺度遥感图像构建的输入图的显存需求,需要同时设计子图分割重构方案,来满足部署平台有限的资源规模需求。
发明内容
针对上述要求,本发明提供了一种基于超像素分割的高光谱遥感图像子图重构方法,采用超像素分割(SLIC)算法对影像进行分割预处理,得到由具有空间-光谱特征高度相似的多个像素点构成的超像素块,即每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域,生成的超像素保存高光谱图像的空间局部结构信息。因此,该分割结果将指引对目标节点的邻域节点的选取和对应邻接边的构建,从而完成构建基于图卷积的高光谱遥感影像分类初始输入子图的需求。
本发明所采用的技术方案为一种基于超像素分割的高光谱遥感图像子图重构方法,包括如下步骤:
步骤一,对高光谱遥感影像进行超像素分割,获得多个超像素块;
步骤二,选择子图节点,找到该节点所在的超像素块里的其他全部节点,作为该节点的邻域节点;
步骤三,连接节点和邻域节点,构建子图邻接边,获取邻接边的邻接权值;
步骤四,设置阈值,通过阈值过滤邻接权值较小的边;
步骤五,根据步骤二-四计算子图中每个节点的邻接权值,将该子图所有节点拼接即可重构得到该子图的邻接矩阵,将所有子图拼接即可重构得到高光谱遥感影像。
进一步的,步骤一的具体实现方式如下;
1.1,以步长S采样像素点,来确定初始化聚类中心,移动聚类中心到其3*3空间邻域内梯度最小的像素点位置;
1.2,计算在距离聚类中心2S*2S区域内的所有像素点到中心像素点的距离:
xp,q和cp,q表示聚类中心像素的光谱值和空间坐标;
xi,j和ci,j表示该聚类里当前像素的光谱值和空间坐标;
m表示空间和像素颜色的相对重要性的度量;
1.3,更新聚类中心;
1.4,重复上述操作,迭代收敛;
1.5,将过分割的小超像素块与邻近的正常分割产生的超像素块融合。
进一步的,步骤二的具体实现方式如下;
假设高光谱遥感影像共有N个像素点,即N个图节点,每个批量子图有M个节点,则有个批量,其中表示向上取整;为了增强模型的泛化能力,每个批量子图Vt都是随机选取M个节点,每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域,对于每一个目标节点vi,找到该目标节点所在的超像素块里的其他全部节点uj,作为该目标节点的邻域节点,超像素块的大小通过分割步长S决定,即分割步长决定目标节点的邻域节点的范围。
进一步的,步骤三的具体实现方式如下;
在确定节点vi和邻域节点uj后,其邻接权值可以由以下公式(2)确定:
其中,γ表示该径向基函数的步长,Dij表示节点vi和邻域节点uj的光谱-空间相似度量距离,由公式(3)确定:
Dij=Dspectral·Dspatial (3)
光谱相似性度量由光谱角公式(4)确认,空间相似性度量由马氏距离公式(5)确认:
M是一个方差矩阵,表示节点vi和邻域节点uj的空间分布关系。
进一步的,步骤四中通过设置一个阈值β=0.6来过滤一些邻接权值比较小的边,从而实现细化上下文关系图的不合要求的类间边的目的;
进一步的,步骤五中,对于子图Vt,节点vi∈Vt所拼接构成的邻接矩阵为:
本发明是一种应用于构建图卷积子图输入的方法,与现有的技术相比具有以下优点:
(1)本发明在超像素分割的基础上,从分割得到的超像素块具有光谱-空间相似同质性出发,应用于对目标节点选取合适的邻近点并构建邻接边的流程中,并实现适用于任意光谱维度的同源遥感图像进行图卷积分类的子图输入,实现端到端的遥感图像分类。
(2)本发明基于将整个高光谱数据集进行批量子图分割重构获得的,因此其在显存需求上要远少于其他模型的直接构图法,从而可以缓解子图重构对计算机资源的需求。
(3)本发明采用子图重构法使得其在后续图卷积过程中分类性能更优于其他方法,有明显的精度提升。
附图说明
图1是本发明实施例中的子图重构方法示意图。
图2是本发明实施例中超像素分割结果示意图。
具体实施方式
下面结合实例和附图,讲解具体的流程。
以帕维亚大学数据集(University of Pavia,3×610×340)的图像作为输入图像,如主图1所示,主要步骤包括:
步骤一:对高光谱遥感影像进行超像素分割(SLIC),获得多个超像素块;
1.1,以步长S采样像素点,来确定初始化聚类中心,移动聚类中心到其3*3空间邻域内梯度最小的像素点位置;
1.2,计算在距离聚类中心2S*2S区域内的所有像素点到中心像素点的距离:
xp,q和cp,q表示聚类中心像素的光谱值和空间坐标;
xi,j和ci,j表示该聚类里当前像素的光谱值和空间坐标;
m表示空间和像素颜色的相对重要性的度量;
本模型中,设置m=10,S=4;
1.3,更新聚类中心;
1.4,重复上述操作,迭代收敛;
1.5,将过分割的小超像素块与邻近的正常分割产生的超像素块融合。
高光谱数据集经过超像素分割后,形成的超像素点内(聚类)保持相邻像素间的局部相似性,并与空间边界保持良好的一致性。为了便于观察,以印第安农场数据集(3×145×145)为例,如图2,采用白色背景,黑色边界,步长为10,实际步长为4时分割效果更加紧凑。
步骤二:选择子图节点,找到该节点所在的超像素块里的其他全部节点,作为该节点的邻域节点;
假设高光谱遥感影像共有N个像素点,即N个图节点,每个批量子图(batch)有M个节点,则有个批量,其中表示向上取整;为了增强模型的泛化能力,每个批量子图Vt都是随机选取M个节点,标记为每个超像素代表一个具有很强的光谱和空间相似性的均匀图像区域,对于每一个目标节点vi,找到该节点所在的超像素块里的其他全部节点uj,表示节点vi所在的超像素块里其它节点的集合,可作为该目标节点的邻域节点。超像素块的大小可有通过分割步长S决定,即分割步长可以决定目标节点的邻域节点的范围。
步骤三:连接节点和邻域节点,构建子图邻接边,获取邻接边的邻接权值;
在确定目标节点vi和邻域节点uj后,其邻接权值可以由以下公式(2)确定:
γ=6,表示该径向基函数的步长,Dij表示目标节点vi和邻域节点uj的光谱-空间相似度量距离,由公式(3)确定:
Dij=Dspectral·Dspatial (3)
光谱相似性度量由光谱角公式(4)确认,空间相似性度量由马氏距离公式(5)确认:
M是一个方差矩阵,表示目标节点vi和邻域节点uj的空间分布关系。
步骤四:设置阈值,通过阈值过滤邻接权值较小的边;
在图的构建过程中,不同区域(不同类)之间的连接可能存在,这将导致后续图卷积过程中类内特征聚合受影响,降低图卷积结果的可分辨性。为了克服这一缺陷,使用边的权值过滤,通过设置一个阈值β=0.6来过滤一些邻接权值比较小的边,从而实现细化上下文关系图的不合要求的类间边的目的。
步骤五:根据步骤2-4计算子图Vt中每个节点的邻接权值,将该子图所有节点拼接即可重构得到该子图的邻接矩阵,将所有子图拼接即可重构得到高光谱遥感影像;
对于子图Vt,其目标节点vi∈Vt所拼接构成的邻接矩阵为:
本发明网络模型在实施阶段将图像,即数据集为印第安农场(Indian Pines),肯尼迪航天中心(Kennedy Space Center)和帕维亚大学(University of Pavia),依次输入执行,可以实现分类精度在数据集印第安农场(+1.2%),肯尼迪航天中心(+0.82%),帕维亚大学(+1.15%)提升的效果。
应当理解的是,本说明书未详细阐述的部分均属于现有技术。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种基于超像素分割的高光谱遥感影像子图重构方法,其特征在于,包括如下步骤:
步骤一,对高光谱遥感影像进行超像素分割,获得多个超像素块;
步骤二,选择子图节点,找到该节点所在的超像素块里的其他全部节点,作为该节点的邻域节点;
步骤三,连接节点和邻域节点,构建子图邻接边,获取邻接边的邻接权值;
步骤四,设置阈值,通过阈值过滤邻接权值较小的边;
步骤五,根据步骤二-四计算子图中每个节点的邻接权值,将该子图所有节点拼接即可重构得到该子图的邻接矩阵,将所有子图拼接即可重构得到高光谱遥感影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210014977.3A CN114463173A (zh) | 2022-01-07 | 2022-01-07 | 一种基于超像素分割的高光谱遥感图像子图重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210014977.3A CN114463173A (zh) | 2022-01-07 | 2022-01-07 | 一种基于超像素分割的高光谱遥感图像子图重构方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114463173A true CN114463173A (zh) | 2022-05-10 |
Family
ID=81409783
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210014977.3A Pending CN114463173A (zh) | 2022-01-07 | 2022-01-07 | 一种基于超像素分割的高光谱遥感图像子图重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114463173A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363520A (zh) * | 2023-06-02 | 2023-06-30 | 青岛海滨风景区小鱼山管理服务中心 | 一种城市绿地规划用景观生态检测系统 |
CN117315381A (zh) * | 2023-11-30 | 2023-12-29 | 昆明理工大学 | 一种基于二阶有偏随机游走的高光谱图像分类方法 |
-
2022
- 2022-01-07 CN CN202210014977.3A patent/CN114463173A/zh active Pending
Non-Patent Citations (2)
Title |
---|
RADHAKRISHNA ACHANTA等: "SLIC Superpixels Compared to State-of-the-Art Superpixel Methods", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 29 May 2012 (2012-05-29), pages 2274 - 2282 * |
YUN DING等: "Adaptive Sampling Toward a Dynamic Graph Convolutional Network for Hyperspectral Image Classification", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, 1 December 2021 (2021-12-01), pages 1 - 17, XP011904443, DOI: 10.1109/TGRS.2021.3132013 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116363520A (zh) * | 2023-06-02 | 2023-06-30 | 青岛海滨风景区小鱼山管理服务中心 | 一种城市绿地规划用景观生态检测系统 |
CN116363520B (zh) * | 2023-06-02 | 2023-08-04 | 青岛海滨风景区小鱼山管理服务中心 | 一种城市绿地规划用景观生态检测系统 |
CN117315381A (zh) * | 2023-11-30 | 2023-12-29 | 昆明理工大学 | 一种基于二阶有偏随机游走的高光谱图像分类方法 |
CN117315381B (zh) * | 2023-11-30 | 2024-02-09 | 昆明理工大学 | 一种基于二阶有偏随机游走的高光谱图像分类方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | Superpixel segmentation: A benchmark | |
Raza et al. | Micro-Net: A unified model for segmentation of various objects in microscopy images | |
CN108364288B (zh) | 用于乳腺癌病理图像的分割方法和装置 | |
Shen et al. | Real-time superpixel segmentation by DBSCAN clustering algorithm | |
Liu et al. | Learning relaxed deep supervision for better edge detection | |
Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
Chen et al. | Image segmentation by MAP-ML estimations | |
CN113379764B (zh) | 一种基于域对抗自监督学习的病理图像分割方法 | |
JP2021512446A (ja) | 画像処理方法、電子機器および記憶媒体 | |
WO2017181892A1 (zh) | 前景分割方法及装置 | |
Su | Scale-variable region-merging for high resolution remote sensing image segmentation | |
CN114463173A (zh) | 一种基于超像素分割的高光谱遥感图像子图重构方法 | |
CN106919950B (zh) | 概率密度加权测地距离的脑部mr图像分割方法 | |
Li et al. | Iterative image segmentation with feature driven heuristic four-color labeling | |
Han | Improved SLIC imagine segmentation algorithm based on K-means | |
CN111079807A (zh) | 一种地物分类方法及装置 | |
Kalinin et al. | A graph based approach to hierarchical image over-segmentation | |
Zhang et al. | Simple and fast image superpixels generation with color and boundary probability | |
Lu et al. | Spectral segmentation via midlevel cues integrating geodesic and intensity | |
CN113744241A (zh) | 基于改进slic算法的细胞图像分割方法 | |
Dalvand et al. | Flooding region growing: a new parallel image segmentation model based on membrane computing | |
CN115578399A (zh) | 一种图像处理方法及装置、存储介质 | |
Li et al. | Edge-based split-and-merge superpixel segmentation | |
Jin et al. | UTDN: An unsupervised two-stream Dirichlet-Net for hyperspectral unmixing | |
Zhang et al. | Automatic tracking of neural stem cells in sequential digital images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |