CN109308492B - 一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法 - Google Patents
一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法 Download PDFInfo
- Publication number
- CN109308492B CN109308492B CN201811097603.2A CN201811097603A CN109308492B CN 109308492 B CN109308492 B CN 109308492B CN 201811097603 A CN201811097603 A CN 201811097603A CN 109308492 B CN109308492 B CN 109308492B
- Authority
- CN
- China
- Prior art keywords
- feature
- similarity
- sample library
- features
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法,该方法首先对样本库中的影像提取多个特征,然后利用分级结构的图扩散模型对多个特征进行融合扩散。针对扩散结果,利用谱聚类将原有样本库自动聚合为若干个簇。最后以簇为基本标注单元,通过相似性分析确定每个簇中的关键样本,利用关键样本对簇进行标注,从而完成对整个样本库的全标记。本发明利用分级扩散模型,将互补性较强的特征分配到同一子树内,使得多特征融合效果更好,使得自动聚合与标注结果更加准确。
Description
技术领域
本发明属于图像数据处理方法,具体涉及一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法。
背景技术
构建有标记样本库是开展数据驱动的遥感影像分析与应用的一个关键问题。近年来,随着遥感技术和人工智能领域的快速发展,深度学习技术在遥感影像的智能化分析解译中发挥着越来越重要的作用。深度学习技术依赖大规模的有标记训练数据,而目前遥感影像样本库太小,不足以支撑完整的深度学习过程。此外,遥感影像类型丰富,对于大规模遥感影像样本库来说,仅仅通过人工劳动不可能为每种类型的遥感影像进行快速有效的标注。
为了降低人工标注成本,目前的遥感影像样本库标记主要有两类方法:一种方法为利用开放街道地图(OSM)中的兴趣点和矢量数据来表示遥感图像中的地理空间对象,并通过提取以所指示的地理空间为中心的场景来完成场景标注。另一种为利用专家知识的交互式主动聚类方法。然而,基于OSM的方法仍然需要人工检查来修改开放街道地图中的误差,而主动聚类的方法仍然需要数百次的专家反馈来增强标注精度。除了上述两种方法之外,半监督学习方法对于样本库标记也有不错的效果,但是由于半监督方法中只可接受几种类型的特征描述符,不足以全面表征遥感影像。如果盲目增加特征数量,则会产生维数灾难的问题。
发明内容
本发明提出了一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法,旨在解决遥感领域大规模标记样本库方法匮乏的问题。该方法首先对样本库中的影像提取多个特征,然后利用分级结构的图扩散模型对多个特征进行融合扩散。针对扩散结果,利用谱聚类将原有样本库自动聚合为若干个簇。最后以簇为基本标注单元,通过相似性分析确定每个簇中的关键样本,利用关键样本对簇进行标注,从而完成对整个样本库的全标记。
本发明所采用的技术方案是:一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法,包括以下步骤:
步骤1,构建样本特征库:对于包含n幅遥感影像的样本库,首先利用已有的特征提取方法进行图像特征提取,得到样本库的特征库F;其中提取M种类型特征,则整个样本库的特征库可以表示为F={F1,F1,…,FM},其中 表示样本库中第m个特征;对于样本库中的第i幅影像,其特征库可以表示为
步骤2,分级融合扩散,包括如下子步骤,
步骤2.1,构建相似性图:根据特征库F,针对特征库每个特征建立样本之间的相似性图其中相似性图包含的个数与特征数M相等;
步骤2.3,生成局部连接图:根据全连接图,即步骤2.1中的相似性图,构建局部连接图,其中局部连接图中的每个顶点仅仅与它最相近L个邻接顶点相连;
步骤2.4,第一级融合扩散:利用交叉扩散模型,根据全连接图的状态矩阵和局部连接图的核矩阵,对每个子树内的D个多特征进行第一级的融合扩散,获得每个子树的混合多特征相似性矩阵;
步骤2.5,第二级融合扩散:根据步骤2.4得到共H个子树的融合扩散结果,利用交叉扩散模型进行第二级融合扩散,得到最终的相似性矩阵;
步骤3,样本库标记,包含以下子步骤:
步骤3.1,自动聚合:结合步骤2得到的最终的相似性矩阵,利用谱聚类算法对待标记样本库进行自动聚合获得簇;
步骤3.2,关键样本标记:根据3.1得到的簇,在每个簇中选取关键样本作为参考对簇进行标记最终得到每一类的有标记标志性样本。
进一步的,步骤1中已有的特征提取方法包括VGG网络迁移特征,无监督k-means学习特征,LBP特征,HOG特征。
进一步的,步骤2.1中相似性图的具体构建方法如下,
设相似性图G=(V,E,W),相似性图的顶点V={1,2,...,n}表示样本库中的影像,边是权重,表示影像之间的相似度,W为相似性矩阵;对于第m个特征来说,影像xi与xj之间的相似度可以由下式计算:
进一步的,步骤2.2中计算不同特征之间的不相似性计算方法如下,
其中S为标量,表示特征之间的不相似性,n表示子树内顶点的个数,即子树内样本的个数,Ws表示子树内已经选择特征的相似性矩阵的均值,Wh表示候选特征的相似性矩阵,S值越大表示特征之间的不相似性越大,即互补性越强。
进一步的,步骤3.1中利用谱聚类算法对待标记样本库进行自动聚合获得簇的具体实现方式如下,
假设聚类数量为C,那么待标记样本库自动聚合为C个聚类A1,A2,...,AC,
进一步的,步骤3.2中关键样本的选取方式如下,
对于第α个簇,关键样本由下式计算:
与现有技术相比,本发明的优点和有益效果:采用自动聚合辅助下的标注方法,将原始样本库分为若干个簇,对每个簇进行标记,大大降低了标记的时间消耗;采用了多个特征对影像进行表征,使得图像表达更加准确;利用分级扩散模型,将互补性较强的特征分配到同一子树内,使得多特征融合效果更好,使得自动聚合与标注结果更加准确。
附图说明
图1是本发明的流程图;
图2是分级融合扩散示例。图的顶点代表数据集中的样本,每个数字代表对应由不同特征构造的连接图。图中两个节点之间的连接反映了它们之间的相似性,而边的厚度反映了相似性的强度。需要注意的是,图中每对节点之间应该存在链接;但是,本例仅显示了一些关键链接作为示例;
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
请见图1,本发明提供的一种基于高分辨率遥感影像的城市阴影检测去除方法,包括以下步骤:
(1)构建样本特征库步骤
对于包含n幅遥感影像的样本库,首先需要利用已有的特征提取方法进行图像特征提取,得到样本库的特征库F。其中提取M种类型特征,则整个样本库的特征库可以表示为F={F1,F1,…,FM},其中表示样本库中第m个特征。对于样本库中的第i幅影像,其特征库可以表示为
(2)分级融合扩散步骤,包括以下子步骤
(2.1)构建相似性图:根据特征库F,可以针对特征库每个特征建立样本之间的相似性图G=(V,E,W),其中相似性图包含的个数与特征数M相等,初始构建的相似性图为全连接图,全连接图每个顶点与其他所有顶点都有连接。相似性图的顶点V={1,2,...,n}表示样本库中的影像。边是权重,表示影像之间的相似度。W为相似性矩阵。对于第m个特征来说,影像xi与xj之间的相似度可以由下式计算:
(2.2)子树分配:首先确定子树个数其中H表示不大于根号M的最大整数。然后根据公式(2)计算不同特征之间的不相似性,将M个特征分配到H个子树中。每个子树包含D个特征,其中D的个数近似等于M/H。对于第h个子树,包含的特征子集为相应的所构建出的相似性图为对于每个子树,初始情况为随机选择一个特征相似性矩阵,之后根据公式(2)选择不相似性最大的特征加入到子树中。当子树内包含2个及以上的相似性矩阵特征后,取已经选择的特征的相似性矩阵均值与候选特征的相似性矩阵进行比较。不相似性计算公式为:
其中S为标量,表示特征之间的不相似性,n表示子树内顶点的个数,即子树内样本的个数。WS表示子树内已选择特征的相似性矩阵的均值,Wh表示候选特征的相似性矩阵。S值越大表示特征之间的不相似性越大,即互补性越强。根据计算结果,选择S值最大的候选特征的相似性矩阵加入到子树中,最终将不同特征所构建的相似性图分到不同的子树当中。
(2.3)生成局部连接图:根据全连接图,构建局部连接图其中局部连接图中的每个顶点仅仅与它最相近L个邻接顶点相连,即当且仅当j∈Ω(i)时,Ω(i)代表第i个顶点的邻居节点集合。通过以上两个图模型,分别计算出全连接图的状态矩阵P和局部连接图的核矩阵状态矩阵P携带全局域中的相似度信息,而核矩阵携带局部域中的本地关联信息。具体计算公式为,
其中V为全连接图的顶集合,定义在步骤(2.1)中。
(2.4)第一级融合扩散:利用交叉扩散模型,对每个子树内的D个多特征进行第一级的融合扩散。
其中d=1,2,...,D,t=1,2,...,T,Pd(0)表示初始状态矩阵,Pd(t)表示第d个子树第t次迭代的扩散结果,表示第d个子树的核矩阵,I表示判别矩阵,该矩阵为单位矩阵,对角线元素为1,其他元素为0,η>0表示惩罚参数。
(2.5)第二级融合扩散:根据步骤2.4得到共H个子树的融合扩散结果。对第一次融合扩散结果,按照(2.2)中的方法再次构建新的局部连接图,再次计算特征融合之后的状态矩阵与核矩阵,利用交叉扩散模型进行第二级融合扩散。
(3)样本库标记,包含以下子步骤:
(3.1)自动聚合:结合步骤2得到的相似性矩阵,利用谱聚类算法对待标记样本库进行自动聚合。假设聚类数量为C,那么待标记样本库自动聚合为C个聚类A1,A2,...,AC。
(3.2)关键样本标记:根据3.1得到的簇,在每个簇中选取关键样本作为参考对簇进行标记最终得到每一类的有标记标志性样本。对于第α个簇,关键样本可以由下式计算:
实施例:
1、构建样本特征库
对待标记样本库中的样本进行多特征提取,常用的特征有深度学习迁移特征,如VGG网络迁移特征;无监督特征,如无监督k-means学习特征;人工特征,如LBP特征,HOG特征。
2、分级扩散
首先针对特征库每个特征建立样本之间的相似性图;然后根据特征数量,确定子树的以及子树内包含的特征个数;然后在每个子树内,计算根据不同特征所构建的相似性图之间的不相似性,挑选出互补性最强的特征加入子树内。如图2所示,其中相似性图中每一个顶点表示样本库中的一幅影像,而边的粗细表示两个样本之间相似性大小。
其中第一次融合扩散在每个子树内进行,经过第一次融合扩散,得到每个子树的融合后增强的相似性图。紧接着,通过第二次融合扩散得到最终的融合结果。
3、自动聚合
通过谱聚类算法,将增强后的相似性图根据可以自动聚合为不同的簇,同一类别样本大部分被跟到同一簇内。
4、关键样本标记
在每一簇内,分析样本之间的相似性,得到关键样本。人工标记关键样本,每一簇内的关键样本类别即代表整个簇内的类别,最终得到整个样本库的全部样本标记。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (6)
1.一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法,其特征在于,包括如下步骤:
步骤1,构建样本特征库:对于包含n幅遥感影像的样本库,首先利用已有的特征提取方法进行图像特征提取,得到样本库的特征库F;其中提取M种类型特征,则整个样本库的特征库可以表示为F={F1,F1,…,FM},其中表示样本库中第m个特征;对于样本库中的第i幅影像,其特征库可以表示为
步骤2,分级融合扩散,包括如下子步骤,
步骤2.1,构建相似性图:根据特征库F,针对特征库每个特征建立样本之间的相似性图其中相似性图包含的个数与特征数M相等;
步骤2.3,生成局部连接图:根据全连接图,即步骤2.1中的相似性图,构建局部连接图,其中局部连接图中的每个顶点仅仅与它最相近L个邻接顶点相连;
步骤2.4,第一级融合扩散:利用交叉扩散模型,根据全连接图的状态矩阵和局部连接图的核矩阵,对每个子树内的D个多特征进行第一级的融合扩散,获得每个子树的混合多特征相似性矩阵;
步骤2.5,第二级融合扩散:根据步骤2.4得到共H个子树的融合扩散结果,利用交叉扩散模型进行第二级融合扩散,得到最终的相似性矩阵;
步骤3,样本库标记,包含以下子步骤:
步骤3.1,自动聚合:结合步骤2得到的最终的相似性矩阵,利用谱聚类算法对待标记样本库进行自动聚合获得簇;
步骤3.2,关键样本标记:根据3.1得到的簇,在每个簇中选取关键样本作为参考对簇进行标记最终得到每一类的有标记标志性样本。
2.如权利要求1所述的一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法,其特征在于:步骤1中已有的特征提取方法包括VGG网络迁移特征,无监督k-means学习特征,LBP特征,HOG特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811097603.2A CN109308492B (zh) | 2018-09-20 | 2018-09-20 | 一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811097603.2A CN109308492B (zh) | 2018-09-20 | 2018-09-20 | 一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109308492A CN109308492A (zh) | 2019-02-05 |
CN109308492B true CN109308492B (zh) | 2021-04-02 |
Family
ID=65225024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811097603.2A Active CN109308492B (zh) | 2018-09-20 | 2018-09-20 | 一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109308492B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844230A (zh) * | 2016-03-22 | 2016-08-10 | 浙江大学 | 一种基于云平台的遥感影像分割方法 |
CN107784657A (zh) * | 2017-09-29 | 2018-03-09 | 西安因诺航空科技有限公司 | 一种基于颜色空间分类的无人机遥感图像分割方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150093775A1 (en) * | 2013-07-08 | 2015-04-02 | Govind Rao | System and method for analyte sensing and monitoring |
-
2018
- 2018-09-20 CN CN201811097603.2A patent/CN109308492B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105844230A (zh) * | 2016-03-22 | 2016-08-10 | 浙江大学 | 一种基于云平台的遥感影像分割方法 |
CN107784657A (zh) * | 2017-09-29 | 2018-03-09 | 西安因诺航空科技有限公司 | 一种基于颜色空间分类的无人机遥感图像分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109308492A (zh) | 2019-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107092870B (zh) | 一种高分辨率影像语义信息提取方法 | |
Unnikrishnan et al. | Toward objective evaluation of image segmentation algorithms | |
CN108537269B (zh) | 一种弱交互式的物体检测深度学习方法及其系统 | |
WO2022062419A1 (zh) | 基于非督导金字塔相似性学习的目标重识别方法及系统 | |
CN112308115B (zh) | 一种多标签图像深度学习分类方法及设备 | |
CN111598004B (zh) | 一种渐进增强自学习的无监督跨领域行人再识别方法 | |
CN111611486B (zh) | 基于在线教育大数据的深度学习样本标注方法 | |
CN110866134B (zh) | 一种面向图像检索的分布一致性保持度量学习方法 | |
CN112115265A (zh) | 文本分类中的小样本学习方法 | |
CN105740915A (zh) | 一种融合感知信息的协同分割方法 | |
Liu et al. | Self-supervised transformer-based pre-training method using latent semantic masking auto-encoder for pest and disease classification | |
CN117992805B (zh) | 基于张量积图融合扩散的零样本跨模态检索方法、系统 | |
CN114299362A (zh) | 一种基于k-means聚类的小样本图像分类方法 | |
CN114723037A (zh) | 一种聚合高阶邻居节点的异构图神经网络计算方法 | |
CN107657276B (zh) | 一种基于寻找语义类簇的弱监督语义分割方法 | |
CN114581761A (zh) | 遥感图像识别方法、装置、设备和计算机可读存储介质 | |
CN115687760A (zh) | 一种基于图神经网络的用户学习兴趣标签预测方法 | |
CN115661539A (zh) | 一种嵌入不确定性信息的少样本图像识别方法 | |
CN114897085A (zh) | 一种基于封闭子图链路预测的聚类方法及计算机设备 | |
CN111046965A (zh) | 一种多标记分类中潜在类别发现和分类方法 | |
CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及系统 | |
CN111259176B (zh) | 融合有监督信息的基于矩阵分解的跨模态哈希检索方法 | |
CN116630718A (zh) | 一种基于原型的低扰动的图像类增量学习算法 | |
CN109308492B (zh) | 一种多特征自动分级聚合辅助下的遥感影像样本库快速标记方法 | |
CN114299342B (zh) | 一种基于深度学习的多标记图片分类中未知标记分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |