CN113537399A - 多目标进化图卷积神经网络的极化sar图像分类方法及系统 - Google Patents
多目标进化图卷积神经网络的极化sar图像分类方法及系统 Download PDFInfo
- Publication number
- CN113537399A CN113537399A CN202110920086.XA CN202110920086A CN113537399A CN 113537399 A CN113537399 A CN 113537399A CN 202110920086 A CN202110920086 A CN 202110920086A CN 113537399 A CN113537399 A CN 113537399A
- Authority
- CN
- China
- Prior art keywords
- population
- graph
- neural network
- individuals
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000012795 verification Methods 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 73
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000013527 convolutional neural network Methods 0.000 claims description 33
- 108090000623 proteins and genes Proteins 0.000 claims description 31
- 230000035772 mutation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 4
- 230000002776 aggregation Effects 0.000 claims description 4
- 230000001427 coherent effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 230000001174 ascending effect Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 239000002994 raw material Substances 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 238000004088 simulation Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 24
- 238000003860 storage Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 9
- 241000209140 Triticum Species 0.000 description 8
- 235000021307 Triticum Nutrition 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 230000010287 polarization Effects 0.000 description 5
- 239000002689 soil Substances 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 244000046052 Phaseolus vulgaris Species 0.000 description 3
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 3
- 240000004713 Pisum sativum Species 0.000 description 3
- 235000010582 Pisum sativum Nutrition 0.000 description 3
- 241000219310 Beta vulgaris subsp. vulgaris Species 0.000 description 2
- 240000005979 Hordeum vulgare Species 0.000 description 2
- 235000007340 Hordeum vulgare Nutrition 0.000 description 2
- 240000004658 Medicago sativa Species 0.000 description 2
- 235000017587 Medicago sativa ssp. sativa Nutrition 0.000 description 2
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 235000021536 Sugar beet Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009435 building construction Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 240000002791 Brassica napus Species 0.000 description 1
- 235000004977 Brassica sinapistrum Nutrition 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多目标进化图卷积神经网络的极化SAR图像分类方法及系统,生成训练集和验证集;生成初始种群;将初始种群中的个体解码为图卷积神经网络,训练并将分类精度和浮点运算次数作为个体的适应度;采用交叉、变异和选择操作对种群进行迭代更新;使用最终种群中分类精度最高的个体对应的图卷积神经网络,对待分类极化SAR图像进行分类。本发明采用多目标进化算法同时优化图卷积神经网络的分类精度和浮点运算次数,实现了图卷积神经网络的自动设计,在提高分类精度的同时,降低了图卷积神经网络的计算复杂度。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种多目标进化图卷积神经网络的极化SAR图像分类方法及系统。
背景技术
近年来,极化SAR因其不受光线、气候和云雾的限制,且具有全天候、全天时的遥感数据获取能力,使其在测绘、军事、灾害、地质、农业、林业等领域具有很高的实际应用价值,已经成为高分辨率对地观测的重要手段之一。
现有一种基于去噪卷积神经网络的地物分类方法主要解决去噪和分类分两个阶段进行,造成的分类效率不高的问题。但是,该方法采用手工设计的去噪卷积神经网络存在结构冗余,造成模型的计算复杂度过大,其次,采用一般卷积作为特征提取算子,无法实现非局部特征提取,影响地物分类精度。
还有一种基于梯度的卷积神经网络结构搜索方法(PolSAR-tailoredDifferentiable Architecture Search,PDAS)来解决极化SAR图像的地物分类问题。虽然实现了通过基于梯度的卷积神经网络结构搜索解决极化SAR图像的地物分类问题,但是限制了神经网络的搜索空间,无法对神经网络的深度和输入分辨率进行搜索,从而影响最终神经网络模型的分类精度。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种多目标进化图卷积神经网络的极化SAR图像分类方法及系统,解决现有技术无法提取极化SAR图像的非局部特征造成的分类精度不高的问题,以及现有技术中卷积神经网络参数量过多造成的计算复杂度过大的问题,可用于对极化SAR图像进行特征提取和地物分类。
本发明采用以下技术方案:
多目标进化图卷积神经网络的极化SAR图像分类方法,包括以下步骤:
S1、生成图卷积神经网络的训练集和验证集;
S2、采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;
S3、将步骤S2组成的种群Pt中的个体解码为图卷积神经网络;将步骤S1生成的训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将步骤S1生成的验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应个体的两个适应度;
S4、对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;
S5、对步骤S4交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;
S6、将步骤S4的交叉种群中的所有个体与步骤S5的变异种群中的所有个体组成子代种群采用步骤S3的方法得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;
S7、将种群Pt中的所有个体与步骤S6得到的子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;
S8、将待分类的极化SAR图像输入到步骤S7选择的训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
具体的,步骤S1具体为:
将输入的极化SAR图像中每一个像素点的相干矩阵转化为向量形式,向量的标注信息与对应像素点的标注信息保持一致,将每一个像素点的向量组成待分类极化SAR图像的特征矩阵;从极化SAR图像的特征矩阵中采样至少100个带标注的向量,对采样得到的每一个向量构建图数据,图数据的标注信息与对应向量保持一致,将所有图数据组成训练集;对极化SAR图像的特征矩阵中剩余的所有带标注向量进行相同处理,将得到的图数据组成验证集。
进一步的,构建图数据具体为:
以向量为中心在特征矩阵中截取大小为21×21的矩阵块;从21×21的矩阵块的左上角开始,将矩阵块均匀地划分成49个互不重叠且大小为3×3的区域;求每一个3×3区域内所有向量的平均向量,并将平均向量按所属区域在矩阵块中的位置进行排列,组成大小为7×7的平均矩阵;将7×7的平均矩阵中每一个向量与以该向量为中心的5×5窗口内每一个向量分别组成向量对,并计算每一对向量间的欧式距离;将所有向量对按欧式距离升序排序后,选择前n个向量对组成向量对集合,n≥50;将平均矩阵中的每一个向量均作为图数据的顶点,并根据向量对集合中的每一对向量,构建对应顶点间的连接边,得到图数据。
具体的,步骤S2中,个体的初始长度为6,种群Pt中至少包括20个个体。
具体的,步骤S3中,将种群Pt中个体的每一个基因中的编码依次解码为对应的复值图卷积算子类型,编码1表示图卷积算子类型为复值高阶图卷积算子,编码2表示图卷积算子类型为复值图采样聚合算子,编码3表示图卷积算子类型为复值常规图卷积算子,编码4表示图卷积算子类型为复值Chebyshev谱图卷积算子,编码5表示图卷积算子类型为复值局部极值图卷积算子,编码6表示图卷积算子类型为复值拓扑自适应图卷积算子,编码7表示图卷积算子类型为复值自回归滑动平均图卷积算子,编码8表示图卷积算子类型为复值聚类图卷积算子,并生成采用对应算子的图卷积层,n表示当前个体的长度,将所有生成的图卷积层级联成图卷积网络,并设置每一个图卷积层的输出通道数为16,采用多目标进化方法对分类精度和浮点运算次数同时进行优化。
具体的,步骤S4中,将种群Pt中的个体随机两两配对;对每一配对后的个体对生成满足0~1均匀分布的随机数,若随机数小于p1,0≤p1≤1,采用单点交叉方式对配对后的两个个体执行交叉操作,得到配对个体的交叉子代;将所有交叉子代组成交叉种群,实现对种群Pt的个体执行长度可变的交叉操作。
进一步的,采用单点交叉方式对配对后的两个个体执行交叉操作具体为:
对配对后的个体[a′1,a′2,...,a′r]和[a″1,a″2,...,a″s]分别生成整数u和v,u为在[1,r-1]范围内随机选取的一个整数,v为在[1,s-1]范围内随机选取的一个整数;将个体[a′1,a′2,...,a′r]中第u个基因后面的基因片段与个体[a″1,a″2,...,a″s]中第v个基因后面的基因片段互换,得到交叉子代[a′1,a′2,...,a′u,a″v+1,...,a″s]和[a″1,a″2,...a″v,a′u+1,...,a′r]。
具体的,步骤S7中,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作得到下一代种群Pt+1具体为:
S701、计算种群Pt′中个体的目标函数值fm和gm,其中m表示种群Pt′中个体的序号,fm=1-适应度中的分类精度,gm=适应度中的浮点运算次数;
S702、计算种群Pt′中每个个体的支配数和被支配集合,其中支配数表示支配该个体的个体数量,被支配集合表示被该个体支配的个体集合,例如若第1个个体和第2个个体满足条件{f1≤f2,g1<g2},或{f1<f2,g1≤g2},则第1个个体支配第2个个体;
S703、将种群中支配数等于0的个体放入集合Fi中,i=1;
S704、遍历集合Fi中每一个个体的被支配集合,将该集合内每个个体的支配数减1后,若存在支配数等于0的个体,则将该个体放入集合Fi+1中;
S705、判断集合Fi+1中每一个个体的被支配集合是否均为空集合,若是,则执行步骤S706,否则,令i=i+1后执行步骤S704;
S706、将上述产生的集合F1,F2...,Fi,Fi+1中的个体依次放入容量为N的集合F0中,N≥20,直到某个集合Fi′中的个体不能全部放入集合F0中;
S707、从集合Fi′中随机挑选个体放入集合F0中,直到集合F0中的个体数量等于N后,将集合F0中的所有个体组成下一代种群Pt+1。
具体的,步骤S7中,如果当前迭代次数小于最大迭代次数,令t=t+1后执行步骤S4。
本发明的另一技术方案是,一种多目标进化图卷积神经网络的极化SAR图像分类系统,包括:
生成模块,生成图卷积神经网络的训练集和验证集;
种群模块,采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;
适应度模块,将种群模块组成的种群Pt中的个体解码为图卷积神经网络;将生成模块生成的训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将生成模块生成的验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应每个个体的两个适应度;
交叉模块,对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;
变异模块,对交叉模块交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;
计算模块,将交叉模块的交叉种群中的所有个体与变异模块的变异种群中的所有个体组成子代种群得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;
选择模块,将种群Pt中的所有个体与计算模块子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;
分类模块,将待分类的极化SAR图像输入到选择模块选择的训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
与现有技术相比,本发明至少具有以下有益效果:
本发明一种多目标进化图卷积神经网络的极化SAR图像分类方法,采用可变长度的编码方式对个体进行编码,使个体经交叉操作后得到长度不同的新个体,从而使解码后得到的神经网络具有不同的深度,克服了现有技术无法对神经网络的深度进行搜索的问题,并采用图卷积作为特征提取算子,提取图像的非局部特征,增强了对不相邻特征的表达能力,具有提高分类精度的优点。
进一步的,为图卷积神经网络生成统一的训练集和验证集,在后续步骤中可直接使用,有助于提高本发明方法的运行速度。
进一步的,对特征矩阵分块后计算平均向量,将平均向量作为图数据的顶点,并根据欧式距离确定图数据顶点间的连接边,将得到图数据作为图卷积神经网络的输入。
进一步的,设置个体的初始长度为6,使执行第一次交叉操作后得到的子代个体的长度保持在合理范围内,有效提高了第一轮子代解的质量。
进一步的,将个体解码为图卷积神经网络,并在训练集上对图卷积神经网络进行训练后,将在验证集上的分类精度和浮点运算次数作为对应个体的适应度,以便在后续步骤中对个体执行环境选择操作。
进一步的,对配对后的个体对生成随机数,实现个体对按概率确定是否执行交叉操作,有助于提高种群的随机性和多样性。
进一步的,对待交叉的两个父代个体分别随机选择一个基因位作为交叉点,执行交叉操作,实现子代长度可变,进一步实现本发明对图卷积神经网络的深度的搜索。
进一步的,根据分类精度和浮点运算次数这两个适应度对种群中的个体执行环境选择,使两个适应度均适合的个体得到保留,提高了对应图卷积神经网络的分类精度的同时,降低了浮点运算次数。
进一步的,当种群迭代次数小于最大迭代次数时,继续执行交叉、变异和环境选择操作,使个体的质量得到进一步提高,并趋近于全局最优解。
综上所述,本发明采用多目标进化算法实现图卷积神经网络的结构搜索,既克服了现有技术无法对神经网络的深度进行搜索的问题,又在提高分类精度的前提下,降低了图卷积神经网络的复杂度。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的整体流程图;
图2为本发明的网络结构编码举例示意图;
图3为本发明的交叉变异举例示意图,其中,(a)为采用单点交叉方式对配对后的两个个体执行交叉操作,(b)为交叉种群中的每一个个体的基因位执行变异操作,(c)为个体的基因位执行变异操作;
图4为本发明与现有技术PDAS对荷兰弗莱福兰省农业区极化SAR图像的分类结果对比图,其中,(a)为15种地物类型,(b)为本发明分类结果,(c)为PDAS得到的分类结果;
图5为本发明与现有技术PDAS在荷兰弗莱福兰省农业区极化SAR图像上仿真得到的神经网络结构图,其中,(a)为本发明仿真,(b)为PDAS仿真;
图6为本发明与现有技术PDAS对美国旧金山极化SAR图像的分类结果对比图,其中,(a)为5种地物类型,(b)为本发明分类结果,(c)为PDAS得到的分类结果;
图7为本发明与现有技术PDAS在美国旧金山极化SAR图像上仿真得到的神经网络结构图,其中,(a)为本发明,(b)为PDAS;
图8为本发明与现有技术PDAS对德国奥伯法芬霍芬极化SAR图像的分类结果对比图,其中,(a)为3种地物类型,(b)为本发明分类结果,(c)为PDAS得到的分类结果;
图9为本发明与现有技术PDAS在德国奥伯法芬霍芬极化SAR图像上仿真得到的神经网络结构图,其中,(a)为本发明,(b)为PDAS。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的,其中为了清楚表达的目的,放大了某些细节,并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的,实际中可能由于制造公差或技术限制而有所偏差,并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种多目标进化图卷积神经网络的极化SAR图像分类方法,使用图卷积算子取代传统卷积算子进行特征提取,实现对极化SAR图像的非局部特征提取,解决分类精度不高的问题;通过将图卷积神经网络编码成个体,并将分类精度和图卷积神经网络的浮点运算次数同时作为目标函数,执行多目标进化搜索,得到分类精度和浮点运算次数均适合的图卷积神经网络,解决分类精度不高和计算复杂度过大的问题。
请参阅图1,本发明一种多目标进化图卷积神经网络的极化SAR图像分类方法,包括以下步骤:
S1、生成图卷积神经网络的训练集和验证集
S101、将输入的极化SAR图像中每一个像素点的相干矩阵Ti,j转化为向量Ik,l=[T11,T12,T13,T21,T22,T23,T31,T32,T33],且向量的标注信息与对应像素点的标注信息保持一致,并将每一个像素点的向量组成待分类极化SAR图像的特征矩阵;
相干矩阵Ti,j为:
其中,Ti,j表示极化SAR图像中第i行第j列像素的相干矩阵,Ik,l表示相干矩阵Ti,j经转化后得到的特征矩阵中的第k行第l列向量,k与i对应相等,l与j对应相等。
S102、从极化SAR图像的特征矩阵中采样至少100个带标注的向量后,对采样得到的每一个向量构建图数据,图数据的标注信息与对应向量保持一致,并将所有图数据组成训练集;
对采样得到的每一个向量构建图数据的方法如下:
S1021、以向量为中心在特征矩阵中截取大小为21×21的矩阵块;
S1022、从矩阵块的左上角开始,将矩阵块均匀地划分成49个互不重叠且大小为3×3的区域;
S1023、求每一个3×3区域内所有向量的平均向量,并将平均向量按所属区域在矩阵块中的位置进行排列,组成大小为7×7的平均矩阵;
S1024、将平均矩阵中每一个向量与以该向量为中心的5×5窗口内每一个向量分别组成向量对,并计算每一对向量间的欧式距离;
S1025、将所有向量对按欧式距离升序排序后,选择前n个向量对组成向量对集合,n≥50;
S1026、将平均矩阵中的每一个向量均作为图数据的顶点,并根据向量对集合中的每一对向量,构建对应顶点间的连接边,得到图数据。
S103、采用与步骤S102相同的方法,对极化SAR图像的特征矩阵中剩余的所有带标注向量进行处理,将得到的图数据组成验证集。
S2、初始化种群
请参阅图2,采用可变长度的编码方式生成初始长度为6的个体;将至少20个个体组成种群Pt,t=0,t表示当前迭代次数。
初始长度为6的个体的结构为:
[a1,a2,a3,a4,a5,a6]
其中,基因a1,a2,a3,a4,a5,a6均表示对图卷积算子类型的编码,其值分别为在[1,8]范围内随机选取的一个整数,编码1表示图卷积算子类型为复值高阶图卷积算子,编码2表示图卷积算子类型为复值图采样聚合算子,编码3表示图卷积算子类型为复值常规图卷积算子,编码4表示图卷积算子类型为复值Chebyshev谱图卷积算子,编码5表示图卷积算子类型为复值局部极值图卷积算子,编码6表示图卷积算子类型为复值拓扑自适应图卷积算子,编码7表示图卷积算子类型为复值自回归滑动平均图卷积算子,编码8表示图卷积算子类型为复值聚类图卷积算子。
S3、计算种群Pt中每个个体的两个适应度;
S301、将种群Pt中的个体解码为图卷积神经网络;
S3011、将种群Pt中个体的每一个基因中的编码依次解码为对应的复值图卷积算子类型,编码1表示图卷积算子类型为复值高阶图卷积算子,编码2表示图卷积算子类型为复值图采样聚合算子,编码3表示图卷积算子类型为复值常规图卷积算子,编码4表示图卷积算子类型为复值Chebyshev谱图卷积算子,编码5表示图卷积算子类型为复值局部极值图卷积算子,编码6表示图卷积算子类型为复值拓扑自适应图卷积算子,编码7表示图卷积算子类型为复值自回归滑动平均图卷积算子,编码8表示图卷积算子类型为复值聚类图卷积算子,并生成采用对应算子的图卷积层,其中n表示当前个体的长度;
S3012、将所有生成的图卷积层级联成图卷积网络,并设置每一个图卷积层的输出通道数为16。
S302、将训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;
S303、将验证集输入到训练好的图卷积神经网络中,并计算图卷积神经网络对验证集的分类精度和浮点运算次数后,将分类精度和浮点运算次数同时作为个体的适应度;
采用多目标进化算法对分类精度和浮点运算次数同时进行优化。
S304、将种群中Pt剩余的每个个体均按照步骤S302到步骤S303进行处理。
S4、对种群Pt的个体执行长度可变的交叉操作
将种群Pt中的个体随机两两配对;对每一配对后的个体对生成一满足0~1均匀分布的随机数,若该随机数小于p1,0≤p1≤1,则采用单点交叉方式对配对后的两个个体执行交叉操作,得到该配对个体的交叉子代;将所有交叉子代组成交叉种群。
请参阅图3(a)和图3(b),采用单点交叉方式对配对后的两个个体执行交叉操作的步骤如下:
S401、对配对后的个体[a′1,a′2,...,a′r]和[a″1,a″2,...,a″s]分别生成整数u和v,u为在[1,r-1]范围内随机选取的一个整数,v为在[1,s-1]范围内随机选取的一个整数;
S402、将个体[a′1,a′2,...,a′r]中第u个基因后面的基因片段与个体[a″1,a″2,...,a″s]中第v个基因后面的基因片段互换,得到交叉子代[a′1,a′2,...,a′u,a″v+1,...,a″s]和[a″1,a″2,...a″v,a′u+1,...,a′r]。
S5、对交叉种群中个体的基因位执行变异操作
对交叉种群中的每一个个体的基因位执行变异操作,得到变异子代;将所有的变异子代组成变异种群。
请参阅图3(b)和图3(c),对交叉种群中的每一个个体的基因位执行变异操作是指:对个体中的每一个基因生成一满足0~1均匀分布的随机数,将随机数小于p2的基因中的编码重新设置为在[1,8]范围内随机选取的一个整数。
S7、根据个体的两个适应度执行环境选择操作得到下一代种群Pt+1;
将种群Pt中的所有个体与子代种群中的所有个体组成种群Pt′;对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,判断当前迭代次数是否小于最大迭代次数,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;如果当前迭代次数小于最大迭代次数,令t=t+1后执行步骤S4。
对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作得到下一代种群Pt+1具体为:
S701、计算种群Pt′中个体的目标函数值fm和gm,其中m表示种群Pt′中个体的序号,fm=1-适应度中的分类精度,gm=适应度中的浮点运算次数;
S702、计算种群Pt′中每个个体的支配数和被支配集合,其中支配数表示支配该个体的个体数量,被支配集合表示被该个体支配的个体集合,例如若第1个个体和第2个个体满足条件{f1≤f2,g1<g2},或{f1<f2,g1≤g2},则第1个个体支配第2个个体;
S703、将种群中支配数等于0的个体放入集合Fi中,i=1;
S704、遍历集合Fi中每一个个体的被支配集合,将该集合内每个个体的支配数减1后,若存在支配数等于0的个体,则将该个体放入集合Fi+1中;
S705、判断集合Fi+1中每一个个体的被支配集合是否均为空集合,若是,则执行步骤S706,否则,令i=i+1后执行步骤S704;
S706、将上述产生的集合F1,F2...,Fi,Fi+1中的个体依次放入容量为N的集合F0中,N≥20,直到某个集合Fi′中的个体不能全部放入集合F0中;
S707、从集合Fi′中随机挑选个体放入集合F0中,直到集合F0中的个体数量等于N后,将集合F0中的所有个体组成下一代种群Pt+1。
S8、将待分类的极化SAR图像输入到训练好的图卷积神经网络中,得到最终分类结果,并计算该图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将该分类精度作为结果输出。
本发明再一个实施例中,提供一种多目标进化图卷积神经网络的极化SAR图像分类系统,该系统能够用于实现上述多目标进化图卷积神经网络的极化SAR图像分类方法,具体的,该多目标进化图卷积神经网络的极化SAR图像分类系统包括生成模块、种群模块、适应度模块、交叉模块、变异模块、计算模块、选择模块以及分类模块。
其中,生成模块,生成图卷积神经网络的训练集和验证集;
种群模块,采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;
适应度模块,将种群模块组成的种群Pt中的个体解码为图卷积神经网络;将生成模块生成的训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将生成模块生成的验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应个体的两个适应度;
交叉模块,对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;
变异模块,对交叉模块交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;
计算模块,将交叉模块的交叉种群中的所有个体与变异模块的变异种群中的所有个体组成子代种群得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;
选择模块,将种群Pt中的所有个体与计算模块子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;
分类模块,将待分类的极化SAR图像输入到选择模块选择的训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
本发明再一个实施例中,提供了一种终端设备,该终端设备包括处理器以及存储器,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其是终端的计算核心以及控制核心,其适于实现一条或一条以上指令,具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能;本发明实施例所述的处理器可以用于多目标进化图卷积神经网络的极化SAR图像分类方法的操作,包括:
生成图卷积神经网络的训练集和验证集;采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;将种群Pt中的个体解码为图卷积神经网络;将训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应个体的两个适应度;对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;对交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;将交叉种群中的所有个体与变异种群中的所有个体组成子代种群得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;将种群Pt中的所有个体与子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;将待分类的极化SAR图像输入训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
本发明再一个实施例中,本发明还提供了一种存储介质,具体为计算机可读存储介质(Memory),所述计算机可读存储介质是终端设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机可读存储介质既可以包括终端设备中的内置存储介质,当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间,该存储空间存储了终端的操作系统。并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机可读存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令,以实现上述实施例中有关多目标进化图卷积神经网络的极化SAR图像分类方法的相应步骤;计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤:
生成图卷积神经网络的训练集和验证集;采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;将种群Pt中的个体解码为图卷积神经网络;将训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应个体的两个适应度;对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;对交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;将交叉种群中的所有个体与变异种群中的所有个体组成子代种群得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;将种群Pt中的所有个体与子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;将待分类的极化SAR图像输入训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的效果可以通过以下仿真实验具体说明。
1、仿真实验条件
本发明的仿真实验的硬件条件为:联众工作站,CPU型号为Intel Xeon E5-2650,频率为2.3GHz,GPU型号为Nvidia GeForce RTX 2080Ti,显存11GB。
本发明的仿真实验的软件条件为:ubuntu 16.0系统,Python 3.7,PyTorch 1.5。
2、仿真内容及结果分析
本发明的仿真实验采用本发明与现有技术PDAS,分别对荷兰弗莱福兰省农业区极化SAR图像、美国旧金山极化SAR图像和德国奥伯法芬霍芬极化SAR图像中的标注样本进行分类测试。
现有技术PDAS是指一种用于解决极化SAR图像地物分类问题的卷积神经网络结构搜索方法(PolSAR-tailored Differentiable Architecture Search,PDAS),简称PDAS。
本发明的仿真内容为:
仿真实验1是采用本发明与现有技术PDAS分别对荷兰弗莱福兰省农业区极化SAR图像进行仿真实验,荷兰弗莱福兰省农业区极化SAR图像是由美国宇航局/喷气推进实验室AIRSAR在1989年采集得到的,波段为L波段,图像尺寸为750×1024,其真实的标注图如图4(a)所示。图4(a)中一共有15种地物类型,图4(a)右侧图例颜色由深到浅依次表示豌豆,森林,草地,小麦1,大麦,豆类,裸土,苜蓿,小麦2,水域,甜菜,油菜,土豆,小麦3和建筑物,标注的样本总数为167712。仿真实验1对该图像中的地物采样5%的标注样本组成训练集,其余标注样本组成验证集后进行仿真,得到本发明和现有技术PDAS对验证集中每个样本的分类结果,将本发明和现有技术PDAS得到的分类结果分别绘制成图4(b)和图4(c)所示的分类结果图。本发明和现有技术PDAS在荷兰弗莱福兰省农业区极化SAR图像上仿真得到的神经网络的结构分别如图5(a)和图5(b)所示。
将图4(b)和图4(c)所示的分类结果图分别与图4(a)所示的真实标注图进行对比可见,在本发明方法得到的分类结果图中,除了极少量分类错误的样本外,其余样本都取得了正确的分类结果,整体效果非常接近图4(a)所示的真实标注图,而在现有技术PDAS得到的分类结果图中,部分类型的地物目标存在较明显的分类错误的样本。
对比图5(a)和图5(b)可见,本发明方法得到的图卷积神经网络由5个图算子层构成,具有结构简单、参数量少的优点,有效降低了网络模型的复杂度,提升了图卷积神经网络的分类效率。
为了验证本发明仿真实验1的效果,利用每类地物分类精度、整体分类精度和平均分类精度这三种指标,分别对本发明方法和现有技术PDAS的分类结果进行量化。
利用下述的三种指标的计算公式,分别对仿真实验1结果中的各种类型的地物目标进行量化,结果如表1所示。
表1.仿真实验1的量化结果表
类型 | 本发明方法(%) | 现有技术PDAS(%) |
豌豆 | 99.90 | 99.63 |
森林 | 99.99 | 99.61 |
草地 | 99.31 | 98.24 |
小麦1 | 99.74 | 99.93 |
大麦 | 99.95 | 99.55 |
豆类 | 99.89 | 99.26 |
裸土 | 100.00 | 99.41 |
苜蓿 | 99.98 | 99.39 |
小麦2 | 99.96 | 99.08 |
水域 | 100.00 | 99.52 |
甜菜 | 99.86 | 99.31 |
油菜 | 99.87 | 99.24 |
土豆 | 99.82 | 99.26 |
小麦3 | 99.96 | 99.98 |
建筑物 | 98.78 | 97.69 |
整体分类精度 | 99.88 | 99.47 |
平均分类精度 | 99.80 | 99.27 |
由表1可以看出,本发明方法的整体精度相比现有技术PDAS提升了0.41%,平均精度相比现有技术PDAS提升了0.53%,在每类地物分类精度的对比中,除了小麦1和小麦3这两种地物外,其他地物的分类精度相比现有技术PDAS均有所提升。
仿真实验2是采用本发明与现有技术PDAS分别对美国旧金山极化SAR图像进行仿真实验,美国旧金山极化SAR图像是由美国宇航局/喷气推进实验室AIRSAR在2008年采集得到的,波段为C波段,图像尺寸为1895×1419,其真实的标注图如图6(a)所示。图6(a)中一共有5种地物类型,图6(a)右侧图例颜色由深到浅依次表示裸土,水域,城市,建筑物和植被,标注的样本总数为1886740。仿真实验2对该图像中的地物采样5%的标注样本组成训练集,其余标注样本组成验证集后进行仿真,得到本发明和现有技术PDAS对验证集中每个样本的分类结果,并将本发明和现有技术PDAS得到的分类结果分别绘制成图6(b)和图6(c)所示的分类结果图。本发明和现有技术PDAS在美国旧金山极化SAR图像上仿真得到的神经网络的结构分别如图7(a)和图7(b)所示。
将图6(b)和图6(c)所示的分类结果图分别与图6(a)所示的真实标注图进行对比可见,在本发明方法得到的分类结果图中,除了部分类型的地物目标存在少量分类错误的样本外,绝大部分样本都取得了正确的分类结果,整体效果与图6(a)所示的真实标注图更接近,而在现有技术PDAS得到的分类结果图中,部分类型的地物存在明显分类错误的样本,且数量较多。
对比图7(a)和图7(b)可见,本发明方法得到的图卷积神经网络由3个图算子层,具有结构更简单、参数量更少的优点,在保证高分类精度的前提下,极大降低了网络模型的复杂度。
为了验证本发明仿真实验2的效果,利用每类地物分类精度、整体分类精度和平均分类精度这三种指标,分别对本发明方法和现有技术PDAS的分类结果进行量化。
利用与仿真实验1相同的三种指标的计算公式,分别对仿真实验2结果中的各种类型的地物目标进行量化,结果如表2所示。
表2.仿真实验2的量化结果表
类型 | 本发明方法(%) | 现有技术PDAS(%) |
裸土 | 98.68 | 96.08 |
水域 | 99.97 | 99.94 |
城市 | 99.31 | 92.75 |
建筑物 | 99.57 | 99.86 |
植被 | 98.71 | 98.59 |
整体精度 | 99.58 | 98.51 |
平均精度 | 99.25 | 97.44 |
由表2可以看出,本发明方法的整体精度相比现有技术PDAS提升了1.07%,平均精度相比现有技术PDAS提升了1.81%,且在每类地物分类精度的对比中,除了建筑物这种类型的地物外,其他地物的分类精度相比现有技术PDAS均有所提升。
仿真实验3是采用本发明与现有技术PDAS分别对德国奥伯法芬霍芬极化SAR图像进行仿真实验,德国奥伯法芬霍芬极化SAR图像是由德国ESAR机构在1999年采集得到的,波段为L波段,图像尺寸为1300×1200,其真实的标注图如图8(a)所示。图8(a)中一种有3种地物类型,图8(a)右侧图例颜色由深到浅依次表示建筑区,林地和开放区域,标注的样本总数为1385269。仿真实验3对该图像中的地物采样5%的标注样本组成训练集,其余标注样本组成验证集后进行仿真,得到本发明和现有技术PDAS对验证集中每个样本的分类结果,并将本发明和现有技术PDAS得到的分类结果分别绘制成图8(b)和图8(c)所示的分类结果图。本发明和现有技术PDAS在德国奥伯法芬霍芬极化SAR图像上仿真得到的神经网络的结构分别如图9(a)和图9(b)所示。
将图8(b)和图8(c)所示的分类结果图分别与图8(a)所示的真实标注图进行对比可见,在本发明方法得到的分类结果图中,部分类型的地物目标存在少量聚集性分类错误的样本,整体效果接近图8(a)所示的真实标注图,而在现有技术PDAS得到的分类结果图中,部分类型的地物目标存在聚集性分类错误的样本,且数量较多,分布较广。
对比图9(a)和图9(b)可见,本发明方法得到的图卷积神经网络由5个图算子层,具有结构简单、参数量少的优点,有效降低了网络模型的复杂度。
为了验证本发明仿真实验3的效果,利用每类地物分类精度、整体分类精度和平均分类精度这三种指标,分别对本发明方法和现有技术PDAS的分类结果进行量化。
利用与仿真实验1相同的三种指标的计算公式,分别对仿真实验3结果中的各种类型的地物目标进行量化,结果如表3所示。
表3.仿真实验3的量化结果表
类型 | 本发明方法(%) | 现有技术PDAS(%) |
建筑区 | 98.14 | 92.43 |
林地 | 99.57 | 97.17 |
开放区域 | 99.50 | 98.83 |
整体精度 | 99.18 | 96.93 |
平均精度 | 99.07 | 96.15 |
由表3可以看出,本发明方法的整体精度相比现有技术PDAS提升了2.25%,平均精度相比现有技术PDAS提升了2.92%,且在每类地物分类精度的对比中,本发明方法均取得了更高的分类精度。
综上所述,本发明一种多目标进化图卷积神经网络的极化SAR图像分类方法及系统,具有自动确定适合待分类极化SAR图像的图卷积神经网络结构的优点,在大幅提高地物目标的分类精度的同时,有效减少了网络模型的参数量、降低了模型的复杂度,实现了极化SAR图像的高效、高精度地物分类。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。
Claims (10)
1.多目标进化图卷积神经网络的极化SAR图像分类方法,其特征在于,包括以下步骤:
S1、生成图卷积神经网络的训练集和验证集;
S2、采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;
S3、将步骤S2组成的种群Pt中的个体解码为图卷积神经网络;将步骤S1生成的训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将步骤S1生成的验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应个体的两个适应度;
S4、对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;
S5、对步骤S4交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;
S6、将步骤S4的交叉种群中的所有个体与步骤S5的变异种群中的所有个体组成子代种群采用步骤S3的方法得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;
S7、将种群Pt中的所有个体与步骤S6得到的子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;
S8、将待分类的极化SAR图像输入到步骤S7选择的训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
2.根据权利要求1所述的方法,其特征在于,步骤S1具体为:
将输入的极化SAR图像中每一个像素点的相干矩阵转化为向量形式,向量的标注信息与对应像素点的标注信息保持一致,将每一个像素点的向量组成待分类极化SAR图像的特征矩阵;从极化SAR图像的特征矩阵中采样至少100个带标注的向量,对采样得到的每一个向量构建图数据,图数据的标注信息与对应向量保持一致,将所有图数据组成训练集;对极化SAR图像的特征矩阵中剩余的所有带标注向量进行相同处理,将得到的图数据组成验证集。
3.根据权利要求2所述的方法,其特征在于,构建图数据具体为:
以向量为中心在特征矩阵中截取大小为21×21的矩阵块;从21×21的矩阵块的左上角开始,将矩阵块均匀地划分成49个互不重叠且大小为3×3的区域;求每一个3×3区域内所有向量的平均向量,并将平均向量按所属区域在矩阵块中的位置进行排列,组成大小为7×7的平均矩阵;将7×7的平均矩阵中每一个向量与以该向量为中心的5×5窗口内每一个向量分别组成向量对,并计算每一对向量间的欧式距离;将所有向量对按欧式距离升序排序后,选择前n个向量对组成向量对集合,n≥50;将平均矩阵中的每一个向量均作为图数据的顶点,并根据向量对集合中的每一对向量,构建对应顶点间的连接边,得到图数据。
4.根据权利要求1所述的方法,其特征在于,步骤S2中,个体的初始长度为6,种群Pt中至少包括20个个体。
5.根据权利要求1所述的方法,其特征在于,步骤S3中,将种群Pt中个体的每一个基因中的编码依次解码为对应的复值图卷积算子类型,编码1表示图卷积算子类型为复值高阶图卷积算子,编码2表示图卷积算子类型为复值图采样聚合算子,编码3表示图卷积算子类型为复值常规图卷积算子,编码4表示图卷积算子类型为复值Chebyshev谱图卷积算子,编码5表示图卷积算子类型为复值局部极值图卷积算子,编码6表示图卷积算子类型为复值拓扑自适应图卷积算子,编码7表示图卷积算子类型为复值自回归滑动平均图卷积算子,编码8表示图卷积算子类型为复值聚类图卷积算子,并生成采用对应算子的图卷积层,n表示当前个体的长度,将所有生成的图卷积层级联成图卷积网络,并设置每一个图卷积层的输出通道数为16,采用多目标进化方法对分类精度和浮点运算次数同时进行优化。
6.根据权利要求1所述的方法,其特征在于,步骤S4中,将种群Pt中的个体随机两两配对;对每一配对后的个体对生成满足0~1均匀分布的随机数,若随机数小于p1,0≤p1≤1,采用单点交叉方式对配对后的两个个体执行交叉操作,得到配对个体的交叉子代;将所有交叉子代组成交叉种群,实现对种群Pt的个体执行长度可变的交叉操作。
7.根据权利要求6所述的方法,其特征在于,采用单点交叉方式对配对后的两个个体执行交叉操作具体为:
对配对后的个体[a′1,a′2,...,a′r]和[a″1,a″2,...,a″s]分别生成整数u和v,u为在[1,r-1]范围内随机选取的一个整数,v为在[1,s-1]范围内随机选取的一个整数;将个体[a′1,a′2,...,a′r]中第u个基因后面的基因片段与个体[a″1,a″2,...,a″s]中第v个基因后面的基因片段互换,得到交叉子代[a′1,a′2,...,a′u,a″v+1,...,a″s]和[a″1,a″2,...a″v,a′u+1,...,a′r]。
8.根据权利要求1所述的方法,其特征在于,步骤S7中,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作得到下一代种群Pt+1具体为:
S701、计算种群Pt′中个体的目标函数值fm和gm,其中m表示种群Pt′中个体的序号,fm=1-适应度中的分类精度,gm=适应度中的浮点运算次数;
S702、计算种群Pt′中每个个体的支配数和被支配集合,其中支配数表示支配该个体的个体数量,被支配集合表示被该个体支配的个体集合,例如若第1个个体和第2个个体满足条件{f1≤f2,g1<g2},或{f1<f2,g1≤g2},则第1个个体支配第2个个体;
S703、将种群中支配数等于0的个体放入集合Fi中,i=1;
S704、遍历集合Fi中每一个个体的被支配集合,将该集合内每个个体的支配数减1后,若存在支配数等于0的个体,则将该个体放入集合Fi+1中;
S705、判断集合Fi+1中每一个个体的被支配集合是否均为空集合,若是,则执行步骤S706,否则,令i=i+1后执行步骤S704;
S706、将上述产生的集合F1,F2...,Fi,Fi+1中的个体依次放入容量为N的集合F0中,N≥20,直到某个集合Fi′中的个体不能全部放入集合F0中;
S707、从集合Fi′中随机挑选个体放入集合F0中,直到集合F0中的个体数量等于N后,将集合F0中的所有个体组成下一代种群Pt+1。
9.根据权利要求1所述的方法,其特征在于,步骤S7中,如果当前迭代次数小于最大迭代次数,令t=t+1后执行步骤S4。
10.一种多目标进化图卷积神经网络的极化SAR图像分类系统,其特征在于,包括:
生成模块,生成图卷积神经网络的训练集和验证集;
种群模块,采用可变长度的编码方式生成个体;将多个个体组成种群Pt,t表示当前迭代次数;
适应度模块,将种群模块组成的种群Pt中的个体解码为图卷积神经网络;将生成模块生成的训练集输入到图卷积神经网络中进行训练,得到训练好的图卷积神经网络;将生成模块生成的验证集输入到训练好的图卷积神经网络中,得到分类精度和浮点运算次数,并将分类精度和浮点运算次数作为种群Pt中对应个体的两个适应度;
交叉模块,对种群Pt的个体执行长度可变的交叉操作,将所有的交叉子代组成交叉种群;
变异模块,对交叉模块交叉操作后的交叉种群中个体的基因位执行变异操作,将所有的变异子代组成变异种群;
计算模块,将交叉模块的交叉种群中的所有个体与变异模块的变异种群中的所有个体组成子代种群得到子代种群中每一个个体对应的图卷积神经网络的分类精度和浮点运算次数,并将分类精度和浮点运算次数作为个体的两个适应度;
选择模块,将种群Pt中的所有个体与计算模块子代种群中的所有个体组成种群Pt′,对种群Pt′中的个体根据分类精度和浮点运算次数这两个适应度执行环境选择操作,得到下一代种群Pt+1,如果当前迭代次数大于或等于最大迭代次数,将当前迭代的种群作为最终种群,在最终种群中选择分类精度最高的个体对应的训练好的图卷积神经网络;
分类模块,将待分类的极化SAR图像输入到选择模块选择的训练好的图卷积神经网络中,得到最终分类结果,并计算图卷积神经网络对待分类的极化SAR图像中所有样本的分类精度,将对应的分类精度作为结果输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110920086.XA CN113537399B (zh) | 2021-08-11 | 2021-08-11 | 多目标进化图卷积神经网络的极化sar图像分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110920086.XA CN113537399B (zh) | 2021-08-11 | 2021-08-11 | 多目标进化图卷积神经网络的极化sar图像分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113537399A true CN113537399A (zh) | 2021-10-22 |
CN113537399B CN113537399B (zh) | 2024-07-05 |
Family
ID=78090869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110920086.XA Active CN113537399B (zh) | 2021-08-11 | 2021-08-11 | 多目标进化图卷积神经网络的极化sar图像分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537399B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114118257A (zh) * | 2021-11-19 | 2022-03-01 | 安徽大学 | 一种基于约束多目标进化算法的肿瘤图像分类方法 |
CN114332557A (zh) * | 2021-12-07 | 2022-04-12 | 西安电子科技大学 | 基于联邦进化卷积神经网络的极化sar图像分类方法及系统 |
CN114882294A (zh) * | 2022-06-10 | 2022-08-09 | 西安电子科技大学 | 多目标进化卷积神经网络的高光谱图像分类方法 |
CN114943866A (zh) * | 2022-06-17 | 2022-08-26 | 之江实验室 | 基于进化神经网络结构搜索的图像分类方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164256A (ja) * | 2005-12-09 | 2007-06-28 | Sharp Corp | テンプレート調整方法および装置、欠陥分布分類方法および装置、上記テンプレート調整方法または欠陥分布分類方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN102915445A (zh) * | 2012-09-17 | 2013-02-06 | 杭州电子科技大学 | 一种改进型的神经网络高光谱遥感影像分类方法 |
CN105488528A (zh) * | 2015-11-26 | 2016-04-13 | 北京工业大学 | 基于改进自适应遗传算法的神经网络图像分类方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
CN110211109A (zh) * | 2019-05-30 | 2019-09-06 | 西安电子科技大学 | 基于深度神经网络结构寻优的图像变化检测方法 |
CN110532859A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于深度进化剪枝卷积网的遥感图像目标检测方法 |
CN110728324A (zh) * | 2019-10-12 | 2020-01-24 | 西安电子科技大学 | 基于深度复值全卷积神经网络的极化sar图像分类方法 |
WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
CN111898689A (zh) * | 2020-08-05 | 2020-11-06 | 中南大学 | 一种基于神经网络架构搜索的图像分类方法 |
WO2021043193A1 (zh) * | 2019-09-04 | 2021-03-11 | 华为技术有限公司 | 神经网络结构的搜索方法、图像处理方法和装置 |
CN112561039A (zh) * | 2020-12-26 | 2021-03-26 | 上海悠络客电子科技股份有限公司 | 一种改进的基于超网络的进化神经网络架构搜索方法 |
CN112560966A (zh) * | 2020-12-18 | 2021-03-26 | 西安电子科技大学 | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 |
WO2021151311A1 (zh) * | 2020-08-24 | 2021-08-05 | 平安科技(深圳)有限公司 | 一种组卷积数目搜索方法和装置 |
-
2021
- 2021-08-11 CN CN202110920086.XA patent/CN113537399B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164256A (ja) * | 2005-12-09 | 2007-06-28 | Sharp Corp | テンプレート調整方法および装置、欠陥分布分類方法および装置、上記テンプレート調整方法または欠陥分布分類方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN102915445A (zh) * | 2012-09-17 | 2013-02-06 | 杭州电子科技大学 | 一种改进型的神经网络高光谱遥感影像分类方法 |
CN105488528A (zh) * | 2015-11-26 | 2016-04-13 | 北京工业大学 | 基于改进自适应遗传算法的神经网络图像分类方法 |
CN107609601A (zh) * | 2017-09-28 | 2018-01-19 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
WO2020037960A1 (zh) * | 2018-08-21 | 2020-02-27 | 深圳大学 | 一种sar目标识别方法、装置、计算机设备及存储介质 |
CN110211109A (zh) * | 2019-05-30 | 2019-09-06 | 西安电子科技大学 | 基于深度神经网络结构寻优的图像变化检测方法 |
CN110532859A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于深度进化剪枝卷积网的遥感图像目标检测方法 |
WO2021043193A1 (zh) * | 2019-09-04 | 2021-03-11 | 华为技术有限公司 | 神经网络结构的搜索方法、图像处理方法和装置 |
CN110728324A (zh) * | 2019-10-12 | 2020-01-24 | 西安电子科技大学 | 基于深度复值全卷积神经网络的极化sar图像分类方法 |
CN111898689A (zh) * | 2020-08-05 | 2020-11-06 | 中南大学 | 一种基于神经网络架构搜索的图像分类方法 |
WO2021151311A1 (zh) * | 2020-08-24 | 2021-08-05 | 平安科技(深圳)有限公司 | 一种组卷积数目搜索方法和装置 |
CN112560966A (zh) * | 2020-12-18 | 2021-03-26 | 西安电子科技大学 | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 |
CN112561039A (zh) * | 2020-12-26 | 2021-03-26 | 上海悠络客电子科技股份有限公司 | 一种改进的基于超网络的进化神经网络架构搜索方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114118257A (zh) * | 2021-11-19 | 2022-03-01 | 安徽大学 | 一种基于约束多目标进化算法的肿瘤图像分类方法 |
CN114118257B (zh) * | 2021-11-19 | 2024-06-04 | 安徽大学 | 一种基于约束多目标进化算法的肿瘤图像分类方法 |
CN114332557A (zh) * | 2021-12-07 | 2022-04-12 | 西安电子科技大学 | 基于联邦进化卷积神经网络的极化sar图像分类方法及系统 |
CN114882294A (zh) * | 2022-06-10 | 2022-08-09 | 西安电子科技大学 | 多目标进化卷积神经网络的高光谱图像分类方法 |
CN114943866A (zh) * | 2022-06-17 | 2022-08-26 | 之江实验室 | 基于进化神经网络结构搜索的图像分类方法 |
CN114943866B (zh) * | 2022-06-17 | 2024-04-02 | 之江实验室 | 基于进化神经网络结构搜索的图像分类方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113537399B (zh) | 2024-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110321963B (zh) | 基于融合多尺度多维空谱特征的高光谱图像分类方法 | |
CN113537399A (zh) | 多目标进化图卷积神经网络的极化sar图像分类方法及系统 | |
CN111985543B (zh) | 一种高光谱图像分类模型的构建方法、分类方法及系统 | |
Liu et al. | Application of deep convolutional neural networks for detecting extreme weather in climate datasets | |
CN111652193B (zh) | 基于多源影像的湿地分类方法 | |
CN110852227A (zh) | 高光谱图像深度学习分类方法、装置、设备及存储介质 | |
CN103488968B (zh) | 遥感图像的混合像素物质构成精细化分解装置及方法 | |
CN113420812B (zh) | 基于进化卷积神经网络的极化sar图像分类方法 | |
CN105631415A (zh) | 一种基于卷积神经网络的视频行人识别方法 | |
CN104933709A (zh) | 基于先验信息的随机游走ct肺组织图像自动分割方法 | |
CN108846338A (zh) | 基于面向对象随机森林的极化特征选择及分类方法 | |
CN112560966B (zh) | 基于散射图卷积网络的极化sar图像分类方法、介质及设备 | |
CN112949725B (zh) | 一种基于多尺度特征提取的小麦种子分类方法 | |
CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
CN111860233A (zh) | 基于选择注意力网络的sar图像复杂建筑物提取方法及系统 | |
CN112862871A (zh) | 图像融合方法及装置 | |
Tun et al. | Multi-classification of satellite imagery using fully convolutional neural network | |
CN117541873A (zh) | 一种基于多源遥感图像的地物分类方法 | |
Nyasaka et al. | Learning hyperspectral feature extraction and classification with resnext network | |
CN110956601A (zh) | 一种基于多传感器样态系数的红外图像融合方法和装置以及计算机可读存储介质 | |
CN105760857A (zh) | 一种高光谱遥感影像目标探测方法 | |
CN114065831A (zh) | 基于多尺度随机深度残差网络的高光谱图像分类方法 | |
CN107358625B (zh) | 基于SPP Net和感兴趣区域检测的SAR图像变化检测方法 | |
CN108509835A (zh) | 基于DFIC超像素的PolSAR图像地物分类方法 | |
CN104657949A (zh) | 一种煤泥浮选泡沫图像去噪中结构元素优化的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |