CN117746190A - 一种基于图卷积的空间目标少样本增量识别方法及系统 - Google Patents
一种基于图卷积的空间目标少样本增量识别方法及系统 Download PDFInfo
- Publication number
- CN117746190A CN117746190A CN202410062629.2A CN202410062629A CN117746190A CN 117746190 A CN117746190 A CN 117746190A CN 202410062629 A CN202410062629 A CN 202410062629A CN 117746190 A CN117746190 A CN 117746190A
- Authority
- CN
- China
- Prior art keywords
- module
- scattering
- increment
- target
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 230000003044 adaptive effect Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000004913 activation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000014759 maintenance of location Effects 0.000 claims 1
- 238000012549 training Methods 0.000 abstract description 47
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 13
- 239000000203 mixture Substances 0.000 description 13
- 230000008901 benefit Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种基于图卷积的空间目标少样本增量识别方法及系统,属于人工智能技术,包括:获取ISAR图像数据作为输入,提取所获取的ISAR图像数据中的空间目标散射特征;根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集;从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类;将虚拟的增量类与所述少样本基础类数据集合并,以训练增量目标识别模型;将训练后的增量目标识别模型用于空间目标识别。本申请将识别能力从旧类推广到新类,在仅有少量训练数据时,充分探索了空间目标重要散射点之间的复杂关系。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及一种基于图卷积的空间目标少样本增量识别方法及系统。
背景技术
与光学探测设备相比,逆合成孔径雷达(Inverse Synthetic Aperture Radar,ISAR)受气象条件影响较小,具备全天时、全天候、高精度、远距离探测的优势,在空间环境监视、空间目标探测识别等领域发挥重要作用。
ISAR成像比光学成像更容易受到环境噪声的影响。现有基于深度学习的识别方法虽然取得了一定的研究成果,但训练样本和未知样本匮乏易导致不同目标的可分离特征提取困难。少样本数据困境是基于ISAR图像的空间目标识别任务必须面临的重要挑战。更重要的是,被重新检测的目标之间的间隔正在减少,逆合成孔径雷达数据的更新频率逐渐提高。
真实的识别任务需要在开放场景中完成,传统识别算法仅在训练样本和测试样本分布相似的理想空间取得了较好的实验效果,难以识别开放场景中的未知类别。ISAR空间目标数据的获取是一个增量的过程。遥感与太空环境监视等任务要求ISAR目标自动识别系统须在任何时候均具备对新类别的处理能力。然而短时间内收集大批量数据训练理想分布的模型较为困难。捕获到的新目标在训练阶段未知,很容易被分类成为已知类别。另一方面,训练数据的增加利于模型识别准确度的提升,但是对已训练过的样本重复训练造成了大量时间及存储资源的浪费,难以满足太空环境监视的实时性要求。
随着雷达卫星的快速发展,其在灾害检测、地形测绘与目标探测等领域的重要性愈发凸显。ISAR具有高精度、远距离探测优势,广泛用于空间目标监视任务。
高质量地提取目标特征是提高目标识别准确度,实现雷达空间目标探测、空间目标监视等任务的重要保证。目前,多数空间目标识别算法所用特征仍依赖雷达技术人员手动设计特征,人工设计的目标特征受技术人员主观因素影响大,同时需耗费大量的时间成本。算法阈值需多次实验测试确定,鲁棒性较低,难以满足保证较高的准确度与时效性。
基于卷积神经网络的深度学习算法在数据建模与特征提取方面具有强大优势,一经出现即得到各领域研究人员的广泛关注。现有多数基于深度学习的ISAR空间目标识别方法利用卷积神经网络完成图像的特征提取与识别。但上述方法将卫星图像转化为高维向量的建模方式忽略了空间目标内含的拓扑结构,识别效果有待提升。图卷积是将传统的卷积神经网络推广到图域,是一种有效的图表示模型。它可以在学习过程中自然地将结构信息和节点特征结合起来,通过聚集来自其他邻居(包括自身)的特征向量来表示一个节点。作为神经网络的重要分支,GCN能够捕捉传感器间的空间依赖关系,有效保存任意深度的节点特征状态,构建更加准确的节点特征表示。基于图卷积的识别模型在处理非结构化的图数据方面具有优势。为充分利用数据特征,本发明提取空间目标的散射拓扑特征,增强了模型的泛化能力和表达能力。结合散射拓扑特征训练模型,使识别模型能够充分学习目标的全局性与局部性特征,利于进一步改善空间目标识别效果。
归因于先进的学习机制和具有充分监督的大规模数据集,在过去的几年中,基于图像的识别技术发展迅速。然而,机器学习机制仍然是认知学习无法比拟的。真实世界中新类别持续出现,模型需针对任务需求迅速更新识别能力。目前先进的深度学习方法必须经过训练才能适应新的类别,无法实时学习新类别。然而在出现新类别时重新训练,将导致显著的时间成本和计算开销。此外,ISAR成像需较长的积累时间。当观测到某类新的数据时,标记的数据数量有限。空间环境监视任务要求设备在有限数据中用最少的资源学习,并要能及时有效完成能力迭新。
进一步地,ISAR成像比光学成像更易受到环境噪声的影响。由于少样本增量识别任务中训练样本和未知样本匮乏,不同目标的可分离特征提取更加困难。一方面,在增量学习阶段,模型参数针对新类别不断微调的同时会干扰已知类的特征分布,可能导致严重的灾难性遗忘问题。另一方面,新类别样本数较少,可能使模型偏向于旧类别,将导致分布崩溃与过拟合现象。因此,在ISAR空间目标识别领域应用小样本增量学习任务具有挑战性。
发明内容
本申请实施例提供一种基于图卷积的空间目标少样本增量识别方法及系统,用以通过从训练集中重复采样伪增量任务,可以将识别能力从旧类推广到新类,在仅有少量训练数据时,充分探索了空间目标重要散射点之间的复杂关系。
本申请实施例提供一种基于图卷积的空间目标少样本增量识别方法,包括如下步骤:
获取ISAR图像数据作为输入,提取所获取的ISAR图像数据中的空间目标散射特征;
根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集;
从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类;
将虚拟的增量类与所述少样本基础类数据集合并,以训练增量目标识别模型,其中所述增量目标识别模型包括串行连接的三个图卷积层(Gconv)与图贡献率池化模块(GCpooling),以用于散射拓扑图数据中的节点特征的传播以及特征提取,其中每个图卷积块之间使用节点加权模块(Graph weighted layer,Gwt)增强主要节点的权重;
将训练后的增量目标识别模型用于空间目标识别。
可选的,提取所获取的ISAR图像数据中的空间目标散射特征包括:
利用Shi-Tomasi角点检测算法提取空间目标散射点;
利用局部搜索对散射点数进行寻优,并设定检测所得最大散射点数;
对检测获得的散射点进行编码、保存。
可选的,根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集包括:
利用Delaunay算法处理检测获得的散射点;
将处理后的散射点作为顶点,在满足“最大-最小角”优化准则的条件下,利用散射点空间位置关系进行三角剖分,将三角剖分后所得各三角形的边作为散射点之间的连接关系;
将检测获得的散射点作为节点,将散射点之间的连接关系作为边,构建拓扑关系;
按照设定的比例划分少样本基础类数据集以及少样本增量类数据集。
可选的,从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类包括:
从所述少样本基础类数据集中、每次随机抽取两个不同类别的数据;
将抽取的两个不同类别的数据,通过如下方式融合:
其中,为函数运算,用于处理x特征并进行拟合,/>为Beta分布中的采样值,z表示抽取数据融合后得到的特征,以及相应的标签,G表示数据融合处理。
可选的,所述增量目标识别模型还包括自适应加权融合模块(Adaptive Mix);
所述增量目标识别模型具体用于:
将经过第一个Gconv+GCpooling处理后的拓扑特征D1,输入第一个Gwt模块;
经过Gwt模块与G-bdo模块优化后,输出的拓扑特征D1’作为第一个Adaptive Mix模块的输入;
拓扑特征D1’经过第二个Gconv+GCpooling处理后输出的特征与第一个AdaptiveMix模块输出的特征D2相加,作为第二个Gwt模块的输入;
将拓扑特征D1’以及第二个Gwt模块的输出D2’与第三个Gconv+GCpooling模块运算后的输出D3作为第二个Adaptive Mix模块的输入;
以利用第二个Gconv+Gcpooling的输出结合线性连接层与softmax识别特征,输出增量识别结果。
可选的,所述图贡献率池化模块对散射拓扑特征处理过程满足:
其中,表示节点及节点特征,tanh表示tanh激活函数,表示经图卷积运算
后输出的散射拓扑特征,表示保留贡献度分数最高的k个节点,表示权重因子,是根
据归一化之后的节点贡献度确定的,表示特征在的指导下相乘;
所述Gwt模块用于增强主要散射点对空间目标分类结果的特征贡献度;
所述Gwt模块的计算过程如下:
其中,i、j为节点序数,代表未经加权增强处理的特征,为节点贡献重要
性度量,表示tanh激活函数,j'为求和时的变量,表示与节点i相关的邻居节点个数,|
|表示特征拼接处理,表示LeakyReLU激活函数,T表示矩阵转置,W为相应的权重
矩阵,是模块内可学习的超参数。
可选的,所述Adaptive Mix模块的自适应融合比例因子满足:
其中,为随机初始化的权重因子,Sigmoid(*)为激活函数;
所述Adaptive Mix模块通过如下方式实现自适应融合处理:
式中,表示模块输出,表示模块输入。
本申请实施例还提出一种基于图卷积的空间目标少样本增量识别系统,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的基于图卷积的空间目标少样本增量识别方法的步骤。
本申请实施例结合空间目标散射拓扑特征建模,提升特征利用率的同时增强了模型的泛化能力。结合散射拓扑特征训练模型,使识别模型能够充分学习目标的全局性与局部性特征,利于改善空间目标识别效果。本申请可以将识别能力从旧类推广到新类,在仅有少量训练数据时,充分探索了空间目标重要散射点之间的复杂关系。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例的空间目标少样本增量识别方法的基本流程示意;
图2为本申请实施例的散射拓扑图数据集的生成流程示意;
图3为本申请实施例的重要散射点提取与拓扑关系建立示例;
图4为本申请实施例的基于图卷积的散射拓扑特征嵌入模型结构示例;
图5为本申请实施例的图贡献率池化模块示例。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在ISAR图像中,目标关键结构体现为多个重要散射点,同时包含较多利于目标区分的散射拓扑特征。现有算法多将图像转换为高维特征识别空间目标。当目标在图中占比小时,高维背景特征可能导致目标误判,同时消耗大量计算资源;未能有效提取散射拓扑数据,特征利用率不足。针对上述问题,本申请将空间目标ISAR像建模为散射拓扑特征,改善卷积算子可能造成的高维特征冗余,极大增强了模型的泛化能力。结合散射拓扑特征训练模型,使识别模型能够充分学习目标的全局性与局部性特征。
进一步地,利用ISAR图像提取到的散射拓扑特征为非结构化的图数据。常规基于卷积神经网络的深度学习算法针对结构化的数据设计,无法处理非结构化的图数据。针对这一问题,本申请设计了基于图卷积神经网络的空间目标少样本增量识别模型。图卷积(graph convolutional network,GCN)是将传统的卷积神经网络推广到图域,是一种有效的图表示模型。它可以在学习过程中自然地将结构信息和节点特征结合起来,通过聚集来自其他邻居(包括自身)的特征向量来表示一个节点。作为神经网络的重要分支,GCN能够捕捉传感器间的空间依赖关系特征,有效保存任意深度的节点特征状态,构建更加准确的节点特征表示。基于图卷积的识别模型可高效处理非结构化数据,优化散射拓扑特征,对输入特征的类别动态相关性进行建模,增强输入特征之间的语义动态相关性。
准确识别空间目标对空间环境监视、太空事件预断具有重要意义。针对传统识别方法依赖技术人员人工判读、实验参数的选定耗时费力的问题,本发明提出了基于图卷积神经网络的空间目标少样本增量识别算法,改善了传统算法对专家经验的依赖性;针对空间目标数据获取困难,较少的数据量与较高的标注成本阻碍识别效果提升的问题,本申请有效利用空间目标重要散射点及其空间分布构建散射拓扑特征,提升了数据利用率,仅利用少量标注数据即实现了空间目标的准确识别;针对现有图像处理算法依赖大量标注数据训练,对未经训练的数据难以正确判读的问题,本申请设计专用于空间目标散射拓扑特征的少样本增量识别方法。从散射拓扑特征提取、基于图卷积的识别模型构建以及伪增量训练方法的优化上分别进行适应性改进。
本申请实施例的方法主要流程,包括:首先,将少样本条件下的ISAR图像数据输入增量识别模型。使用稳定性与准确度更高的Shi-Tomasi角点检测算法提取空间目标主要散射点,利用Delaunay算法构建散射点间的拓扑关系。结合局部搜索优化重要散射点的空间分布。结合散射点及其拓扑关系构建图数据。其次,根据实验设置完成数据集的划分,构建基于图卷积的散射拓扑特征嵌入网络。接下来,抽取基类数据中的实例,结合本发明提出的伪增量训练方法,进一步优化增量识别模型。伪增量训练完成后,利用包含未知类别的增量数据优化算法。最后,模型输出空间目标少样本增量识别结果。
具体的本申请实施例提供一种基于图卷积的空间目标少样本增量识别方法,如图1所示,包括如下步骤:
在步骤S101中,获取ISAR图像数据作为输入,提取所获取的ISAR图像数据中的空间目标散射特征。
空间目标部件的材质不同、对雷达波的反射角度不同,会呈现不同的散射强度。体现在雷达成像上,即为不同的散射点亮度信息。利用主要散射点及其空间分布,能够构建表征目标形状及轮廓的拓扑特征。在一些具体示例中,提取所获取的ISAR图像数据中的空间目标散射特征包括:
利用Shi-Tomasi角点检测算法提取空间目标散射点。
利用局部搜索对散射点数进行寻优,并设定检测所得最大散射点数;
对检测获得的散射点进行编码、保存。
也即一些具体示例中,使用稳定性更高、准确度更优、阈值设定更简单的Shi-Tomasi角点检测算法提取空间目标主要散射点。为避免训练参数爆炸,结合空间目标形状尺度特征,本申请利用局部搜索对散射点数进行寻优,一些示例中可以设定检测所得最大散射点数为20。检测完成后,对上述散射点进行编码,保存散射点位置信息。
在步骤S102中,根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集。
本申请实施例用于训练与测试的散射拓扑图数据集构建流程如图2。经前述获取重要散射点,并建立拓扑关系后,空间目标散射拓扑特征示意图如图3所示。在一些实施例中,根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集包括:
利用Delaunay算法处理检测获得的散射点;
将处理后的散射点作为顶点,在满足“最大-最小角”优化准则的条件下,利用散射点空间位置关系进行三角剖分,将三角剖分后所得各三角形的边作为散射点之间的连接关系。依据上述散射点,以及点之间的连接关系构建图数据中的节点度以及邻接矩阵。
将检测获得的散射点作为节点V,散射点坐标,散射点特征以及散射
点像素值作为节点特征,为特征提取步骤最终保留的散射点个数,将
散射点之间的连接关系作为边E,构建拓扑关系。
按照设定的比例,例如4:6,划分少样本基础类数据集以及少样本增量类数据集。
在一些具体示例中,构建的少样本增量识别数据集均满足的数据组成,即每个
增量类别包含N类空间目标,每类目标中的支持集包含K=10例数据,查询集包含15例数据。
现有主流少样本增量识别方法训练过程中,首先,将囊括基础类别的少样本训练数据集输入基于卷积神经网络的特征嵌入模型。经神经网络运算生成高维图像特征,将上述高维特征输入线性分类器识别基类中的空间目标。在增量学习阶段,将包含未知类别的增量数据输入特征嵌入模型,并在每个新的增量任务到来时,根据新出现的类别数更新线性分类器中的分类参数。最后,加载训练好的增量识别模型,利用测试集算法训练效果。
ISAR成像比光学成像更容易受到环境噪声的影响,导致任务可用训练数据较为稀缺。由于少样本增量识别任务中训练样本和未知样本匮乏,不同目标的可分离特征提取更加困难。
为进一步缓解灾难性遗忘现象,提升模型对未知增量数据的兼容性,本申请利用基类数据构建伪增量训练方法提升模型识别效果。在步骤S103中,根从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类。
将虚拟的增量类与所述少样本基础类数据集合并,以训练增量目标识别模型,且原始的少样本增量类数据集正常参与模型增量学习阶段的训练,其中所述增量目标识别模型包括串行连接的三个图卷积层(Gconv)与图贡献率池化模块(GCpooling),以用于散射拓扑图数据中的节点特征的传播以及特征提取,其中每个图卷积块之间使用节点加权模块(Graph weighted layer,Gwt)增强主要节点的权重。
将训练后的增量目标识别模型用于空间目标识别。
本申请实施例结合空间目标散射拓扑特征建模,提升特征利用率的同时增强了模型的泛化能力。结合散射拓扑特征训练模型,使识别模型能够充分学习目标的全局性与局部性特征,利于改善空间目标识别效果。本申请可以将识别能力从旧类推广到新类,在仅有少量训练数据时,充分探索了空间目标重要散射点之间的复杂关系。
在一些实施例中,从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类包括:
从所述少样本基础类数据集中、每次随机抽取两个不同类别的数据;
将抽取的两个不同类别的数据,也即任意训练实例,通过如下方式融
合,作为虚拟的增量类:
其中,为函数运算,用于处理x特征并进行拟合,为Beta分布中的采样
值,z表示抽取数据融合后得到的特征,以及相应的标签,G表示数据融合处理。。依据上述公
式生成虚拟的增量类软标签。
伪增量训练数据集构建完成后,将得到的数据与基类数据合并,共同输入特征嵌入模型训练,原始的少样本增量类数据集正常参与模型增量学习阶段的训练。在训练过程中,对于模拟生成的增量任务,即利用伪增量数据训练模型的增量任务。
本申请的方法结合已学习的权重和原型共同优化模型,用构建的伪增量类增强当前分类器的目标识别能力。样后的伪增量训练任务与真实条件下的少样本增量任务具有相同的格式。本申请提出的伪增量训练方法充分利用基类数据。利用已知类数据构造未知数据的训练方式提升了数据的丰富度,为即将到来的未知任务获取更好的嵌入空间。含有未知类别的增量数据集用于进一步优化特征嵌入网络与分类器的权重。
前述实施例中获取的散射拓扑特征为非结构化图数据,难以用常规卷积神经网络提取特征。本申请实施例设计基于图卷积的散射拓扑特征嵌入模型,从而充分利用空间目标的散射拓扑特征,实现少样本条件下的空间目标增量识别,模型架构如图4所示。在一些实施例中,如图4所示,所述增量目标识别模型还包括自适应加权融合模块(AdaptiveMix);
所述增量目标识别模型具体用于:
将经过第一个Gconv+GCpooling处理后的拓扑特征D1,输入第一个Gwt模块;
经过Gwt模块与G-bdo模块优化后,输出的拓扑特征D1’作为第一个Adaptive Mix模块的输入;
拓扑特征D1’经过第二个Gconv+GCpooling处理后输出的特征与第一个AdaptiveMix模块输出的特征D2相加,作为第二个Gwt模块的输入;
将拓扑特征D1’以及第二个Gwt模块的输出D2’与第三个Gconv+GCpooling模块运算后的输出D3作为第二个Adaptive Mix模块的输入;
以利用第二个Gconv+Gcpooling的输出结合线性连接层与softmax识别特征,输出增量识别结果。
本申请实施例基于数据维数和训练成本考虑,设计特征嵌入模型时,希望重要的散射点及其特征能够得到更多重视,不重要的点特征设置为较小的权值,从而在保证识别准确度的同时降低运算量,缓解过拟合的风险。在一些实施例中,所述图贡献率池化(Gcpooling)模块对散射拓扑特征处理过程满足:
其中,表示节点及节点特征,共同组成了图卷积神经网络的输入,tanh表示
tanh激活函数,表示经图卷积运算后输出的散射拓扑特征,表示保留贡献度分数最高
的k个节点,表示权重因子,是根据归一化之后的节点贡献度确定的,表示特征在的
指导下相乘,为GCpooling模块运算后的输出,即更新后的散射拓扑节点及其特征。
GCpooling模块运算示意图,如图5所示。第一步,利用图卷积处理上层散射拓扑特
征,对得到的节点特征归一化后,利用tanh激活函数处理,得到拓扑特征。第二步,利用
top-k方法处理GCPooling模块的输入,按照节点贡献度分数排序,保留贡献度分数最高的k
个节点,更新节点之间的连接关系。将归一化之后的节点贡献度作为权重因子。第三步,
在的指导下,将第一步与第二步输出的拓扑特征相乘,完成拓扑特征的优化更新。即为
GCpooling模块的输出。
注意力机制在传统基于卷积神经网络的识别任务中取得了较好的实验效果。由于电磁环境、组成材料和反射角度差异,空间目标不同部位散射点回波幅值差异大。利用散射拓扑特征完成空间目标分类的过程中,同类目标中的相似性特征、异类目标中的区分性特征均应赋予更高的分类权重。传统相邻节点贡献度计算为静态结构,所有节点具有相同的贡献属性。然而在实际应用中,节点之间的相互作用更复杂,节点间的亲和度、邻居节点特征向量的不同使得不同节点具有不同的贡献排名。在一些实施例中,所述Gwt模块用于增强主要散射点对空间目标分类结果的特征贡献度;
所述Gwt模块的计算过程如下,设邻居节点的特征对节点具有较大影响,节点
贡献重要性度量与增强后的节点特征定义为:
其中,i、j为节点序数,代表未经加权增强处理的特征,为节点贡献重要
性度量,表示tanh激活函数,j'为求和时的变量,表示与节点i相关的邻居节点个数,||
表示特征拼接处理,表示LeakyReLU激活函数,T表示矩阵转置,W为相应的权重
矩阵,是模块内可学习的超参数,在模型训练过程中,逐步优化趋近于最优值。
图卷积网络在处理散射拓扑特征的过程中,浅层的节点特征不可避免会存在丢失现象。深层拓扑主要包括用于空间目标识别的语义特征,浅层拓扑同样包含较多利于提升分类效果的重要信息。实验发现,经由图卷积神经网络处理后的分层特征囊括的信息存在一定差异。若直接将直接提取到的浅层拓扑与卷积处理后的特征参量相连,可能造成部分高区分性特征混叠。本申请设计了Adaptive Mix模块,实现节点拓扑与分层特征的自适应融合,在一些实施例中,所述Adaptive Mix模块的自适应融合比例因子满足:
其中,为随机初始化的权重因子,其值可在图神经网络训练过程中向着梯
度优化的方向迭代更新,最后收敛到最优的融合权值,Sigmoid(*)为激活函数;
所述Adaptive Mix模块通过如下方式实现自适应融合处理:
式中,表示模块输出,表示模块输入。
最后,利用散射拓扑特征数据训练,训练得到权重模型,在一些具体示例中,基于前述构建的增量识别数据集开展。一些应用中,ISAR图像尺度为512×512,图像内包含少量噪声。使用随机梯度下降方法优化模型,学习率从0.1开始,并结合余弦退火学习率衰减变化。损失函数采用NLL Loss,不使用数据增强策略。模型训练轮数为60,动量因子设置为0.9。算法设计使用pytorch1.11架构,训练与测试均基于相同的实验环境。实验平台基于一个GPU RTX3090,cuda11.3以及内存为120G的Intel i9-9820搭建。
模型训练过程中损失函数变化,当损失函数收敛到最小值且未出现大幅度下降时停止训练。经实验测试,设置总训练轮数为60次时得到最优的识别结果。训练完成后,保存算法所得权重模型。
加载训练所得权重模型,进行算法识别效果验证,可以使用测试数据集评估算法的增量识别效果。
现有算法基于图像识别算法改进,针对结构化的图形矩阵设计特征嵌入网络。模型参数多,训练复杂度高。针对常规卷积神经网络难以处理非欧式的拓扑图数据的问题,本申请提出基于图卷积的少样本增量识别模型。该模型针对非结构化的图数据设计,模型简单参数量小,具有较好的特征提取能力。轻量化的模型利于后续算法的移动端部署。
真实情况下未知的新类别持续出现。识别模型应在识别新类别的同时,保持对旧类别的可分辨性。现有算法识别效果严重依赖大量标注样本训练,尚未形成对未知类别的特征学习能力。针对这一问题,本申请从少样本增量识别算法的思路出发,利用已经获取到的基类数据构造伪增量数据辅助训练,使训练后的算法可有效辨别未知目标的特征,同时有效缓解了灾难性遗忘问题,提升了算法对未知类的兼容性。
本申请利用G-bdo模块处理第一个Gwt模块输出的散射拓扑特征。G-bdo模块能够在扩张特征维度的同时,较好地传递与融合相邻节点的特征。将G-bdo模块添加在第一层卷积后,利于更清晰地刻画空间目标散射点的全局特征及边界乘积之间的欧几里得特征度量。
空间目标散射点分布具有较高的非均匀性。本申请提取到的重要散射点中,既包含内部节点,同样包含边缘节点。提出的G-bdo模块可以自由处理非线性关系并充分表征独立性。无需密度建模,在综合考虑联合分布与边缘分布的情况下,可实现内部散射点与边缘散射点特征的综合分析计算。所建立的散射拓扑图数据通过G-bdo模块处理后,内部节点与边缘节点特征的交互性进一步增强,同时较好保留了各节点特征的独立性。因此,用优化后的G-bdo模块处理非结构化的散射拓扑图数据,实现空间目标少样本增量识别具有一定优越性。
本发明提出的空间目标增量识别方案结合布朗距离特征优化模块,在兼容了内部节点与边缘节点的联合特征分布与边际分布的情况下,获取类内相似度更高,类间区分度更好的拓扑特征优化算法鲁棒性,实现了稳定性和可塑性的更好平衡。本发明提出的少样本增量识别模型具备优越的计算能力,并能以高效策略迅速适应未知的新类数据,具有较高的应用价值。
本申请实施例还提出一种基于图卷积的空间目标少样本增量识别系统,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的基于图卷积的空间目标少样本增量识别方法的步骤。
需要说明的是,在本申各实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本申请的保护之内。
Claims (8)
1.一种基于图卷积的空间目标少样本增量识别方法,其特征在于,包括如下步骤:
获取ISAR图像数据作为输入,提取所获取的ISAR图像数据中的空间目标散射特征;
根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集;
从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类;
将虚拟的增量类与所述少样本基础类数据集合并,以训练增量目标识别模型,其中所述增量目标识别模型包括串行连接的三个图卷积层(Gconv)与图贡献率池化模块(GCpooling),以用于散射拓扑图数据中的节点特征的传播以及特征提取,其中每个图卷积块之间使用节点加权模块(Graph weighted layer,Gwt)增强主要节点的权重;
将训练后的增量目标识别模型用于空间目标识别。
2.如权利要求1所述的基于图卷积的空间目标少样本增量识别方法,其特征在于,提取所获取的ISAR图像数据中的空间目标散射特征包括:
利用Shi-Tomasi角点检测算法提取空间目标散射点;
利用局部搜索对散射点数进行寻优,并设定检测所得最大散射点数;
对检测获得的散射点进行编码、保存。
3.如权利要求2所述的基于图卷积的空间目标少样本增量识别方法,其特征在于,根据提取的空间目标散射特征建立拓扑关系,并根据所建立的拓扑关系划分少样本基础类数据集以及少样本增量类数据集包括:
利用Delaunay算法处理检测获得的散射点;
将处理后的散射点作为顶点,在满足“最大-最小角”优化准则的条件下,利用散射点空间位置关系进行三角剖分,将三角剖分后所得各三角形的边作为散射点之间的连接关系;
将检测获得的散射点作为节点,将散射点之间的连接关系作为边,构建拓扑关系;
按照设定的比例划分少样本基础类数据集以及少样本增量类数据集。
4.如权利要求1所述的基于图卷积的空间目标少样本增量识别方法,其特征在于,从所述少样本基础类数据集中、每次抽取两个不同类别的数据,并进行融合,以作为虚拟的增量类包括:
从所述少样本基础类数据集中、每次随机抽取两个不同类别的数据;
将抽取的两个不同类别的数据,通过如下方式融合:
其中,/>为函数运算,用于处理x特征并进行拟合,为Beta分布中的采样值,z表示抽取数据融合后得到的特征,以及相应的标签,G表示数据融合。
5.如权利要求1所述的基于图卷积的空间目标少样本增量识别方法,其特征在于,所述增量目标识别模型还包括自适应加权融合模块(Adaptive Mix);
所述增量目标识别模型具体用于:
将经过第一个Gconv+GCpooling处理后的拓扑特征D1,输入第一个Gwt模块;
经过Gwt模块与G-bdo模块优化后,输出的拓扑特征D1’作为第一个Adaptive Mix模块的输入;
拓扑特征D1’经过第二个Gconv+GCpooling处理后输出的特征与第一个Adaptive Mix模块输出的特征D2相加,作为第二个Gwt模块的输入;
将拓扑特征D1’以及第二个Gwt模块的输出D2’与第三个Gconv+GCpooling模块运算后的输出D3作为第二个Adaptive Mix模块的输入;
以利用第二个Gconv+Gcpooling的输出结合线性连接层与softmax识别特征,输出增量识别结果。
6.如权利要求5所述的基于图卷积的空间目标少样本增量识别方法,其特征在于,所述图贡献率池化模块对散射拓扑特征处理过程满足:
其中,/>表示节点及节点特征,tanh表示tanh激活函数,表示经图卷积运算后输出的散射拓扑特征,/>表示保留贡献度分数最高的k个节点,/>表示权重因子,是根据归一化之后的节点贡献度确定的,/>表示特征在/>的指导下相乘;
所述Gwt模块用于增强主要散射点对空间目标分类结果的特征贡献度;
所述Gwt模块的计算过程如下:
其中,i、j为节点序数,/>代表未经加权增强处理的特征,/>为节点贡献重要性度量,/>表示tanh激活函数,j'为求和时的变量,/>表示与节点i相关的邻居节点个数,||表示特征拼接处理,表示LeakyReLU激活函数,T表示矩阵转置,W为相应的权重矩阵,/>是模块内可学习的超参数。
7.如权利要求6所述的基于图卷积的空间目标少样本增量识别方法,其特征在于,所述Adaptive Mix模块的自适应融合比例因子满足:
其中,/>为随机初始化的权重因子,Sigmoid(*)为激活函数;
所述Adaptive Mix模块通过如下方式实现自适应融合处理:
式中,/>表示模块输出,/>表示模块输入。
8.一种基于图卷积的空间目标少样本增量识别系统,其特征在于,包括处理器和存储器,所述存储器上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于图卷积的空间目标少样本增量识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410062629.2A CN117746190A (zh) | 2024-01-16 | 2024-01-16 | 一种基于图卷积的空间目标少样本增量识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410062629.2A CN117746190A (zh) | 2024-01-16 | 2024-01-16 | 一种基于图卷积的空间目标少样本增量识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117746190A true CN117746190A (zh) | 2024-03-22 |
Family
ID=90252850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410062629.2A Pending CN117746190A (zh) | 2024-01-16 | 2024-01-16 | 一种基于图卷积的空间目标少样本增量识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117746190A (zh) |
-
2024
- 2024-01-16 CN CN202410062629.2A patent/CN117746190A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110598029B (zh) | 基于注意力转移机制的细粒度图像分类方法 | |
Du et al. | Semantic classification of urban buildings combining VHR image and GIS data: An improved random forest approach | |
CN110569901A (zh) | 一种基于通道选择的对抗消除弱监督目标检测方法 | |
CN105787501B (zh) | 输电线路走廊区域自动选择特征的植被分类方法 | |
Zhang et al. | Unsupervised difference representation learning for detecting multiple types of changes in multitemporal remote sensing images | |
CN108052966A (zh) | 基于卷积神经网络的遥感图像场景自动提取和分类方法 | |
Zhang et al. | A GANs-based deep learning framework for automatic subsurface object recognition from ground penetrating radar data | |
CN110633708A (zh) | 一种基于全局模型和局部优化的深度网络显著性检测方法 | |
CN111339935B (zh) | 一种基于可解释cnn图像分类模型的光学遥感图片分类方法 | |
Feng et al. | A cellular automata model based on nonlinear kernel principal component analysis for urban growth simulation | |
Wang et al. | A center location algorithm for tropical cyclone in satellite infrared images | |
Ding et al. | An improved ant colony algorithm for optimized band selection of hyperspectral remotely sensed imagery | |
Liu et al. | Survey of road extraction methods in remote sensing images based on deep learning | |
CN110210493A (zh) | 基于非经典感受野调制神经网络的轮廓检测方法及系统 | |
Barnes et al. | This looks like that there: Interpretable neural networks for image tasks when location matters | |
Alhichri et al. | Tile‐Based Semisupervised Classification of Large‐Scale VHR Remote Sensing Images | |
Moschos et al. | Classification of eddy sea surface temperature signatures under cloud coverage | |
Alburshaid et al. | Palm trees detection using the integration between gis and deep learning | |
Ouadiay et al. | Simultaneous object detection and localization using convolutional neural networks | |
Mansour et al. | Hierarchical SVM for Semantic Segmentation of 3D Point Clouds for Infrastructure Scenes | |
Jiang et al. | Automated detection of multitype landforms on mars using a light-weight deep learning-based detector | |
CN116664826A (zh) | 一种小样本点云语义分割方法 | |
CN117746190A (zh) | 一种基于图卷积的空间目标少样本增量识别方法及系统 | |
Hapsari | Weather classification based on hybrid cloud image using principal component analysis (PCA) and linear discriminant analysis (LDA) | |
Mahara et al. | Integrating Location Information as Geohash Codes in Convolutional Neural Network-Based Satellite Image Classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |