CN116486265A - 基于目标分割与图分类的飞机细粒度识别方法 - Google Patents
基于目标分割与图分类的飞机细粒度识别方法 Download PDFInfo
- Publication number
- CN116486265A CN116486265A CN202310468626.4A CN202310468626A CN116486265A CN 116486265 A CN116486265 A CN 116486265A CN 202310468626 A CN202310468626 A CN 202310468626A CN 116486265 A CN116486265 A CN 116486265A
- Authority
- CN
- China
- Prior art keywords
- graph
- target
- convolution
- features
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000011218 segmentation Effects 0.000 title claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 39
- 238000000547 structure data Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 239000013598 vector Substances 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000004807 localization Effects 0.000 claims description 7
- 230000004931 aggregating effect Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 239000012633 leachable Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于目标分割与图分类的飞机细粒度识别方法，包括：构建并训练基于Mask R‑CNN的目标定位与分割模型，对遥感图像中的飞机目标进行检测与分割；对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据；构建融合几何特征和卷积特征的图卷积神经网络模型；利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类，实现飞机目标的细粒度识别。通过实施本发明的上述方案，通过综合利用飞机目标的形状特征和部件特征提高飞机细粒度识别的精度。
Description
技术领域
本发明涉及遥感图像目标细粒度识别技术领域，尤其涉及一种基于目标分割与图分类的飞机细粒度识别方法。
背景技术
遥感图像飞机目标细粒度识别是遥感影像解译工作中的一个重要任务。受到深度学习技术在目标检测领域的影响，基于人工设计特征的传统检测和识别方法逐渐被具有强大特征提取能力的深度神经网络方法所替代，如Faster RCNN，Mask-RCNN等模型，使目标检测和分割任务在精度方面得到进一步提升。
然而目前的飞机目标细粒度识别仍然存在识别率低的问题。例如，中国专利CN115082801A公开的“一种基于遥感图像的飞机型号识别系统和方法”，其技术方案是先检测遥感图像中是否存在飞机目标，若存在飞机目标，则将检测飞机目标发送至细粒度分类模块进行识别。该方法将飞机作为一个整体进行二次识别，未进一步从部件级考虑精细特征。中国专利CN111274893A公开的“基于部件分割与特征融合的飞行器图像细粒度识别方法”通过关键点检测定位飞机部件，并通过提取部件特征对飞机进行细粒度识别。该方法未充分考虑部件间的空间关系。而飞机的形状和空间结构对细粒度识别具有重要作用，但现有方法尚且未能同时有效利用飞机的形状和部件特征。
发明内容
为解决上述现有技术存在的技术问题，本发明的目的在于提供一种基于目标分割与图分类的飞机细粒度识别方法，通过综合利用飞机目标的形状特征和部件特征提高飞机细粒度识别的精度。
为实现上述发明目的，本发明的技术方案是：
本发明实施例提供一种基于目标分割与图分类的飞机细粒度识别方法，包括：
构建并训练基于Mask R-CNN的目标定位与分割模型，对遥感图像中的飞机目标进行检测与分割；
对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据；
构建融合几何特征和卷积特征的图卷积神经网络模型；
利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类，实现飞机目标的细粒度识别。
根据本发明实施例的一个方面，所述基于Mask R-CNN的目标定位与分割模型包括：特征提取网络、多尺度特征融合网络、候选区域提取网络和目标定位与分割头，
所述候选区域提取网络为第一阶段检测器，用于生成目标候选区域；
所述目标定位与分割头为第二阶段检测器，用于对目标候选区域进行分类和边界框回归，并生成目标掩膜。
根据本发明实施例的一个方面，所述特征提取网络为Resnet50，所述多尺度特征融合网络为FPN，所述候选区域提取网络为RPN，所述目标定位与分割头为Mask R-CNNHead。
根据本发明实施例的一个方面，所述训练基于Mask R-CNN的目标定位与分割模型，包括：
将任意大小的遥感图像及标注的目标边界框与目标掩膜输入基于Mask R-CNN的目标定位与分割模型，所述特征提取网络提取遥感图像的特征，所述多尺度特征融合网络对该特征进行融合；
所述候选区域提取网络将所述多尺度特征融合网络输出的不同层次的特征图作为输入，为每个层次的特征图附加一个相同结构的预测头；
为所有层次的特征图中每个目标的空间位置分配水平锚框，输出候选区域的边界框相对于锚框的偏移量，生成一组稀疏的目标候选区域的边界框，并估计每个目标候选区域的目标得分；
将所述目标候选区域的边界框和所述特征图输入所述目标定位与分割头，使用边界框对齐将目标候选区域对应的特征图映射到固定尺寸，并分别将固定尺寸的特征图输入至全连接层和全卷积网络，其中，全连接层输出目标候选区域属于飞机类别或背景类别的概率以及目标候选区域边界框相对于目标边界框的偏移量，全卷积网络输出飞机目标掩膜。
根据本发明实施例的一个方面，所述对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据，包括：
采用OpenCV的轮廓提取函数提取飞机目标掩膜的外轮廓点集，采用Douglas-Peucker算法对外轮廓点集进行多边形拟合，输出多边形的顶点坐标；
将顶点间的线段作为节点，提取飞机轮廓多边形的几何特征和轮廓多边形的线段对应部件的卷积特征，作为节点的属性；
根据线段间的连接关系判断节点是否邻接构建描述飞机轮廓形状和结构的图结构数据，同时将图按照飞机实例的细粒度类别进行标注。
根据本发明实施例的一个方面，所述提取飞机轮廓多边形的几何特征，包括：
提取飞机轮廓多边形的局部结构特征，所述局部结构特征包含边界线段的长度及边界线段与图像垂直轴的顺时针夹角；
对边界线段的长度及边界线段与图像垂直轴的顺时针夹角进行归一化；
提取飞机轮廓多边形的整体结构特征，所述整体结构特征包含飞机轮廓多边形的中心点O与各边界线段中心点P间线段OP的长度及相邻线段OPi与OPj间的逆时针夹角；
对飞机轮廓多边形的中心点O与各边界线段中心点P间线段OP的长度及相邻线段OPi与OPj间的逆时针夹角进行归一化；
由所述局部结构特征和整体结构特征的归一化结果得到飞机轮廓多边形的几何特征。
根据本发明实施例的一个方面，所述提取飞机轮廓多边形的卷积特征，包括：
计算多边形线段与多边形中心点构成的三角形区域的外接矩形，并作为部件区域的外接矩形；
将部件区域外接矩形映射到基于Mask R-CNN的目标定位与分割模型中FPN输出的特征图上，并使用边界框对齐将部件区域对应的特征图映射到固定尺寸，经过全连接层后，将一维特征向量作为多边形线段对应部件的卷积特征f2∈RF，F表示卷积特征向量的长度。
根据本发明实施例的一个方面，所述图卷积神经网络模型包含图卷积模型和图分类模型。
根据本发明实施例的一个方面，所述图卷积模型由四个图卷积层和一个特征聚合层构成，所述图卷积层用于聚合和更新图中的各节点特征，每个所述图卷积层聚合一阶邻域内节点的特征；所述特征聚合层用于聚合所有节点特征，生成整张图的特征向量；
所述图分类模型通过多层感知机对所述特征向量进行分类。
根据本发明实施例的一个方面，所述利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类，包括：
通过线性变换将节点的几何特征和卷积特征转化为更高层次的特征，其中的变换矩阵是可学习的共享参数矩阵；
对变换后的特征计算图上的卷积，实现节点的几何特征和卷积特征的聚合与更新；
图卷积层之后，采用向量拼接的方式将每个节点中的几何特征和卷积特征拼接成一个向量，将整张图里所有节点的特征通过计算平均值的方式聚合成整张图的特征向量；
利用所述图结构数据训练所述图分类模型；
将训练好的Mask-RCNN模型和所述图分类模型级联，所述Mask-RCNN模型分割出飞机目标的掩膜，所述图分类模型在分割出的掩膜上构建图结构数据，将所述特征向量传给多层感知机得到图分类输出，实现飞机目标的细粒度识别。
与现有技术相比，本发明具有以下有益效果：
根据本发明实施例的方案，通过构建表示飞机形状和空间结构的图结构数据，综合利用了飞机的形状特征和部件关系，并通过多特征融合的方式实现图分类，提升了飞机局部特征与整体特征的表达能力。同时将Mask RCNN与图神经网络结合，先对飞机目标进行检测和分割，再通过轮廓提取和多边形拟合等方法构建每个飞机实例的图表示，最后融合飞机轮廓多边形的几何特征和对应部件的卷积特征进行图分类，提升了整个模型的判别与细粒度识别能力。从而最终有效提升飞机目标细粒度识别精度。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性表示本发明实施例公开的一种基于目标分割与图分类的飞机细粒度识别方法的流程图；
图2示意性表示本发明实施例公开的飞机目标的检测与分割以及飞机轮廓多边形的提取过程；
图3示意性表示本发明实施例公开的飞机轮廓多边形的局部结构特征提取过程；
图4示意性表示本发明实施例公开的飞机轮廓多边形的整体结构特征提取过程；
图5示意性表示本发明实施例公开的飞机轮廓多边形对应部件区域的卷积特征提取过程。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
如图1所示，本发明实施例公开一种基于目标分割与图分类的飞机细粒度识别方法，包括以下步骤：
S110、构建并训练基于Mask R-CNN的目标定位与分割模型，对遥感图像中的飞机目标进行检测与分割；
S120、对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据；
S130、构建融合几何特征和卷积特征的图卷积神经网络模型；
S140、利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类，实现飞机目标的细粒度识别。
本实施例中，所述S110中构建的基于Mask R-CNN的目标定位与分割模型包括：特征提取网络、多尺度特征融合网络、候选区域提取网络和目标定位与分割头。其中，所述候选区域提取网络为第一阶段检测器，用于生成目标候选区域。所述目标定位与分割头为第二阶段检测器，用于对目标候选区域进行分类和边界框回归，并生成目标掩膜。
根据本发明的一个实施例，所述特征提取网络采用Resnet50，所述多尺度特征融合网络采用FPN，所述候选区域提取网络采用RPN，所述目标定位与分割头采用Mask R-CNNHead。
本实施例中，所述S110中训练基于Mask R-CNN的目标定位与分割模型的具体实施过程，包括以下步骤：对任意大小的遥感图像中的飞机目标进行掩膜和细粒度类别标注(以目标边界框的形式标注)，构建用于训练基于Mask R-CNN的目标定位与分割模型的图像数据集。将该图像数据集输入基于Mask R-CNN的目标定位与分割模型，所述特征提取网络提取遥感图像的特征，所述多尺度特征融合网络对该特征进行融合。所述候选区域提取网络将所述多尺度特征融合网络输出的不同层次的特征图作为输入，为每个层次的特征图附加一个相同结构的预测头。为所有层次的特征图中每个目标的空间位置分配水平锚框，输出候选区域的边界框相对于锚框的偏移量，生成一组稀疏的目标候选区域的边界框，并估计每个目标候选区域的目标得分。将所述目标候选区域的边界框和所述特征图输入所述目标定位与分割头，使用边界框对齐将目标候选区域对应的特征图映射到固定尺寸，并分别将固定尺寸的特征图输入至全连接层和全卷积网络，其中，全连接层输出目标候选区域属于飞机类别或背景类别的概率以及目标候选区域边界框相对于目标边界框的偏移量，全卷积网络输出飞机目标掩膜。
本实施例中，采用上述图像数据集联合优化第一阶段检测器RPN和第二阶段检测器Mask R-CNN Head，实现端到端训练。然后采用训练好的基于Mask R-CNN的目标定位与分割模型对图像数据集中的飞机目标进行检测与分割，输出飞机目标的边界框和分割掩膜mask，如图2所示。
示例性的，Resnet50以步长2,4,8,16,32提取卷积特征，并输出5种尺寸的特征图，FPN对Resnet50提取的特征图进行多尺度融合，输出的五个尺寸的特征为{FP2,FP3,FP4,FP5,FP6}。所述RPN为第一阶段检测器，用于生成目标候选区域。RPN将FPN输出的特征{FP2,FP3,FP4,FP5,FP6}作为输入，并在每个尺寸的特征上附加一个检测头，该检测头通过回归和分类输出目标候选区域。所述Mask R-CNN Head为第二阶段检测器，用于对RPN输出的目标候选区域进行分类和边界框回归，并生成目标掩膜。Mask R-CNN Head将所述目标候选区域的边界框和所述FPN输出的特征图{FP2,FP3,FP4,FP5}作为输入，首先使用边界框对齐方法将目标候选区域对应的特征图映射到固定尺寸，然后分别将固定尺寸的特征图输入至全连接层和全卷积网络，全连接层通过分类和回归输出飞机目标的检测和定位结果，全卷积网络输出飞机目标的掩膜。
本实施例中，所述S120中所述对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据，即根据基于Mask R-CNN的目标定位与分割结果构建图上每个飞机实例的图结构数据的具体实施过程，包括以下步骤：采用OpenCV的轮廓提取函数提取飞机目标掩膜的外轮廓点集，采用Douglas-Peucker算法对外轮廓点集进行多边形拟合，输出多边形的顶点坐标，即通过对每个飞机目标掩膜mask进行轮廓提取和多边形拟合，输出飞机轮廓多边形，上述整个过程如图2所示。将顶点间的线段作为节点，提取飞机轮廓多边形的几何特征和轮廓多边形的线段对应部件的卷积特征，作为节点的属性；根据线段间的连接关系判断节点是否邻接构建描述飞机轮廓形状和结构的图结构数据，同时将图按照飞机实例的细粒度类别进行标注。
具体的，所述提取飞机轮廓多边形的几何特征的实施过程，包括以下步骤：如图3所示，提取飞机轮廓多边形的局部结构特征，所述局部结构特征包含边界线段的长度及边界线段与图像垂直轴的顺时针夹角，具体通过多边形顶点坐标计算边界线段的长度ll，将边界线段表示为向量，计算该向量与图像垂直轴的顺时针夹角θl。对边界线段的长度及边界线段与图像垂直轴的顺时针夹角进行归一化处理，使得局部结构特征具有平移，缩放和旋转不变性。边界线段的长度ll和顺时针夹角θl的归一化公式为：
其中，L为轮廓多边形的周长。
如图4所示，提取飞机轮廓多边形的整体结构特征，所述整体结构特征包含飞机轮廓多边形的中心点O与各边界线段中心点P间线段OP的长度及相邻线段OPi与OPj间的逆时针夹角，具体通过对飞机轮廓多边形顶点横纵坐标分别取均值计算中心点O，然后计算中心点O与各线段中心点P之间线段OP的长度lg，再计算相邻线段OPi与OPj间的逆时针夹角θg，例如图4中OP3和OP4间的夹角。对飞机轮廓多边形的中心点O与各边界线段中心点P间线段OP的长度及相邻线段OPi与OPj间的逆时针夹角进行归一化处理：
其中，S为所有线段OPi的长度和。
后由上述局部结构特征和整体结构特征的归一化结果得到飞机轮廓多边形的几何特征。具体的，该几何特征为f1＝[llnorm,θlnorm,lgnorm,θgnorm]。
具体的，所述提取飞机轮廓多边形的卷积特征的实施过程，包括以下步骤：如图5所示，首先计算多边形线段与多边形中心点O构成的三角形区域，然后计算该三角形区域的外接矩形作为部件区域的外接矩形，例如图5中灰色区域作为部件区域的外接矩形。将部件区域外接矩形映射到基于Mask R-CNN的目标定位与分割模型中FPN输出的特征图上，并使用边界框对齐将部件区域对应的特征图映射到固定尺寸，例如7×7×256，经过全连接层后，将一维特征向量作为多边形线段对应部件的卷积特征f2∈RF，F表示卷积特征向量的长度，本实施例中的卷积特征向量的长度为1024。
本实施例中，所述S130中所述构建的图卷积神经网络模型包含图卷积模型和图分类模型两部分。本实施例中，图卷积模型部分由四个图卷积层和一个特征聚合层构成，其中，图卷积层用于聚合和更新图中的各节点特征，每个图卷积层只聚合一阶邻域内节点的特征；特征聚合层用于聚合所有节点特征进而生成整张图的特征向量。图分类模型部分通过多层感知机对该特征向量进行分类，实现飞机目标的细粒度识别。
进一步地，所述S140中所述利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类的具体实施过程，包括：
构建图卷积层：通过线性变换W1f1和W2f2分别将节点的几何特征f1和卷积特征f2转化为更高层次的特征，其中，变换矩阵W1∈RF′×4和W2∈RF′×F是两个可学习的共享参数矩阵，本实施例中F′的取值为256。
对于变换后的特征，根据以下公式计算图上的卷积，实现节点i的几何特征和卷积特征的聚合与更新：
其中，f1′和f2′是节点i更新后的特征，ReLU(·)＝max(0，·)为非线性激活函数，Ni表示节点i的邻域，j表示邻域Ni内的节点，αij为节点的度；
计算整图表示：图卷积层之后，采用向量拼接的方式将每个节点中的几何特征和卷积特征拼接成一个向量f′＝f1′||f2′，然后将一张图里所有节点的特征通过计算平均值的方式聚合成整张图G的图表示，即用以下特征向量表示：
其中，fG是图G的特征向量表征，N是图G中节点的集合，fi′是节点i的特征。
采用图结构数据训练图分类模型，训练过程中采用交叉熵损失函数，批次大小为256，优化器为Adam SGD，初始学习率设置为0.001。
在线检测时，将训练好的Mask-RCNN模型和图分类模型级联，Mask-RCNN模型用于分割出飞机目标的掩膜，图分类模型用于在分割出的掩膜上构建图结构数据，将上述特征向量fG传给多层感知机进行分类，获得图分类输出，实现飞机目标的细粒度识别。
根据本实施例公开的上述方案，通过构建表示飞机形状和空间结构的图结构数据，综合利用了飞机的形状特征和部件关系，并通过多特征融合的方式实现图分类，提升了飞机局部特征与整体特征的表达能力。同时将Mask RCNN与图神经网络结合，先对飞机目标进行检测和分割，再通过轮廓提取和多边形拟合等方法构建每个飞机实例的图表示，最后融合飞机轮廓多边形的几何特征和对应部件的卷积特征进行图分类，提升了整个模型的判别与细粒度识别能力。从而最终有效提升飞机目标细粒度识别精度。
对于本发明的方法所涉及的上述各个步骤的序号并不意味着方法执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明的实施方式的实施过程构成任何限定。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。
Claims (10)
1.一种基于目标分割与图分类的飞机细粒度识别方法，包括：
构建并训练基于Mask R-CNN的目标定位与分割模型，对遥感图像中的飞机目标进行检测与分割；
对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据；
构建融合几何特征和卷积特征的图卷积神经网络模型；
利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类，实现飞机目标的细粒度识别。
2.根据权利要求1所述的方法，其特征在于，所述基于Mask R-CNN的目标定位与分割模型包括：特征提取网络、多尺度特征融合网络、候选区域提取网络和目标定位与分割头，
所述候选区域提取网络为第一阶段检测器，用于生成目标候选区域；
所述目标定位与分割头为第二阶段检测器，用于对目标候选区域进行分类和边界框回归，并生成目标掩膜。
3.根据权利要求2所述的方法，其特征在于，所述特征提取网络为Resnet50，所述多尺度特征融合网络为FPN，所述候选区域提取网络为RPN，所述目标定位与分割头为Mask R-CNN Head。
4.根据权利要求2所述的方法，其特征在于，所述训练基于Mask R-CNN的目标定位与分割模型，包括：
将任意大小的遥感图像及标注的目标边界框与目标掩膜输入基于Mask R-CNN的目标定位与分割模型，所述特征提取网络提取遥感图像的特征，所述多尺度特征融合网络对该特征进行融合；
所述候选区域提取网络将所述多尺度特征融合网络输出的不同层次的特征图作为输入，为每个层次的特征图附加一个相同结构的预测头；
为所有层次的特征图中每个目标的空间位置分配水平锚框，输出候选区域的边界框相对于锚框的偏移量，生成一组稀疏的目标候选区域的边界框，并估计每个目标候选区域的目标得分；
将所述目标候选区域的边界框和所述特征图输入所述目标定位与分割头，使用边界框对齐将目标候选区域对应的特征图映射到固定尺寸，并分别将固定尺寸的特征图输入至全连接层和全卷积网络，其中，全连接层输出目标候选区域属于飞机类别或背景类别的概率以及目标候选区域边界框相对于目标边界框的偏移量，全卷积网络输出飞机目标掩膜。
5.根据权利要求4所述的方法，其特征在于，所述对分割出的飞机目标掩膜通过轮廓提取和多边形拟合提取轮廓多边形，将轮廓多边形的线段作为节点，将线段的几何特征和线段对应部件的卷积特征作为节点属性，并根据线段间的空间关系构建图结构数据，包括：
采用OpenCV的轮廓提取函数提取飞机目标掩膜的外轮廓点集，采用Douglas-Peucker算法对外轮廓点集进行多边形拟合，输出多边形的顶点坐标；
将顶点间的线段作为节点，提取飞机轮廓多边形的几何特征和轮廓多边形的线段对应部件的卷积特征，作为节点的属性；
根据线段间的连接关系判断节点是否邻接构建描述飞机轮廓形状和结构的图结构数据，同时将图按照飞机实例的细粒度类别进行标注。
6.根据权利要求5所述的方法，其特征在于，所述提取飞机轮廓多边形的几何特征，包括：
提取飞机轮廓多边形的局部结构特征，所述局部结构特征包含边界线段的长度及边界线段与图像垂直轴的顺时针夹角；
对边界线段的长度及边界线段与图像垂直轴的顺时针夹角进行归一化；
提取飞机轮廓多边形的整体结构特征，所述整体结构特征包含飞机轮廓多边形的中心点O与各边界线段中心点P间线段OP的长度及相邻线段OPi与OPj间的逆时针夹角；
对飞机轮廓多边形的中心点O与各边界线段中心点P间线段OP的长度及相邻线段OPi与OPj间的逆时针夹角进行归一化；
由所述局部结构特征和整体结构特征的归一化结果得到飞机轮廓多边形的几何特征。
7.根据权利要求6所述的方法，其特征在于，所述提取飞机轮廓多边形的卷积特征，包括：
计算多边形线段与多边形中心点构成的三角形区域的外接矩形，并作为部件区域的外接矩形；
将部件区域外接矩形映射到基于Mask R-CNN的目标定位与分割模型中FPN输出的特征图上，并使用边界框对齐将部件区域对应的特征图映射到固定尺寸，经过全连接层后，将一维特征向量作为多边形线段对应部件的卷积特征f2∈RF，F表示卷积特征向量的长度。
8.根据权利要求7所述的方法，其特征在于，所述图卷积神经网络模型包含图卷积模型和图分类模型。
9.根据权利要求8所述的方法，其特征在于，所述图卷积模型由四个图卷积层和一个特征聚合层构成，所述图卷积层用于聚合和更新图中的各节点特征，每个所述图卷积层聚合一阶邻域内节点的特征；所述特征聚合层用于聚合所有节点特征，生成整张图的特征向量；
所述图分类模型通过多层感知机对所述特征向量进行分类。
10.根据权利要求9所述的方法，其特征在于，所述利用所述图结构数据训练所述图卷积神经网络模型，对描述飞机形状特征和部件特征的图结构进行整图分类，包括：
通过线性变换将节点的几何特征和卷积特征转化为更高层次的特征，其中的变换矩阵是可学习的共享参数矩阵；
对变换后的特征计算图上的卷积，实现节点的几何特征和卷积特征的聚合与更新；
图卷积层之后，采用向量拼接的方式将每个节点中的几何特征和卷积特征拼接成一个向量，将整张图里所有节点的特征通过计算平均值的方式聚合成整张图的特征向量；
利用所述图结构数据训练所述图分类模型；
将训练好的Mask-RCNN模型和所述图分类模型级联，所述Mask-RCNN模型分割出飞机目标的掩膜，所述图分类模型在分割出的掩膜上构建图结构数据，将所述特征向量传给多层感知机得到图分类输出，实现飞机目标的细粒度识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310468626.4A CN116486265B (zh) | 2023-04-26 | 2023-04-26 | 基于目标分割与图分类的飞机细粒度识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310468626.4A CN116486265B (zh) | 2023-04-26 | 2023-04-26 | 基于目标分割与图分类的飞机细粒度识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486265A true CN116486265A (zh) | 2023-07-25 |
| CN116486265B CN116486265B (zh) | 2023-12-19 |
Family
ID=87222865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310468626.4A Active CN116486265B (zh) | 2023-04-26 | 2023-04-26 | 基于目标分割与图分类的飞机细粒度识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486265B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110222638A (zh) * | 2019-06-05 | 2019-09-10 | 西安电子科技大学 | 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法 |
| US20200285944A1 (en) * | 2019-03-08 | 2020-09-10 | Adobe Inc. | Graph convolutional networks with motif-based attention |
| CN111862115A (zh) * | 2020-07-10 | 2020-10-30 | 武汉善睐科技有限公司 | 一种基于Mask RCNN遥感影像分割方法 |
| CN111985376A (zh) * | 2020-08-13 | 2020-11-24 | 湖北富瑞尔科技有限公司 | 一种基于深度学习的遥感影像舰船轮廓提取方法 |
| CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
| WO2021051601A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 |
| CN113139501A (zh) * | 2021-05-12 | 2021-07-20 | 深圳市七诚科技有限公司 | 一种联合局部区域检测与多级特征抓取的行人多属性识别方法 |
| CN113191361A (zh) * | 2021-04-19 | 2021-07-30 | 苏州大学 | 一种形状识别方法 |
| CN114266889A (zh) * | 2020-09-15 | 2022-04-01 | 新加坡依图有限责任公司(私有) | 图像识别方法及其装置、可读介质和电子设备 |
| US20220343537A1 (en) * | 2021-04-15 | 2022-10-27 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| CN115272882A (zh) * | 2022-08-03 | 2022-11-01 | 山东省国土测绘院 | 一种基于遥感影像的离散建筑物检测方法及系统 |
| CN115564785A (zh) * | 2022-09-05 | 2023-01-03 | 吉林大学 | 一种基于Snake方法的肝脏肿瘤图像分割方法及系统 |
| CN115908908A (zh) * | 2022-11-14 | 2023-04-04 | 北京卫星信息工程研究所 | 基于图注意力网络的遥感图像聚集型目标识别方法及装置 |
-
2023
- 2023-04-26 CN CN202310468626.4A patent/CN116486265B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200285944A1 (en) * | 2019-03-08 | 2020-09-10 | Adobe Inc. | Graph convolutional networks with motif-based attention |
| CN110222638A (zh) * | 2019-06-05 | 2019-09-10 | 西安电子科技大学 | 一种基于素描图候选框策略和Fast R-CNN的飞机目标检测方法 |
| WO2021051601A1 (zh) * | 2019-09-19 | 2021-03-25 | 平安科技（深圳）有限公司 | 利用Mask R-CNN选择检测框的方法及系统、电子装置及存储介质 |
| CN111862115A (zh) * | 2020-07-10 | 2020-10-30 | 武汉善睐科技有限公司 | 一种基于Mask RCNN遥感影像分割方法 |
| CN111985376A (zh) * | 2020-08-13 | 2020-11-24 | 湖北富瑞尔科技有限公司 | 一种基于深度学习的遥感影像舰船轮廓提取方法 |
| CN114266889A (zh) * | 2020-09-15 | 2022-04-01 | 新加坡依图有限责任公司(私有) | 图像识别方法及其装置、可读介质和电子设备 |
| CN112132818A (zh) * | 2020-09-29 | 2020-12-25 | 北京航空航天大学 | 基于图卷积神经网络构建三阶段的图像处理方法 |
| US20220343537A1 (en) * | 2021-04-15 | 2022-10-27 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| CN113191361A (zh) * | 2021-04-19 | 2021-07-30 | 苏州大学 | 一种形状识别方法 |
| CN113139501A (zh) * | 2021-05-12 | 2021-07-20 | 深圳市七诚科技有限公司 | 一种联合局部区域检测与多级特征抓取的行人多属性识别方法 |
| CN115272882A (zh) * | 2022-08-03 | 2022-11-01 | 山东省国土测绘院 | 一种基于遥感影像的离散建筑物检测方法及系统 |
| CN115564785A (zh) * | 2022-09-05 | 2023-01-03 | 吉林大学 | 一种基于Snake方法的肝脏肿瘤图像分割方法及系统 |
| CN115908908A (zh) * | 2022-11-14 | 2023-04-04 | 北京卫星信息工程研究所 | 基于图注意力网络的遥感图像聚集型目标识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 勇者无敌: "Mask RCNN学习笔记", pages 1 - 8, Retrieved from the Internet <URL:https://www.cnblogs.com/wangyong/p/10614898.html> * |
| 瑚敏君 等: "基于实例分割模型的建筑物自动提取", 《测绘通报》, no. 4, pages 16 - 20 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486265B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021249575A1 (zh) | 一种变电作业场景的区域语义学习与地图点标识方法 | |
| Lian et al. | Road extraction methods in high-resolution remote sensing images: A comprehensive review | |
| CN110363122B (zh) | 一种基于多层特征对齐的跨域目标检测方法 | |
| CN110097568B (zh) | 一种基于时空双分支网络的视频对象检测与分割方法 | |
| WO2018108129A1 (zh) | 用于识别物体类别的方法及装置、电子设备 | |
| WO2022000838A1 (zh) | 基于马尔可夫随机场的远程塔台视频目标挂标牌方法 | |
| WO2018107979A1 (zh) | 一种基于级联回归的多姿态的人脸特征点检测方法 | |
| CN113673425B (zh) | 一种基于Transformer的多视角目标检测方法及系统 | |
| CN111160407B (zh) | 一种深度学习目标检测方法及系统 | |
| CN110633632A (zh) | 一种基于循环指导的弱监督联合目标检测和语义分割方法 | |
| JP7439153B2 (ja) | 全方位場所認識のためのリフトされたセマンティックグラフ埋め込み | |
| CN109446894B (zh) | 基于概率分割及高斯混合聚类的多光谱图像变化检测方法 | |
| Chen et al. | Corse-to-fine road extraction based on local Dirichlet mixture models and multiscale-high-order deep learning | |
| CN113158943A (zh) | 一种跨域红外目标检测方法 | |
| CN110443279B (zh) | 一种基于轻量级神经网络的无人机图像车辆检测方法 | |
| CN115222884A (zh) | 一种基于人工智能的空间对象分析及建模优化方法 | |
| CN113743251B (zh) | 一种基于弱监督场景的目标搜索方法及装置 | |
| CN112069997B (zh) | 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置 | |
| CN116486238B (zh) | 联合点集表示与图分类的目标细粒度识别方法 | |
| CN116486265B (zh) | 基于目标分割与图分类的飞机细粒度识别方法 | |
| Fan et al. | Siamese graph convolution network for face sketch recognition: an application using graph structure for face photo-sketch recognition | |
| CN116433959A (zh) | 基于可见光与红外卫星图像融合的地物分类方法 | |
| CN114359493B (zh) | 一种用于无人船生成三维语义地图的方法和系统 | |
| CN113514053B (zh) | 生成样本图像对的方法、装置和更新高精地图的方法 | |
| Korobov et al. | Parameters optimization method of the information-extreme object recognition system on the terrain |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |