CN116563680B - 基于高斯混合模型的遥感图像特征融合方法、电子设备 - Google Patents
基于高斯混合模型的遥感图像特征融合方法、电子设备 Download PDFInfo
- Publication number
- CN116563680B CN116563680B CN202310493846.2A CN202310493846A CN116563680B CN 116563680 B CN116563680 B CN 116563680B CN 202310493846 A CN202310493846 A CN 202310493846A CN 116563680 B CN116563680 B CN 116563680B
- Authority
- CN
- China
- Prior art keywords
- feature
- gaussian mixture
- remote sensing
- sensing image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000203 mixture Substances 0.000 title claims abstract description 111
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000010586 diagram Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 15
- 230000009467 reduction Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 108010089143 GMM2 Proteins 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于高斯混合模型的遥感图像特征融合方法、电子设备，通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；利用融合特征图输入检测模型的检测头，进行遥感图像检测，计算分类、位置预测损失；重复执行上述步骤，训练检测模型；利用检测模型进行检测。本发明，提升了模型分类和定位出遥感图像中的感兴趣目标的能力，提高遥感图像目标定位准确性，提高模型检测能力。
Description
技术领域
本发明涉及遥感图像特征融合技术领域，尤其涉及一种基于高斯混合模型的遥感图像特征融合方法、电子设备。
背景技术
随着遥感技术的不断发展和卫星分辨率的不断提高，遥感图像的数量和分辨率也在不断增加，获取到的遥感图像数量呈指数级增长。遥感图像目标检测是指从卫星或航拍飞行器等远距离获取的遥感图像中，自动检测出感兴趣目标的过程。这项技术在很多领域都有广泛应用，比如农业、林业、城市规划、自然资源管理、环境监测等。遥感图像具有幅宽大，成像背景复杂，小目标数量众多的检测难题，因此如何高效地从大量遥感图像中检测出目标成为了一个重要的研究方向。目前常用的遥感图像目标检测技术包括传统的基于特征工程的方法和基于深度学习的方法。
传统的基于特征工程的方法需要手动提取图像中的特征，并采用机器学习算法对这些特征进行分类。这种方法虽然可以取得一定的效果，但是这种方法需要人工设计提取特征规则，难以处理复杂的遥感图像数据。
基于深度学习的方法则利用深度卷积神经网络(CNN)自动学习图像中的特征，并实现端到端的目标检测。这种方法具有很高的准确率和鲁棒性，且不需要手动提取特征，因此被广泛应用于遥感图像目标检测领域。
传统的目标检测算法难以满足对于大规模遥感图像的高效处理和准确识别的需求，因此基于深度学习的遥感图像目标检测算法成为了研究热点之一。同时，随着深度学习技术的不断发展，基于深度学习的方法也在不断改进和优化，比如引入注意力机制、多任务学习等技术，以提高检测的准确率。特征融合网络作为一种能够提高目标检测精度的方法，在遥感图像目标检测领域扮演着重要的角色。特征融合网络利用卷积神经网络(CNN)的特征提取能力，将多个不同层次和尺度的特征图进行融合，从而获得更加丰富和准确的目标信息。这种融合可以通过不同的方式实现，例如级联结构、特征金字塔和注意力机制等。特征融合网络可以在多个层次上融合特征，使得网络能够得到更全面的信息，通过构建特征融合网络的方式将传统特征融合方法应用于深度学习模型中，主要采用简单的加权求和或拼接等方式，将来自不同特征层的特征图合并为一个综合的特征图。
传统特征融合方法主要采用简单的加权求和或拼接等方式，将来自不同特征层的特征图合并为一个综合的特征图。但是，这种简单的特征融合方法存在一些不足之处。首先，不同特征层的特征图具有不同的分辨率和语义信息，简单的融合方式难以很好地利用它们之间的差异性和互补性。其次，上述方法为了实现特征融合操作，先后对在不同尺寸的特征图进行了降采样以及通道维数调整等方法，这造成了许多重要信息的丢失，此外，无论是通道相加还是维度拼接的操作，都是生硬的将两个特征点集以离散的方式简单相加，这使得融合后的特征图在分布描述上不具备连续函数的诸多优秀性质，上述问题均阻碍了现有遥感图像目标检测任务取得更好的性能。
发明内容
为解决上述现有技术中存在的技术问题，本发明的目的在于提供一种的基于高斯混合模型的遥感图像特征融合方法、电子设备，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
为实现上述发明目的，本发明提供一种基于高斯混合模型的遥感图像特征融合方法，包括以下步骤：
步骤S1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；
步骤S2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；
步骤S3、构建多个高斯混合模型拟合多特征图，获得每个高斯混合模型的参数；
步骤S4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；
步骤S5、利用所述步骤S4得到的融合特征图输入检测模型的检测头，进行遥感图像检测，计算分类损失以及位置预测损失；
步骤S6、重复执行步骤S1至S5，训练检测模型；
步骤S7、利用步骤S6得到的检测模型对遥感图像进行检测。
根据本发明的一个方面，在所述步骤S2中，具体包括：
步骤S21、构建特征融合网络；
步骤S22、利用特征融合网络接收不同层级的遥感图像特征图，对不同层级的遥感图像特征图进行融合操作，获得遥感图像目标的多特征图；
其中，不同层级的遥感图像图像至少包括浅层特征图、中层特征图、深层特征图，融合方式至少包括上采样、横向连接及维度拼接。
根据本发明的一个方面，在所述步骤S3中，具体包括：
步骤S31、利用降维方法对所述步骤S2获取的浅层特征图、中层特征图、深层特征图进行向量降维；
步骤S32、利用高斯混合模型拟合降维后的浅层特征图、中层特征图、深层特征图，获得多个相对应的高斯混合模型参数。
根据本发明的一个方面，在所述步骤S4中，具体包括：
步骤S41、对所述步骤S3中获得的多个代表浅层特征图、中层特征图、深层特征图的高斯混合模型进行加权平均融合，使得融合后的高斯分布个数为待融合模型的高斯子分布的总数，权重总和为1，均值以及方差按照权重进行归一化；
步骤S42、利用所述步骤S41中获得的融合后的高斯混合模型拟合所述步骤S2中原始特征拼接方法生成的融合特征图，优化模型参数；
步骤S43、利用所述步骤S42中参数优化后的模型进行数据生成，在特征向量聚类中心的周围随机生成特征点数据，扩充特征图信息维度；
步骤S44、对所述步骤S43生成的特征数据进行维度转换，并与所述步骤S2中原始特征拼接方法生成的融合特征图进行维度拼接，通过注意力机制筛选拼接后的大特征图的通道信息数。
根据本发明的一个方面，在所述步骤S22中，具体包括：
步骤S221、遍历步骤S21获取的浅层特征图、中层特征图、深层特征图，利用1*1卷积使得特征图通道数一致；
步骤S222、对步骤S221获得的通道数一致的特征图进行尺寸上采样操作，将浅层特征尺寸调整为中层特征图尺寸后，再进行维度拼接或通道相加，帮助中层特征图预测。
根据本发明的一个方面，在所述步骤S31中，对输入的特征图信息进行像素级数据遍历处理，按照像素循环抽取1*1*通道数的特征向量，获取相应数量的特征点，在对获取的特征点数据集进行降维处理，求取特征向量，
所述降维方法包括但不限于奇异值分解，变分推断或主成分分析。
根据本发明的一个方面，在所述步骤S32中，具体包括：
步骤S321、利用贝叶斯信息准则BIC和赤池信息准则AIC初始化高斯混合模型，从一组可供选择的模型中选择最佳模型时，通常综合考虑AIC和BIC最小的模型，BIC和AIC的公式如下：
AIC＝2k-2ln(L)
BIC＝kln(n)-2ln(L)
其中，k是模型参数个数，n为样本数量，L是似然函数，kln(n)为BIC模型的惩罚项；
步骤S322、利用高斯混合模型拟合特征图，高斯混合模型由多个高斯子分布组成，单个高斯分布公式如下：
当样本数据X是一维数据时，高斯分布遵从以上概率密度函数，其中μ为数据均值，σ为数据标准差，
高斯混合模型由多个高斯分布组成，对于一个复杂分布的二维观测矩阵，高斯混合模型可以用多个高斯分布去拟合复杂分布，从而产生多个高斯子分布的权重值，以及均值和方差，高斯混合模型公式如下：
其中，多个高斯子分布由φ(x|θk)表示，αk为每个高斯子分布所占的权重，θk中包含每个子分布的均值以及方差，高斯混合模型的似然函数可以表示为一下形式：
步骤S323、利用EM算法迭代求解高斯混合模型的似然函数。
根据本发明的一个方面，在所述步骤S41中，具体包括：
步骤S411、多个高斯混合模型进行加权平均融合，需要对每个高斯子分布的个数，权重，均值，方差进行重新归一化，公式如下所示：
假设有两个高斯混合模型分别为GMM1和GMM2，它们的概率密度函数为：
其中，αc表示两个模型中第c个分量的权重系数，μc表示两个模型中第c个分量的均值向量，δc表示两个模型中第c个分量的协方差矩阵，基于以下公式进行模型参数合并：
其中，Ni分别表示两个模型中第i个分量的样本数，新的权重系数αi是第i个分量在两个模型中的样本数量之和占总样本数量N的比例，新的均值向量μi是两个模型中第i个分量的均值向量加权平均，新的协方差矩阵δi是两个模型中第i个分量的协方差矩阵加权平均，合并后的高斯混合模型可以表示为：
步骤S412、对步骤S411获取的合成高斯混合模型进行数据生成，生成数据为聚类后的样本簇中心点附近的数据的随机生成。
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项所述的一种基于高斯混合模型的遥感图像特征融合方法。
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，实现如上述技术方案中任一项所述一种基于高斯混合模型的遥感图像特征融合方法。
本发明与现有技术相比，具有如下有益效果：
本发明提出了一种基于高斯混合模型的遥感图像特征融合方法、电子设备，在训练基于卷积神经网络的遥感图像目标检测模型时，通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，再通过基于高斯混合模型的特征融合网络去拟合特征融合网络中产生的浅层特征图、中层特征图、深层特征图，最后将获得的多个高斯混合模型进行加权平均融合，将原本张量拼接的特征融合方式转换为高斯空间下的不同分布的融合，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题，通过使用高斯混合模型映射融合的思想，在高斯混合模型完成特征映射后，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
进一步地，遥感图像目标检测模型在检测过程中能够获得目标的多尺度信息，获得更加丰富和准确的目标信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，提高了遥感图像目标定位准确性，对高分辨率遥感图像旋转框目标检测具有重要意义。
附图说明
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性表示根据本发明一个实施例中提供的基于高斯混合模型的遥感图像特征融合方法流程图；
图2示意性表示根据本发明一种实施方式的高斯混合模型进行特征融合以及特征生成算法的示意图；
图3示意性表示根据本发明一种实施方式的基于高斯混合模型的遥感图像特征融合方法构建的目标检测模型训练流程图；
图4示意性表示根据本发明一种实施方式的基于高斯混合模型的遥感图像特征融合方法的模型算法流程图。
具体实施方式
此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。
此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。
如图1至图4所示，本发明的一种基于高斯混合模型的遥感图像特征融合方法，包括以下步骤：
步骤S1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；
步骤S2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；
步骤S3、构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；
步骤S4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；
步骤S5、利用所述步骤S4得到的融合特征图输入检测模型的检测头，进行遥感图像检测，计算分类损失以及位置预测损失；
步骤S6、重复执行步骤S1至S5，训练检测模型；
步骤S7、利用步骤S6得到的检测模型对遥感图像进行检测。
在该实施例中，在训练基于卷积神经网络的遥感图像目标检测模型时，通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，再通过基于高斯混合模型的特征融合网络去拟合特征融合网络中产生的浅层特征图、中层特征图、深层特征图，最后将获得的多个高斯混合模型进行加权平均融合，将原本张量拼接的特征融合方式转换为高斯空间下的不同分布的融合，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题，通过使用高斯混合模型映射融合的思想，在高斯混合模型完成特征映射后，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
进一步地，遥感图像目标检测模型在检测过程中能够获得目标的多尺度信息，获得更加丰富和准确的目标信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，提高了遥感图像目标定位准确性，对高分辨率遥感图像旋转框目标检测具有重要意义。
在本发明的一个实施例中，优选地，在执行步骤S1前，先获取遥感图像及遥感图像对应的目标标签，并对其做适当的数据预处理操作，预处理过程至少包括随机翻转、旋转、缩放以及裁剪。
在该实施例中，通过对遥感图像进行剪裁、翻转等操作，有利于增强模型算法的鲁棒性、普适性和提高泛化能力。
在本发明的一个实施例中，优选地，在步骤S1中，还包括：
步骤S11、利用主干特征提取网络提取输入遥感图像特征，得到特征图；
步骤S12、对步骤S11中获取的特征图进行标记，按照提取特征图的层级位置分类为浅层特征图、中层特征图、深层特征图。
在本发明的一个实施例中，优选地，在所述步骤S2中，具体包括：
步骤S21、构建特征融合网络；
步骤S22、利用特征融合网络接收不同层级的遥感图像特征图，对不同层级的遥感图像特征图进行融合操作，获得遥感图像目标的多特征图；
其中，不同层级的遥感图像图像至少包括浅层特征图、中层特征图、深层特征图，融合方式至少包括上采样、横向连接及维度拼接。
在该实施例中，训练基于卷积神经网络的遥感图像目标检测模型时，通过特征金字塔构建特征融合网络能够有使得模型获得目标的多尺度信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力。
在本发明的一个实施例中，优选地，在所述步骤S3中，具体包括：
步骤S31、利用降维方法对所述步骤S2获取的浅层特征图、中层特征图、深层特征图进行向量降维；
步骤S32、利用高斯混合模型拟合降维后的浅层特征图、中层特征图、深层特征图，获得多个相对应的高斯混合模型参数。
在该实施例中，利用高斯混合模型去拟合特征融合网络中产生的浅层、中层、深层特征图，再将获得的多个高斯混合模型进行加权平均融合，将原本张量拼接的特征融合方式转换为高斯空间下的不同分布的融合过程，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题。
在本发明的一个实施例中，优选地，在所述步骤S4中，具体包括：
步骤S41、对所述步骤S3中获得的多个代表浅层特征图、中层特征图、深层特征图的高斯混合模型进行加权平均融合，使得融合后的高斯分布个数为待融合模型的高斯子分布的总数，权重总和为1，均值以及方差按照权重进行归一化；
步骤S42、利用所述步骤S41中获得的融合后的高斯混合模型拟合所述步骤S2中原始特征拼接方法生成的融合特征图，优化模型参数；
步骤S43、利用所述步骤S42中参数优化后的模型进行数据生成，在特征向量聚类中心的周围随机生成特征点数据，扩充特征图信息维度；
步骤S44、对所述步骤S43生成的特征数据进行维度转换，并与所述步骤S2中原始特征拼接方法生成的融合特征图进行维度拼接，通过注意力机制筛选拼接后的大特征图的通道信息数，最大程度获取有效知识，避免噪声干扰。
如图2和图3所示，在本发明的一个实施例中，优选地，在所述步骤S22中，保留传统特征融合方法，方便后续以高斯混合模型生成数据增强特征图，使得更有价值的信息被保留或增强，具体包括：
步骤S221、遍历步骤S21获取的浅层特征图、中层特征图、深层特征图，利用1*1卷积使得特征图通道数一致；
步骤S222、对步骤S221获得的通道数一致的特征图进行尺寸上采样操作，将浅层特征尺寸调整为中层特征图尺寸后，再进行维度拼接或通道相加，帮助中层特征图预测。
在本发明的一个实施例中，优选地，在所述步骤S31中，利用特征降维方法进行聚类数据集构建，使得高斯混合模型能够对特征数据进行拟合，具体如下：
步骤S311、对输入特征图信息进行像素级数据遍历处理，按照像素循环抽取1*1*通道数的特征向量，假如输入特征图尺寸为32*32*256则获得1024个1*1*256的特征点；
步骤S312、对步骤S311获取的特征点数据集进行降维处理，求取其特征向量，并传入高斯混合模型，采用的特征降维方法包括但不限于：奇异值分解，变分推断，主成分分析等。
在本发明的一个实施例中，优选地，在所述步骤S32中，具体包括：
步骤S321、利用贝叶斯信息准则BIC和赤池信息准则AIC初始化高斯混合模型，从一组可供选择的模型中选择最佳模型时，通常综合考虑AIC和BIC最小的模型，BIC和AIC的公式如下：
AIC＝2k-2ln(L)
BIC＝kln(n)-2ln(L)
其中，k是模型参数个数，n为样本数量，L是似然函数，kln(n)为BIC模型的惩罚项；
步骤S322、利用高斯混合模型拟合特征图，高斯混合模型由多个高斯子分布组成，单个高斯分布公式如下：
当样本数据X是一维数据时，高斯分布遵从以上概率密度函数，其中μ为数据均值(期望)σ为数据标准差，
高斯混合模型由多个高斯分布组成，对于一个复杂分布的二维观测矩阵，高斯混合模型可以用多个高斯分布去拟合复杂分布，从而产生多个高斯子分布的权重值，以及均值和方差，高斯混合模型公式如下：
其中，多个高斯子分布由φ(x|θk)表示，αk为每个高斯子分布所占的权重，θk中包含每个子分布的均值以及方差，高斯混合模型的似然函数可以表示为一下形式：
步骤S323、利用EM算法迭代求解高斯混合模型的似然函数。
在本发明的一个实施例中，优选地，在所述步骤S41中，具体包括：
步骤S411、多个高斯混合模型进行加权平均融合，需要对每个高斯子分布的个数，权重，均值，方差进行重新归一化，，公式如下所示：
假设有两个高斯混合模型分别为GMM1和GMM2，它们的概率密度函数为：
其中，α表示两个模型中第i个分量的权重系数，μ表示两个模型中第i个分量的均值向量，δ表示两个模型中第i个分量的协方差矩阵，基于以下公式进行模型参数合并：
其中，N分别表示两个模型中第i个分量的样本数，新的权重系数αi是第i个分量在两个模型中的样本数量之和占总样本数量N的比例，新的均值向量μi是两个模型中第i个分量的均值向量加权平均，新的协方差矩阵δi是两个模型中第i个分量的协方差矩阵加权平均，合并后的高斯混合模型可以表示为：
或可以表示为：
步骤S412、对步骤S411获取的合成高斯混合模型进行数据生成，生成数据为聚类后的样本簇中心点附近的数据的随机生成，这部分数据是深度神经网络经过深度卷积计算之后，仍保留较大权重的特征数据点，后续的拼接过程可以理解为对重要数据的强化。
如图3所示，基于高斯混合模型的遥感图像特征融合方法构建的目标检测模型训练流程图，首先遥感图像读取，并记性遥感图像预处理，完成主干特征提取网络后，区别于传统特征融合网络构建，本申请采用基于GMM的特征融合网络搭建；接收多层特征图；特征降维；信息准则初始化高斯模型；特征映射到高斯空间；多个高斯混合模型融合；基于高斯混合模型的特征数据生成；传统融合特征图生成；分类及位置回归预测；损失预算；模型训练完成。
如图4所示，本发明一个实施例的基于高斯混合模型的遥感图像特征融合方法，具体步骤可以为：步骤S100、获取遥感图像数据，并进行适当的预处理操作，包括图像裁剪，图像翻转，投影变换等；步骤S200、搭建深度神经网络模型，通过主干特征提取网络提取目标特征；步骤S300、搭建特征融合网络，对主干特征提取网络获取的特征图进行融合；步骤S400、使用高斯混合模型拟合浅层、中层、深层特征图获得对应的高斯混合模型参数；步骤S500、对多个高斯混合模型进行加权融合，生成权重占比大的重要数据拼接回原特征图；步骤S600、对多个高斯混合模型进行加权融合，生成权重占比大的重要数据拼接回原特征图；步骤S700、对特征图进行预测，计算模型分类及位置回归损失，通过反向传播训练优化模型参数；步骤S800、判断训练是否结束，若是，则执行步骤S900，若否，则再次执行步骤S100至S700；步骤S900、利用步骤S800得到的检测模型对遥感图像进行检测。
其中，通过设计深度学习模型的最大训练轮次以及检测精度阈值判断训练是否结束。
根据本发明的一个方面，提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如上述技术方案中任一项的一种基于高斯混合模型的遥感图像特征融合方法。
根据本发明的一个方面，提供了一种计算机可读存储介质，用于存储计算机指令，计算机指令被处理器执行时，实现如上述技术方案中任一项一种基于高斯混合模型的遥感图像特征融合方法。
计算机可读存储介质可以包括能够存储或传输信息的任何介质。计算机可读存储介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
本发明的一种基于高斯混合模型的遥感图像特征融合方法、电子设备，基于高斯混合模型的遥感图像特征融合方法包括：步骤S1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；步骤S2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；步骤S3、构建多个高斯混合模型拟合多特征图，获得高斯混合模型的参数；步骤S4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；步骤S5、利用所述步骤S4得到的融合后的高斯混合模型对遥感图像进行检测，计算分类损失以及位置预测损失；步骤S6、重复执行步骤S1至S5，训练检测模型；步骤S7、利用步骤S6得到的检测模型对遥感图像进行检测，缓解了遥感目标检测任务中特征融合不充分的检测精度受限问题，通过使用高斯混合模型映射融合的思想，在高斯混合模型完成特征映射后，能够针对原特征图中权重占比大的重要数据进行扩充，再对这些生成数据进行通道维度拼接，增强了原本的预测特征图的信息维度，进一步提高模型检测能力。
进一步地，遥感图像目标检测模型在检测过程中能够获得目标的多尺度信息，获得更加丰富和准确的目标信息，从而提升模型分类和定位出遥感图像中的感兴趣目标的能力，提高了遥感图像目标定位准确性，对高分辨率遥感图像旋转框目标检测具有重要意义。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
Claims (8)
1.一种基于高斯混合模型的遥感图像特征融合方法，其特征在于，包括以下步骤：
步骤S1、通过特征提取主干网络提取输入遥感图像特征，得到不同层级位置的特征图；
步骤S2、构建特征融合网络并对不同层级位置的特征图进行融合，获得遥感图像目标的多特征图；
步骤S3、构建多个高斯混合模型拟合多特征图，获得每个高斯混合模型的参数；
步骤S4、对多个高斯混合模型进行加权平均融合，利用融合后的高斯混合模型生成数据并与原始特征图拼接；
步骤S5、利用所述步骤S4得到的融合特征图输入检测模型的检测头，进行遥感图像检测，计算分类损失以及位置预测损失；
步骤S6、重复执行步骤S1至S5，训练检测模型；
步骤S7、利用步骤S6得到的检测模型对遥感图像进行检测；
在所述步骤S3中，具体包括：
步骤S31、利用降维方法对所述步骤S2获取的浅层特征图、中层特征图、深层特征图进行向量降维；
步骤S32、利用高斯混合模型拟合降维后的浅层特征图、中层特征图、深层特征图，获得多个相对应的高斯混合模型参数；
在所述步骤S4中，具体包括：
步骤S41、对所述步骤S3中获得的多个代表浅层特征图、中层特征图、深层特征图的高斯混合模型进行加权平均融合，使得融合后的高斯分布个数为待融合模型的高斯子分布的总数，权重总和为1，均值以及方差按照权重进行归一化；
步骤S42、利用所述步骤S41中获得的融合后的高斯混合模型拟合多特征图，优化模型参数；
步骤S43、利用所述步骤S42中参数优化后的模型进行数据生成，在特征向量聚类中心的周围随机生成特征点数据，扩充特征图信息维度；
步骤S44、对所述步骤S43生成的特征数据进行维度转换，并与所述步骤S2中多特征图进行维度拼接，通过注意力机制筛选拼接后的大特征图的通道信息数。
2.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤S2中，具体包括：
步骤S21、构建特征融合网络；
步骤S22、利用特征融合网络接收不同层级的遥感图像特征图，对不同层级的遥感图像特征图进行融合操作，获得遥感图像目标的多特征图；
其中，不同层级的遥感图像至少包括浅层特征图、中层特征图、深层特征图，融合方式至少包括上采样、横向连接及维度拼接。
3.根据权利要求2所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤S22中，具体包括：
步骤S221、遍历步骤S21获取的浅层特征图、中层特征图、深层特征图，利用1*1卷积使得特征图通道数一致；
步骤S222、对步骤S221获得的通道数一致的特征图进行尺寸上采样操作，将浅层特征尺寸调整为中层特征图尺寸后，再进行维度拼接或通道相加，帮助中层特征图预测。
4.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤S31中，对输入的特征图信息进行像素级数据遍历处理，按照像素循环抽取1*1*通道数的特征向量，获取相应数量的特征点，在对获取的特征点数据集进行降维处理，求取特征向量，
所述降维方法包括但不限于奇异值分解，变分推断或主成分分析。
5.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤S32中，具体包括：
步骤S321、利用贝叶斯信息准则BIC和赤池信息准则AIC初始化高斯混合模型，从一组可供选择的模型中选择最佳模型时，综合考虑AIC和BIC最小的模型，BIC和AIC的公式如下：
AIC＝2k-2ln(L)
BIC＝kln(n)-2ln(L)
其中，k是模型参数个数，n为样本数量，L是似然函数，kln(n)为BIC模型的惩罚项；
步骤S322、利用高斯混合模型拟合特征图，高斯混合模型由多个高斯子分布组成，单个高斯分布公式如下：
当样本数据X是一维数据时，高斯分布遵从公式(1)的概率密度函数，其中μ为数据均值，σ为数据标准差，
高斯混合模型由多个高斯分布组成，对于一个二维矩阵，高斯混合模型用多个高斯分布去拟合，从而产生多个高斯子分布的权重值，以及均值和方差，高斯混合模型公式如下：
其中，多个高斯子分布由φ(x|θk)表示，αk为每个高斯子分布所占的权重，θk中包含每个子分布的均值以及方差，高斯混合模型的似然函数表示为以下形式：
步骤S323、利用EM算法迭代求解高斯混合模型的似然函数。
6.根据权利要求1所述的基于高斯混合模型的遥感图像特征融合方法，其特征在于，在所述步骤S41中，具体包括：
步骤S411、多个高斯混合模型进行加权平均融合，需要对每个高斯子分布的个数，权重，均值，方差进行重新归一化，公式如下所示：
假设有两个高斯混合模型分别为GMM1和GMM2，它们的概率密度函数为：
其中，αc表示两个模型中第c个分量的权重系数，μc表示两个模型中第c个分量的均值向量，δc表示两个模型中第c个分量的协方差矩阵，基于以下公式进行模型参数合并：
其中，Ni分别表示两个模型中第i个分量的样本数，新的权重系数αi是第i个分量在两个模型中的样本数量之和占总样本数量N的比例，新的均值向量μi是两个模型中第i个分量的均值向量加权平均，新的协方差矩阵δi是两个模型中第i个分量的协方差矩阵加权平均，合并后的高斯混合模型可以表示为：
步骤S412、对步骤S411获取的合成高斯混合模型进行数据生成，生成数据为聚类后的样本簇中心点附近的数据的随机生成。
7.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行如权利要求1至6中任一项所述的基于高斯混合模型的遥感图像特征融合方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1至6中任一项所述的基于高斯混合模型的遥感图像特征融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310493846.2A CN116563680B (zh) | 2023-05-05 | 2023-05-05 | 基于高斯混合模型的遥感图像特征融合方法、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310493846.2A CN116563680B (zh) | 2023-05-05 | 2023-05-05 | 基于高斯混合模型的遥感图像特征融合方法、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116563680A CN116563680A (zh) | 2023-08-08 |
| CN116563680B true CN116563680B (zh) | 2024-02-06 |
Family
ID=87497550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310493846.2A Active CN116563680B (zh) | 2023-05-05 | 2023-05-05 | 基于高斯混合模型的遥感图像特征融合方法、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116563680B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777908B (zh) * | 2023-08-18 | 2023-11-03 | 新疆塔林投资(集团)有限责任公司 | 油气井套管堵漏辅助方法及其系统 |
| CN117809162B (zh) * | 2024-02-29 | 2024-05-07 | 深圳市润联塑胶模具有限公司 | 校正透镜成像不均一性、提取透镜参数的方法及装置 |
| CN118196562A (zh) * | 2024-05-17 | 2024-06-14 | 江西师范大学 | 一种耕地资源遥感智能监测的样本自动生成方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011229656A (ja) * | 2010-04-27 | 2011-11-17 | Mitsubishi Electric Corp | 捜索割当装置 |
| CN110276395A (zh) * | 2019-06-21 | 2019-09-24 | 四川大学 | 基于正则化动态集成的不平衡数据分类方法 |
| CN115457395A (zh) * | 2022-09-22 | 2022-12-09 | 南京信息工程大学 | 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法 |
| CN115761537A (zh) * | 2022-11-14 | 2023-03-07 | 西安科技大学 | 一种面向动态特征补充机制的输电线路异物入侵识别方法 |
-
2023
- 2023-05-05 CN CN202310493846.2A patent/CN116563680B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011229656A (ja) * | 2010-04-27 | 2011-11-17 | Mitsubishi Electric Corp | 捜索割当装置 |
| CN110276395A (zh) * | 2019-06-21 | 2019-09-24 | 四川大学 | 基于正则化动态集成的不平衡数据分类方法 |
| CN115457395A (zh) * | 2022-09-22 | 2022-12-09 | 南京信息工程大学 | 基于通道注意力与多尺度特征融合的轻量级遥感目标检测方法 |
| CN115761537A (zh) * | 2022-11-14 | 2023-03-07 | 西安科技大学 | 一种面向动态特征补充机制的输电线路异物入侵识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种模型选择优化准则及其在高光谱图像非监督分类中的应用;吴昊, 郁文贤, 匡纲要, 李智勇;电子学报(S1);全文 * |
| 高斯混合模型参数估值算法的优化;张鹏 等;南京大学学报(自然科学);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116563680A (zh) | 2023-08-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116563680B (zh) | 基于高斯混合模型的遥感图像特征融合方法、电子设备 | |
| CN109977918B (zh) | 一种基于无监督域适应的目标检测定位优化方法 | |
| Othman et al. | Domain adaptation network for cross-scene classification | |
| CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
| Mnih et al. | Learning to detect roads in high-resolution aerial images | |
| CN114120102A (zh) | 边界优化的遥感图像语义分割方法、装置、设备及介质 | |
| CN111639719B (zh) | 基于时空运动和特征融合的足迹图像检索方法 | |
| CN112733800B (zh) | 基于卷积神经网络的遥感图像道路信息提取方法和装置 | |
| CN114299380A (zh) | 对比一致性学习的遥感图像语义分割模型训练方法及装置 | |
| CN112883839B (zh) | 基于自适应样本集构造与深度学习的遥感影像解译方法 | |
| CN111382686B (zh) | 一种基于半监督生成对抗网络的车道线检测方法 | |
| US20220050995A1 (en) | Processing satellite images using brain emulation neural networks | |
| CN111583276B (zh) | 基于cgan的空间目标isar图像部件分割方法 | |
| CN108427919B (zh) | 一种基于形状引导显著性模型的无监督油罐目标检测方法 | |
| CN111488879A (zh) | 利用双嵌入构成的用于提高分割性能的方法及装置 | |
| Liu et al. | Survey of road extraction methods in remote sensing images based on deep learning | |
| CN116051840A (zh) | 一种基于生成对抗学习的半监督水下图像语义分割方法 | |
| CN106611422A (zh) | 基于素描结构的随机梯度贝叶斯sar图像分割方法 | |
| CN112329818B (zh) | 基于图卷积网络嵌入表征的高光谱图像非监督分类方法 | |
| CN114743109A (zh) | 多模型协同优化高分遥感图像半监督变化检测方法及系统 | |
| CN114283285A (zh) | 交叉一致性自训练遥感图像语义分割网络训练方法及装置 | |
| CN114550014B (zh) | 道路分割方法及计算机装置 | |
| CN115565019A (zh) | 基于深度自监督生成对抗的单通道高分辨sar图像地物分类方法 | |
| CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
| CN107292268A (zh) | 快速脊波反卷积结构学习模型的sar图像语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |