CN117095198A - 遥感图像检索网络训练方法、应用方法、电子设备及介质 - Google Patents
遥感图像检索网络训练方法、应用方法、电子设备及介质 Download PDFInfo
- Publication number
- CN117095198A CN117095198A CN202310812851.5A CN202310812851A CN117095198A CN 117095198 A CN117095198 A CN 117095198A CN 202310812851 A CN202310812851 A CN 202310812851A CN 117095198 A CN117095198 A CN 117095198A
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- sensing image
- image retrieval
- retrieval network
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 title claims abstract description 46
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 64
- 230000006870 function Effects 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000003213 activating effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000011176 pooling Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种遥感图像检索网络训练方法、应用方法、电子设备及介质,包括:获取遥感图像数据集;构建初始遥感图像检索网络;以遥感图像作为所述初始遥感图像检索网络的输入,基于特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,基于哈希编码模块确定二值哈希码;以二值哈希码和分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络。本发明通过特征提取模块捕获遥感图像的多尺度特征,通过让各类遥感图像的二值哈希码靠近各自类别的哈希中心,实现对不同类别样本进行有效区分,以此得到更高精度的遥感图像检索网络。
Description
技术领域
本发明涉及图像检索领域,具体涉及一种遥感图像检索网络训练方法、应用方法、电子设备及计算机可读存储介质。
背景技术
随着遥感技术的发展,遥感图像的数量迅速增长,样本维度可达上千级,这会导致存储空间消耗和检索效率降低,准确度下降,因此如何从海量的遥感图像中准确获取需要的遥感数据是目前需要解决的问题。在现有的遥感图像检索中,和普通图像相比,由于遥感图像在尺度上的差异,不仅不同类别的遥感图像尺度变化大,同一类别的遥感图像也有显著的尺度差异,而在不同尺度下遥感图像表现出不同特征,对检索结果准确性有很大影响。此外由于遥感图像往往包含广泛的土地覆盖,遥感图像的场景复杂,物体类型多样,体积巨大,容易出现对于同一类别的遥感图像,存在明显的视觉差异,而不同类型的遥感图像,可能表现出相似的视觉特征,也会导致检索性能降低。在现有技术中通常采用分布一致的损失函数来解决样本不均衡的问题,虽然在一定程度提高了检索性能,但是不能很好地获得遥感图像的多尺度信息,使得某些特征丢失,生成的哈希编码有效性降低;同时现有技术中对于复杂场景大多学习全局特征,忽略了遥感图像的上下文信息,也导致了遥感图像检索性能较差;此外在对网络训练中,现有技术通常采用成对或者三元组的度量方式,只测量元组之间样本对或者三元组的相似性,不能很好地反映同类样本中所有样本之间相似性,对于不同类别但是相似的遥感图像,不能有效地生成区分不同类别的哈希编码,最终影响遥感图像检索结果。
发明内容
有鉴于此,有必要提供一种遥感图像检索网络训练方法、应用方法、电子设备及计算机可读存储介质,用于解决现有技术中,对遥感图像多尺度信息捕获能力较差,以及无法捕获同类样本组中所有样本之间的相似性,无法对不同类别但相似的遥感图像进行有效区分,导致遥感图像检索准确度较低的技术问题。
为了解决上述问题,本发明提供了一种遥感图像检索网络训练方法,所述方法包括:
获取遥感图像数据集,所述遥感图像数据集包括遥感图像和对应分类编码;
构建初始遥感图像检索网络,所述初始遥感图像检索网络包括特征提取模块和哈希编码模块;
以所述遥感图像作为所述初始遥感图像检索网络的输入,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码;
以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络。
进一步的,获取遥感图像数据集,包括:
获取遥感图像,将所有遥感图像尺寸裁剪一致,并初始化遥感图像的对应分类编码,根据所述遥感图像和所述对应分类编码构建遥感图像数据集。
进一步的,特征提取模块包括:卷积层、第一残差块、第二残差块、第三残差块、第四残差块和注意力模块,其中第一残差块到第四残差块依次排列,并在第二残差块和第三残差块后各添加一个注意力模块,并将每个残差块中第一个64维通道数分为8个通道组;
在每个残差块进行特征提取过程中,第一通道组不做处理得到第一特征子集,第二个通道组进行卷积操作得到第二特征子集,第三个通道组与第一通道组和第二通道组相加后进行卷积操作得到第三特征子集,第四至第七通道组均为将对应前两个通道组的特征子集相加后进行卷积操作得到第四至第七特征子集,第八通道组将对应前两个通道组的特征子集相加后进行卷积操作得到输出特征数据。
进一步的,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,包括:
将所述遥感图像输入卷积层进行卷积操作得到卷积数据;
将所述卷积数据输入第一残差块得到第一特征数据;
将所述第一特征数据输入第二残差块得到第二特征数据;
基于注意力模块提取第二特征数据的加权注意力,并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据;
基于注意力模块提取第三特征数据的加权注意力,并将第三特征数据的加权注意力与第三特征数据融合后输入第四残差块得到多尺度特征数据。
进一步的,基于注意力模块提取第二特征数据的加权注意力,并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据,包括:
将所述第二特征数据输入到注意力模块,在通道维度和空间维度对所述第二特征数据进行有监督分配权重,得到空间注意力权重和通道注意力权重;
将所述空间注意力权重和所述通道注意力权重进行相乘融合后使用激活函数激活,得到第二特征数据的加权注意力;
将所述第二特征数据和第二特征数据的加权注意力相乘融合后输入第三残差块,得到第三特征数据。
进一步的,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码,包括:
设置阈值函数,通过阈值函数将所述多尺度特征数据进行二值化处理,得到遥感图像的二值哈希码。
进一步的,以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络,包括:
根据所述分类编码将所述二值哈希码进行分类,初始化每种分类的哈希中心;
计算所述二值哈希码与所述哈希中心间的等效汉明距离;
设置损失收敛阈值,根据所述等效汉明距离调整所述初始遥感图像检索网络的参数,使得相同分类的二值哈希码与各自类别的哈希中心间的等效汉明距离尽可能减小,直至满足损失收敛阈值,得到训练完备的遥感图像检索网络。
本发明还提供了一种遥感图像检索网络应用方法,包括:
获取待检索遥感图像;
将待检索遥感图像输入到训练完备的遥感图像检索网络,检索同类别遥感图像,其中,所述训练完备的遥感图像检索网络根据上述任一项所述的遥感图像检索网络训练方法确定;
基于所述遥感图像检索网络输出得到同类别遥感图像。
本发明还提供了一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现上述任一项所述的遥感图像检索网络训练方法,和/或上述的遥感图像检索网络应用方法。
本发明还提供了一种计算机可存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现上述任一项所述的遥感图像检索网络训练方法,和/或上述的遥感图像检索网络应用方法。
与现有技术相比,采用上述实施例的有益效果是:在本发明提供的遥感图像检索网络训练方法中,首先获取遥感图像数据集,所述遥感图像数据集包括遥感图像和对应分类编码;然后构建初始遥感图像检索网络,所述初始遥感图像检索网络包括特征提取模块和哈希编码模块;以所述遥感图像作为所述初始遥感图像检索网络的输入,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码;最后以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络。综上,本发明通过特征提取模块提取遥感图像的多尺度特征数据,捕获遥感图像的多尺度特征,通过二值哈希码计算等效汉明距离来确定损失函数的值,并通过调整遥感图像检索网络的参数,让各类遥感图像的二值哈希码靠近各自类别的哈希中心,以此捕获同类样本组中所有样本之间的相似性,并对不同类别样本进行有效区分,以此得到更高精度的遥感图像检索网络。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显然,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的遥感图像检索网络训练方法的一个实施例流程示意图;
图2为本发明实施例遥感图像检索网络中特征提取模块的结构示意图;
图3为本发明提供的遥感图像检索网络应用方法的一个实施例流程示意图;
图4为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所以其他实施例,都属于本发明保护的范围。
应当理解,示意图的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本发明内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
图1为本发明提供的遥感图像检索网络训练方法的一个实施例流程示意图,如图1所示,遥感图像检索网络训练方法包括:
S101、获取遥感图像数据集,所述遥感图像数据集包括遥感图像和对应分类编码;
S102、构建初始遥感图像检索网络,所述初始遥感图像检索网络包括特征提取模块和哈希编码模块;
S103、以所述遥感图像作为所述初始遥感图像检索网络的输入,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码;
S104、以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络。
具体地,在本发明提供的遥感图像检索网络训练方法中,首先获取遥感图像数据集,所述遥感图像数据集包括遥感图像和对应分类编码;然后构建初始遥感图像检索网络,所述初始遥感图像检索网络包括特征提取模块和哈希编码模块;以所述遥感图像作为所述初始遥感图像检索网络的输入,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码;最后以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络。综上,本发明通过特征提取模块提取遥感图像的多尺度特征数据,捕获遥感图像的多尺度特征,通过二值哈希码计算等效汉明距离来确定损失函数的值,并通过调整遥感图像检索网络的参数,让各类遥感图像的二值哈希码靠近各自类别的哈希中心,以此捕获同类样本组中所有样本之间的相似性,并对不同类别样本进行有效区分,以此得到更高精度的遥感图像检索网络。
在本发明的具体实施例中,获取遥感图像数据集,包括:
获取遥感图像,将所有遥感图像尺寸裁剪一致,并初始化遥感图像的对应分类编码,根据所述遥感图像和所述对应分类编码构建遥感图像数据集。
具体地,在实施例中可以通过无人机航拍得到遥感图片,也可以通过访问下载卫星遥感图片,对于尺寸大小不一的遥感图片,本发明的实施例将所以遥感图片的大小裁剪调整为224×224像素,并按照7:3的比例随机划分为训练集和测试集,然后通过one-hot编码(独热编码)方法,生成每个种类遥感图像的分类编码,将遥感图像和对应分类编码,组成遥感图像数据集。
在本发明的具体实施例中,所述特征提取模块包括:卷积层、第一残差块、第二残差块、第三残差块、第四残差块和注意力模块,其中第一残差块到第四残差块依次排列,并在第二残差块和第三残差块后各添加一个注意力模块,并将每个残差块中第一个64维通道数分为8个通道组;
在每个残差块进行特征提取过程中,第一通道组不做处理得到第一特征子集,第二个通道组进行卷积操作得到第二特征子集,第三个通道组与第一通道组和第二通道组相加后进行卷积操作得到第三特征子集,第四至第七通道组均为将对应前两个通道组的特征子集相加后进行卷积操作得到第四至第七特征子集,第八通道组将对应前两个通道组的特征子集相加后进行卷积操作得到输出特征数据。
具体地,在本发明实施例的特征提取模块中,由依次连接的卷积层、四个残差块、平均池化层和一个全连接层组成。并在第二残差块和第三残差块后各添加一个注意力模块用于提取遥感图像的注意力权重。
其中,每个残差块都对其中的卷积进行分组操作,以实现多尺度残差结构。具体地,在每个残差块中,对残差块里第一个64维的通道数,分成8个通道组,第一个通道组不做处理,第二个通道组进行一个3×3的卷积,第三个通道组与前两个通道组相加,然后进行3×3的卷积,第四个通道组开始均为将对应前两个通道组相加之后进行3×3卷积,直到第八个通道组输出特征数据。
本发明实施例通过以残差块将输入特征图分成多个通道组,并在每个通道组中组合不同的通道,以增加每个层级的感受野并获取更细粒度的信息,使得检索网络能够以多个层次理解图像内容,更有效地捕获遥感图像的多尺度特征。
在本发明的具体实施例中,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,包括:
将所述遥感图像输入卷积层进行卷积操作得到卷积数据;
将所述卷积数据输入第一残差块得到第一特征数据;
将所述第一特征数据输入第二残差块得到第二特征数据;
基于注意力模块提取第二特征数据的加权注意力,并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据;
基于注意力模块提取第三特征数据的加权注意力,并将第三特征数据的加权注意力与第三特征数据融合后输入第四残差块得到多尺度特征数据。
具体地,图2为本发明实施例的特征提取模块的结构示意图。如图2所示,在特征提取模块中,首先将遥感图像经过卷积层进行卷积操作,并经过最大池化后连续通过第一残差块和第二残差块提取特征信息,然后基于注意力模块通过有监督分配权重提取特征数据的加权注意力,将加权注意力与特征数据融合之后在经过第三残差块提取特征信息,再通过一个注意力模块重复提取加权注意力,并融合后输入第四残差块得到多尺度特征数据。
在本发明的具体实施例中,基于注意力模块提取第二特征数据的加权注意力,并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据,包括:
将所述第二特征数据输入到注意力模块,在通道维度和空间维度对所述第二特征数据进行有监督分配权重,得到空间注意力权重和通道注意力权重;
将所述空间注意力权重和所述通道注意力权重进行相乘融合后使用激活函数激活,得到第二特征数据的加权注意力;
将所述第二特征数据和第二特征数据的加权注意力相乘融合后输入第三残差块,得到第三特征数据。
具体地,在本发明实施例进行特征提取的过程中,第二残差块和第三残差块后各添加一个相同的注意力模块用于提取遥感图像的注意力权重。在每个注意力模块中通过分别在通道维度和空间维度分别进行有监督的分配权重,得到空间注意力权重和通道注意力权重。通道维度注意力公式如下:
Ca(X)=BN(F2(δ(BN(F1(GAP(X))))))+BN(F2(δ(BN(F1(X)))))
空间维度注意力公式如下:
Sa(X)=δ(F3([Avgpool(X);Maxpool(X)]))
其中,F1、F2为逐点卷积,F3是卷积,GAP表示全局平均池化,BN是归一化处理,δ表示sigmoid激活函数,X为提取到的特征数据。
然后将提取到的空间注意力权重和通道注意力权重进行相乘融合后使用sigmoid激活函数激活,使得两种独立权重之间关注点互相补充,得到更加具有区分性的加权注意力。并将加权注意力与前一个残差块输出的特征数据相乘,以增强具有对检索任务具有积极作用的通道特征,同时削弱消极作用的通道特征。计算公式如下:
其中,X为提取到的特征数据,Xa为融合加权注意力后的特征数据,表示逐元素乘法,δ是sigmoid激活函数,Ca和Sa是通道注意力权重和空间注意力权重。
本发明实施例通过注意力模块在通道和空间维度对显著特征进行加权,使得检索网络能更好地提取区域特征,并更好地聚合上下文信息,与现有技术相比,能够在复杂背景中提取出更有辨别性的特征,从而提高遥感图像检索网络的性能。
在本发明的具体实施例中,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码,包括:
设置阈值函数,通过阈值函数将所述多尺度特征数据进行二值化处理,得到遥感图像的二值哈希码。
具体地,在经过特征提取模块中最后一个多尺度残差块后,将全连接层作为哈希层,经过哈希层输出的多尺度特征数据中特征向量hi是连续值,需要通过以下阈值函数将其二值化处理,得到二值哈希码b∈RK,二值化公式如下:
b=sign(hi)
其中,sign(.)为符号函数,若x>0,则sign(x)=1,若x<0,则sign(x)=-1。
在本发明的具体实施例中,以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络,包括:
根据所述分类编码将所述二值哈希码进行分类,初始化每种分类的哈希中心;
计算所述二值哈希码与所述哈希中心间的等效汉明距离;
设置损失收敛阈值,根据所述等效汉明距离调整所述初始遥感图像检索网络的参数,使得相同分类的二值哈希码与各自类别的哈希中心间的等效汉明距离尽可能减小,直至满足损失收敛阈值,得到训练完备的遥感图像检索网络。
具体地,在计算损伤过程中,首先对每种分类设定一个哈希中心,哈希中心可以采用在汉明空间中随机生成方式进行初始化,同时设置一个阈值控制哈希中心的间隔,使哈希中心在汉明空间中分布更加均匀,从而生成更有意义的哈希编码。然后根据哈希码的内积hi·ti与哈希编码的汉明距离成反比,因此可以通过以下公式得到哈希编码与哈希中心的等效汉明距离:
其中,h表示哈希编码在汉明空间的位置,t表示哈希中心在汉明空间的位置,Lp(h,t)为等效汉明距离,m是实施例中通过实验设定的超参数,设置为0.5,hi·ti为哈希码的内积。
然后设置损失收敛阈值作为检索网络损失的损失收敛判断条件,通过计算得到的等效汉明距离,调整遥感图像检索网络的参数,使得同类别遥感图像的哈希编码更接近相同的哈希中心,不同类别遥感图像的哈希编码靠近各自类别的哈希中心,直到满足精度要求足够多的遥感图像的等效汉明距离达到损失收敛阈值要求,得到训练完备的遥感图像检索网络。
综上所述,本发明通过对特征提取模块中残差块进行通道分组以捕获遥感图像的多尺度特征;通过注意力模块在通道和空间维度对显著特征进行加权,提取出更有辨别性的特征;通过等效汉明距离来计算网络损失,更好地区分不同类的遥感图像,以此得到更高精度的遥感图像检索网络。
本发明实施例还提供了一种遥感图像检索网络应用方法,如图3所示,图3为本发明提供的遥感图像检索网络应用方法的一个实施例的流程示意图,包括:
S301、获取待检索遥感图像;
S302、将待检索遥感图像输入到训练完备的遥感图像检索网络,检索同类别遥感图像,其中,所述训练完备的遥感图像检索网络根据上述任一项所述的遥感图像检索网络训练方法确定;
S303、基于所述遥感图像检索网络输出得到同类别遥感图像。
在本发明实施例中,首先,获取待检索的遥感图像;然后利用上述训练完备的遥感图像检索网络对待检索遥感图像进行有效识别检索,即可输出同类别遥感图像。
本发明还提供了一种电子设备400,如图4所示,图4为本发明提供的电子设备一实施例的结构示意图,电子设备400包括处理器401、存储器402及存储在存储器402并可在处理器401上运行的计算机程序,处理器401执行程序时,实现如上所述的遥感图像检索网络训练方法和/或如上所述的遥感图像检索网络应用方法。
作为优选的实施例,上述电子设备还包括显示器403,用于显示处理器401执行如上所述遥感图像检索网络训练方法和/或如上所述的遥感图像检索网络应用方法的过程。
其中,处理器401可能是一种集成电路芯片,具有信号的处理能力。上述的处理器401可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器也可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,存储器402可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),安全数字(Secure Digital,SD卡),闪存卡(Flash Card)等。其中,存储器402用于存储程序,所述处理器401在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器401中,或者由处理器401实现。
其中,显示器403可以是LED显示屏,液晶显示器或触控式显示器等。显示器403用于显示在电子设备400的各种信息。
可以理解的是,图4所示的结构仅为电子设备400的一种结构示意图,电子设备400还可以包括比图4所示更多或更少的组件。图4中所示的各组件可以采用硬件、软件或其组合实现。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如上所述的遥感图像检索网络训练方法和/或如上所述的遥感图像检索网络应用方法。
一般来说,用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质,除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线,或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件,或者上述的任意合适的组合。在本发明件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种遥感图像检索网络训练方法,其特征在于,所述方法包括:
获取遥感图像数据集,所述遥感图像数据集包括遥感图像和对应分类编码;
构建初始遥感图像检索网络,所述初始遥感图像检索网络包括特征提取模块和哈希编码模块;
以所述遥感图像作为所述初始遥感图像检索网络的输入,基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,基于哈希编码模块将所述多尺度特征数据转换为二值哈希码;
以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络。
2.根据权利要求1所述的遥感图像检索网络训练方法,其特征在于,所述获取遥感图像数据集,包括:
获取遥感图像,将所有遥感图像尺寸裁剪一致,并初始化遥感图像的对应分类编码,根据所述遥感图像和所述对应分类编码构建遥感图像数据集。
3.根据权利要求1所述的遥感图像检索网络训练方法,其特征在于,所述特征提取模块包括:卷积层、第一残差块、第二残差块、第三残差块、第四残差块和注意力模块,其中第一残差块到第四残差块依次排列,并在第二残差块和第三残差块后各添加一个注意力模块,并将每个残差块中第一个64维通道数分为8个通道组;
在每个残差块进行特征提取过程中,第一通道组不做处理得到第一特征子集,第二个通道组进行卷积操作得到第二特征子集,第三个通道组与第一通道组和第二通道组相加后进行卷积操作得到第三特征子集,第四至第七通道组均为将对应前两个通道组的特征子集相加后进行卷积操作得到第四至第七特征子集,第八通道组将对应前两个通道组的特征子集相加后进行卷积操作得到输出特征数据。
4.根据权利要求3所述的遥感图像检索网络训练方法,其特征在于,所述基于所述特征提取模块提取遥感图像的多尺度特征得到多尺度特征数据,包括:
将所述遥感图像输入卷积层进行卷积操作得到卷积数据;
将所述卷积数据输入第一残差块得到第一特征数据;
将所述第一特征数据输入第二残差块得到第二特征数据;
基于注意力模块提取第二特征数据的加权注意力,并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据;
基于注意力模块提取第三特征数据的加权注意力,并将第三特征数据的加权注意力与第三特征数据融合后输入第四残差块得到多尺度特征数据。
5.根据权利要求4所述的遥感图像检索网络训练方法,其特征在于,所述基于注意力模块提取第二特征数据的加权注意力,并将第二特征数据的加权注意力与第二特征数据融合后输入第三残差块得到第三特征数据,包括:
将所述第二特征数据输入到注意力模块,在通道维度和空间维度对所述第二特征数据进行有监督分配权重,得到空间注意力权重和通道注意力权重;
将所述空间注意力权重和所述通道注意力权重进行相乘融合后使用激活函数激活,得到第二特征数据的加权注意力;
将所述第二特征数据和第二特征数据的加权注意力相乘融合后输入第三残差块,得到第三特征数据。
6.根据权利要求1所述的遥感图像检索网络训练方法,其特征在于,所述基于哈希编码模块将所述多尺度特征数据转换为二值哈希码,包括:
设置阈值函数,通过阈值函数将所述多尺度特征数据进行二值化处理,得到遥感图像的二值哈希码。
7.根据权利要求1所述的遥感图像检索网络训练方法,其特征在于,所述以所述二值哈希码和所述分类编码确定所述初始遥感图像检索网络损失函数的值,根据所述损失函数的值调整所述初始遥感图像检索网络的参数直至满足收敛条件,得到训练完备的遥感图像检索网络,包括:
根据所述分类编码将所述二值哈希码进行分类,初始化每种分类的哈希中心;
计算所述二值哈希码与所述哈希中心间的等效汉明距离;
设置损失收敛阈值,根据所述等效汉明距离调整所述初始遥感图像检索网络的参数,使得相同分类的二值哈希码与各自类别的哈希中心间的等效汉明距离尽可能减小,直至满足损失收敛阈值,得到训练完备的遥感图像检索网络。
8.一种遥感图像检索网络应用方法,其特征在于,所述方法包括:
获取待检索遥感图像;
将待检索遥感图像输入到训练完备的遥感图像检索网络,检索同类别遥感图像,其中,所述训练完备的遥感图像检索网络根据权利要求1至7任一项所述的遥感图像检索网络训练方法确定;
基于所述遥感图像检索网络输出得到同类别遥感图像。
9.一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,处理器执行程序时,实现根据权利要求1至7任一项所述的遥感图像检索网络训练方法,和/或根据权利要求8所述的遥感图像检索网络应用方法。
10.一种计算机可存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现根据权利要求1至7任一项所述的遥感图像检索网络训练方法,和/或根据权利要求8所述的遥感图像检索网络应用方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310812851.5A CN117095198A (zh) | 2023-07-04 | 2023-07-04 | 遥感图像检索网络训练方法、应用方法、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310812851.5A CN117095198A (zh) | 2023-07-04 | 2023-07-04 | 遥感图像检索网络训练方法、应用方法、电子设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117095198A true CN117095198A (zh) | 2023-11-21 |
Family
ID=88782065
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310812851.5A Pending CN117095198A (zh) | 2023-07-04 | 2023-07-04 | 遥感图像检索网络训练方法、应用方法、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117095198A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117556062A (zh) * | 2024-01-05 | 2024-02-13 | 武汉理工大学三亚科教创新园 | 一种海洋遥感图像音频检索网络训练方法及应用方法 |
-
2023
- 2023-07-04 CN CN202310812851.5A patent/CN117095198A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117556062A (zh) * | 2024-01-05 | 2024-02-13 | 武汉理工大学三亚科教创新园 | 一种海洋遥感图像音频检索网络训练方法及应用方法 |
CN117556062B (zh) * | 2024-01-05 | 2024-04-16 | 武汉理工大学三亚科教创新园 | 一种海洋遥感图像音频检索网络训练方法及应用方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xie et al. | Multilevel cloud detection in remote sensing images based on deep learning | |
Torii et al. | Visual place recognition with repetitive structures | |
Knopp et al. | Avoiding confusing features in place recognition | |
CN107622489B (zh) | 一种图像篡改检测方法及装置 | |
CN102236675A (zh) | 图像特征点匹配对处理、图像检索方法及设备 | |
CN114140683A (zh) | 一种航拍图像目标检测的方法、设备与介质 | |
CN117095198A (zh) | 遥感图像检索网络训练方法、应用方法、电子设备及介质 | |
CN116310850B (zh) | 基于改进型RetinaNet的遥感图像目标检测方法 | |
CN111881777A (zh) | 一种视频处理方法和装置 | |
CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
CN111178367A (zh) | 适应多物件尺寸的特征决定装置及方法 | |
CN115761599A (zh) | 一种视频异常检测方法及系统 | |
Tu et al. | Detection of damaged rooftop areas from high-resolution aerial images based on visual bag-of-words model | |
CN111373393A (zh) | 图像检索方法和装置以及图像库的生成方法和装置 | |
CN113962324A (zh) | 图片检测方法、装置、存储介质及电子设备 | |
CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
CN116958606A (zh) | 一种图像匹配方法及相关装置 | |
CN112785601B (zh) | 一种图像分割方法、系统、介质及电子终端 | |
CN114329050A (zh) | 视觉媒体数据去重处理方法、装置、设备和存储介质 | |
Nag et al. | CNN based approach for post disaster damage assessment | |
CN114155524A (zh) | 单阶段3d点云目标检测方法及装置、计算机设备、介质 | |
CN113591862A (zh) | 文本识别的方法及装置 | |
Isnanto et al. | Determination of the optimal threshold value and number of keypoints in scale invariant feature transform-based copy-move forgery detection | |
CN112651351A (zh) | 一种数据处理的方法和装置 | |
Henderson et al. | Reflection invariance: an important consideration of image orientation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |