CN117830701A - 基于注意力机制的多尺度特征融合星图识别方法和装置 - Google Patents
基于注意力机制的多尺度特征融合星图识别方法和装置 Download PDFInfo
- Publication number
- CN117830701A CN117830701A CN202311742615.7A CN202311742615A CN117830701A CN 117830701 A CN117830701 A CN 117830701A CN 202311742615 A CN202311742615 A CN 202311742615A CN 117830701 A CN117830701 A CN 117830701A
- Authority
- CN
- China
- Prior art keywords
- star
- feature
- fusion
- star map
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 70
- 230000007246 mechanism Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000007499 fusion processing Methods 0.000 claims abstract description 10
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 19
- 230000004913 activation Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 2
- 238000012567 pattern recognition method Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000612151 Dodecatheon Species 0.000 description 1
- 235000008166 Dodecatheon meadia Nutrition 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了基于注意力机制的多尺度特征融合星图识别方法和装置，在训练基于深度学习星图识别模型时，提取卷积神经网络前馈计算过程中产生的多尺度特征图，形成多尺度特征层次金字塔结构。此外，利用基于注意力机制的多尺度特征融合方法替换传统的简单线性融合操作，按照网络深度自顶向下地对所提取多尺度特征图做逐层融合。融合过程中使用多尺度注意力模块，该模块在通道注意力机制过程中实现，可沿通道维度聚合多尺度上下文信息，更好地融合语义和尺度不一致的特征。本发明考虑到深空环境中的恒星分布可能呈现多种尺度的情况，同时强调分布更全局的恒星星群和分布更局部的恒星星群，提高模型在真实深空场景的极端尺度变化下识别星图的精度。
Description
技术领域
本发明涉及深度学习和星敏感器深空探测领域，尤其涉及一种基于注意力机制的多尺度特征融合星图识别方法和装置。
背景技术
星图识别是星敏感器进行高精度姿态信息获取的关键技术，可靠、快速和高精度的星图识别方法一直是重要的研究课题。另一方面，随着人工智能的飞速发展，基于深度学习的独特优势，神经网络在图像分类应用领域取得了很好的效果。因此，基于深度学习的计算机视觉技术在星图识别任务中也具有广阔的应用前景。以往提出的基于深度卷积神经网络的星图识别方法利用自底向上卷积输出的最后一层特征图进行星图识别。此类基础方法忽略了深空环境中的恒星分布可能呈现多种尺度的情况，仅仅利用神经网络最后一层的强语义特征做识别，放弃利用浅层神经网络的细节信息，对真实场景下产生的不同分布尺度星图很难取得理想的识别效果。因此，在真实深空星图拍摄场景中，简单地使用基本卷积神经网络对传入星图做出识别可能造成图像特征的不充分利用，从而影响模型性能，降低星图识别的精度。
发明内容
本发明实例提供了一种基于注意力机制的多尺度特征融合星图识别方法，能够考虑真实场景下深空拍摄星图分布的多尺度情况，即无论恒星是大是小，该方法都可以准确地识别星图中的所有恒星。通过该方法，我们可以提高飞行器在真实真空环境下姿态测定的精度。
本发明实施例提供了一种基于注意力机制的多尺度特征融合星图识别方法，包括如下步骤：
步骤S1，构建星图图像基础训练集并进行打标；
步骤S2，对基础训练集做数据增强；
步骤S3，构建完整的基于注意力机制的多尺度特征融合模型，所述多尺度特征融合模型首先通过主干网络提取不同尺度的特征，然后通过基于注意力机制的多尺度特征融合方法，按照网络深度自顶向下对相邻特征图进行融合，每次融合两个特征，所得新特征图继续与下层特征重复融合过程，直至迭代结束，将自顶向下的最终融合特征输入分类器；
步骤S4，批量将数据增强得到的训练集输入以上构建的网络模型，训练生成星图识别模型；
步骤S5，将待识别的星图输入至生成的星图识别模型中，星图识别模型输出识别结果，每张星图输出的分类结果为主星编号，最后根据主星与星图中相邻星的角距，识别星图中剩余的恒星。
进一步的，步骤S2中数据增强包括，对星图中每个恒星的坐标添加一定范围的随机位置偏差，提高模型对位置误差的鲁棒性；在每颗恒星上增加一定范围随机星等偏差，提高模型对星等误差的鲁棒性；训练集中每张基本星图图像添加若干具有随机位置和星等的假星，提高模型对假星干扰的鲁棒性；此外，将训练集中的基本星图图像从0°旋转360°，每次旋转一定角度，提高模型的旋转不变性。
进一步的，步骤S3中基于注意力机制的多尺度特征融合方法的具体实现方式为：
对于所提取的相邻特征图，将分辨率较小的上层特征图的空间分辨率进行上采样操作，将分辨率较大的下层特征图进行减少通道维度操作，处理后的两个特征逐点相加做初始特征融合；
将初始融合得到的特征输入多尺度通道注意力模块，两特征的具体融合过程表示如下：
其中，Z为两特征融合后的结果，X,Y分别表示需要初始特征融合的两个特征，为特征图的逐元素相加的初始融合操作，S表示X,Y的初始融合结果，M(·)表示多尺度通道注意力模块，S′表示初始融合特征经过M(·)的输出，/>表示两特征图逐元素相乘。
进一步的，将分辨率较小的上层特征图的空间分辨率上采样为原来的2倍，将分辨率较大的下层特征图通过1×1卷积层减少通道维度。
进一步的，多尺度通道注意力模块的具体处理过程如下：
步骤S31，对于维度为C*H*W的输入特征S，先进行局部特征的通道注意力计算，输出L(S)，L(·)是局部特征的通道注意力计算公式；
步骤S32，对于维度为C*H*W的输入特征S，进行全局特征的通道注意力计算，输出G(S)，G(·)是全局特征的通道注意力计算公式；
步骤S33，特征S经过多尺度通道注意力模块的最终输出S′为：
为广播相加，由于L(S)、G(S)两个分支的尺寸不同，此处必须执行广播操作；σ为Sigmoid激活函数，由激活函数计算注意力机制处理后的权重值，/>为两特征图逐元素相乘，将输入的注意力图与所得注意力权重值逐元素相乘得到输出特征。
进一步的，局部特征的通道注意力计算的具体定义为：
L(S)＝B(PWConv2(δ(B(PWConv1(S)))))
B为Batch Normalization操作，PWConv2为卷积核大小为的卷积操作，δ为Relu激活函数，PWConv1为卷积核大小为/>的卷积操作。
进一步的，全局特征的通道注意力计算的具体定义为：
G(S)＝B(PWConv2(δ(B(PWConv1(g(S))))))
B为Batch Normalization操作，PWConv2为卷积核大小为的卷积操作，δ为Relu激活函数，PWConv1为卷积核大小为/>的卷积操作，g(·)为全局平均池化操作，与L(S)的不同点是G(S)对输入特征M先进行一次全局平均池化操作Global AveragePooling，操作完成后，所得特征图大小为1×1，有效地保留了原始输入的整体特征和全局空间信息，又因为局部通道注意力输出大小为H×W，因此两者相加需要采取广播操作。
进一步的，选择ResNet-50作为主干网络。
本发明还提供一种基于注意力机制的多尺度特征融合星图识别装置，包括如下模块：
数据集构建模块，用于构建星图图像基础训练集并进行打标；
数据增强模块，用于对基础训练集做数据增强；
模型构建模块，用于构建完整的基于注意力机制的多尺度特征融合模型，所述多尺度特征融合模型首先通过主干网络提取不同尺度的特征，然后通过基于注意力机制的多尺度特征融合方法，按照网络深度自顶向下对相邻特征图进行融合，每次融合两个特征，所得新特征图继续与下层特征重复融合过程，直至迭代结束，将自顶向下的最终融合特征输入分类器；
模型训练模块，用于批量将数据增强得到的训练集输入以上构建的网络模型，训练生成星图识别模型；
星图识别模块，用于将待识别的星图输入至生成的星图识别模型中，星图识别模型输出识别结果，每张星图输出的分类结果为主星编号，最后根据主星与星图中相邻星的角距，识别星图中剩余的恒星。
本发明还提供一种基于注意力机制的多尺度特征融合星图识别设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述方案所述的一种基于注意力机制的多尺度特征融合星图识别方法。
通过实施本发明有如下有益效果：
本发明提供了一种基于注意力机制的多尺度特征融合星图识别方法。所述方法在星图识别的过程中，首先抽取不同卷积阶段的多尺度特征图，自顶向下地对所提取多尺度特征图逐层做基于注意力机制的多尺度特征融合，使得整个模型实现多尺度特征的完全利用，提高真实场景下的星图识别性能。通过多尺度金字塔特征提取和基于注意力机制的多尺度特征融合，可以提升在复杂的真实深空环境下实拍星图的识别准确率。这能够提高通过星敏感器实现飞行器的姿态定位、轨道控制的精度与可靠性。
附图说明
图1为一般基于深度卷积神经网络方法的星图识别模型结构图。
图2为本发明实例的多尺度通道注意力模块。
图3为本发明实施例的基于注意力机制的多尺度特征融合模块。
图4为本发明实施例的基于注意力机制的多尺度特征融合星图识别模型。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提取卷积神经网络前馈过程中产生的特征层次金字塔，并利用基于基于注意力机制的多尺度特征融合方法实现特征融合，改善深度卷积神经网络在真实场景下的星图识别精度，进一步提升星敏感器在深空探测过程中的性能。具体来说，如图1所示，使用传统的基于深度学习的卷积神经网络分类方法完成星图识别任务时，对于输入的星图图像，仅仅利用神经网络最后一层的强语义特征做识别，此类方法对于模拟产生的均匀分布理想仿真星图识别效果不错，但放弃利用浅层神经网络的细节信息，忽略了深空环境中的恒星分布可能呈现多种尺度的情况，对真实场景下产生的不同分布尺度星图很难取得理想的识别效果。
因此，本发明的提出的关键在于：以自底向上的方式，在主干深度卷积神经网络框架的前馈计算过程中提取多尺度特征图，形成多尺度特征层次金字塔结构。深度卷积神经网络通过下采样使得特征层次具有固有的多尺度金字塔形状，这种网络特征层次结构产生了不同空间分辨率的特征图，但这些特征图存在不同深度的语义差异。所以，本发明另外使用基于注意力机制的多尺度特征融合模块替换简单的线性融合操作对提取的金字塔特征做逐层融合。该模块在通道注意力机制过程中沿通道维度聚合多尺度上下文信息，更好地融合语义和尺度不一致的特征。基于以上操作，所得网络模型能够同时强调分布更全局的恒星星群和分布更局部的恒星星群，方便网络在极端尺度变化下识别星图。
参考图4，基于注意力机制的多尺度特征融合星图识别方法，包括如下步骤：
步骤1：根据基础星表得到224×224大小的星图图像初始训练集，每张星图图像的对应分类标签为该图中的主星编号。
本实施例中也可以将基础星表裁切成其他尺寸，但最好的是224×224大小，如果分类任务输出特征图如果尺寸太小，那么信息就丢失太严重，如果尺寸太大，信息的抽象层次不够高，计算量也更大，7x7的大小是一个很好的平衡。图像从大分辨率降低到小分辨率，降低倍数通常是2的指数次方，所以图像的输入一定是7x 2的指数次方。以ImageNet为代表的大多数分类数据集，图像的长宽在300分辨率左右。所以要找一个7x2的指数次方，并且在300左右的分辨率作为输入，其中7x2的4次方＝7x16＝112，7x2的5次方等7x32＝224，7x2的6次方＝448，与300最接近的就是224。
步骤2：对星图初始训练集做数据增强。在深度学习视觉任务中，往往通过数据增强的方式来提高模型的鲁棒性，降低模型对图像的敏感度。在本发明实施例中对星图中每个恒星的坐标添加从-5像素到5像素的随机位置偏差，提高模型对位置误差的鲁棒性；在每颗恒星上增加了从-0.5Mv到0.5Mv的随机星等偏差，提高模型对星等误差的鲁棒性；训练集中每张基本星图图像添加1至5颗具有随机位置和星等的假星，提高模型对假星干扰的鲁棒性。此外，由于深度卷积神经网络缺乏旋转不变性，本方法将训练集中的基本星图图像从0°旋转360°，每次旋转5°，提高算法的旋转不变性。
步骤3：构建多尺度通道注意力模块。模块构建过程如图2所示，对于维度为C*H*W的输入特征S，其中C为通道数，H和W分别为高和宽，先进行局部特征的通道注意力计算，具体可定义为：
L(S)＝B(PWConv2(δ(B(PWConv1(S)))))
所述B为Batch Normalization操作，PWConv2为卷积核大小为的卷积操作，δ为Relu激活函数，PWConv1为卷积核大小为/>的卷积操作。L(·)是局部特征的通道注意力计算公式，该操作完成后，所得特征仍具有与输入特征相同的形状，可以保留和突出底层特征中的细微细节。
对于维度为C*H*W的输入特征S，还需再进行全局特征的通道注意力计算，具体可定义为：
G(S)＝B(PWConv2(δ(B(PWConv1(g(S))))))
所述B、PWConv2、δ、PWConv1均与局部特征的通道注意力计算中的含义相同，g(·)为全局平均池化操作。G(·)是全局特征的通道注意力计算公式，与L(S)的不同点是G(S)对输入特征M先进行一次全局平均池化操作Global Average Pooling(GAP)。该操作完成后，所得特征图大小为1×1，有效地保留了原始输入的整体特征和全局空间信息，又因为局部通道注意力输出大小为H×W，因此两者相加需要采取广播操作。
特征S经过多尺度通道注意力模块的输出S′为：
所述为广播相加，由于L(S)、G(S)两个分支的尺寸不同，此处必须执行广播操作；σ为Sigmoid激活函数，由该激活函数计算注意力机制处理后的权重值，/>为两特征图逐元素相乘，将输入的注意力图与所得注意力权重值逐元素相乘得到输出特征。
步骤4：实现相邻特征图的基于注意力机制的多尺度特征融合。对于所提取的相邻特征图，将分辨率较小的上层特征图的空间分辨率上采样为原来的2倍，将分辨率较大的下层特征图通过1×1卷积层减少通道维度，处理后的两个特征逐点相加做初始特征融合。
将初始融合得到的特征输入步骤3中构建的多尺度通道注意力模块。两特征的具体融合过程如图3所示，表示如下：
所述Z为两特征融合后的结果，X,Y分别表示需要初始特征融合的两个特征，为特征图的逐元素相加的初始融合操作，S表示X,Y的初始融合结果。M(·)表示步骤3中构建的多尺度通道注意力模块，S′表示初始融合特征经过M(·)的输出，/>表示两特征图逐元素相乘。
步骤5：构建完整的基于注意力机制的多尺度特征融合模型，如图4所示。首先选择合适的骨干网络，本发明实例中选择ResNet-50。为完全实现模型工作过程中特征利用的多尺度，本发明实例提取ResNet-50前馈计算过程中每个Stage最后一个残差块输出的特征，4个Stage的特征分别记作为C2,C3,C4,C5。
使用将步骤4中相邻特征图的基于注意力机制的多尺度特征融合方法，按照网络深度自顶向下对相邻特征图进行融合，每次融合两个特征，所得新特征图继续与下层特征重复融合过程，直至迭代结束，将自顶向下的最终融合特征输入分类器。例如，将C2和C3融合得到C23，C23继续与下层C4融合，的得到的新特征再与C5融合，得到最终的特征。
步骤6：批量将数据增强得到的训练集输入以上构建的网络模型进行前馈特征金字塔提取和反向传播训练，训练生成星图识别模型。
步骤7：将待识别的星图输入至生成的星图识别模型中，星图识别模型输出识别结果，每张星图输出的分类结果为主星编号，最后根据主星与星图中相邻星的角距，识别星图中剩余的恒星。
本发明实施例还提供一种基于注意力机制的多尺度特征融合星图识别装置，包括如下模块：
数据集构建模块，用于构建星图图像基础训练集并进行打标；
数据增强模块，用于对基础训练集做数据增强；
模型构建模块，用于构建完整的基于注意力机制的多尺度特征融合模型，所述多尺度特征融合模型首先通过主干网络提取不同尺度的特征，然后通过基于注意力机制的多尺度特征融合方法，按照网络深度自顶向下对相邻特征图进行融合，每次融合两个特征，所得新特征图继续与下层特征重复融合过程，直至迭代结束，将自顶向下的最终融合特征输入分类器；
模型训练模块，用于批量将数据增强得到的训练集输入以上构建的网络模型，训练生成星图识别模型；
星图识别模块，用于将待识别的星图输入至生成的星图识别模型中，星图识别模型输出识别结果，每张星图输出的分类结果为主星编号，最后根据主星与星图中相邻星的角距，识别星图中剩余的恒星。
需要说明的是上述装置项实施例是与本发明方法项实施例对应的，其可以实现本发明任意一项方法项实施例所述的一种基于注意力机制的多尺度特征融合星图识别方法。经过对比消融实验得出，本算法的星图识别精度超过传统的优化网格算法，金字塔算法，改良的对数极坐标变换算法等，在真实的星图图像识别测试过程中达到最优。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种基于注意力机制的多尺度特征融合星图识别装置，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述技术方案所述的一种基于注意力机制的多尺度特征融合星图识别方法。
实现所述基于注意力机制的多尺度特征融合星图识别的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于注意力机制的多尺度特征融合星图识别的设备可包括，但不仅限于，处理器、存储器。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于，包括如下步骤：
步骤S1，构建星图图像基础训练集并进行打标；
步骤S2，对基础训练集做数据增强；
步骤S3，构建完整的基于注意力机制的多尺度特征融合模型，所述多尺度特征融合模型首先通过主干网络提取不同尺度的特征，然后通过基于注意力机制的多尺度特征融合方法，按照网络深度自顶向下对相邻特征图进行融合，每次融合两个特征，所得新特征图继续与下层特征重复融合过程，直至迭代结束，将自顶向下的最终融合特征输入分类器；
步骤S4，批量将数据增强得到的训练集输入以上构建的网络模型，训练生成星图识别模型；
步骤S5，将待识别的星图输入至生成的星图识别模型中，星图识别模型输出识别结果，每张星图输出的分类结果为主星编号，最后根据主星与星图中相邻星的角距，识别星图中剩余的恒星。
2.根据权利要求1中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：步骤S2中数据增强包括，对星图中每个恒星的坐标添加一定范围的随机位置偏差，提高模型对位置误差的鲁棒性；在每颗恒星上增加一定范围随机星等偏差，提高模型对星等误差的鲁棒性；训练集中每张基本星图图像添加若干具有随机位置和星等的假星，提高模型对假星干扰的鲁棒性；此外，将训练集中的基本星图图像从0°旋转360°，每次旋转一定角度，提高模型的旋转不变性。
3.根据权利要求1中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：步骤S3中基于注意力机制的多尺度特征融合方法的具体实现方式为：
对于所提取的相邻特征图，将分辨率较小的上层特征图的空间分辨率进行上采样操作，将分辨率较大的下层特征图进行减少通道维度操作，处理后的两个特征逐点相加做初始特征融合；
将初始融合得到的特征输入多尺度通道注意力模块，两特征的具体融合过程表示如下：
其中，Z为两特征融合后的结果，X,Y分别表示需要初始特征融合的两个特征，为特征图的逐元素相加的初始融合操作，S表示X,Y的初始融合结果，M(·)表示多尺度通道注意力模块，S′表示初始融合特征经过M(·)的输出，/>表示两特征图逐元素相乘。
4.根据权利要求3中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：将分辨率较小的上层特征图的空间分辨率上采样为原来的2倍，将分辨率较大的下层特征图通过1×1卷积层减少通道维度。
5.根据权利要求3中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：多尺度通道注意力模块的具体处理过程如下：
步骤S31，对于维度为C*H*W的输入特征S，先进行局部特征的通道注意力计算，输出L(S)，L(·)是局部特征的通道注意力计算公式，其中C为通道数，H和W分别为高和宽；
步骤S32，对于维度为C*H*W的输入特征S，进行全局特征的通道注意力计算，输出G(S)，G(·)是全局特征的通道注意力计算公式；
步骤S33，特征S经过多尺度通道注意力模块的最终输出S′为：
为广播相加，由于L(S)、G(S)两个分支的尺寸不同，此处必须执行广播操作；σ为Sigmoid激活函数，由激活函数计算注意力机制处理后的权重值，/>为两特征图逐元素相乘，将输入的注意力图与所得注意力权重值逐元素相乘得到输出特征。
6.根据权利要求5中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：局部特征的通道注意力计算的具体定义为：
L(S)＝B(PWConv2(δ(B(PWConv1(S)))))
B为Batch Normalization操作，PWConv2为卷积核大小为的卷积操作，δ为Relu激活函数，PWConv1为卷积核大小为/>的卷积操作。
7.根据权利要求5中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：全局特征的通道注意力计算的具体定义为：
G(S)＝B(PWConv2(δ(B(PWConv1(g(S))))))
B为Batch Normalization操作，PWConv2为卷积核大小为的卷积操作，δ为Relu激活函数，PWConv1为卷积核大小为/>的卷积操作，g(·)为全局平均池化操作，与L(S)的不同点是G(S)对输入特征M先进行一次全局平均池化操作Global AveragePooling，操作完成后，所得特征图大小为1×1，有效地保留了原始输入的整体特征和全局空间信息，又因为局部通道注意力输出大小为H×W，因此两者相加需要采取广播操作。
8.根据权利要求1中所述的一种基于注意力机制的多尺度特征融合星图识别方法，其特征在于：选择ResNet-50作为主干网络。
9.一种基于注意力机制的多尺度特征融合星图识别装置，其特征在于，包括如下模块：
数据集构建模块，用于构建星图图像基础训练集并进行打标；
数据增强模块，用于对基础训练集做数据增强；
模型构建模块，用于构建完整的基于注意力机制的多尺度特征融合模型，所述多尺度特征融合模型首先通过主干网络提取不同尺度的特征，然后通过基于注意力机制的多尺度特征融合方法，按照网络深度自顶向下对相邻特征图进行融合，每次融合两个特征，所得新特征图继续与下层特征重复融合过程，直至迭代结束，将自顶向下的最终融合特征输入分类器；
模型训练模块，用于批量将数据增强得到的训练集输入以上构建的网络模型，训练生成星图识别模型；
星图识别模块，用于将待识别的星图输入至生成的星图识别模型中，星图识别模型输出识别结果，每张星图输出的分类结果为主星编号，最后根据主星与星图中相邻星的角距，识别星图中剩余的恒星。
10.一种基于注意力机制的多尺度特征融合星图识别装置，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的一种基于注意力机制的多尺度特征融合星图识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311742615.7A CN117830701A (zh) | 2023-12-15 | 2023-12-15 | 基于注意力机制的多尺度特征融合星图识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311742615.7A CN117830701A (zh) | 2023-12-15 | 2023-12-15 | 基于注意力机制的多尺度特征融合星图识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117830701A true CN117830701A (zh) | 2024-04-05 |
Family
ID=90522047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311742615.7A Pending CN117830701A (zh) | 2023-12-15 | 2023-12-15 | 基于注意力机制的多尺度特征融合星图识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117830701A (zh) |
-
2023
- 2023-12-15 CN CN202311742615.7A patent/CN117830701A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| Guo et al. | CDnetV2: CNN-based cloud detection for remote sensing imagery with cloud-snow coexistence | |
| CN108427924B (zh) | 一种基于旋转敏感特征的文本回归检测方法 | |
| CN112633350B (zh) | 一种基于图卷积的多尺度点云分类实现方法 | |
| CN111062282A (zh) | 基于改进yolov3模型的变电站指针式仪表识别方法 | |
| TANG et al. | Transformation-ring-projection (TRP) algorithm and its VLSI implementation | |
| CN106295613A (zh) | 一种无人机目标定位方法及系统 | |
| CN110443258B (zh) | 文字检测方法、装置、电子设备及存储介质 | |
| CN111079683A (zh) | 基于卷积神经网络的遥感图像云雪检测方法 | |
| CN111414953B (zh) | 点云分类方法和装置 | |
| CN105224935A (zh) | 一种基于Android平台的实时人脸关键点定位方法 | |
| CN111709268B (zh) | 一种深度图像中的基于人手结构指导的人手姿态估计方法和装置 | |
| CN114022900A (zh) | 检测模型的训练方法、检测方法、装置、设备和介质 | |
| CN107301643A (zh) | 基于鲁棒稀疏表示与拉普拉斯正则项的显著目标检测方法 | |
| CN112651490A (zh) | 人脸关键点检测模型的训练方法及设备、可读存储介质 | |
| CN110852317A (zh) | 一种基于弱边缘的小尺度目标检测方法 | |
| CN115457492A (zh) | 目标检测方法、装置、计算机设备及存储介质 | |
| Wang et al. | Instance segmentation of point cloud captured by RGB-D sensor based on deep learning | |
| CN114882524A (zh) | 一种基于全卷积神经网络的单目三维手势估计方法 | |
| Rumapea et al. | Improving Convective Cloud Classification with Deep Learning: The CC-Unet Model. | |
| CN117237643A (zh) | 一种点云语义分割方法及系统 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| CN115965788A (zh) | 基于多视角图结构特征注意力卷积的点云语义分割方法 | |
| CN117830701A (zh) | 基于注意力机制的多尺度特征融合星图识别方法和装置 | |
| Lee et al. | Camera pose estimation using voxel-based features for autonomous vehicle localization tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |