CN114332639A - 一种非线性残差自注意力机制的卫星姿态视觉测量算法 - Google Patents

Abstract

一种非线性残差自注意力机制的卫星姿态视觉测量算法。所述测量方法流程包括：构建卫星姿态旋转数据集，获取图像单通道矩阵，通过卷积神经网络提取局部特征，位置编码器对局部特征进行位置编码，非线性残差自注意力机制对位置编码后的图像特征进行学习，通过全连接层输出姿态测量信息。使用单通道图像匹配自注意力机制只能处理二维矩阵的特点，可以保留图像位置信息和压缩模型大小。针对自注意力机制的缺陷，引入非线性激活函数和残差网络，提出了一种非线性残差自注意力机制，可以提升模型表达能力和训练效率。本发明实施例基于视觉和深度学习算法，观测手段方便，解算卫星姿态信息快捷，为推动我国空间非合作目标探测发展提供了理论和技术基础。

Description

一种非线性残差自注意力机制的卫星姿态视觉测量算法

技术领域

本发明涉及目标探测领域，特别涉及一种非线性残差自注意力机制的卫星姿态视觉测量算法。

背景技术

非合作目标探测在空间防卫、在轨维修等问题上具有极高的应用价值，对我国太空安全起着至关重要的作用。然而，目前针对非合作目标的探测技术手段有限，基于视觉的非合作目标探测手段较为容易，但是在解算图像信息时，对相关算法的识别精度要求高。如何能够有效的进行基于视觉信息的非合作目标探测是解决该类问题的重要技术手段，能够有效的维护我国空天安全。

自注意力机制是transformer的核心组件，针对图像信息，目前主要使用视觉transformer。由于自注意力机制只能对二维矩阵进行建模学习，所以基于视觉的transformer算法在图像数据预处理时，会将三通道的图像进行三维矩阵变形，首先将三通道的图像矩阵分为多个部分，每个部分转化为一维向量，最后将多部分图片拉平成，从而组成二维矩阵输入至自注意力机制中。基于视觉的transformer为了将图像信息转化为二维矩阵，损失了图像的空间位置信息。在测量非合作目标姿态信息时，需要尽可能的保留图像像素间的位置信息。

申请号为CN202010387890.1的发明专利公开了“微纳卫星姿态估计方法”，通过使用姿态测量敏感器观测卫星姿态信息，并用相关算法减小测量误差，但是该方法对非合作目标并不适用。专利号为CN201910776312.4的发明专利公开了“卫星姿态的测量方法及装置”，通过使用姿态运动学原理解算姿态转换矩阵，从而估计卫星姿态信息，该方法在识别效率上低于深度学习方法。

发明内容

(一)发明目的

本发明的目的是提供通过一种非线性残差自注意力机制的卫星姿态视觉测量算法。本发明通过视觉的手段测量卫星姿态信息，将卫星图像的单通道矩阵输入所提模型中，在保留卫星姿态位置信息的同时可以压缩深度学习识别模型。提出一种非线性残差自注意力机制，可以有效优化权重矩阵。

(二)技术方案

本发明的技术解决方案，一种非线性残差自注意力机制的卫星姿态视觉测量算法，其特征在于，包括：构建卫星姿态旋转数据集，卫星姿态图像数据预处理，通过卷积神经网络提取卫星图像的局部特征，位置编码器对局部特征进行位置编码，非线性残差自注意力机制对编码图像特征进行再次特征提取，通过后处理模块处理特征，最后通过全连接层输出姿态预测信息，该方法的由如下步骤构成。

通过3DMax仿真出某型号卫星模型，通过3DMax画脚本编辑功能将3D卫星模型按一定的角度进行旋转并保存，同时标记旋转角度信息，构建卫星姿态旋转数据集。

在获取卫星姿态旋转数据集后，对卫星图片信息进行预处理，使用OpenCV读取图像数据，并将三通道的图像数据矩阵保存为单通道的二维矩阵数据。

使用卷积神经网络提取单通道图像的局部特征，在此处可以分别提取同一张图像的三个通道矩阵特征，也可以提取某一通道矩阵特征，或者将三个通道矩阵特征相加求其平均值矩阵，使用卷积神经网络提取平均值矩阵特征。

使用位置编码器对卷积网络提取后的特征进行位置编码，让每个卷积后的特征矩阵与位置编码器矩阵拼接，得到含位置信息的特征矩阵。

将含有位置信息的矩阵输入至非线性残差自注意力机制中，非线性自注意力机制的机理如下：

将位置编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Q_a,K_a,V_a：

W^q、W^k、W^v分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Q_a,K_a,V_a使用激活函数进行非线性操作：

然后将Q,K,V加上矩阵A，得到Q′,K′,V′：

计算自注意力值：

其中d_k是键向量维度的平方根。

将输出的自注意力值传递到后处理模块，后处理模块由全局平均池化层和Dropout组成，后处理模块的主要作用是提升网络泛化能力，防止网络训练过程中的过拟合现象。

经过后处理模块的特征输入至全连接层中，该全连接层由多个神经元组成，表示输出的姿态角估计值。

将卫星姿态旋转数据集输入至深度学习网络中，设置网络学习参数，选择合适的损失函数，利用梯度下降法训练深度学习模型，通过不断地迭代训练使得损失函数收敛，最后得到基于卷积非线性残差自注意力机制的卫星姿态视觉测量模型。

本发明实现了基于卷积非线性残差自注意力机制的卫星姿态视觉测量。本发明使用了单通道图像提取方法，在使用自注意力机制时，可以保留图像像素间的位置信息，大幅降低网络模型训练参数量。并提出了一种残差非线性自注意力机制，可以提升模型表达能力和训练效率。

(三)本发明的主要优点

本发明的上述技术方案具有如下优点：本发明主要用于基于视觉的卫星姿态测量，同时可以应用到空间非合作目标探测领域。使用了卫星图像单通道二维矩阵特征，可以直接提供给自注意力机制，保留了卫星图像像素间的位置信息和降低了网络模型训练的参数量。提出了一种非线性残差自注意力机制，可以提升模型的学习表达能力和优化权重矩阵，进一步提高了深度学习网络模型训练效率。

附图说明

图1是本发明的流程框架图；

图2是本发明实施例卫星姿态旋转数据集部分样例图；

具体实施方式

为使本发明的技术方案、优点和目的更加清楚明了，结合具体实例说明了方法流程并参照附图，对本发明的技术方案进一步说明。

本发明实施例1，一种非线性残差自注意力机制的卫星姿态视觉测量算法，参见图1，按下述步骤进行：

通过3DMax仿真出某型号卫星模型，在使用3DMax软件画出某型号卫星的3D模型后，将3D卫星模型初始状态标记为[0,0,0]，使用3DMax动画脚本编辑功能，每隔0.1秒旋转一次，偏航角旋转3°，经过12秒该卫星模型的偏航角将旋转一周，经过12秒后，俯仰角旋转3°，以此类推，并在每次旋转后保存图像并标记位姿角度信息，通过该种方法生成卫星姿态旋转数据集，得到如图2所示的卫星姿态旋转数据集。同时按照9:1的比例将数据集随机划分成训练集和测试集。

在获取卫星姿态旋转数据集后，将训练集输入至网络，首先对卫星图片信息进行预处理，使用OpenCV读取图像数据，并将三通道的图像数据矩阵保存为单通道的二维矩阵数据。

使用卷积神经网络提取单通道图像的局部特征，在此处可以分别提取同一张图像的三个通道矩阵特征，也可以提取某一通道矩阵特征，或者将三个通道矩阵特征相加求其平均值矩阵，使用卷积神经网络提取平均值矩阵特征。

使用位置编码器对卷积网络提取后的特征进行位置编码，让每个卷积后的特征矩阵与位置编码器矩阵拼接，得到含位置信息的特征矩阵。

将含有位置信息的矩阵输入至非线性残差自注意力机制中，非线性自注意力机制的机理如下：

将位置编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Q_a,K_a,V_a：

W^q、W^k、W^v分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Q_a,K_a,V_a使用激活函数进行非线性操作：

然后将Q,K,V加上A，得到Q′,K′,V′：

计算自注意力值：

其中d_k是键向量维度的平方根。

将输出的自注意力值传递到后处理模块，后处理模块由全局平均池化层和Dropout层组成。全局平均池化层对网络进行正则化，防止过拟合。Dropout层的参数设置为0.5，即随机选择50％特征，提升模型的泛化能力。

经过后处理模块的特征输入至全连接层中，该全连接层由3个神经元组成，表示输出的姿态角估计值。

将卫星姿态旋转数据集输入至深度学习网络中，设置网络学习参数为0.0003，选择交叉熵损失函数，利用梯度下降法训练深度学习模型，通过不断地迭代训练使得损失函数收敛，最后得到基于卷积非线性残差自注意力机制的卫星姿态视觉测量模型。

在得到卫星姿态视觉测量模型后，将卫星姿态旋转数据集中测试集部分输入至该测量模型中，测量模型对输入图片进行特征计算，得到卫星姿态角估计值。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (5)

1.一种非线性残差自注意力机制的卫星姿态视觉测量算法，其特征在于，主要包括以下步骤：

步骤1、构建卫星旋转姿态数据集；

步骤2、卫星姿态图像数据预处理；

步骤3、通过卷积神经网络提取卫星图像的局部特征；

步骤4、位置编码器对局部特征进行位置编码；

步骤5、非线性残差自注意力机制对位置编码后的图像特征进行学习；

步骤6、通过后处理模块处理特征；

步骤7、最后通过全连接层输出姿态预测信息。

2.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量算法，其特征在于：

步骤1中，使用3DMax仿真出某型号卫星模型，通过3DMax将3D卫星模型按一定的角度进行旋转并保存，同时标记旋转角度信息，进而得到卫星姿态旋转数据集。

3.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量算法，其特征在于：

步骤2中，进行卫星姿态图像数据预处理，使用OpenCV读取姿态图像，分别将图像RGB三个通道保存为三个矩阵。

4.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量算法，其特征在于：

步骤3中，卷积神经网络提取卫星姿态图像三个矩阵的局部特征，此处可以使用一种通道的图像矩阵，也可以同时单独使用三种通道矩阵，或使用三个矩阵的加权平均值矩阵。

5.根据权利要求1所述的一种非线性残差自注意力机制的卫星姿态视觉测量算法，其特征在于：

步骤5中，针对自注意力机制的缺陷，提出了一种非线性残差自注意力机制，可以提升模型表达能力和训练效率。将位置编码器编码后的二维特征矩阵A与三个权重矩阵相乘得到Q_a,K_a,V_a：

W^q、W^k、W^v分别由查询向量q、键向量k、值向量v组成的三个权重矩阵，将得到的Q_a,K_a,V_a使用激活函数进行非线性操作：

然后将Q,K,V加上A，得到Q′,K′,V′：

计算自注意力值：

其中d_k是键向量维度的平方根。

Images