具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清 楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是 全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳 动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。 为了简化本发明的公开,下文中对特定例子的部件和设置进行描述。当然,它 们仅仅为示例,并且目的不在于限制本发明。此外,本发明可以在不同例子中 重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指 示所讨论各种实施方式和/或设置之间的关系。此外,本发明提供了的各种特定 的工艺和材料的例子,但是本领域普通技术人员可以意识到其他工艺的应用和/ 或其他材料的使用。
如图1所示,本发明提供一种卫星自主位姿的判定方法,包括如下步骤 S1~S9。
S1、第一获取步骤,获取一初始的遥感图像并对其进行预处理得到待分析 的遥感图像。
如图2所示,所述第一获取步骤包括步骤S101~步骤S102。
S101、第一采集步骤,通过一星载光学相机采集初始的遥感图像;以及
S102、预处理步骤,对所述初始的遥感图像进行预处理。
其中所述初始的遥感图像包括:可见光遥感图像、多光谱遥感图像及高光 谱遥感图像。
所述预处理方式包括去噪处理、辐射校正、几何校正、尺寸变换以及图像 标注。
遥感图像的去噪处理可通过噪声压制滤波法进行,即使用滤波技术来达到 去斑点噪声的效果。
辐射校正包括遥感器校准、大气校正,其中遥感器校准通过建立遥感器, 每个探测器输出值与该探测器对应的实际地物辐射亮度之间的定量关系,避免 探测器引起的偏差和失真。
大气校正是辐射校正的重要步骤,可以分为绝对大气校正方法和相对大气 校正方法。
遥感图像的几何校正一般有三步:控制点选取、像元坐标变换、像元亮度 值重采样。还需要对遥感图像进行尺寸重塑操作,将多种尺寸的遥感图像归一 化,重塑后的尺寸为224像素*224像素大小的图像数据,使其能够作为卷积神 经网络的输入。对经过上述处理的图像进行标注,将图像划分为训练集和测试 集。
S2、建立步骤,建立一用于提取所述待分析的遥感图像的特征信息的卷积 神经网络。
以VGG-16网络为基础进行神经网络的建立,并对其中网络的分类模块按 需进行修改,用于识别河流、道路、海岸线等标志物。所建立的神经网络的卷 积模块分为5段,包含13个卷积层和5个池化层,分段信息如下:
第一段:两个卷积层和一个最大池化层,卷积核大小3*3,卷积核数量64, 步长1*1,第一个卷积层输入尺寸224像素*224像素*3通道,输出尺寸224像 素*224像素*64通道,第二个输入输出尺寸均为224像素*224像素*64通道, 池化层2*2,输出尺寸112像素*112像素*64通道。
第二段:和第一段相似,输出通道数变为128,卷积网络输出尺寸56像素 *56像素*128通道,池化层保持不变。
第三段:三个卷积层和一个最大池化层,输出通道变为256,输出尺寸28 像素*28像素*256通道。
第四段:与第三段相似,输出通道变为512,通过最大池化将图片缩为14 像素*14像素。
第五段:与第四段相似,池化层尺寸2*2,步长为2*2,输出尺寸7像素*7 像素*512通道。
在本实施例中,神经网络分类模块包含3个全连接层和一个逻辑回归 (softmax)层,其中全连接层的隐含节点数为4096。
卷积神经网络的初始参数采用VGG-16网络的原始参数,卷积神经网络结 构示意图如图3所示。
所述卷积神经网络包含输入模块、卷积模块和分类模块。
所述输入模块用于读入预处理后的遥感图像数据;网络的输入是224像素 *224像素大小的图像数据。
所述卷积模块包含卷积、激活和采样操作,用于提取和选择图像特征。
由卷积层进行卷积操作,卷积公式表述为:
o=∑i,jenWi,j*Ii,j
其中,wi,j是n*n大小的卷积核位置i,i处的参数;Ii,j是与卷积核元素相对应位 置的像素值。网络中所包含的13个卷积层采用的卷积核的尺寸均为3*3的尺寸, 卷积核的滑动步长为1。
采用ReLU激活函数对卷积层的输出进行处理,其函数表达式为:
f(in)=max(0,in)
其中in为输入信号,f(in)为输出信号。
由采样层对数据进行池化,池化操作类似卷积操作,同样是用一个n*n大小 的卷积核在另一的N*M的矩阵上以一定的滑动步长滑动,这里滑动步长的值为 2。在滑动过程中选出当前与核对应位置的最大值,即使用最大值池化方式,最 大值池化公式表述如下:
o=maxIi′,j′
其中,Ii,j是与卷积核元素相对应位置的像素值。
所述分类模块用于进行目标特征的分类。
卷积神经网络的分类模块包括3层全连接层和逻辑回归(softmax)层,用 于进行目标特征的分类。所述的逻辑回归(softmax)层,在学习训练期间将卷 积神经网络中的学习结果作为逻辑回归(softmax)层的输入数据;逻辑回归 (softmax)回归是面向多类分类问题的逻辑回归,是逻辑回归的一般形式,适 用于类别之间互斥的情况。
假设对于样本{(x(1),y(1)),(x(2),y(2)),...,(x(m),y(m))有K个类别,即y(r)e{1,2...,k}。 逻辑回归层(softmax)用于估算输入样本x(t)属于每一类别的概率,逻辑回归层(softmax)的假设函数如下:
其中θ1,θ2,…,θk是模型的参数,乘以的目的是为了使概率在[0,1] 之间且概率和为1。
逻辑回归层(softmax)将样本x(t)标记为类别j的概率为:
网络模型的损失函数采用的是交叉熵函数,交叉熵刻画的是实际输出(概率) 与期望输出(概率)的距离,也就是交叉熵的值越小,两个概率分布就越接近。 假设概率分布p为期望输出(标签),概率分布q为实际输出,H(p,q)为交叉熵。一 种交叉熵损失函数公式如下:
S3、第一训练步骤,输入所述待分析的遥感图像至所述卷积神经网络中进 行训练,并执行特征提取操作,以得到所述待分析的遥感图像的特征信息。
如图4所示,所述第一训练步骤包括步骤S301~步骤S307。
S301、样本集建立步骤,根据所述待分析的遥感图像构建一样本集。
S302、样本集分类步骤,随机划分所述样本集为训练样本及测试样本。
S303、第一输入步骤,顺序读取所述训练样本的遥感图像,并分批输入所 述训练样本的遥感图像至所述卷积神经网络模型的输入模块中,以执行训练操 作。
S304、初级模型构建步骤,在训练过程中对所述卷积神经网络模型的网络 参数权重进行调整,以获得训练后的第一卷积神经网络模型。
具体地,在初级模型的训练过程中对网络参数权重进行调整,主要通过梯 度下降法结合误差反向传播来调整参数,不断迭代训练过程直到网络的参数收 敛,可得到训练网络后的第一卷积神经网络模型。
具体地,神经网络中梯度下降法更新权值的公式如下:
其中e为误差(由损失函数计算得到),η为梯度下降的学习率,w为权系数(在 CNN中,w即为卷积核),b为偏置。
具体地,定义节点灵敏度其中u=wxl+b,xl表示网络在第l层的 输出。节点灵敏度用于简化权值更新计算。
例如卷积神经网络中卷积层权值更新,设卷积神经网络(Convolutional NeuralNetworks,CNN)输出了多种特征图谱,对于第i层输出的第j种特征图应 有:
其中,M为特征图的全集,kij为输入的第i种特征图和输出的第j种特征图间 连接的卷积核,bj为第j种特征图对应的偏置,f为激活函数。有:
在公式(1)中,权值w为卷积核。up表示上采样操作,因为l+1采样层的灵敏 度矩阵要小于是l层灵敏度矩阵的尺寸,所以这里要对l+1层的灵敏度矩阵做 上采样,使它们尺寸一致。公式(2)中,这里是/>在做卷积时,与kij做卷积的每一个patch,(u,v)是patch中心。公式(3)对层l中的灵敏度中所有节 点求和,这里(u,v)代表灵敏度矩阵中的元素位置。
S305、验证步骤,输入所述测试样本至所述第一卷积神经网络模型中进行 验证操作。
S306、初级模型优化步骤,根据所述验证步骤的验证结果对所述第一卷积 神经网络模型进行优化,以获得第二卷积神经网络模型。
S307、输出步骤,输出通过所述第二卷积神经网络模型的卷积模块所计算 得到的遥感图像的特征表示,输出通过所述第二卷积神经网络模型的分类模块 所计算得到的遥感图像的分类信息,输出所述第二卷积神经网络模型的不同中 间层的特征图谱并保存所述特征图谱。
S4、构建步骤,根据指定区域内的不同分辨率的全部遥感图像以及相应的 特征信息构建一知识图谱。
如图5所示,所述构建步骤包括步骤S401~步骤S402。
S401、第一构建步骤,根据一覆盖指定区域内的不同分辨率的全部遥感图 像构建遥感图像数据库;
如图6所示,所述第一构建步骤包括步骤S4011~步骤S4013。
S4011、第二获取步骤,从遥感图像数据库中获取所述覆盖指定区域内的不 同分辨率的全部的遥感图像。
S4012、第一存储步骤,根据分辨率分层和所属区域划分所述第二获取步骤 中的遥感图像,并存储于数据库中。
S4013、第二存储步骤,存储所述第二获取步骤中的每一所述遥感图像的特 征信息于所述数据库中,并且关联于所述数据库中的相应的遥感图像。
S402、第二构建步骤,根据所述遥感图像数据库构建遥感图像的知识图谱。
其中,如图7所示,所述第二构建步骤包括步骤S4021~步骤S4022。
S4021、第二采集步骤,从所述遥感图像数据库中分层地采集每一遥感图像 以及相应的特征信息。
S4022、第三构建步骤,根据不同的遥感图像的相同特征建立相关性的边连 接,并将所述边连接关系储于图数据库中完成构建知识图谱。
其中,所述每一遥感图像作为知识图谱的节点,分辨率低及范围广的遥感 图像作为底层节点,分辨率高的作为越上层节点;若底层节点所属区域包含上 一层节点所属区域,则在二者之间进行关联,最后构建的知识图谱的示意图如 图8所示。
S5、第二训练步骤,输入所述知识图谱至一神经网络中,以训练并更新所 述知识图谱。
S6、检索步骤,在所述更新后的知识图谱中检索光学相机拍摄的当前遥感 图像的模板图像。
如图9所示,所述检索步骤包括步骤S601~步骤S603。
S601、第三获取步骤,获取当前遥感图像的特征信息,并记作为第一特征。
S602、第一检索步骤,根据所述第一特征与所述节点特征的相似程度沿着 知识图谱的边检索。
在一实施例中,将当前遥感图像特征与待匹配节点的特征的欧氏距离作为 边的权值,计算到达顶层各节点的距离中的最小距离,该节点即视为最接近当 前遥感图像的模板。
将该节点所指向的全部模板与当前遥感图像进行相似度计算,其中最相似 的作为当前位姿校正的模板。
在一实施例中,采用图像哈希算法有效的量化遥感图像与模板的相似程度, 最相似的即为所要采用的遥感图像模板。
S603、第四获取步骤,根据检索得到的相似的节点返回遥感图像数据库中, 获取与当前遥感图像相匹配的相似的节点的遥感图像模板。
继续参阅图1,S7、匹配步骤,传输当前遥感图像和检索得到的模板图像 至深度卷积网络,以获得匹配特征信息。其中所述深度卷积网络为多尺度的特 征深度卷积网络,其架构如图10所示,在图10中,卷积神经网络(CNN)、 密集特征(dense feature),稀疏特征(derived feature)。
如图11所示,所述匹配步骤包括步骤S701~步骤S706。
S701、第二输入步骤,输入当前遥感图像和检索得到的模板图像至深度卷 积网络。
S702、叠加步骤,相互叠加不同尺度之间特征深度卷积网络的特征信息, 以获得特征信息。
考虑光学相机拍摄的遥感图像上的目标特征与检索到的图像上目标特征 (节点)之间存在尺度和位置的差异,因此首先将拍摄的遥感图像和检索到的 图像传输到特征匹配深度卷积网络的预处理层,即为多尺度特征提取层。该层 具有多个尺度的特征卷积核,图像将传送多份,在不同尺度的卷积核上同步特 征提取操作。同时,不同尺度的卷积核之间并非是独立的,不同特征通过上采 样进行多尺度特征叠加,最终得到具有广泛适用性的特征信息。
S703、第三构建步骤,构造一特征空间的归一化转化器。
S704、归一化步骤,传输特征信息至所述转化器中,以执行归一化操作。
经过叠加步骤之后,考虑到获取多组特征信息之间具有广泛适用性,但是 不同组特征之间存在特征空间不同的问题,因此,引入一个特征空间归一化转 化器,将多组特征进行特征空间归一化操作。
S705、传输步骤,传输归一化后的特征信息至匹配卷积网络中。
S706、特征点信息获取步骤,获得匹配特征点对的信息。
经过上述操作,获取到同一特征空间下的广泛适用性的多组特征信息,但 是考虑到特征信息的稀疏性和稠密性,需要将特征进行稀疏和稠密同步匹配卷 积操作,不同操作引入不同的特征匹配算法。接着,将不同步骤的匹配操作叠 加,筛选出具有较强鲁棒性的匹配特征。
继续参阅图1,S8、确定步骤,确定所述光学相机成像模型、运动方程及 观测方程。
如图12所示,所述确定步骤包括步骤S801~步骤S810。
S801、第五获取步骤,如图13所示,获取光束并在光学相机平面上投影成 像,所述光束由所述光学相机接收。
S802、第一步骤,引入运动方程xk=f(xk-1,uk,wk),其中xk为第k-1次至第k 次的卫星运动变化,uk为卫星携带传感器的输入,wk为此次运动过程中传入的 噪声。
S803、第二步骤,引入与所述运动方程相对应的一个观测方程: zk,j=f(yj,xk,vk,j),其中zk,j为卫星在xk位置上看到路标点上产生的一个观测数据, 而vk,j为次观测过程中的噪声。
S804、第三步骤,卫星在轨道上运行,其位姿是由位移量和转角表征的, 即而输入的参数是两个时间间隔和转角的变化量,此时运 动方程表示为:
S805、第四步骤,联立上述的运动方程和观测方程,即此时,wk和vk,j为所述运动方程和所述观测方程的噪声。
S806、投影步骤,引入空间中某个观测点P,该点齐次坐标为P=(X,Y,Z,1)T, 而在像素平面上,对应的投影点坐标为P'=(u1,v1,1)T。
S807、构建方程步骤,星载光学相机的位姿由R,t来表征,其中R为旋转矩 阵,而t为平移向量,根据特征投影坐标点P、相机位姿信息t,空间观测点齐 次坐标P以及像素点距离s,构建方程:
S808、第一简化步骤,利用由旋转矩阵和平移向量构成的增广矩阵的最后 一行,消去s,得到两个约束等式:
S809、第二简化步骤,定义T的行向量为:
S810、确定约束方程组步骤,每对特征点提供两个约束等式,那么N对特 征点的约束方程组为:
S9、求解步骤,引入所述匹配特征信息至运动方程和观测方程中,并执行 求解操作,以得到卫星姿态状态。
如图14所示,所述求解步骤包括步骤S901~步骤S903。
S901、分析步骤,分析噪声分布类型、参数化运动方程和观测方程。
如图15所示,所述分析步骤具体包括步骤S9011~步骤S9012。
S9011、参数化步骤,由上述联立的运动方程和观测方程进行参数化,即 szk,j=K(Rkyj+tk),其中K为光学相机内参,s为像素点的距离;
S9012、假设步骤,S805中标注的wk和vk,j为所述运动方程和所述观测方程 的噪声,假设噪声wk和vk,j的分布满足均值为零,偏离值为在k时刻下的旋 转矩阵Rk和k时刻、j观测点下的旋转矩阵Qk,j的高斯分布N,即
wk~N(0,Rk),vk~N(0,Qk,j)。
S902、第四构建步骤,根据所述参数化运动方程和观测方程进行贝叶斯概 率分析,构建运动状态的概率等式。
所述第四构建步骤具体包括:
引入贝叶斯法则,即即通过已知输入数据u和 观测数据z,求解位姿x和路标点y的状态。
S903、最优化步骤,通过使用后验概率最大化法,求解所述概率等式,获 得卫星的位姿状态信息。
所述最优化步骤为利用最优化方法,求解一个状态的后验概率的最大化, 即
如图16所示,所述最优化步骤具体包括步骤S9031~步骤S9037。
S9031、条件概率确定步骤,基于噪声的高斯分布的假设下,对应某一次观 测:zk,j=h(yj,xk)+vk,j,同时噪声满足vk~N(0,Qk,j),所以此次观测的条件概率为: P(zj,k|xk,yj)=N(h(yi,xk),Qk,j);
S9032、取负对数步骤,考察将高维高斯分布x~N(μ,Σ)展开,同时对其取 负对数,即
S9033、最小化等式步骤,将取负对数步骤中的等式带入观测方程,得到
S9034、因式分解步骤,假设各个时刻的运动和观测是独立的,对联合分布 进行因式分解:
S9035、误差定义步骤,重新定义每次实际运动和观测与模型之间的误差: eu,k=xk-f(xk-1,uk),ez,j,k=zk,j-h(xk,yj);
S9036、联乘步骤、将上述最小化等式转化为联乘形式,即
S9037、第二求解步骤,由所述联乘步骤得到的最小二乘等式,求解出星载 光学相机的位姿状态。
上文描述了本发明提供了一种卫星自主定位姿的判定方法。该卫星自主定 位姿的判定方法包括:通过分析遥感图像进行目标特征信息的提取、筛选与存 储的方法,构建融合地理信息系统的光学特征信息的知识图谱构建方法,通过 在知识图谱中检索目标模板图像的特征信息,判定卫星位姿偏差的计算方法。 本发明提供的判定方法,通过将人工智能领域方法,运用于卫星自主导航中, 能有效提高卫星姿态和轨道估计的效率和准确率,实现卫星离线状态的实时位 姿判定,从而提高卫星运控系统的稳定性和可靠性。
随着人工智能技术的日益发展以及光学载荷对地分辨率的不断提升,基于 深度学习技术的卫星自主定轨、定姿的方法,为卫星的自主导航带来了全新的 发展方向。与传统的卫星导航方式相比,基于深度学习技术的卫星自主定轨、 定姿的方法有着明显的优势:一方面,遥感图像本身包含丰富信息,同时基于 深度学习方法的图像视觉领域得到长足发展,使得基于深度学习技术的卫星自 主导航得以实现;另一方面,利用基于深度学习的人工智能方法,使得卫星具 备较高的自主性能,有效减少对地面站的依赖,节约人力物力资源。
如图17所示,在本发明一实施例中提供一种卫星自主位姿的判定系统200, 包括:第一获取单元201、建立单元202、第一训练单元203、构建单元204、 第二训练单元205、检索单元206、匹配单元207、确定单元208以及求解单元 209。
所述第一获取单元201用于获取一初始的遥感图像并对其进行预处理得到 待分析的遥感图像。
所述建立单元202用于建立一用于提取所述待分析的遥感图像的目标特征 信息的卷积神经网络。
所述第一训练单元203用于输入所述待分析的遥感图像至所述卷积神经网 络中进行训练,并执行特征提取操作,以得到所述待分析的遥感图像的特征信 息。
所述构建单元204用于根据指定区域内的不同分辨率的全部遥感图像以及 相应的特征信息构建一知识图谱。
所述第二训练单元205用于输入所述知识图谱至一神经网络中,以训练并 更新所述知识图谱。
所述检索单元206用于在所述更新后的知识图谱中检索光学相机拍摄的当 前遥感图像的模板图像。
所述匹配单元207用于传输当前遥感图像和检索得到的模板图像至深度卷 积网络,以获得匹配特征信息。
所述确定单元208用于确定所述光学相机成像模型、运动方程及观测方程。
所述求解单元209用于引入所述匹配特征信息至运动方程和观测方程中, 并执行求解操作,以得到卫星姿态状态。
在本发明的其他部分实施例中,本发明还提供了还一种新型基于遥感图像 的知识图谱构建方法,其通过将遥感图像与深度学习相结合,应用最新的深度 学习分析技术,实现遥感图像特征之间的相互关联,为加速遥感图像模板的检 索速度与效率,从而为卫星自主导航行业、提供有利的技术支撑。
另外,需说明的是本发明还提供卫星自主位姿的判定系统的具体实施场景 如下:
本实施例提供了一种基于遥感图像的知识图谱构建系统,每级包含的图像 大小一致,分辨率递增,下级图像所表示的区域包含于上级图像中。具体构造 该知识图谱系统的具体步骤包括:
步骤一、遥感图像获取,通过全球地理信息系统获取一片区域内,不同分 辨率的全部卫星遥感图像。将遥感图像,按照分辨率分层,按照区域分块,存 储于数据库中,建立遥感图像数据库。
步骤二、构建遥感图像知识图谱,将遥感图像作为知识图谱的节点,根据 遥感图像特征的相似程度判断节点间是否存在边。如:将分辨率最低,范围最 广的遥感图像作为知识图谱底层节点;按照区域分块,将分辨率更高的遥感图 像作为上层节点,与所对应的区域相同的下一层节点,建立联系,即两个节点 间添加边;同一层节点间,根据遥感图像的特征的相似程度建立联系,如两个 特征向量之间的欧式距离计算公式如下,如果欧氏距离小于一定的阈值,则在 两节点之间建立一条边。形成分层的类似树状的知识图谱结构;
步骤三、将形成的知识图谱的图谱结构作为输入,输入至神经网络中进行 训练并更新更新知识图谱结构,如:将知识图谱作为图神经网络SR-GNN的输 入。SR-GNN神经网络根据节点和其邻居节点,对每一个节点生成一个节点特 征向量,再根据整个图谱结构生成一个全局特征向量,用于权重的更新。输出 各节点特征向量,根据相似程度,在同层内节点之间添加边。
步骤四、获取当前机载相机所获得的遥感图像特征,首先与知识图谱的最 底层节点匹配,根据节点特征的相似程度,按照知识图谱的边去搜索目标节点。 如:将当前遥感图像特征与待匹配节点的特征的欧氏距离作为边的权值,计算 当前遥感图像特征到达顶层各节点的距离中的最小距离,最小距离对应的节点 即视为最接近当前遥感图像的模板。
将该节点所指向的全部模板与当前遥感图像进行相似度计算,其中最相似 的作为当前位姿校正的模板。如:采用图像哈希算法有效的量化遥感图像与模 板之前的相似程度,最相似的即为当前遥感图像所要采用的遥感图像模板。
另外,本发明还提供一种存储介质,所述存储介质中存储有多条指令,所 述指令适于由处理器加载以执行上文所述的卫星自主位姿的判定方法。
以上对本发明进行了详细介绍,本文中应用了具体个例对本发明的原理及 实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的技术方案 及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例 所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些 修改或者替换,并不使相应技术方案的本质脱离本发明各实施例的技术方案的 范围。