CN115984443A - 一种可见光相机的空间卫星目标图像仿真方法 - Google Patents

Abstract

本发明公开了一种可见光相机的空间卫星目标仿真方法，包括对已有的三维卫星模型进行贴图、渲染处理后设计光照环境和追踪星拍摄角度上进行设计：在卫星的光照环境上，同时设置太阳光源仿真和环境光源仿真；调整相机位置得到不同距离、角度的渲染卫星图像集；采用生成对抗网络模型，利用渲染卫星图像和真实空间卫星目标图像进行训练，利用反向传播来不断调整网络的权重，更新结构参数，得到最优的参数权重。本方法得到的空间卫星目标图像质量更高，并接近真实的空间卫星目标图像；进一步增强了空间目标卫星的多样性，提高了训练空间目标卫星检测任务和部件分割任务模型的鲁棒性。

Description

一种可见光相机的空间卫星目标图像仿真方法

技术领域

本发明属于可见光相机的空间卫星目标图像仿真技术领域。具体地，本发明涉及一种对基于可见光相机的空间卫星目标图像仿真的方法，采用一种新型生成对抗网络，并将其应用于可见光相机的空间卫星目标图像仿真。

背景技术

人造卫星技术的不断发展给军事侦察等军事领域应用带来了诸多的便利，但同时也带来了越来越多的技术挑战。其中之一就是对空间非合作卫星目标，例如对敌方侦察或通讯卫星进行捕获并进而获取情报。

人造卫星技术的不断发展给军事侦察等军事领域应用带来了诸多的便利，但同时也带来了越来越多的技术挑战。其中之一就是对空间非合作卫星目标，例如对敌方侦察或通讯卫星进行捕获并进而获取情报。

空间非合作目标卫星区别于空间合作目标卫星，其上没有与追踪星的对接接口，也无法对其进行控制，因而造成追踪星在进行捕获时，易发生碰撞或抓取失败的情况。非合作目标卫星捕获过程中，不仅需要对追踪星位置、姿态和抓取机械臂的精准控制，而且需要对目标卫星的姿态、运动情况和包括太阳翼、天线、星箭对接环、发动机等在内的主要部件进行精准识别。

目前在追踪星靠近和接近非合作目标卫星时，可以使用可见光相机拍摄目标卫星图像，对其进行检测和跟踪，以此推断目标卫星的运动状态，并对其主要部件进行分割和识别，为抓取路径和位置的规划提供准确信息。但由于空间卫星的近距离可见光图像难以获取，难以构建可见光卫星目标图像数据集，并进而支撑卫星部件图像检测识别和分割算法研究。

发明内容

针对上述技术问题，本发明提出了一种可见光相机的空间卫星目标仿真方法，本方法拟结合真实空间可见光图像，对空间可见光相机自身噪声和光照影响进行分析，结合卫星模型和光照模型对卫星在不同光照下的图像进行仿真从而仿真构建经过标注的空间可见光卫星图像数据集，为目标检测识别和分割算法研究提供了有力支撑。

本发明完整的技术方案包括：

一种可见光相机的空间卫星目标仿真方法，其特征在于，包括如下步骤：

(1)利用已有的三维卫星模型，基于给定的真实卫星图片对三维卫星模型进行贴图调整处理；

(2)采用光线跟踪和光能传递结合以模拟真实光照效果，对步骤(1)贴图处理后的三维卫星模型进行渲染，使渲染后的图片接近可见光相机拍摄下的图片；

在渲染的光照环境进行设计：在卫星的光照环境上，同时设置太阳光源仿真和环境光源仿真；设置一组目标平行光用以模仿太阳光，目标平行光的目标点设置在卫星上，光源设置在距离卫星目标较远的点；同时在距离卫星较近的位置，设置强度较弱的环境光，以模拟宇宙空间中来自附近星体漫反射的光；调整光强度使仿真出来的卫星图像接近真实卫星情况下的光照，得到渲染后的三维卫星模型图像；

(3)在追踪星拍摄角度上进行设计：在图像进行渲染的过程中，通过在一定范围内调整相机位置以得到不同距离、角度拍摄的渲染卫星图像，得到渲染卫星图像集；

(4)采用深度学习的方法来对步骤(3)得到的渲染卫星图像集进行步改进，使仿真图像能尽可能逼近真实图像；

搭建生成对抗网络模型，采用真实的空间卫星目标图像形成真实空间卫星图像集，将真实空间卫星图像集和渲染卫星图像集作为生成对抗网络模型的输入图像集，并对生成对抗网络模型进行训练，利用反向传播来不断调整网络的权重，更新结构参数，并利用训练优化后的生成对抗网络模型生成仿真卫星图像。

进一步的，所述步骤(4)中，所述生成对抗网络包括生成网络G和判别网络D，所述生成网络G由步骤(3)得到的渲染卫星图像集得到网络生成卫星图像；所述判别网络D用以判断图像是网络生成卫星图像还是真实卫星图像。

进一步的，生成网络G和判别网络D通过迭代的方式依次训练，即在训练其中一个网络的时候，固定另一个网络的权重。

进一步的，所述生成网络G为TransU-Net网络，其结构包括编码器和解码器，所述编码器对输入的渲染卫星图像进行多次下采样和卷积激活并完成Transformer特征提取，所述解码器进行多次上采样和卷积，上采样和卷积过程首先进行特征张量堆叠，编码和解码过程中同时在不同层次上进行特征拼接，完成编码和解码过程后生成网络G输出网络生成卫星图像。

进一步的，所述判别网络D由多个卷积网络层进行叠加，最后结合全连接层所构成。

进一步的，判别网络D结构为：在多个卷积网络层的叠加过程中，采用3*3的小卷积核，并通过增大卷积步长的方式增大感受野并且缩小图像尺寸，通过不断增加卷积核个数的方式获取足够多的特征，特征通道数从64逐渐递增到1024，最后展开成一维向量输入到全连接层中。

进一步的，所述判别网络D由全连接层来综合特征进行分类，以sigmoid函数作为激活函数，利用sigmoid函数来输出0到1的概率来进行判断输入是网络生成卫星图像还是真实卫星图像，对于真实卫星图像，训练过程中标签设置为0.9～1的随机值，对于由生成网络G生成的网络生成卫星图像，将标签设置为0～0.1的随机值。

进一步的，所述判别网络D训练过程在真实卫星图像上添加随机噪声。

相比现有技术，本发明具有如下优点：

1、采用新型生成对抗网络进行空间卫星目标图像仿真工作上，得到空间卫星目标图像质量更高，并接近真实的空间卫星目标图像。

2、通过本仿真的方法取得和真实空间卫星目标相近的图像，可以进一步增强空间目标卫星的多样性，提高训练空间目标卫星检测任务和部件分割任务模型的鲁棒性，使对应模型在遇到没见过的卫星目标也可以较好的检测和分割。

附图说明

图1为本发明生成对抗网络整体结构。

图2为本发明生成网络结构示意图。

图3为本发明判别网络结构示意图。

图4为Transformer结构示意图。

图5为最终仿真卫星图像示意图。

具体实施方式

下面将结合本申请实施方式中的附图，对本申请的实施方式中的技术方案进行清楚、完整的描述，显然，所描述的实施方式仅仅是作为例示，并非用于限制本申请。

(1)使用已有的三维卫星模型，基于给定的真实卫星图片，使用真实卫星纹理对三维模型进行纹理贴图，使其尽可能还原真实的卫星三维模型。

(2)使用VRay渲染器对步骤(1)得到的卫星三维模型进行渲染，使渲染出来的图片接近可见光相机拍摄下的图片，仿真了大量的卫星部件图像。基于已有的三维卫星模型，我们使用结合了光线跟踪和光能传递的效果，真实的光线计算模拟真实光照效果，更好的模拟空间中的卫星部件，具体包括在渲染的光照环境和追踪星拍摄角度上进行设计。

首先，在卫星的光照环境上，本发明结合真实空间可见光图像，对空间卫星目标光照影响进行分析，结合卫星模型和光照模型对卫星在不同光照下的图像进行仿真。为了仿真宇宙空间中卫星的真实拍摄图像，本发明在渲染的光照环境和追踪星拍摄角度上进行了设计。在卫星的光照环境上，同时设置了太阳光源和环境光源的仿真，具体包括设置一组目标平行光用以模仿太阳光，目标点设置在卫星上，光源设置在里卫星目标较远点。同时用距离卫星较近的强度较弱的环境光来模拟宇宙空间中来自附近星体漫反射的光，调整光强度使仿真出来的卫星图像接近真实卫星情况下的光照。在研究中发现，上述过程中，太阳光源和环境光源与卫星的相对距离，以及相对强度设置，对后续的生成对抗网络的训练优化过程有非常明显的影响，经分析设计，渲染过程中应使得太阳光源与卫星距离、环境光源与卫星距离、太阳光源光照强度、环境光源光照强度大致符合如下关系：太阳光源光照强度/环境光源光照强度＝0.06*(太阳光源与卫星距离/环境光源与卫星距离)，渲染过程中实际选择的具体参数为：太阳光源距离卫星中心点约10km，太阳光源的强度参数设置为3.0，环境光源距离卫星中心点约50m左右，来模拟宇宙空间中来自附近星体漫反射的光，环境光源的强度参数设置为0.25。

在追踪星拍摄角度上，可见光相机可能从不同远近、角度拍摄目标卫星，最终图像取决于追踪星与目标卫星的相对位置。在仿真渲染图像的过程中，通过在一定范围内调整相机位置可以渲染出不同距离、角度拍摄卫星的图像，得到仿真渲染卫星图像集。渲染过程中实际选择的具体参数为：可见光相机可能从随机距离(1.5km～2.0km)、随机角度(实际为目标点设置为卫星，摄像机设置在1.5km～2km的球面，360度)拍摄目标卫星，最终图像取决于追踪星与目标卫星的相对位置。

(3)由于仿真得到的可见光卫星图像是在模拟环境下的获得的，许多环境细节如环境微弱光、太阳光等以及卫星本身的细节特征与实际真实情况有差异。为了降低卫星目标检测、识别和分割的难度，本发明拟基于深度学习的方法来对仿真渲染卫星图像进行进一步改进，使仿真图像能尽可能逼近真实图像；具体包括：

搭建新型生成对抗网络模型，生成对抗网络可以依靠数据驱动进行图像仿真，本发明采用该网络，结合擅长于多尺度特征提取以及Transformer特征处理的TransU-Net网络进行图像复原模型构建。本发明搭建的网络结构如图1-3所示，生成对抗网络主要由生成网络G和判别网络D两部分组成。具体流程是采用采用真实的空间卫星目标图像，或称第二空间卫星图像集，作为生成对抗网络模型的真实图像输入图像集，并采用步骤(2)得到的渲染卫星图像x；输入的渲染卫星图像通过生成网络，生成一张网络生成图像G(x)。然后将这张图像G(x)输入到判别网络中进行判别，判断生成网络生成的图片是否和真实空间目标卫星图像接近。通过判别网络的监督，最后训练得到接近真实的空间卫星目标图像结果。

其中生成网络G其作用是通过训练由仿真图像获得真实图像的网络。生成网络使用同时利用多尺度的信息的TransU-Net网络结构，TransU-Net编码和解码的结构可以更充分的利用输入图像信息，Transformer(其结构见图4)的引入可以增强图像全局信息的建模能力，所以本发明采用TransU-Net作为生成网络进行图像生成。其结构如图2所示，主要由三部分构成：第一，左半边编码器卷积池化和Transformer特征提取；第二，右半边解码器的的多次反卷积和上采样；第三，编码和解码过程中不同层次上的特征拼接。通过这种结构，可以提取出多尺度的真实结构特征，从而更好地逼近真实图像。生成网络使用的这种结构可以更好的建模卫星图像细节，让图像更加贴近真实。

而判别网络D结构如图3所示，其作用主要是用来判断图像是生成网络生成的仿真图像还是真实图像。判别网络方面，由于在生成对抗网络模型中，判别网络的分类难度要小于生成网络的生成难度，因此本发明采用由多个卷积网络层进行叠加，最后结合全连接层所构成的判别网络。判别网络结构如图3所示，多个卷积层的叠加能够保证判别网络可以提取到足够丰富的特征，然后由全连接层来综合特征进行分类，以sigmoid函数作为激活函数。卷积过程中同样采用3*3的小卷积核，并通过增大卷积步长的方式增大感受野并且缩小图像尺寸，减小训练过程中的显存占用量。通过不断增加卷积核个数的方式获取足够多的特征，特征通道数从64逐渐递增到1024，最后展开成一维向量输入到全连接层中。由于判别网络需要判断出输入是输入模型的仿真图像还是生成模型的复原图像，因此利用sigmoid函数来输出0到1的概率来进行判断。在训练判别器的过程中我们使用了标签平滑，对于真实的卫星图像，训练过程中标签设置为0.9～1的随机值，对于由生成器生成的图像，将标签设置为0～0.1的随机值。另外，本发明在训练判别器的过程中引入了数据增强，在真实卫星图像上添加随机噪声，增强判别器的鲁棒性。

(5)利用搭建的生成对抗网络模型进行训练，利用反向传播来不断调整网络的权重，更新结构参数，得到最优的参数权重以生成更逼真的仿真卫星图像。整个网络训练的实现方式为：让生成网络G和判别网络D通过迭代的方式依次训练，也就是在训练其中一个网络的时候，固定住另一个网络的权重。通过这种博弈的方式，可以使生成网络输出的图像逐渐逼近真实的卫星图像(如图5所示)。

并且本发明所获得的仿真可见光卫星图像可以用来进行可见光卫星图像部件语义分割，具体流程如下：

对上述仿真获得的可见光卫星图像沿着部件边界标注出卫星图像的卫星星体、太阳翼部件及背景作为标签图像。完成可见光卫星图像数据集的构建。

并搭建加入自注意力机制(Transformer)的U型结构全分辨率残差网络模型，该网络首先通过下采样和Transformer结构对输入图像进行编码，然后将输入图像进入全分辨率流，通过全分辨率残差单元(FRRU)与下采样的语义流进行融合，实现信息融合。在解码过程中，编码过程中的特征和FRRU的上采样输出特征被堆叠在特征张量中，并经过卷积处理作为FRRU语义流下一层的输入。此时的语义流不仅包括编解码过程中相同分辨率融合的语义信息，还包括全分辨率流和下采样流融合的语义信息。经过FRRU多次处理和上采样后，语义流对全分辨率流进行多次更新，全分辨率流的输出即为最终的模型输出。

同时上述加入自注意力机制(Transformer)的U型结构全分辨率残差网络模型中，将Unet结构中的联接为残差联接结构。残差联接结构通过两个残差结构块。每个结构块包含两个3x3卷积层、两个批归一化层、两个Relu层和一个残差连接的1x1卷积层。该结构能够对从编码器的特征图中学习更多有效的融合特征，更好的融合编码器和解码器两端的信息。

上述U型结构全分辨率残差网络模型还加入深度监督机制，在解码器中不同的深度隐含层中添加额外的目标函数来监督其特征映射的质量。在较浅的隐藏层中添加额外的深度反馈，约束目标区域的网络权重，可以进一步优化较深的输出特征图的质量，进而优化最终的分割结果。

针对上述构建的加入深度监督和自注意力机制的U型残差联接结构全分辨率残差网络，输入数据集进行训练。利用反向传播和深度监督机制来不断调整网络的权重，更新结构参数，得到最优的全局参数矩阵。网络模型采用的交叉熵是加入类别权重的交叉熵，具体公式如公式1所示：

式中：L为使用的损失函数；n为每张可见光图像像素的个数；k为每个像素可能标签值数量；i表示当前的样本像素；j表示当前的标签序号；y_ij为标签值，

表示在该标签值下该像素的预测概率。对卫星星体、太阳翼及宇宙背景设置从大到小的权重系数。使用2×10^-5作为初始学习率，并且使用余弦退火的方法在训练过程中降低学习率。使用Adam优化器训练，得到最优网络参数权重。

第五步：输入可见光卫星图像，得到经过模型预测后的卫星部件分割图像。采用卫星分割准确率和相似系数作为分割模型的定量评价指标。通过真阳性(TP)、假阳性(FP)、假阴性(FN)、真阴性(TN)的像素集合来计算卫星各个部件对应的准确率和相似系数系数。其中准确率ACC的定义如公式2所示：

式中：X表示卫星对应部件的标签区域像素；Y表示卫星对应部件区域的预测结果；X与Y相交的区域表示预测结果中为正确区域的像素，即TP。

相似系数的定义如公式(3)所示：

以上申请的仅为本申请的一些实施方式。对于本领域的普通技术人员来说，在不脱离本申请创造构思的前提下，还可以做出若干变型和改进，这些都属于本申请的保护范围。

Claims (8)

1.一种可见光相机的空间卫星目标仿真方法，其特征在于，包括如下步骤：

(1)利用已有的三维卫星模型，基于给定的真实卫星图片对三维卫星模型进行贴图调整处理；

(2)采用光线跟踪和光能传递结合以模拟真实光照效果，对步骤(1)贴图处理后的三维卫星模型进行渲染，使渲染后的图片接近可见光相机拍摄下的图片；

在渲染的光照环境进行设计：在卫星的光照环境上，同时设置太阳光源仿真和环境光源仿真；设置一组目标平行光用以模仿太阳光，目标平行光的目标点设置在卫星上，光源设置在距离卫星目标较远的点；同时在距离卫星较近的位置，设置强度较弱的环境光，以模拟宇宙空间中来自附近星体漫反射的光；调整光强度使仿真出来的卫星图像接近真实卫星情况下的光照，得到渲染后的三维卫星模型图像；

(3)在追踪星拍摄角度上进行设计：在图像进行渲染的过程中，通过在一定范围内调整相机位置以得到不同距离、角度拍摄的渲染卫星图像，得到渲染卫星图像集；

(4)采用深度学习的方法来对步骤(3)得到的渲染卫星图像集进行步改进，使仿真图像能尽可能逼近真实图像；

搭建生成对抗网络模型，采用真实的空间卫星目标图像形成真实空间卫星图像集，将真实空间卫星图像集和渲染卫星图像集作为生成对抗网络模型的输入图像集，并对生成对抗网络模型进行训练，利用反向传播来不断调整网络的权重，更新结构参数，得到最优的参数权重，并利用训练优化后的生成对抗网络模型生成仿真卫星图像。

2.根据权利要求1所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，所述步骤(4)中，所述生成对抗网络包括生成网络G和判别网络D，所述生成网络G由步骤(3)得到的渲染卫星图像集得到网络生成卫星图像；所述判别网络D用以判断图像是网络生成卫星图像还是真实卫星图像。

3.根据权利要求2所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，生成网络G和判别网络D通过迭代的方式依次训练，即在训练其中一个网络的时候，固定另一个网络的权重。

4.根据权利要求3所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，所述生成网络G为TransU-Net网络，其结构包括编码器和解码器，所述编码器对输入的渲染卫星图像进行多次下采样和卷积激活并完成Transformer特征提取，所述解码器进行多次上采样和卷积，上采样和卷积过程首先进行特征张量堆叠，编码和解码过程中同时在不同层次上进行特征拼接，完成编码和解码过程后生成网络G输出网络生成卫星图像。

5.根据权利要求4所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，所述判别网络D由多个卷积网络层进行叠加，最后结合全连接层所构成。

6.根据权利要求5所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，判别网络D结构为：在多个卷积网络层的叠加过程中，采用3*3的小卷积核，并通过增大卷积步长的方式增大感受野并且缩小图像尺寸，通过不断增加卷积核个数的方式获取足够多的特征，特征通道数从64逐渐递增到1024，最后展开成一维向量输入到全连接层中。

7.根据权利要求6所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，所述判别网络D由全连接层来综合特征进行分类，以sigmoid函数作为激活函数，利用sigmoid函数来输出0到1的概率来进行判断输入是网络生成卫星图像还是真实卫星图像，对于真实卫星图像，训练过程中标签设置为0.9～1的随机值，对于由生成网络G生成的网络生成卫星图像，将标签设置为0～0.1的随机值。

8.根据权利要求7所述的一种可见光相机的空间卫星目标仿真方法，其特征在于，所述判别网络D训练过程在真实卫星图像上添加随机噪声。

Images