CN117132903B - 一种基于深度迁移学习的旋转卫星组件识别方法 - Google Patents
一种基于深度迁移学习的旋转卫星组件识别方法 Download PDFInfo
- Publication number
- CN117132903B CN117132903B CN202311399159.0A CN202311399159A CN117132903B CN 117132903 B CN117132903 B CN 117132903B CN 202311399159 A CN202311399159 A CN 202311399159A CN 117132903 B CN117132903 B CN 117132903B
- Authority
- CN
- China
- Prior art keywords
- satellite
- model
- sat2
- satellite model
- sat1
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013508 migration Methods 0.000 title claims abstract description 40
- 230000005012 migration Effects 0.000 title claims abstract description 40
- 238000005286 illumination Methods 0.000 claims abstract description 74
- 101000640813 Homo sapiens Sodium-coupled neutral amino acid transporter 2 Proteins 0.000 claims abstract description 62
- 101000716973 Homo sapiens Thialysine N-epsilon-acetyltransferase Proteins 0.000 claims abstract description 62
- 102100020926 Thialysine N-epsilon-acetyltransferase Human genes 0.000 claims abstract description 62
- 230000003287 optical effect Effects 0.000 claims abstract description 56
- 102100034274 Diamine acetyltransferase 1 Human genes 0.000 claims abstract description 52
- 101000641077 Homo sapiens Diamine acetyltransferase 1 Proteins 0.000 claims abstract description 52
- 101000713305 Homo sapiens Sodium-coupled neutral amino acid transporter 1 Proteins 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000010219 correlation analysis Methods 0.000 claims abstract description 9
- 238000013461 design Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 11
- 238000009826 distribution Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims description 2
- 230000001105 regulatory effect Effects 0.000 claims 2
- 238000009987 spinning Methods 0.000 abstract description 4
- 238000013526 transfer learning Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
Abstract
一种基于深度迁移学习的旋转卫星组件识别方法，包括如下步骤：S1：搭建用于模拟旋转卫星空间环境的光学暗室；S2：采集不同距离、不同光照条件下的旋转卫星模型SAT1图像；然后采集不同距离、不同光照条件下的旋转卫星模型SAT2图像；将采集到的旋转卫星模型SAT1图像与旋转卫星模型SAT2图像制作成数据集；S3：利用制作的数据集，训练基于深度学习的目标识别网络，并且在训练过程中引入特征关联性分析；S4：随机改变环境，验证迁移能力。本发明所述的基于深度迁移学习的旋转卫星组件识别方法，设计合理，与传统的方法相比，该旋转卫星组件识别方法可以满足以10°/s自旋卫星的组件识别，识别精度优于85%，能够在2种任务场景之间迁移。
Description
技术领域
本发明属于目标识别技术领域，具体涉及一种基于深度迁移学习的旋转卫星组件识别方法。
背景技术
对旋转卫星的可靠识别，是在轨服务的基础和核心。服务航天器搭载视觉系统，通过对旋转卫星组件的高可靠识别，确定抓捕位置及相对位姿信息等，为服务航天器提供导航信息。
由于空间环境的复杂性及卫星的自旋特性，在实际任务中，视觉系统采集得到的卫星组件图像会发生部分灰度退化或者几何退化，例如图像模糊、图像对比度变化等，严重影响了识别的准确性，给在轨服务带来了很大的难题。在复杂光照条件与卫星自旋运动下，传统的基于单一特征的图像处理算法无法保证卫星组件识别的准确率，给后续的目标识别带来很大的困难。
因此，为了提高旋转卫星的识别可靠性，有必要研发出一种基于深度学习的旋转卫星组件识别验证技术，突破复杂光照环境及自旋卫星的组件识别技术，完成不同样本及不同任务的模型迁移机制设计，实现多种卫星的普适性识别，为空间碎片清除、燃料加注和模块更换等在轨服务任务提供基础技术支撑。
发明内容
发明目的：为了克服以上不足，本发明的目的是提供一种基于深度迁移学习的旋转卫星组件识别方法，基于光学暗室地面半物理仿真的形式制作数据集，训练基于深度学习的目标识别网络，并且在训练过程中引入特征关联性分析，突破复杂光照环境及自旋卫星的组件识别技术，完成不同样本及不同任务的模型迁移机制设计，实现了多种卫星的普适性识别。
本发明的目的是通过以下技术方案实现的：
一种基于深度迁移学习的旋转卫星组件识别方法，包括如下步骤：
S1：搭建用于模拟旋转卫星空间环境的光学暗室；
S2：先将卫星模型SAT1安装在光学暗室内，调节光学暗室从而通过相机采集不同距离、不同光照条件下的旋转卫星模型SAT1图像；将卫星模型SAT1卸载，然后将卫星模型SAT2安装在光学暗室内，调节光学暗室从而通过相机采集不同距离、不同光照条件下的旋转卫星模型SAT2图像；将采集到的旋转卫星模型SAT1图像与旋转卫星模型SAT2图像制作成数据集；
S3：利用制作的数据集，训练基于深度学习的目标识别网络，并且在训练过程中引入特征关联性分析；
S4：训练完成后，将卫星模型SAT2安装在光学暗室内，调节光学暗室使卫星模型SAT2的自旋角速度、光照环境随机变化，将相机采集的旋转卫星模型SAT2图像直接输入目标识别网络中进行预测，验证迁移能力。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述光学暗室包括：
光学暗室主体，所述光学暗室主体由遮光幕布搭建而成；
导轨，所述导轨设置在光学暗室主体内；
相机承载台，所述相机承载台设置在导轨上，所述相机设置在相机承载台上；
三轴转台，所述三轴转台设置在光学暗室主体内并且位于导轨前方位置，卫星模型SAT1、卫星模型SAT2分别安装在所述三轴转台上；
相机承载台控制柜，通过所述相机承载台控制柜控制相机承载台；
三轴转台控制柜，通过所述三轴转台控制柜控制三轴转台；
改变光照环境组件，所述改变光照环境组件包括可移动式照明光源、可移动式反光板，所述可移动式照明光源、可移动式反光板设置在光学暗室主体内并且分别位于三轴转台四周，用于改变光学暗室主体内部的光照环境。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述步骤S1，具体包括如下步骤：
S11：采用遮光幕布、导轨、相机以及相机承载台、三轴转台、可移动式照明光源以及可移动式反光板、相机承载台控制柜、三轴转台控制柜搭建用于模拟旋转卫星空间环境的光学暗室；
S12：卫星模型SAT1的尺寸是卫星模型SAT2的1倍，卫星模型SAT1与卫星模型SAT2携带的组件种类一致，但是组件安装位置不同；卫星模型SAT1、卫星模型SAT2分别安装在所述三轴转台上。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述步骤S2，具体包括如下步骤：
S21：通过所述相机承载台控制柜、三轴转台控制柜的控制指令，分别使所述相机承载台在0.2m~10m范围内以0.01~0.1m/s的速度向前后滑动，所述相机在垂直于导轨的固定平面中0.1~1.2m范围内升降，所述三轴转台以0.01°/s ~10°/s转动；
S22：通过步长0.1m不断调整所述可移动式照明光源的位置、步长100lux亮度及步长0.1m不断调整所述可移动式反光板的位置，从而改变所述光学暗室主体内部的光照环境；
S23：先将卫星模型SAT1安装在所述三轴转台上，所述三轴转台以0.01°/s ~10°/s转动过程中，带动卫星模型SAT1自旋；卫星模型SAT1自旋过程中，通过所述相机采集65000张旋转卫星模型SAT1图像，采用人工标注的方法标注卫星模型SAT1携带的组件；
S24：将卫星模型SAT1卸载，再将卫星模型SAT2安装在所述三轴转台上，所述三轴转台以0.01°/s ~10°/s转动过程中，带动卫星模型SAT2自旋；所述卫星模型SAT2自旋过程中，通过相机收集1000张旋转卫星模型SAT2图像，采用人工标注的方法标注卫星模型SAT2卫星携带的组件；
S25：将标注后的旋转卫星模型SAT1图像、旋转卫星模型SAT2图像打包组成数据集。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述步骤S3，利用制作的数据集训练基于深度学习的目标识别网络，训练过程中引入特征关联性分析，将65000张旋转卫星模型SAT1图像定义为源域，将1000张旋转卫星模型SAT2图像定义为目标域，通过特征变换将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行深度学习。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述步骤S3，具体包括如下步骤：
S31：采用循环生成式对抗网络扩充数据集，并且结合空间光照环境对数据集进行调整和信息填充，使之接近真实空间数据；将数据集的正常光照样本设为X域，极端光照样本设为Y域，利用循环生成式对抗网络训练X域与Y域之间的相互映射，并且将最终训练得到的映射用于对样本进行极端光照信息填充；
S32：基于条件生成式对抗网络对数据集的极端光照产生的暗影、过曝光区域进行不变特征还原；在条件生成式对抗网络中，选定数据集的极端光照样本为X域，选定同目标状态的理想光照样本为Y域，对X域与Y域之间的相互映射进行训练，最终训练得到的映射用于对数据集的极端光照环境进行不变特征还原；
S33：利用数据集训练基于深度学习的目标识别网络，采用YOLOV3作为基础的识别网络，将原始输入图像分别生成13*13、26*26、52*52三种尺度的特征图，使用22个级联卷积层以及2个全连接层，通过在模型中采用交替卷积核处理不同的输出特征图，以此融合特征图不同通道的信息最终生成目标检测框；在卷积层与全连接层之间添加金字塔池化层；
S34：训练过程中引入特征关联性分析，对卫星不变特征的响应模式中，保留最大响应的卷积核；通过评判每个卷积核与目标不变特征的关联性，从而筛选得到网络每层与卫星不变特征关联性最强的卷积核；将65000张旋转卫星模型SAT1的数据集定义为源域，将1000张旋转卫星模型SAT2的图像定义为目标域，通过特征变换将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行深度学习。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述步骤S4，训练完成后，在所述光学暗室基础上，所述三轴转台更换为卫星模型SAT2，通过调整所述可移动式照明光源及可移动式反光板、相机承载台控制柜、三轴转台控制柜使卫星模型SAT2的自旋角速度、光照环境随机变化，所述相机获取的旋转卫星模型SAT2图像直接输入目标识别网络中进行预测，验证迁移能力。
进一步的，上述的基于深度迁移学习的旋转卫星组件识别方法，所述步骤S4，具体包括如下步骤：
S41：第一阶段，将源域与目标域的差异、预训练模型的规模作为出现过拟合的因素来设计扩展层；设计采取Ex1与Ex2组成的2层扩展层，通过扩展层的自适应调整以充分获取目标域图像信息，其中扩展层Ex1为全连接层, Ex2为softmax 分类层，在重新训练时将参数设置为随机初始化，以实现对目标域的特征微调；
S42：在迁移第二阶段，对第一阶段得到的基本模型的参数进行优化，使其适用于目标域数据；在全连接层中加载第一阶段的模型参数，通过对部分高层设置学习率0.0001进行参数调整，提高模型对目标域样本的全局概括能力；在训练过程中，当网络的损失率趋于稳定时将学习率再次调小，直至不再变化时获得算法的最优识别模型。
与现有技术相比，本发明具有如下的有益效果：
（1）本发明所述的基于深度迁移学习的旋转卫星组件识别方法，设计合理，利用光学暗室这类半物理方式获取数据集，通过三轴转台控制柜控制三轴转台的旋转以此来带动卫星模型的自旋，充分模拟了卫星在太空的自旋运动，通过以固定步长的方式不断调整可移动式照明光源的位置、亮度以及可移动式反光板的位置等改变光学暗室光照环境，充分模拟了卫星自旋运动过程中特征模糊、遮挡和阴影、复杂背景等因素；通过卫星模型SAT1与SAT2的多样化设置，增强了数据集的丰富性，提高了识别模型在不同任务和不同场景下的适应能力；
（2）本发明所述的基于深度迁移学习的旋转卫星组件识别方法，采用生成式对抗网络的方法对数据集进展扩展和不变特性还原，增强了数据集的鲁棒性表达；对同源数据特征迁移的变化模式进行分析，设计同源数据样本空间下不同目标类别的分类器，提升小样本情况下模型对目标本征特征变化的适应能力；通过将将原始输入图像分别生成13*13，26*26，52*52三种尺度的特征图，使用22个级联卷积层以及2个全连接层，提高了识别网路对小目标的检测能力；通过设置源域与目标域，将深度学习算法在源域下学习到的知识向目标域迁移，提供了识别任务的鲁棒性；通过样本的特征关联性分析，增强了识别模型应对复杂光照环境的能力；在光学暗室基础上，通过更换三轴转台上的卫星模型验证迁移能力，具有操作简单、迁移容易等优点；
（3）本发明所述的基于深度迁移学习的旋转卫星组件识别方法，在迁移学习过程中，通过第二阶段对第一阶段模型参数的优化，提高模型对目标域样本的全局概括能力；用2种生成式对抗网络方法生成极端环境的样本，将其引入神经网络的迭代训练过程，增强网络对目标不变特征的提取能力；
（4）本发明所述的基于深度迁移学习的旋转卫星组件识别方法，与传统的方法相比，该基于深度迁移学习的旋转卫星组件识别方法可以满足以10°/s自旋卫星的组件识别，识别精度优于85%，能够在2种任务场景之间迁移，为空间碎片清除、燃料加注和模块更换等在轨服务任务提供基础技术支撑。
附图说明
图1为本发明所述基于深度迁移学习的旋转卫星组件识别方法的光学暗室布置示意图；
图2为本发明所述基于深度迁移学习的旋转卫星组件识别方法的流程图；
图中：光学暗室1、光学暗室主体11、导轨12、相机承载台13、三轴转台14、相机承载台控制柜15、三轴转台控制柜16、改变光照环境组件17、可移动式照明光源171、可移动式反光板172、相机2、卫星模型a。
具体实施方式
下面将附图1-2、实施例1、实施例2对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。
以下实施例1提供了一种光学暗室，用于模拟旋转卫星空间环境。
实施例1
如图1所示，实施例1的光学暗室1包括光学暗室主体11、导轨12、相机承载台13、三轴转台14、相机承载台控制柜15、三轴转台控制柜16、改变光照环境组件17。
其中，所述光学暗室主体11由遮光幕布搭建而成，所述导轨12设置在光学暗室主体11内，所述相机承载台13设置在导轨12上，所述相机2设置在相机承载台13上，所述三轴转台14设置在光学暗室主体11内并且位于导轨12前方位置，卫星模型a安装在所述三轴转台14上。
其中，通过所述相机承载台控制柜15控制相机承载台13，通过所述三轴转台控制柜16控制三轴转台14，通过三轴转台控制柜16控制三轴转台14的旋转以此来带动卫星模型a的自旋，充分模拟了卫星在太空的自旋运动。
其中，所述改变光照环境组件17包括可移动式照明光源171、可移动式反光板172，所述可移动式照明光源171、可移动式反光板172设置在光学暗室主体11内并且分别位于三轴转台14四周，用通过以固定步长的方式不断调整可移动式照明光源171的位置、亮度以及可移动式反光板172的位置等改变光学暗室1光照环境，充分模拟了卫星自旋运动过程中特征模糊、遮挡和阴影、复杂背景等因。
以下实施例2提供了基于深度迁移学习的旋转卫星组件识别方法。
实施例2
如图2所示，实施例2的基于深度迁移学习的旋转卫星组件识别方法，包括如下步骤：
S1地面光学暗室搭建：如图1所示，搭建用于模拟旋转卫星空间环境的光学暗室1。
S11：采用10m×12m遮光幕布、11m导轨12、相机承载台13、三轴转台14、可移动式照明光源171以及可移动式反光板172、相机承载台控制柜15、三轴转台控制柜16搭建用于模拟旋转卫星空间环境的光学暗室1；
S12：卫星模型SAT1的尺寸是卫星模型SAT2的1倍，卫星模型SAT1与卫星模型SAT2携带的组件种类一致，包括帆板、支架、天线、对接环、观测相机等，但是组件安装位置不同；相机2安装在滑动式相机承载台13上，可移动式照明光源171预先放置在导轨12前端两侧位置，可移动式反光板172放置在三轴转台14周围，卫星模型SAT1、卫星模型SAT2分别安装在所述三轴转台14上。
S2制作数据集：调节光学暗室1从而通过相机2采集不同距离、不同光照条件下的旋转卫星模型SAT1图像；调节光学暗室1从而通过相机2采集不同距离、不同光照条件下的旋转卫星模型SAT2图像；将采集到的旋转卫星模型SAT1图像与旋转卫星模型SAT2图像制作成数据集。
S21：通过所述相机承载台控制柜15、三轴转台控制柜16的控制指令，分别使所述相机承载台13在0.2m~10m范围内以0.01~0.1m/s的速度向前后滑动，所述相机2在垂直于导轨12的固定平面中0.1~1.2m范围内升降，所述三轴转台14以0.01°/s ~10°/s转动；
S22：通过步长0.1m不断调整所述可移动式照明光源171的位置、步长100lux亮度及步长0.1m不断调整所述可移动式反光板172的位置，从而改变所述光学暗室主体11内部的光照环境；
S23：先将卫星模型SAT1安装在所述三轴转台14上，所述三轴转台14以0.01°/s ~10°/s转动过程中，带动卫星模型SAT1自旋；卫星模型SAT1自旋过程中，通过所述相机2采集65000张旋转卫星模型SAT1图像，采用人工标注的方法标注卫星模型SAT1携带的组件；
S24：将卫星模型SAT1卸载，再将卫星模型SAT2安装在所述三轴转台14上，所述三轴转台14以0.01°/s ~10°/s转动过程中，带动卫星模型SAT2自旋；所述卫星模型SAT2自旋过程中，通过相机2收集1000张旋转卫星模型SAT2图像，采用人工标注的方法标注卫星模型SAT2卫星携带的组件；
S25：将标注后的旋转卫星模型SAT1图像、旋转卫星模型SAT2图像打包组成数据集。
S3：利用制作的数据集训练基于深度学习的目标识别网络，训练过程中引入特征关联性分析，将65000张旋转卫星模型SAT1图像定义为源域，将1000张旋转卫星模型SAT2图像定义为目标域，通过特征变换将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行深度学习。
S31：采用循环生成式对抗网络扩充数据集，并且结合空间光照环境对数据集进行调整和信息填充，使之尽可能的接近真实空间数据；将数据集的正常光照样本设为X域，少量的极端光照样本设为Y域，利用循环生成式对抗网络训练X域与Y域之间的相互映射，并且将最终训练得到的映射用于对样本进行极端光照信息填充；
S32：基于条件生成式对抗网络对数据集的极端光照产生的暗影、过曝光区域进行不变特征还原；在条件生成式对抗网络中，选定数据集的极端光照样本为X域，其对应的光照属性为与X域匹配的条件向量，选定同目标状态的理想光照样本为Y域，对X域与Y域之间的相互映射进行训练，最终训练得到的映射用于对数据集的极端光照环境进行不变特征还原；
S33：利用数据集训练基于深度学习的目标识别网络，采用YOLOV3作为基础的识别网络，将原始输入图像分别生成13*13、26*26、52*52三种尺度的特征图，使用22个级联卷积层以及2个全连接层，通过在模型中采用交替卷积核处理不同的输出特征图，以此融合特征图不同通道的信息最终生成目标检测框；在卷积层与全连接层之间添加金字塔池化层；
S34：训练过程中引入特征关联性分析，对卫星不变特征的响应模式中，保留最大响应的卷积核；通过评判每个卷积核与目标不变特征的关联性，从而筛选得到网络每层与卫星不变特征关联性最强的卷积核；将65000张旋转卫星模型SAT1的数据集定义为源域，将1000张旋转卫星模型SAT2的图像定义为目标域，通过特征变换将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行深度学习。
S4：训练完成后，在所述光学暗室1基础上，所述三轴转台14更换为卫星模型SAT2，通过调整所述可移动式照明光源171及可移动式反光板172、相机承载台控制柜15、三轴转台控制柜16使卫星模型SAT2的自旋角速度、光照环境随机变化，所述相机2获取的旋转卫星模型SAT2图像直接输入到目标识别网络中进行预测，验证迁移能力。
S41：第一阶段，将源域与目标域的差异、预训练模型的规模作为出现过拟合的因素来设计扩展层；设计采取Ex1与Ex2组成的2层扩展层，通过扩展层的自适应调整以充分获取目标域图像信息，其中扩展层Ex1为全连接层, Ex2为softmax 分类层，在重新训练时将参数设置为随机初始化，以实现对目标域的特征微调；
S42：在迁移第二阶段，对第一阶段得到的基本模型的参数进行优化，使其更适用于目标域数据；在全连接层中加载第一阶段的模型参数，通过对部分高层设置学习率0.0001进行参数调整，提高模型对目标域样本的全局概括能力；在训练过程中，当网络的损失率趋于稳定时将学习率再次调小，直至不再变化时获得算法的最优识别模型。
采用本发明基于深度迁移学习的旋转卫星组件识别方法，与传统单一特性的识别方法相比，该技术可以满足以10°/s自旋卫星的组件识别，识别精度由于85%，能够在2种任务场景之间迁移。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式。应当指出，以上实施例仅用于说明本发明，而并不用于限制本发明的保护范围。对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，这些改进也应视为本发明的保护范围。
Claims (7)
1.一种基于深度迁移学习的旋转卫星组件识别方法，其特征在于，包括如下步骤：
S1：搭建用于模拟旋转卫星空间环境的光学暗室（1）；
S2：先将卫星模型SAT1安装在光学暗室（1）内，调节光学暗室（1）从而通过相机（2）采集不同距离、不同光照条件下的旋转卫星模型SAT1图像；将卫星模型SAT1卸载，然后将卫星模型SAT2安装在光学暗室（1）内，调节光学暗室（1）从而通过相机（2）采集不同距离、不同光照条件下的旋转卫星模型SAT2图像；将采集到的旋转卫星模型SAT1图像与旋转卫星模型SAT2图像制作成数据集；
S3：利用制作的数据集，训练基于深度学习的目标识别网络，训练过程中引入特征关联性分析，将旋转卫星模型SAT1图像定义为源域，将旋转卫星模型SAT2图像定义为目标域，通过特征变换将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行深度学习；
S4：训练完成后，将卫星模型SAT2安装在光学暗室（1）内，调节光学暗室（1）使卫星模型SAT2的自旋角速度、光照环境随机变化，将相机（2）采集的旋转卫星模型SAT2图像直接输入到目标识别网络中进行预测，验证迁移能力；
其中，所述步骤S3，具体包括如下步骤：
S31：采用循环生成式对抗网络扩充数据集，并且结合空间光照环境对数据集进行调整和信息填充，使之接近真实空间数据；将数据集的正常光照样本设为X域，极端光照样本设为Y域，利用循环生成式对抗网络训练X域与Y域之间的相互映射，并且将最终训练得到的映射用于对样本进行极端光照信息填充；
S32：基于条件生成式对抗网络对数据集的极端光照产生的暗影、过曝光区域进行不变特征还原；在条件生成式对抗网络中，选定数据集的极端光照样本为X域，选定同目标状态的理想光照样本为Y域，对X域与Y域之间的相互映射进行训练，最终训练得到的映射用于对数据集的极端光照环境进行不变特征还原；
S33：利用数据集训练基于深度学习的目标识别网络，采用YOLOV3作为基础的识别网络，将原始输入图像分别生成13*13、26*26、52*52三种尺度的特征图，使用22个级联卷积层以及2个全连接层，通过在模型中采用交替卷积核处理不同的输出特征图，以此融合特征图不同通道的信息最终生成目标检测框；在卷积层与全连接层之间添加金字塔池化层；
S34：训练过程中引入特征关联性分析，对卫星不变特征的响应模式中，保留最大响应的卷积核；通过评判每个卷积核与目标不变特征的关联性，从而筛选得到网络每层与卫星不变特征关联性最强的卷积核；将旋转卫星模型SAT1的数据集定义为源域，将旋转卫星模型SAT2的图像定义为目标域，通过特征变换将源域和目标域的特征变换到相同空间，使得该空间中源域数据与目标域数据具有相同分布的数据分布，然后进行深度学习。
2.根据权利要求1所述基于深度迁移学习的旋转卫星组件识别方法，其特征在于，所述光学暗室（1）包括：
光学暗室主体（11），所述光学暗室主体（11）由遮光幕布搭建而成；
导轨（12），所述导轨（12）设置在光学暗室主体（11）内；
相机承载台（13），所述相机承载台（13）设置在导轨（12）上，所述相机（2）设置在相机承载台（13）上；
三轴转台（14），所述三轴转台（14）设置在光学暗室主体（11）内并且位于导轨（12）前方位置，卫星模型SAT1、卫星模型SAT2分别安装在所述三轴转台（14）上；
相机承载台控制柜（15），通过所述相机承载台控制柜（15）控制相机承载台（13）；
三轴转台控制柜（16），通过所述三轴转台控制柜（16）控制三轴转台（14）；
改变光照环境组件（17），所述改变光照环境组件（17）包括可移动式照明光源（171）、可移动式反光板（172），所述可移动式照明光源（171）、可移动式反光板（172）设置在光学暗室主体（11）内并且分别位于三轴转台（14）四周，用于改变光学暗室主体（11）内部的光照环境。
3.根据权利要求2所述基于深度迁移学习的旋转卫星组件识别方法，其特征在于，所述步骤S1，具体包括如下步骤：
S11：采用遮光幕布、导轨（12）、相机（2）以及相机承载台（13）、三轴转台（14）、可移动式照明光源（171）以及可移动式反光板（172）、相机承载台控制柜（15）、三轴转台控制柜（16）搭建用于模拟旋转卫星空间环境的光学暗室（1）；
S12：卫星模型SAT1的尺寸是卫星模型SAT2的1倍，卫星模型SAT1与卫星模型SAT2携带的组件种类一致，但是组件安装位置不同；卫星模型SAT1、卫星模型SAT2分别安装在所述三轴转台（14）上。
4.根据权利要求3所述基于深度迁移学习的旋转卫星组件识别方法，其特征在于，所述步骤S2，具体包括如下步骤：
S21：通过所述相机承载台控制柜（15）、三轴转台控制柜（16）的控制指令，分别使所述相机承载台（13）在0.2m~10m范围内以0.01~0.1m/s的速度向前后滑动，所述相机（2）在垂直于导轨（12）的固定平面中0.1~1.2m范围内升降，所述三轴转台（14）以0.01°/s ~10°/s转动；
S22：通过步长0.1m不断调整所述可移动式照明光源（171）的位置、步长100lux亮度及步长0.1m不断调整所述可移动式反光板（172）的位置，从而改变所述光学暗室主体（11）内部的光照环境；
S23：先将卫星模型SAT1安装在所述三轴转台（14）上，所述三轴转台（14）以0.01°/s ~10°/s转动过程中，带动卫星模型SAT1自旋；卫星模型SAT1自旋过程中，通过所述相机（2）采集65000张旋转卫星模型SAT1图像，采用人工标注的方法标注卫星模型SAT1携带的组件；
S24：将卫星模型SAT1卸载，再将卫星模型SAT2安装在所述三轴转台（14）上，所述三轴转台（14）以0.01°/s ~10°/s转动过程中，带动卫星模型SAT2自旋；所述卫星模型SAT2自旋过程中，通过相机（2）收集1000张旋转卫星模型SAT2图像，采用人工标注的方法标注卫星模型SAT2卫星携带的组件；
S25：将标注后的旋转卫星模型SAT1图像、旋转卫星模型SAT2图像打包组成数据集。
5.根据权利要求4所述基于深度迁移学习的旋转卫星组件识别方法，其特征在于，所述步骤S3，将65000张旋转卫星模型SAT1图像定义为源域，将1000张旋转卫星模型SAT2图像定义为目标域。
6.根据权利要求3所述基于深度迁移学习的旋转卫星组件识别方法，其特征在于，所述步骤S4，训练完成后，在所述光学暗室（1）基础上，所述三轴转台（14）更换为卫星模型SAT2，通过调整所述可移动式照明光源（171）及可移动式反光板（172）、相机承载台控制柜（15）、三轴转台控制柜（16）使卫星模型SAT2的自旋角速度、光照环境随机变化，所述相机（2）获取的旋转卫星模型SAT2图像直接输入到目标识别网络中进行预测，验证迁移能力。
7.根据权利要求6所述基于深度迁移学习的旋转卫星组件识别方法，其特征在于，所述步骤S4，具体包括如下步骤：
S41：第一阶段，将源域与目标域的差异、预训练模型的规模作为出现过拟合的因素来设计扩展层；设计采取Ex1与Ex2组成的2层扩展层，通过扩展层的自适应调整以充分获取目标域图像信息，其中扩展层Ex1为全连接层, Ex2为softmax 分类层，在重新训练时将参数设置为随机初始化，以实现对目标域的特征微调；
S42：在迁移第二阶段，对第一阶段得到的基本模型的参数进行优化，使其适用于目标域数据；在全连接层中加载第一阶段的模型参数，通过对部分高层设置学习率0.0001进行参数调整，提高模型对目标域样本的全局概括能力；在训练过程中，当网络的损失率趋于稳定时将学习率再次调小，直至不再变化时获得算法的最优识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311399159.0A CN117132903B (zh) | 2023-10-26 | 2023-10-26 | 一种基于深度迁移学习的旋转卫星组件识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311399159.0A CN117132903B (zh) | 2023-10-26 | 2023-10-26 | 一种基于深度迁移学习的旋转卫星组件识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117132903A CN117132903A (zh) | 2023-11-28 |
| CN117132903B true CN117132903B (zh) | 2024-01-23 |
Family
ID=88856789
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311399159.0A Active CN117132903B (zh) | 2023-10-26 | 2023-10-26 | 一种基于深度迁移学习的旋转卫星组件识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117132903B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461006A (zh) * | 2020-03-31 | 2020-07-28 | 哈尔滨航耀光韬科技有限公司 | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 |
| CN112183452A (zh) * | 2020-10-15 | 2021-01-05 | 国家气象中心 | 一种基于气象卫星图像和深度迁移学习的海雾识别方法 |
| CN113591215A (zh) * | 2021-07-23 | 2021-11-02 | 中国人民解放军军事科学院国防科技创新研究院 | 基于不确定性的异常卫星组件布局检测方法 |
| CN115100545A (zh) * | 2022-08-29 | 2022-09-23 | 东南大学 | 针对低照度下失效卫星小部件的目标检测方法 |
| CN115984443A (zh) * | 2022-12-15 | 2023-04-18 | 北京航空航天大学 | 一种可见光相机的空间卫星目标图像仿真方法 |
| CN116824488A (zh) * | 2023-06-08 | 2023-09-29 | 浙江小牛寻宝环境科技有限公司 | 一种基于迁移学习的目标检测方法 |
-
2023
- 2023-10-26 CN CN202311399159.0A patent/CN117132903B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461006A (zh) * | 2020-03-31 | 2020-07-28 | 哈尔滨航耀光韬科技有限公司 | 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法 |
| CN112183452A (zh) * | 2020-10-15 | 2021-01-05 | 国家气象中心 | 一种基于气象卫星图像和深度迁移学习的海雾识别方法 |
| CN113591215A (zh) * | 2021-07-23 | 2021-11-02 | 中国人民解放军军事科学院国防科技创新研究院 | 基于不确定性的异常卫星组件布局检测方法 |
| CN115100545A (zh) * | 2022-08-29 | 2022-09-23 | 东南大学 | 针对低照度下失效卫星小部件的目标检测方法 |
| CN115984443A (zh) * | 2022-12-15 | 2023-04-18 | 北京航空航天大学 | 一种可见光相机的空间卫星目标图像仿真方法 |
| CN116824488A (zh) * | 2023-06-08 | 2023-09-29 | 浙江小牛寻宝环境科技有限公司 | 一种基于迁移学习的目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117132903A (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10901740B2 (en) | Synthetic depth image generation from cad data using generative adversarial neural networks for enhancement | |
| WO2018013495A1 (en) | Augmented reality methods and devices | |
| CN110766050B (zh) | 模型生成方法、文本识别方法、装置、设备及存储介质 | |
| CN111507983B (zh) | 利用周边汽车的图像自动标注基础汽车的图像的方法及装置 | |
| Hamdi et al. | SADA: semantic adversarial diagnostic attacks for autonomous applications | |
| CN111126205A (zh) | 一种基于旋转定位网络的光学遥感图像飞机目标检测方法 | |
| CN113516656B (zh) | 一种基于ACGAN和Cameralink相机的缺陷图像数据处理仿真方法 | |
| CN116843650A (zh) | 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统 | |
| CN113822844A (zh) | 风电机组叶片无人机巡检缺陷检测方法、装置和存储介质 | |
| CN117576379B (zh) | 一种基于元学习组合注意力机制网络模型的目标检测方法 | |
| CN117132903B (zh) | 一种基于深度迁移学习的旋转卫星组件识别方法 | |
| CN114170531A (zh) | 基于困难样本迁移学习的红外图像目标检测方法和装置 | |
| Yang et al. | Towards accurate image stitching for drone-based wind turbine blade inspection | |
| CN113095241A (zh) | 一种基于carla模拟器的目标检测方法 | |
| Viggh et al. | Training deep learning spacecraft component detection algorithms using synthetic image data | |
| Ayub et al. | Training and Synthesis Based Vehicle Color Conversion Technique Using GAN | |
| CN116883663A (zh) | 基于深度学习的视频流中飞行目标主要部件语义分割方法 | |
| Piccinin et al. | ARGOS: Calibrated facility for Image based Relative Navigation technologies on ground verification and testing | |
| CN116597413A (zh) | 一种基于改进的YOLOv5的实时交通标志检测方法 | |
| CN116994162A (zh) | 一种基于改进Yolo算法的无人机航拍绝缘子目标检测方法 | |
| CN115223114A (zh) | 一种基于双向融合特征金字塔的端到端车辆姿态估计方法 | |
| CN115685784A (zh) | 一种基于图像模型闭环的航天器系统快速仿真方法及系统 | |
| CN114491694A (zh) | 一种基于虚幻引擎的空间目标数据集构建方法 | |
| JP2021056542A (ja) | 画像データからの物体のポーズ検出 | |
| CN113742863B (zh) | 环火轨道中分全球及局部成像能力地面验证系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |