CN111191690A - 基于迁移学习的空间目标自主识别方法、电子设备和存储介质 - Google Patents

基于迁移学习的空间目标自主识别方法、电子设备和存储介质 Download PDF

Info

Publication number
CN111191690A
CN111191690A CN201911295959.1A CN201911295959A CN111191690A CN 111191690 A CN111191690 A CN 111191690A CN 201911295959 A CN201911295959 A CN 201911295959A CN 111191690 A CN111191690 A CN 111191690A
Authority
CN
China
Prior art keywords
target
space target
unknown
unknown space
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911295959.1A
Other languages
English (en)
Other versions
CN111191690B (zh
Inventor
梁彦
孙俊
陈赟
刘珊珊
韩飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201911295959.1A priority Critical patent/CN111191690B/zh
Publication of CN111191690A publication Critical patent/CN111191690A/zh
Application granted granted Critical
Publication of CN111191690B publication Critical patent/CN111191690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

本发明公开了一种基于迁移学习的空间目标自主识别方法、电子设备和存储介质，所述方法包括：实时获取若干帧未知空间目标的图像数据；根据若干帧前序时刻的所述未知空间目标的图像数据对当前时刻的所述未知空间目标的图像数据进行特征补偿，得到经所述特征补偿的当前时刻的未知空间目标特征图；对经所述特征补偿的当前时刻的未知空间目标特征图采用预先训练好的神经网络进行识别，得到识别结果。本发明解决了非合作空间目标先验信息缺失，所导致的样本数量和种类不够丰富的问题。

Description

基于迁移学习的空间目标自主识别方法、电子设备和存储 介质
技术领域
本发明涉及空间技术领域，特别涉及一种基于迁移学习的空间目标自主识别方法、电子设备和存储介质。
背景技术
空间目标航天器可分为合作目标与非合作目标。合作目标是指具备已知的目标图像库或三维模型库，或能够与追踪飞行器进行通信的目标飞行器；非合作目标是指客体航天器没有专门的用于对接的接口或识别标志器，在对其追踪、操控过程中不会主动为服务航天器提供相关信息。目前，对于空间合作目标的在轨操控技术已经相对成熟。然而对于空间非合作目标，对其在轨状态认知、抓捕对接、服务操作等均是世界难题。主要原因如下：
(1)目标先验信息缺失、状态不稳定。非合作目标的外形尺寸、材质特性、动力学参数等均为未知状态。空间非合作目标可能处于姿态不稳定状态，如失效卫星可能绕某一轴高速旋转，翻滚速度可达数十度每秒。
(2)杂散光干扰。相机镜头安装在航天器舱体外面，受到空间光场环境的干扰，包括阳光直射镜头以及星体相关装置、零部件的漫反射影响。
目前通用的基于深度学习的目标识别方法需要巨量的、类别丰富的数据集作为支撑。然而由于航天任务的特殊性，非合作目标样本稀少，在轨验证成本过大。因此，需要通过基于深度迁移学习的空间非合作目标自主识别方法，减少神经网络训练过程中需要的样本数量，构建待识别目标独立于地面训练环境与空间测试环境的迁移模型，实现针对多种空间目标的普适性识别，为空间碎片清除、燃料加注和设备更换等在轨服务任务提供基础技术支撑。
发明内容
本发明的目的在于提供一种基于迁移学习的空间目标自主识别方法、电子设备和存储介质，可以有效解决非合作目标样本稀少，在轨验证成本过大、地面难以完全模拟空间实际环境的等问题，提升空间目标识别模型针对不同任务场景的自适应性，显著提高针对空间未知目标的识别准确率和成功率。
为了解决以上问题，本发明通过以下技术方案实现：
一种基于迁移学习的空间目标自主识别方法，包括：步骤S1、实时获取若干帧未知空间目标的图像数据。步骤S2、根据若干帧前序时刻的所述未知空间目标的图像数据对当前时刻的所述未知空间目标的图像数据进行特征补偿，得到经所述特征补偿的当前时刻的未知空间目标特征图。步骤S3、对经所述特征补偿的当前时刻的未知空间目标特征图采用预先训练好的神经网络进行识别，得到识别结果。
进一步的，还包括步骤S4：对所述识别结果进行人工判别，得到判别结果；将所述判别结果与所述识别结果进行比较，若不一致，则存储所述判别结果并将其反馈至所述神经网络，以迭代训练所述神经网络。
可选的，所述步骤S2包括：采用特征提取网络提取出与每帧所述未知空间目标的图像数据相对应的所述未知空间目标特征图。采用特征关联方法，将所述当前时刻的未知空间目标特征图与所述前序时刻的未知空间目标特征图进行关联，建立特征图之间的光流场。基于所述光流场将所述前序时刻的未知空间目标特征图进行特征变换。通过特征融合方法，将变换后的所述前序时刻的未知空间目标特征图的特征嵌入所述当前时刻的未知空间目标特征图中。得到所述经所述特征补偿的当前时刻的未知空间目标特征图。
可选的，所述基于所述光流场将所述前序时刻的未知空间目标特征图进行特征变换的步骤包括：对未知空间目标位置、姿态和帆板展开状态的特征的变换。
可选的，在执行所述步骤S1之前，需预先训练所述神经网络，所述预先训练所述神经网络的步骤包括：分别获取已知空间目标的图像数据集和未知空间目标的图像数据集；分别提取已知空间目标的图像数据集和未知空间目标的图像数据集的特征图数据集。将已知空间目标图像的图像数据集及其特征图数据集设为源域；将未知空间目标的图像数据集及其特征图数据集设为目标域，求解源域个体特征图至目标域个体特征图之间的转换矩阵。利用多个所述转换矩阵的加权叠加，生成所述源域至所述目标域的特征变换矩阵，通过所述特征变换矩阵将已知空间目标的特征与未知空间目标的特征进行关联。利用所述特征变换矩阵分别将所述源域和所述目标域的特征变换到相同的特征空间，提取所述源域与所述目标域中存在的共同特征。利用所述共同特征对应的共享参数去训练所述神经网络，使得所述神经网络将在所述源域中学习到的知识向所述目标域中迁移。
可选的，所述已知空间目标特征图用于描述已知空间目标的三维几何特征、表面材质特征和纹理特征中的一种或多种；所述未知空间目标特征图用于描述未知空间目标的三维几何特征、表面材质特征和纹理特征中的一种或多种。
另一方面，本发明还提供一种电子设备，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的方法。
再一方面，本发明还提供一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如上文所述的方法。
本发明与现有技术相比，具有以下优点：
本发明一种基于迁移学习的空间目标自主识别方法，包括：步骤S1、实时获取若干帧未知空间目标的图像数据；步骤S2、根据若干帧前序时刻的所述未知空间目标的图像数据对当前时刻的所述未知空间目标的图像数据进行特征补偿，得到经所述特征补偿的当前时刻的未知空间目标特征图；步骤S3、对经所述特征补偿的当前时刻的未知空间目标特征图采用预先训练好的神经网络进行识别，得到识别结果。由此可知，本发明解决了非合作空间目标(未知空间目标)先验信息缺失，所导致的样本数量和种类不够丰富的问题。针对多种类非合作空间目标的识别需求，提升了空间目标识别方法(模型)针对不同任务场景的自适应性。可实现针对多种在轨操控任务下的多类未知空间目标的普适性识别。
本发明通过对所述识别结果进行人工判别，得到判别结果；将所述判别结果与所述识别结果进行比较，若不一致，则存储所述判别结果并将其反馈至所述神经网络，以迭代训练所述神经网络。由此可知，本发明构建了非合作空间目标样本独立于训练环境(地面)与测试环境(空间)的样本迁移模型，解决了地面训练样本相对单一和有限，难以完全模拟空间实际环境的问题，增强了复杂光照环境下识别的稳定性和鲁棒性。
附图说明
图1为本发明一实施例提供的一种基于迁移学习的空间目标自主识别方法的流程示意图；
图2为本发明一实施例提供的一种基于迁移学习的空间目标自主识别方法中的已知空间目标与未知空间目标的关联特征获取的过程示意图；
图3为本发明一实施例提供的一种基于迁移学习的空间目标自主识别方法中的目标不变特征补偿过程示意图。
具体实施方式
以下结合附图1～3和具体实施方式对本发明提出的一种基于迁移学习的空间目标自主识别方法、电子设备和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合图1～3所示，本实施例一种基于迁移学习的空间目标自主识别方法，包括如下过程：步骤S1、实时获取若干帧未知空间目标的图像数据。步骤 S2、根据若干帧前序时刻的所述未知空间目标的图像数据对当前时刻的所述未知空间目标的图像数据进行特征补偿，得到经所述特征补偿的当前时刻的未知空间目标特征图。步骤S3、对经所述特征补偿的当前时刻的未知空间目标特征图采用预先训练好的神经网络进行识别，得到识别结果。
优选地，在执行所述步骤S1之前，需预先训练所述神经网络，所述预先训练所述神经网络的步骤包括：分别获取已知空间目标的图像数据集和未知空间目标的图像数据集；分别提取已知空间目标的图像数据集和未知空间目标的图像数据集的特征图数据集；在本实施例中，已知空间目标的图像数据集和未知空间目标的图像数据集分别包括在前序空间任务中采用星相机在预设时间间隔内实时拍摄的已知空间目标图像数据(图像或图片)和未知空间目标图像数据(图像或图片)。分别提取每张图片(或者是每帧图像数据) 的特征向量(即特征图)，由此分别形成与所述已知空间目标的图像数据集和未知空间目标的图像数据集相对应的特征图数据集。
所述已知空间目标特征图(特征向量)用于描述已知空间目标的三维几何特征、表面材质特征和纹理特征中的一种或多种；所述未知空间目标特征图(特征向量)用于描述未知空间目标的三维几何特征、表面材质特征和纹理特征中的一种或多种。
将已知空间目标图像的图像数据集及其特征图数据集设为源域；将未知空间目标的图像数据集及其特征图数据集设为目标域，求解源域个体特征图至目标域个体特征图之间的转换矩阵；利用多个所述转换矩阵(1～z)的加权叠加，生成所述源域至所述目标域的特征变换矩阵，通过所述特征变换矩阵将已知空间目标的特征与未知空间目标的特征进行有效关联；利用所述特征变换矩阵分别将所述源域和所述目标域的特征变换到相同的特征空间，提取所述源域与所述目标域中存在的共同特征；利用所述共同特征对应的共享参数去训练所述神经网络，使得所述神经网络将在所述源域中学习到的知识向所述目标域中迁移，以便在后续步骤中能够完成对未知非合作空间目标的识别任务。此步骤涉及的相关工作需在地面预先完成。具体的如图1和图2所示，为了便于后续利用迁移学习算法在源域下学习到的知识向目标域迁移，完成对未知非合作空间目标的识别任务，实现解决非合作空间目标先验信息缺失，样本数量和种类不够丰富的问题的目的。
设定已知空间目标的图像数据集为
Figure RE-GDA0002402119510000051
其中 xi，i＝1，…，K表示数据向量。每个数据对应相关的数据类别，数据的类别标签是一个用来区分数据的映射，使用
Figure RE-GDA0002402119510000052
表示标签集，
Figure RE-GDA0002402119510000053
其中 yi，i＝1，…，K表示对应数据的标签，
Figure RE-GDA0002402119510000054
表示标签类别数量。则上述映射过程可以表示成：
Figure RE-GDA0002402119510000061
Figure RE-GDA0002402119510000062
其中，label表示图像数据集
Figure RE-GDA0002402119510000063
至标签数据集
Figure RE-GDA0002402119510000064
的映射，对于数据集A中的每一个数据向量xi，都满足其标签label(xi)属于标签集
Figure RE-GDA0002402119510000065
因此图像数据集
Figure RE-GDA00024021195100000621
可以产生一个与之对应的标签向量
Figure RE-GDA0002402119510000066
Figure RE-GDA0002402119510000067
当给定一个神经网络，图像数据集
Figure RE-GDA0002402119510000068
输入神经网络可以得到输出向量，神经网络Fw(A)的学习过程如下所示：
Figure RE-GDA0002402119510000069
图像数据集
Figure RE-GDA00024021195100000622
的学习可以表示成在整个假设空间中，选择合适的目标函数，并在给定一个损失函数loss：R+→R最小的情况下，寻找神经网络Fw(A)的最优联接矩阵，即如下的优化问题：
Figure RE-GDA00024021195100000610
Figure RE-GDA00024021195100000611
定义集合
Figure RE-GDA00024021195100000623
表示与深度神经网络匹配的联接矩阵集合，
Figure RE-GDA00024021195100000612
表示集合
Figure RE-GDA00024021195100000613
中的一个元素，α表示正则化系数，
Figure RE-GDA00024021195100000614
表示正则化项。
上式可等价描述为
Figure RE-GDA00024021195100000615
定义内部迁移学习过程。给定一个神经网络如下所示：
Figure RE-GDA00024021195100000616
给定一个损失函数loss：R+→R。由于已知空间目标的图像数据集
Figure RE-GDA00024021195100000617
较大，表现在类别丰富度更多，数据量更大。根据上文可得关于图像数据集
Figure RE-GDA00024021195100000618
的学习模型如下所示
Figure RE-GDA00024021195100000619
式中，ai表示数据集
Figure RE-GDA00024021195100000624
中的每一个元素。
同理可得未知空间目标的图像数据集
Figure RE-GDA00024021195100000620
的学习模型如下所示
Figure RE-GDA0002402119510000071
所述神经网络的学习过程也可称之为深度神经网络的参数自适应迁移；深度神经网络通常由多个隐含层堆叠而成，输入层所有神经元的连接都与输出层神经元相连。
假设有已知空间目标训练样本(x1，y1)，(x2，y2)，…，(xn，yn)，xn表示第n个样本的输入信息，yn表示对应的标签信息。深度神经网络由d+1层构成，分别记为第0，1，…，d层。每层的节点数目分别为mi，i＝0，…，d。设每个节点的激活函数表示为σ，为根据需要选择的阈值函数，使偏置b＝x0对应权值ω0＝1，每层线性组合统一为
Figure RE-GDA0002402119510000072
设第i层与第i+1层之间的联接矩阵为
Figure RE-GDA00024021195100000710
x是一个输入向量，输出数值为
Figure RE-GDA0002402119510000073
定义集合
Figure RE-GDA0002402119510000078
表示与深度神经网络匹配的联接矩阵集合，
Figure RE-GDA0002402119510000074
表示集合
Figure RE-GDA0002402119510000079
中的一个元素，具体如下所示，
Figure RE-GDA0002402119510000075
Figure RE-GDA0002402119510000076
此时神经网络的学习过程可表述为
Figure RE-GDA0002402119510000077
优选地，所述步骤S2包括：采用特征提取网络提取出与每帧所述未知空间目标的图像数据相对应的所述未知空间目标特征图。
采用特征关联方法，将所述当前时刻的未知空间目标特征图与所述前序时刻的未知空间目标特征图进行关联，建立特征图之间的光流场。
基于所述光流场将所述前序时刻的未知空间目标特征图进行特征变换。
通过特征融合方法，将变换后的所述前序时刻的未知空间目标特征图的特征嵌入所述当前时刻的未知空间目标特征图中。
得到所述经所述特征补偿的当前时刻的未知空间目标特征图。
可选的，所述基于所述光流场将所述前序时刻的未知空间目标特征图进行特征变换的步骤包括：对未知空间目标位置、姿态和帆板展开状态的特征的变换。
所述步骤S2的作用是对同一未知空间目标的图像进行目标不变特征补偿，具体的，为了减弱环境噪声对目标不变特征的影响，添加时间上下文信息的先验知识辅助完成识别目标。如图3所示，使用特征提取网络与每帧所述未知空间目标的图像数据(图片或图像)相对应的所述未知空间目标特征图或者是每帧所述未知空间目标的图像数据的特征图。建立光流场表述当前时刻的所述未知空间目标图像与前序时刻的所述未知空间目标图像之间的联系，加强当前时刻的所述未知空间目标图像的特征。通过特征变换，将前序时刻的所述未知空间目标图像的关联特征整合到当前时刻的所述未知空间目标图像，达到不变特征补偿的目的。且通过融入、补偿多幅前序时刻的未知空间目标图像的目标特征，生成当前时刻特征补偿之后的当前时刻的未知空间目标图像(此处图像为特征图)，减弱了经相机拍摄所获得的原始未知空间目标图像受复杂环境带来的噪声影响，提高了自主识别的准确率。
由于不同空间任务所对应的不同未知空间目标，其特征存在一定的重叠性，所使用的识别网络的结构也存在部分相似。因此，代表已知空间目标的源域和未知空间目标的目标域可以共享部分模型参数。将之前在源域中通过大量数据训练好的模型应用到目标域上进行预测。定义记忆单元用来存储所有任务的累积信息，随着深度变化，通过联合上一层的所有侧连的输入与单元状态完成更新。同时定义输入门来控制历史任务与当前任务在记忆单元
Figure RE-GDA0002402119510000081
的信息流入，作为滤波器过滤其他枝干流入主干的无关甚至冲突的信息。针对任意与单元的连接，使用输入门
Figure RE-GDA0002402119510000082
来对迁移前的信息作预处理，定义如下：
Figure RE-GDA0002402119510000083
其中，σ(·)是sigmoid激活函数，其取值范围在[0,1]之间；
Figure RE-GDA0002402119510000084
与
Figure RE-GDA0002402119510000085
表示第i个任务l-1层的输出通过转化矩阵流入第k个任务；
Figure RE-GDA0002402119510000086
是主干模型 l-1层到l层的参数；
Figure RE-GDA0002402119510000087
表示当前任务l-1层的记忆状态。
Figure RE-GDA0002402119510000088
其中，×表示向量叉乘，
Figure RE-GDA0002402119510000091
是侧连信息进入单元前经过一层非线性变换的结果：
Figure RE-GDA0002402119510000092
完成单元更新后，需要据此计算该隐藏层的输出如下：
Figure RE-GDA0002402119510000093
其中，
Figure RE-GDA0002402119510000094
和b0是当前记忆单元状态下重新定义的输出权值和偏置；θ(·) 可以是任意的激活函数。
进一步的，还包括步骤S4：对所述识别结果进行人工判别，得到判别结果；将所述判别结果与所述识别结果进行比较，若不一致，则存储所述判别结果并将其反馈至所述神经网络，以迭代训练所述神经网络。由此可知，本是实施例解决了非合作空间目标(未知空间目标)先验信息缺失，所导致的样本数量和种类不够丰富的问题。针对多种类非合作空间目标的识别需求，提升了空间目标识别方法(模型)针对不同任务场景的自适应性。可实现针对多种在轨操控任务下的多类未知空间目标的普适性识别。
具体的，将采用所述步骤S3对所述未知空间目标进行识别后的识别结果回传地面，由地面对识别结果进行人工判别。筛选并收集具有差异的判别结果，反馈至上述预先训练的神经网络，使神经网络在经过大量数据迭代强化后，可在目标域上进行高准确率的自主识别。
另一方面，基于同一发明构思，本发明还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上文所述的基于迁移学习的空间目标自主识别方法。
本实施例提供的电子设备，可以解决非合作空间目标(未知空间目标) 先验信息缺失，所导致的样本数量和种类不够丰富的问题。针对多种类非合作空间目标的识别需求，提升了空间目标识别方法(模型)针对不同任务场景的自适应性。可实现针对多种在轨操控任务下的多类未知空间目标的普适性识别的目的。本实施例还构建了非合作空间目标样本独立于训练环境(地面)与测试环境(空间)的样本迁移模型，解决了地面训练样本相对单一和有限，难以完全模拟空间实际环境的问题，增强了复杂光照环境下识别的稳定性和鲁棒性。
所述电子设备还包括通信接口和通信总线，其中所述处理器、所述通信接口、所述存储器通过通信总线完成相互间的通信。所述通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。所述通信接口用于上述电子设备与其他设备之间的通信。
本实施例中所称处理器可以是中央处理单元(Central Processing Unit， CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor， DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述电子设备的各种功能。
所述存储器可以包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器 (RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路 (Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM) 等。
再一方面，基于同一发明构思，本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时可以实现如上文所述的基于迁移学习的空间目标自主识别方法。
本实施例提供的可读存储介质，可以解决非合作空间目标(未知空间目标)先验信息缺失，所导致的样本数量和种类不够丰富的问题。针对多种类非合作空间目标的识别需求，提升了空间目标识别方法(模型)针对不同任务场景的自适应性。可实现针对多种在轨操控任务下的多类未知空间目标的普适性识别的目的。
本实施例构建了非合作空间目标样本独立于训练环境(地面)与测试环境(空间)的样本迁移模型，解决了地面训练样本相对单一和有限，难以完全模拟空间实际环境的问题，增强了复杂光照环境下识别的稳定性和鲁棒性。
本实施例提供的可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
在本实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言- 诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
综上所述，本发明一种基于迁移学习的空间目标自主识别方法，包括：步骤S1、实时获取若干帧未知空间目标的图像数据；步骤S2、根据若干帧前序时刻的所述未知空间目标的图像数据对当前时刻的所述未知空间目标的图像数据进行特征补偿，得到经所述特征补偿的当前时刻的未知空间目标特征图；步骤S3、对经所述特征补偿的当前时刻的未知空间目标特征图采用预先训练好的神经网络进行识别，得到识别结果。
由此可知，本发明解决了非合作空间目标(未知空间目标)先验信息缺失，所导致的样本数量和种类不够丰富的问题。针对多种类非合作空间目标的识别需求，提升了空间目标识别方法(模型)针对不同任务场景的自适应性。可实现针对多种在轨操控任务下的多类未知空间目标的普适性识别。
本发明通过对所述识别结果进行人工判别，得到判别结果；将所述判别结果与所述识别结果进行比较，若不一致，则存储所述判别结果并将其反馈至所述神经网络，以迭代训练所述神经网络。由此可知，本发明构建了非合作空间目标样本独立于训练环境(地面)与测试环境(空间)的样本迁移模型，解决了地面训练样本相对单一和有限，难以完全模拟空间实际环境的问题，增强了复杂光照环境下识别的稳定性和鲁棒性。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (8)

1.一种基于迁移学习的空间目标自主识别方法，其特征在于，包括：
步骤S1、实时获取若干帧未知空间目标的图像数据；
步骤S2、根据若干帧前序时刻的所述未知空间目标的图像数据对当前时刻的所述未知空间目标的图像数据进行特征补偿，得到经所述特征补偿的当前时刻的未知空间目标特征图；
步骤S3、对经所述特征补偿的当前时刻的未知空间目标特征图采用预先训练好的神经网络进行识别，得到识别结果。
2.如权利要求1所述的基于迁移学习的空间目标自主识别方法，其特征在于，还包括步骤S4：对所述识别结果进行人工判别，得到判别结果；
将所述判别结果与所述识别结果进行比较，若不一致，则存储所述判别结果并将其反馈至所述神经网络，以迭代训练所述神经网络。
3.如权利要求2所述的基于迁移学习的空间目标自主识别方法，其特征在于，所述步骤S2包括：
采用特征提取网络提取出与每帧所述未知空间目标的图像数据相对应的所述未知空间目标特征图；
采用特征关联方法，将所述当前时刻的未知空间目标特征图与所述前序时刻的未知空间目标特征图进行关联，建立特征图之间的光流场；
基于所述光流场将所述前序时刻的未知空间目标特征图进行特征变换；
通过特征融合方法，将变换后的所述前序时刻的未知空间目标特征图的特征嵌入所述当前时刻的未知空间目标特征图中；
得到所述经所述特征补偿的当前时刻的未知空间目标特征图。
4.如权利要求3所述的基于迁移学习的空间目标自主识别方法，其特征在于，所述基于所述光流场将所述前序时刻的未知空间目标特征图进行特征变换的步骤包括：对未知空间目标位置、姿态和帆板展开状态的特征的变换。
5.如权利要求4所述的基于迁移学习的空间目标自主识别方法，其特征在于，在执行所述步骤S1之前，需预先训练所述神经网络，所述预先训练所述神经网络的步骤包括：
分别获取已知空间目标的图像数据集和未知空间目标的图像数据集；分别提取已知空间目标的图像数据集和未知空间目标的图像数据集的特征图数据集；
将已知空间目标图像的图像数据集及其特征图数据集设为源域；将未知空间目标的图像数据集及其特征图数据集设为目标域，求解源域个体特征图至目标域个体特征图之间的转换矩阵；
利用多个所述转换矩阵的加权叠加，生成所述源域至所述目标域的特征变换矩阵，通过所述特征变换矩阵将已知空间目标的特征与未知空间目标的特征进行关联；
利用所述特征变换矩阵分别将所述源域和所述目标域的特征变换到相同的特征空间，提取所述源域与所述目标域中存在的共同特征；
利用所述共同特征对应的共享参数去训练所述神经网络，使得所述神经网络将在所述源域中学习到的知识向所述目标域中迁移。
6.如权利要求5所述的基于迁移学习的空间目标自主识别方法，其特征在于，所述已知空间目标特征图用于描述已知空间目标的三维几何特征、表面材质特征和纹理特征中的一种或多种；所述未知空间目标特征图用于描述未知空间目标的三维几何特征、表面材质特征和纹理特征中的一种或多种。
7.一种电子设备，其特征在于，包括处理器和存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现权利要求1至6中任一项所述的方法。
8.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至6中任一项所述的方法。
CN201911295959.1A 2019-12-16 2019-12-16 基于迁移学习的空间目标自主识别方法、电子设备和存储介质 Active CN111191690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911295959.1A CN111191690B (zh) 2019-12-16 2019-12-16 基于迁移学习的空间目标自主识别方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911295959.1A CN111191690B (zh) 2019-12-16 2019-12-16 基于迁移学习的空间目标自主识别方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111191690A true CN111191690A (zh) 2020-05-22
CN111191690B CN111191690B (zh) 2023-09-05

Family

ID=70709608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911295959.1A Active CN111191690B (zh) 2019-12-16 2019-12-16 基于迁移学习的空间目标自主识别方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111191690B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208632A1 (ja) * 2021-03-29 2022-10-06 三菱電機株式会社 推論装置、推論方法、学習装置、学習方法、及びプログラム
CN115270997A (zh) * 2022-09-20 2022-11-01 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013180A (ja) * 2012-07-04 2014-01-23 Mitsubishi Electric Corp レーダ処理装置
CN104751198A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 图像中的目标物的识别方法及装置
US20160307069A1 (en) * 2015-04-14 2016-10-20 Xerox Corporation Vision-based object detector
CN107490356A (zh) * 2017-08-21 2017-12-19 上海航天控制技术研究所 一种非合作目标旋转轴和旋转角测量方法
US20180293454A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Optical flow estimation using 4-dimensional cost volume processing
CN108710868A (zh) * 2018-06-05 2018-10-26 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法
US20180330205A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Domain adaptation and fusion using weakly supervised target-irrelevant data
WO2019094094A1 (en) * 2017-11-13 2019-05-16 Siemens Aktiengesellschaft Part identification using a locally learned threedimensional (3d) landmark database
CN110148105A (zh) * 2015-05-22 2019-08-20 中国科学院西安光学精密机械研究所 基于迁移学习和视频帧关联学习的视频分析方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014013180A (ja) * 2012-07-04 2014-01-23 Mitsubishi Electric Corp レーダ処理装置
CN104751198A (zh) * 2013-12-27 2015-07-01 华为技术有限公司 图像中的目标物的识别方法及装置
US20160307069A1 (en) * 2015-04-14 2016-10-20 Xerox Corporation Vision-based object detector
CN110148105A (zh) * 2015-05-22 2019-08-20 中国科学院西安光学精密机械研究所 基于迁移学习和视频帧关联学习的视频分析方法
US20180293454A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Optical flow estimation using 4-dimensional cost volume processing
US20180330205A1 (en) * 2017-05-15 2018-11-15 Siemens Aktiengesellschaft Domain adaptation and fusion using weakly supervised target-irrelevant data
CN107490356A (zh) * 2017-08-21 2017-12-19 上海航天控制技术研究所 一种非合作目标旋转轴和旋转角测量方法
WO2019094094A1 (en) * 2017-11-13 2019-05-16 Siemens Aktiengesellschaft Part identification using a locally learned threedimensional (3d) landmark database
CN108710868A (zh) * 2018-06-05 2018-10-26 中国石油大学(华东) 一种基于复杂场景下的人体关键点检测系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙俊;张世杰;马也;楚中毅;: "空间非合作目标惯性参数的Adaline网络辨识方法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022208632A1 (ja) * 2021-03-29 2022-10-06 三菱電機株式会社 推論装置、推論方法、学習装置、学習方法、及びプログラム
JPWO2022208632A1 (zh) * 2021-03-29 2022-10-06
JP7274071B2 (ja) 2021-03-29 2023-05-15 三菱電機株式会社 学習装置
CN115270997A (zh) * 2022-09-20 2022-11-01 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置
CN115270997B (zh) * 2022-09-20 2022-12-27 中国人民解放军32035部队 基于迁移学习的火箭目标姿态稳定判别方法及相关装置

Also Published As

Publication number Publication date
CN111191690B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
Sindagi et al. Prior-based domain adaptive object detection for hazy and rainy conditions
Sharma et al. Pose estimation for non-cooperative spacecraft rendezvous using convolutional neural networks
EP3029606A2 (en) Method and apparatus for image classification with joint feature adaptation and classifier learning
WO2017151673A1 (en) Synthesizing training data for broad area geospatial object detection
CN111368972B (zh) 一种卷积层量化方法及其装置
US20120093396A1 (en) Digital image analysis utilizing multiple human labels
Goh et al. Mars terrain segmentation with less labels
Duerr et al. Lidar-based recurrent 3d semantic segmentation with temporal memory alignment
CN111191690B (zh) 基于迁移学习的空间目标自主识别方法、电子设备和存储介质
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
John et al. A comparative study of various object detection algorithms and performance analysis
CN114359622A (zh) 基于卷积神经网络-转换器混合架构的图像分类方法
CN110310305A (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN116740344A (zh) 一种基于知识蒸馏的轻量化遥感影像语义分割方法及装置
Malav et al. DHSGAN: An end to end dehazing network for fog and smoke
Ozaki et al. DNN-based self-attitude estimation by learning landscape information
Pascual et al. Towards natural scene rock image classification with convolutional neural networks
CN110992404A (zh) 目标跟踪方法、装置和系统及存储介质
Sarku et al. Reducing data costs-transfer learning based traffic sign classification approach
Schenkel et al. Domain adaptation for semantic segmentation using convolutional neural networks
CN115376094B (zh) 基于尺度感知神经网络的无人清扫车路面识别方法及系统
CN116612382A (zh) 一种城市遥感图像目标检测方法和装置
Islam et al. Cross domain image transformation using effective latent space association
CN112001223B (zh) 真实环境地图的快速虚拟化构建方法
Uma Rani et al. Satellite Pose Estimation Using Modified Residual Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant