CN111178401B - 一种基于多层对抗网络的空间目标分类方法 - Google Patents

一种基于多层对抗网络的空间目标分类方法 Download PDF

Info

Publication number
CN111178401B
CN111178401B CN201911295908.9A CN201911295908A CN111178401B CN 111178401 B CN111178401 B CN 111178401B CN 201911295908 A CN201911295908 A CN 201911295908A CN 111178401 B CN111178401 B CN 111178401B
Authority
CN
China
Prior art keywords
image
space image
countermeasure
space
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911295908.9A
Other languages
English (en)
Other versions
CN111178401A (zh
Inventor
韩飞
王兆龙
孙俊
贺亮
陈文�
李木子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Aerospace Control Technology Institute
Original Assignee
Shanghai Aerospace Control Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Aerospace Control Technology Institute filed Critical Shanghai Aerospace Control Technology Institute
Priority to CN201911295908.9A priority Critical patent/CN111178401B/zh
Publication of CN111178401A publication Critical patent/CN111178401A/zh
Application granted granted Critical
Publication of CN111178401B publication Critical patent/CN111178401B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多层对抗网络的空间目标分类方法,包括以下步骤:步骤1:成像载荷对成像目标进行时序多帧投影,获取空间影像;步骤2:对空间影像进行特征增广,获取增广空间影像;步骤3:基于顶层对抗网络,对增广空间影像进行前景提取,提取出前景信息;步骤4:基于条件卷积对抗训练,对前景信息进行递进式的两级对抗,提取出通用表征向量,完成空间目标分类。此发明解决了复杂状态下成像载荷获取影像中目标种类多样,且存在相对运动时的分类问题,基于对抗网络通过博弈可实现特征可靠提取,实现了多种复杂目标的准确分类,并开展了针对性应用,有效提高了主动航天器在轨的自主运行能力,为航天器自主导航和安全生存提供了重要保障。

Description

一种基于多层对抗网络的空间目标分类方法
技术领域
本发明涉及航天器导航技术领域,具体涉及一种基于多层对抗网络的空间目标分类方法。
背景技术
随着各国空间技术的发展,对空间设备的自主性和功能性要求也逐渐增高。一方面,对航天器的自主性而言,全自主定轨是最基本的生存运行能力,在定轨过程中恒星和行星等天体影像是重要的信息源,因此需要在空间影像中准确的对恒星和行星进行分类;另一方面,对于航天器的功能性而言,无论是安全生存还是碎片清理,主动探测和主动识别目标是安全运行和执行任务的前提。
同时,由于未知空间目标与主动航天器间可能存在轨道、姿态的相对运动,导致空间目标的影像信息产生复杂变化,按照现有的常规分类方法难以同步拆分。因此,急需一个可靠的空间目标分类方法,对目标的亮度、身份、个体特征等具有较强的鲁棒性,广泛适用于空间环境,能够实现多种类复杂目标的准确分类。
发明内容
本发明的目的是提供一种基于多层对抗网络的空间目标分类方法。此系统旨在解决复杂状态下成像载荷获取的影像中,目标种类多样,且存在相对运动时的分类问题,基于对抗网络通过博弈可实现特征可靠提取,提出一种对目标的亮度、身份、个体特征等具有较强的鲁棒性,广泛适用于空间环境,能够实现多种复杂目标准确分类的方法,使航天器实现对载荷观测图像的有效分类,并开展针对性应用,有效提高主动航天器在轨的自主运行能力,为航天器自主导航和安全生存提供重要保障。
为达到上述目的,本发明提供了一种基于多层对抗网络的空间目标分类方法,包括以下步骤:
步骤1:主动航天器的成像载荷对成像目标进行时序多帧投影,获取空间影像;
步骤2:对空间影像进行特征增广,获取增广空间影像;
步骤3:基于顶层对抗网络,对空间影像和增广空间影像进行前景提取,在达到第一纳什均衡的状态下,提取出增广空间影像的前景信息;
步骤4:基于条件卷积对抗训练,对前景信息进行递进式的两级对抗,在达到第二纳什均衡的状态下,提取出通用表征向量,完成空间目标分类。
最优选的,成像载荷为安装在主动航天器上的、惯性指向稳定的、以拍摄非地面目标为主要任务的空间相机。
最优选的,空间影像是指包含恒星、行星、航天器、失效翻滚碎片、噪声的连续多帧的图像信息及其时域增广信息。
最优选的,特征增广包括以下步骤:
步骤2.1:对空间影像进行图像处理,获取处理后的空间影像;
步骤2.2:对处理后的空间影像中的信息进行时域信息增广,获取在单帧影像中无法得到的、需要处理连续多帧影像方可考察的特征,如时域特征,即物理信息随时间变化的特征,从而形成具有更多特征的增广空间影像。
最优选的,增广空间影像中增广的特征包括轨迹斜率、速度计算、像点频率。
最优选的,前景提取包括以下步骤:
步骤3.1:基于顶层对抗网络,对空间影像和增广空间影像进行分析,生成判别模型和生成模型;
步骤3.2:通过判别模型和生成模型的零和博弈,获得目标函数,并根据目标函数调整判别模型和生成模型达到第一纳什均衡;
步骤3.3:在第一纳什均衡的状态下,通过判别模型对增广空间影像进行鉴别,判定为真,则通过生成模型提取出前景信息。
最优选的,两级对抗包括以下步骤:
步骤4.1:基于一级对抗学习,根据判别模型对前景信息进行一级光学特征提取,识别出前景信息中的自然天体特征和人造物体特征;
步骤4.2:采用条件卷积对抗过程,分别对一级对抗学习中识别的自然天体特征和人造物体特征进行二级对抗分类,提取出通用表征向量,完成空间目标分类。
最优选的,通用表征向量包括根据自然天体特征提取出的恒星、行星特征和根据人造物体特征提取出的航天器、失效翻滚特征。
运用此发明,解决了复杂状态下成像载荷获取的影像中,目标种类多样,且存在相对运动时的分类问题,基于对抗网络通过博弈可实现特征可靠提取,提出了一种对目标的亮度、身份、个体特征等具有较强的鲁棒性,广泛适用于空间环境,能够实现多种复杂目标准确分类的方法,使航天器实现了对载荷观测图像的有效分类,并开展了针对性应用,有效提高了主动航天器在轨的自主运行能力,为航天器自主导航和安全生存提供了重要保障。
相对于现有技术,本发明具有以下有益效果:
1、本发明将获取的复杂空间影像准确分类,明确其中的恒星、行星、航天器、失效翻滚碎片等目标,为后续准确的应用影像信息,如采用对应天体自主导航、或针对固定目标展开跟踪、或面向指定碎片进行清除等,提供最基本的技术保障。
2、本发明通过对抗学习的方式实现,鲁棒性强、对亮度不敏感、对身份能抑制、类内差异可消除。
3、本发明能够在发生相对运动的状态下完成分类,同步拆分多类空间目标。
附图说明
图1为本发明提供的空间目标分类方法的流程图;
图2为本发明提供的前景提取的流程图;
图3为本发明提供的一级对抗学习的示意图;
图4为本发明提供的二级对抗学习的示意图。
具体实施方式
以下结合附图通过具体实施例对本发明作进一步的描述,这些实施例仅用于说明本发明,并不是对本发明保护范围的限制。
主动航天器为处于自然绕飞模式下的航天器;成像载荷为安装在主动航天器上的惯性指向稳定的探测器,用于拍摄非地面目标。在复杂状态下主动航天器的成像载荷获取的影像中目标种类多样。复杂状态为主动航天器与成像目标之间复杂的相对运动、成像环境的光照调节、成像目标毫无先验信息以及种类。
本发明是一种基于多层对抗网络的空间目标分类方法,如图1所示,包括以下步骤:
步骤1:主动航天器的成像载荷在复杂状态下按照时序对成像目标进行时序多帧投影,获取空间影像P(1,2,...,i)
其中,在本实施例中,成像载荷为空间相机。空间影像P(1,2,...,i)包含恒星、行星、航天器、失效翻滚碎片、噪声的连续多帧的图像信息及其时域增广信息。
步骤2:对空间影像P(1,2,...,i)进行特征增广,获取增广空间影像Pj,能够扩充空间影像P(1,2,...,i)中目标特征表征向量的维度,为后续提高通用表征向量的提取效果提供了便利。
特征增广包括以下步骤:
步骤2.1:对空间影像P(1,2,...,i)进行图像处理,获取处理后的空间影像;
步骤2.2:对所述处理后的空间影像中的信息进行时域信息增广,获取在单帧影像中无法得到的、需要处理连续多帧影像方可考察的特征,如时域特征,即物理信息随时间变化的特征,从而形成具有更多特征的增广空间影像Pj
其中,增广空间影像Pj中增广的特征包括轨迹斜率、速度计算、像点频率,且增广空间影像Pj中增广的特征是在单帧影像中无法获取,且需要处理连续多帧影像方可考察的特征。
步骤3:基于顶层对抗网络,对空间影像P(1,2,...,i)和增广空间影像Pj进行前景提取,在达到第一纳什均衡的状态下,提取出增广空间影像Pj的前景信息;前景信息为增广空间影像Pj中去除背景和噪声的可提取信息的被任务关注的成像目标所成的影像。
其中,如图2所示,前景提取包括以下步骤:
步骤3.1:基于顶层对抗网络,对空间影像P(1,2,...,i)和增广空间影像Pj进行分析,生成判别模型D和生成模型G;
步骤3.2:通过判别模型D和生成模型G的零和博弈,获得目标函数V(D,G),并根据目标函数V(D,G)调整判别模型D和生成模型G达到第一纳什均衡,提升生成模型G的输出能力,具备准确的背景抑制能力;第一纳什均衡满足:
其中,p为增广空间影像Pj,Pd(p)为服从增广空间影像Pj分布;z为随机噪声,Pz(z)为噪声先验分布;G表示生成模型,G(z)为生成结果;D表示判别模型,D(p)为判别为真的概率。
生成模型G的目的是调整目标函数V(D,G)达到最小,判别模型D的目的是调整目标函数V(D,G)达到最大,最终两者零和博弈,达到第一纳什均衡。
步骤3.3:在第一纳什均衡的状态下,通过判别模型D对增广空间影像Pj进行鉴别,判定为真,则通过生成模型G提取出增广空间影像Pj中全部的前景信息。
步骤4:基于条件卷积对抗训练,对前景信息进行递进式的两级对抗,在达到第二纳什均衡的状态下,提取出通用表征向量,完成普适的空间目标分类。
其中,记前景信息为{pi,i=1,2,...,n},噪声z与标签数据feat为输入,通过链接标签数据feat指导生成器G获取的前景信息生成图像;其中,卷积核为5×5;衡量生成数据和真实数据之间的交叉熵为损失函数Lloss(·),实现第二纳什均衡:
两级对抗还包括以下步骤:
步骤4.1:如图3所示,基于一级对抗学习,根据判别模型D对前景信息{pi,i=1,2,...,n}进行一级光学特征提取,识别出前景信息中的自然天体特征featn和人造物体特征featm
步骤4.2:如图4所示,采用条件卷积对抗过程,分别对一级对抗学习中识别出的自然天体特征和人造物体特征进行二级对抗分类,从自然天体识别出恒星特征、行星特征,从人造物体中识别出正常运行的航天器特征和失效翻滚的航天器特征,即形成通用表征向量,完成普适的空间目标分类。
其中,通用表征向量为对亮度不敏感、对身份能抑制、可消除类内差异以及鲁棒性强的目标无关的光学本质特征;且通用表征向量包括根据自然天体特征提取出的恒星、行星特征和根据人造物体特征提取出的航天器、失效翻滚特征。
本发明的工作原理:
主动航天器的成像载荷对成像目标进行时序多帧投影,获取空间影像;对空间影像进行特征增广,获取增广空间影像;基于顶层对抗网络,对增广空间影像进行前景提取,在达到第一纳什均衡的状态下,提取出增广空间影像的前景信息;基于条件卷积对抗训练,对前景信息进行递进式的两级对抗,在达到第二纳什均衡的状态下,提取出通用表征向量,完成空间目标分类。
综上所述,本发明一种基于多层对抗网络的空间目标分类方法,解决了复杂状态下成像载荷获取的影像中,目标种类多样,且存在相对运动时的分类问题,基于对抗网络通过博弈可实现特征可靠提取,提出了一种对目标的亮度、身份、个体特征等具有较强的鲁棒性,广泛适用于空间环境,能够实现多种复杂目标准确分类的方法,使航天器实现了对载荷观测图像的有效分类,并开展了针对性应用,有效提高了主动航天器在轨的自主运行能力,为航天器自主导航和安全生存提供了重要保障。
尽管本发明的内容已经通过上述优选实施例作了详细介绍,但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后,对于本发明的多种修改和替代都将是显而易见的。因此,本发明的保护范围应由所附的权利要求来限定。

Claims (6)

1.一种基于多层对抗网络的空间目标分类方法,包括以下步骤:
步骤1:主动航天器的成像载荷对成像目标进行时序多帧投影,获取空间影像;
步骤2:对所述空间影像进行特征增广,获取增广空间影像;
步骤3:基于顶层对抗网络,对所述空间影像和所述增广空间影像进行前景提取,在达到第一纳什均衡的状态下,提取出增广空间影像的前景信息;
步骤4:基于条件卷积对抗训练,对所述前景信息进行递进式的两级对抗,在达到第二纳什均衡的状态下,提取出通用表征向量,完成空间目标分类;
所述两级对抗包括以下步骤:
步骤4.1:基于一级对抗学习,根据判别模型对所述前景信息进行一级光学特征提取,识别出所述前景信息中的自然天体特征和人造物体特征;步骤4.2:采用条件卷积对抗过程,分别对所述一级对抗学习中识别的自然天体特征和人造物体特征进行二级对抗分类,提取出通用表征向量,完成空间目标分类;
所述通用表征向量包括根据所述自然天体特征提取出的恒星、行星特征和根据所述人造物体特征提取出的航天器、失效翻滚特征。
2.如权利要求1所述的基于多层对抗网络的空间目标分类方法,其特征在于,所述成像载荷为安装在主动航天器上的、惯性指向稳定的、以拍摄非地面目标为主要任务的空间相机。
3.如权利要求1所述的基于多层对抗网络的空间目标分类方法,其特征在于,所述空间影像是指包含恒星、行星、航天器、失效翻滚碎片、噪声的连续多帧的图像信息及其时域增广信息。
4.如权利要求3所述的基于多层对抗网络的空间目标分类方法,其特征在于,所述特征增广包括以下步骤:
步骤2.1:对所述空间影像进行图像处理,获取处理后的空间影像;
步骤2.2:对所述处理后的空间影像中的信息进行时域信息增广,获取在单帧影像中无法得到的、需要处理连续多帧影像方可考察的时域特征,所述时域特征为物理信息随时间变化的特征,从而形成具有更多特征的增广空间影像。
5.如权利要求4所述的基于多层对抗网络的空间目标分类方法,其特征在于,所述增广空间影像中增广的特征包括轨迹斜率、速度计算、像点频率。
6.如权利要求1所述的基于多层对抗网络的空间目标分类方法,其特征在于,所述前景提取包括以下步骤:
步骤3.1:基于顶层对抗网络,对所述空间影像和所述增广空间影像进行分析,生成判别模型和生成模型;
步骤3.2:通过所述判别模型和所述生成模型的零和博弈,获得目标函数,并根据目标函数调整所述判别模型和所述生成模型达到第一纳什均衡;步骤3.3:在所述第一纳什均衡的状态下,通过所述判别模型对所述增广空间影像进行鉴别,判定为真,则通过所述生成模型提取出所述前景信息。
CN201911295908.9A 2019-12-16 2019-12-16 一种基于多层对抗网络的空间目标分类方法 Active CN111178401B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911295908.9A CN111178401B (zh) 2019-12-16 2019-12-16 一种基于多层对抗网络的空间目标分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911295908.9A CN111178401B (zh) 2019-12-16 2019-12-16 一种基于多层对抗网络的空间目标分类方法

Publications (2)

Publication Number Publication Date
CN111178401A CN111178401A (zh) 2020-05-19
CN111178401B true CN111178401B (zh) 2023-09-12

Family

ID=70653884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911295908.9A Active CN111178401B (zh) 2019-12-16 2019-12-16 一种基于多层对抗网络的空间目标分类方法

Country Status (1)

Country Link
CN (1) CN111178401B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688953B (zh) * 2021-10-25 2022-02-22 深圳市永达电子信息股份有限公司 基于多层gan网络的工控信号分类方法、装置和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118438A (zh) * 2018-06-29 2019-01-01 上海航天控制技术研究所 一种基于生成对抗网络的高斯模糊图像复原方法
CN109543031A (zh) * 2018-10-16 2019-03-29 华南理工大学 一种基于多任务对抗学习的文本分类方法
CN109708648A (zh) * 2018-11-27 2019-05-03 上海航天控制技术研究所 一种空间运动点目标的分类辨识方法
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
WO2019184654A1 (zh) * 2018-03-26 2019-10-03 腾讯科技(深圳)有限公司 神经网络模型的训练、延时摄影视频的生成方法及设备
CN110414362A (zh) * 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技(深圳)有限公司 一种视频去模糊方法和装置
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9971958B2 (en) * 2016-06-01 2018-05-15 Mitsubishi Electric Research Laboratories, Inc. Method and system for generating multimodal digital images
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019184654A1 (zh) * 2018-03-26 2019-10-03 腾讯科技(深圳)有限公司 神经网络模型的训练、延时摄影视频的生成方法及设备
CN110473147A (zh) * 2018-05-09 2019-11-19 腾讯科技(深圳)有限公司 一种视频去模糊方法和装置
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
CN109118438A (zh) * 2018-06-29 2019-01-01 上海航天控制技术研究所 一种基于生成对抗网络的高斯模糊图像复原方法
CN109543031A (zh) * 2018-10-16 2019-03-29 华南理工大学 一种基于多任务对抗学习的文本分类方法
CN109708648A (zh) * 2018-11-27 2019-05-03 上海航天控制技术研究所 一种空间运动点目标的分类辨识方法
CN110414362A (zh) * 2019-07-02 2019-11-05 安徽继远软件有限公司 基于生成式对抗网络的电力图像数据增广方法
CN110490802A (zh) * 2019-08-06 2019-11-22 北京观微科技有限公司 一种基于超分辨率的卫星影像飞机目标型号识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈文兵 ; 管正雄 ; 陈允杰 ; .基于条件生成式对抗网络的数据增强方法.计算机应用.2018,(第11期),3305-3311. *

Also Published As

Publication number Publication date
CN111178401A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
Akcay et al. An evaluation of region based object detection strategies within x-ray baggage security imagery
Hosain et al. Hand pose guided 3d pooling for word-level sign language recognition
WO2019222383A1 (en) Multi-person pose estimation using skeleton prediction
JP2017522669A (ja) シーンのキーポイントを追跡する方法
Downes et al. Neural network approach to crater detection for lunar terrain relative navigation
Dor et al. Visual SLAM for asteroid relative navigation
CN111178401B (zh) 一种基于多层对抗网络的空间目标分类方法
Blondel et al. Fast and viewpoint robust human detection for SAR operations
Dhamani et al. Applications of machine learning and monocular vision for autonomous on-orbit proximity operations
Bachir et al. Investigating yolov5 for search and rescue operations involving uavs: Investigating yolo5
Comellini et al. Robust Navigation Solution for Vision-Based Autonomous Rendezvous
KR102478980B1 (ko) 비지도 6d 포즈 추정을 위한 3d 대조학습 장치 및 방법
Koizumi et al. Development of attitude sensor using deep learning
Tong et al. Cross-view gait identification with embedded learning
Huu et al. Two-stream convolutional network for dynamic hand gesture recognition using convolutional long short-term memory networks
Joshi et al. CFS-InfoGain based Combined Shape-based Feature Vector for Signer Independent ISL Database
Hammouche et al. Toward a real time view-invariant 3d action recognition
Pesce Autonomous navigation for close proximity operations around uncooperative space objects
Opromolla et al. Performance evaluation of 3d model-based techniques for autonomous pose initialization and tracking
Tian et al. A Tracking Algorithm for Debris Cloud Fragments Produced by Different Hypervelocity Impacts through Image Processing
Putri et al. Anomaly detection performance comparison on anomaly-detection based change detection on martian image pairs
Davis et al. Spacecraft identification leveraging unsupervised learning techniques for formation and swarm missions
Kaluthantrige et al. Centroiding technique using machine learning algorithm for space optical navigation
Lyzhoft et al. Template Matching Used for Small Body Optical Navigation with Poorly Detailed Objects
McBryde et al. Spacecraft Relative Navigation Using Appearance Matching and Sensor Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant