CN116229286A - 一种知识驱动的空间目标态势感知方法及系统 - Google Patents

一种知识驱动的空间目标态势感知方法及系统 Download PDF

Info

Publication number
CN116229286A
CN116229286A CN202310506495.4A CN202310506495A CN116229286A CN 116229286 A CN116229286 A CN 116229286A CN 202310506495 A CN202310506495 A CN 202310506495A CN 116229286 A CN116229286 A CN 116229286A
Authority
CN
China
Prior art keywords
target
knowledge
situation awareness
space
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310506495.4A
Other languages
English (en)
Other versions
CN116229286B (zh
Inventor
李彦钊
牛文龙
苏晟平
彭晓东
张玉珠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Space Science Center of CAS
Original Assignee
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Space Science Center of CAS filed Critical National Space Science Center of CAS
Priority to CN202310506495.4A priority Critical patent/CN116229286B/zh
Publication of CN116229286A publication Critical patent/CN116229286A/zh
Application granted granted Critical
Publication of CN116229286B publication Critical patent/CN116229286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种知识驱动的空间目标态势感知方法及系统，所述方法包括：将采集的一组星空场景图像序列输入预先建立和训练好的目标检测模型进行检测，得到检测结果；根据检测结果提取待判断目标对应的观测信息，对已建立的空间目标态势感知知识库进行更新和补充；对于待判断目标，结合空间目标态势感知知识库，通过轨迹预报值对比和光度曲线对比，判断是否为新目标；所述目标检测模型为改进的U‑net语义分割网络。本发明有效提升空间探测中对空间目标的探测能力，为天基空间态势感知系统的建设提供技术支撑。

Description

一种知识驱动的空间目标态势感知方法及系统
技术领域
本发明属于目标检测、空间态势感知领域，尤其涉及一种知识驱动的空间目标态势感知方法及系统。
背景技术
全球航天发射数量有逐年递增的趋势且增速较快。随着越来越多的航天器被送入太空，各种各样的碎片垃圾也会随之增加，轨道资源日益拥挤，严重威胁了在轨航天器的安全。
为了应对潜在的威胁，部分国家已经建立了空间态势感知系统（SSA），空间态势感知主要包括对空间目标的探测、跟踪、识别以及对空间事件的评估、核实与环境监测预报，是应对空间威胁、确保空间安全的重要基石。空间目标包括：人造航天器、空间碎片和小行星。常见的空间态势感知系统主要分为地基空间态势感知系统和天基空间态势感知系统两种，地基空间态势感知系统主要由地基光电探测器、雷达探测器等组成，具有技术成熟、造价相对较低、使用及维护方便等优势，但由于受气象条件、地理位置等因素的限制，在对目标的监测范围、时效性等方面仍存在诸多局限。天基空间态势感知系统通过安装在卫星平台上的成像测量装置，对目标进行检测跟踪，具有不受天气影响、灵活性高等优势，是现阶段的主流空间态势感知系统。
天基态势感知系统的主要工作就是对空间目标进行探测、跟踪、识别，确定目标的形状、尺寸、运动状态等信息，因此一直以来评价天基态势感知系统性能的主要指标是其空间目标检测能力。但是随着空间目标数量的增加，也对天基空间态势感知系统的实时检测能力和检测精确度提出了更高的要求。我国对天基空间态势感知系统的研究开展较晚，在目标检测、识别和数据实时处理等技术与国外存在较大差距。随着其他国家研制的天基态势感知系统数量越来越多，天基空间态势感知系统所能获取到的信息近乎饱和，单纯依靠传统目标检测方法进行态势感知系统的研究无法体现出其能力的优越性。同时，天基空间态势感知系统的数据传输能力往往与其数据生成能力不匹配，很难将拍摄的海量数据实时传回到地面系统，难以完成星上在线检测等应用，需要知识为在线监测提供支撑。因此，对知识驱动的空间目标态势感知方法进行深入研究，具有一定创新性。
发明内容
现有技术空间态势感知系统存在的技术缺陷有：1.暗弱空间目标检测难题；2.空间目标编目难题；3.在线检测和实时处理难题。本发明的目的在于克服上述技术缺陷，提出了一种知识驱动的空间目标态势感知方法。
为了实现上述目的，本发明提出了一种知识驱动的空间目标态势感知方法，所述方法包括：
步骤1）将采集的一组星空场景图像序列输入预先建立和训练好的目标检测模型进行识别，得到检测结果；
步骤2）根据检测结果提取待判断目标对应的观测信息，对已建立的空间目标态势感知知识库进行更新和补充；
步骤3）对于待判断目标，结合空间目标态势感知知识库，通过轨迹预报值对比和光度曲线对比，判断是否为新目标；
所述目标检测模型为改进的U-net语义分割网络。
作为上述方法的一种改进，所述方法还包括：空间目标态势感知知识库的建立步骤；具体包括：
从现有立项文档、相关论文以及空间目标库中获取态势感知相关语料，构建空间目标态势感知语料库，从中提取相关知识并转换为结构化知识；
采用自底向上的方法构建态势感知系统知识图谱和态势感知对象知识图谱，共同构成空间目标态势感知知识库。
作为上述方法的一种改进，所述相关知识包括态势感知系统相关知识和态势感知对象相关知识；其中，
所述态势感知系统相关知识包括：系统类型、所属国家、卫星所处轨道、探测器类型、探测器口径、探测帧频、理论最高探测星等、图像分辨率和视场大小；
所述态势感知对象相关知识包括先验知识和观测信息，其中，
所述先验知识包括轨道信息、所属任务、目标种类、目标功能和威胁等级；
观测信息包括：目标灰度值、光度曲线、像面运动轨迹和运动速度。
作为上述方法的一种改进，所述态势感知系统知识图谱和态势感知对象知识图谱均具有节点集合F，所述节点集合F包括实体集合A、关系集合B和属性集合C；其中，
所述实体集合A包括：态势感知对象、态势感知系统、所属国家、航天任务、探测卫星和探测载荷；
所述关系集合B包括：属于、竞争、合作、探测和组网；
所述属性集合C包括：轨道信息、目标类型、功能、异动情况、像面轨迹、威胁等级、灰度值、光度曲线、速度、加速度；系统类型、卫星数量；任务类型、开始时间、卫星数量；轨道信息、载荷；探测器类型、口径、图像分辨率、极限探测能力、探测帧频和视场大小；
知识图谱的关系包括某两个实体间的直接关系以及实体和属性间的关系。
作为上述方法的一种改进，所述目标检测模型的输入为包含待判断目标的一组星空场景图像序列，输出为检测结果图像序列，所述改进的U-net语义分割网络包括编码器和解码器；其中，
所述编码器用于通过三次下采样操作来逐步提取高维运动特征；包括：三层收缩卷积模块和最大池化模块；其中所述收缩卷积模块包括三维卷积单元、批归一单元、ReLu激活函数单元以及软阈值计算单元；
所述软阈值计算单元包括绝对值计算单元、全局平均池化单元、全连接网络以及sigmoid激活函数；
所述解码器用于通过2×2的3D反卷积方式还原图像尺寸，并通过1×1的3D卷积调整通道数以融合浅层特征和深层特征，最终通过激活函数逐像素的对恒星和目标进行分类，包括：多层上采样模块。
作为上述方法的一种改进，所述步骤2）具体包括：
步骤2-1）根据检测结果二值化图像确定待判断目标在原始数据各帧图像中的位置
Figure SMS_1
：/>
Figure SMS_2
其中，
Figure SMS_3
分别表示待判断目标在第i帧图像上位置的横坐标和纵坐标；
步骤2-2）在星空场景图像序列中找到待判断目标，根据在第i帧图像上的灰度值Gi，构成离散的时序信号序列g，表示为：
Figure SMS_4
并计算平均灰度值
Figure SMS_5
；
其中，n为该组图像序列的帧数；
步骤2-3）记录待判断目标的像面运动轨迹
Figure SMS_6
：
Figure SMS_7
；
步骤2-4）根据下式得到待判断目标在像平面中的平均运动速度v：
Figure SMS_8
其中，/>
Figure SMS_9
表示第i+1帧与第i帧拍摄时间间隔；
Figure SMS_10
，/>
Figure SMS_11
分别表示待判断目标在第i+1帧图像上位置的横坐标和纵坐标；
步骤2-5）将步骤2-1）至2-4）的结果更新到态势感知对象知识图谱。
作为上述方法的一种改进，所述步骤3）：
步骤3-1）获取相机拍摄时间、卫星姿态角、相机视场、观测卫星两行轨道根数信息
Figure SMS_12
，并从空间目标态势感知知识库中获取已知目标的两行轨道根数信息/>
Figure SMS_13
；
步骤3-2）将
Figure SMS_14
和/>
Figure SMS_15
分别输入SGP4模型中，得到当前时刻下观测卫星和已知目标在TEMED坐标系下的位置/>
Figure SMS_16
；
步骤3-3）进行坐标转换，将待判断目标由TEMED坐标系下的坐标转换为像平面坐标系下的坐标信息，同时判断当前观测相机的视场中是否会出现已知目标以及观测相机是否具备探测该已知目标的能力；
步骤3-4）通过轨迹预报值对比和光度曲线对比，判断待判断目标是否为新目标。
作为上述方法的一种改进，所述步骤3-3）具体包括：
步骤3-3-1）将TEMED坐标系坐标转换到J2000坐标系下；
步骤3-3-2）进行J2000坐标系到星载相机坐标系的转换，并取观测卫星姿态角
Figure SMS_17
，若已知目标的赤经/>
Figure SMS_18
赤纬/>
Figure SMS_19
满足下式，则当前时刻下星载相机能够拍摄到已知目标；
Figure SMS_20
其中R为相机视场半径；/>
Figure SMS_21
分别为观测卫星的滚动、俯仰和偏航角；
步骤3-3-3）对于星载相机能够拍摄到的已知目标，从态势感知对象知识图谱中获取其星等
Figure SMS_22
，同时从态势感知系统知识图谱中获取星载相机的极限探测星等/>
Figure SMS_23
，若/>
Figure SMS_24
，说明态势感知系统不具备探测该已知目标的能力，则待判断目标不是已知目标或仅为噪声点；
步骤3-3-4）进行星载相机坐标系到平面坐标系的投影变换，得到待判断目标在像平面坐标系下的坐标信息。
作为上述方法的一种改进，所述步骤3-4）具体包括：
步骤3-4-1）根据实拍图像序列中每帧图像拍摄时刻，分别计算对应时刻已知目标的像平面位置，得到目标轨迹预报值
Figure SMS_25
；
步骤3-4-2）将待判断目标实际轨迹
Figure SMS_26
与轨迹预报值/>
Figure SMS_27
进行对比，记录每个轨迹点上实际轨迹与预报值的误差/>
Figure SMS_28
；
步骤3-4-3）记录待判断目标实际轨迹
Figure SMS_29
每个轨迹点对应在图像上的灰度值
Figure SMS_30
，根据下式计算当前轨迹点的星等/>
Figure SMS_31
：
Figure SMS_32
步骤3-4-4）根据每个轨迹点的星等，形成待判断目标的光度曲线；
步骤3-4-5）将光度曲线与空间目标态势感知知识库中已知目标的光度曲线进行对比，得到光度曲线相似度
Figure SMS_33
；
步骤3-4-6）判断误差
Figure SMS_34
是否超过设定的第一阈值并且光度曲线相似度/>
Figure SMS_35
超过设定的第二阈值，判断为是，则判定待判断目标为新目标，向空间目标态势感知知识库增加新目标的观测特性和轨道信息；判断为否，则待判断目标为已知目标，向空间目标态势感知知识库更新观测特性和异动信息。
另一方面，本发明提出了一种知识驱动的空间目标态势感知系统，所述系统包括：目标检测模型、检测模块、更新模块和判断模块；其中，
所述检测模块，用于将采集的一组星空场景图像序列输入预先建立和训练好的目标检测模型进行检测，得到检测结果；
所述更新模块，用于根据检测结果提取待判断目标对应的观测信息，对已建立的空间目标态势感知知识库进行更新和补充；
所述判断模块，用对于待判断目标，结合空间目标态势感知知识库，通过轨迹预报值对比和光度曲线对比，判断是否为新目标；
所述目标检测模型为改进的U-net语义分割网络。
与现有技术相比，本发明的优势在于：
1、本发明提出一种基于知识驱动的空间目标态势感知框架，知识驱动的空间目标态势感知不局限于传统的单一物理测量方式，而是将知识融入到空间目标态势感知系统中，通过对空间目标态势感知系统的功能分析，定义了空间目标态势感知所需的知识体系，构建空间目标态势感知知识库，丰富了空间态势感知系统的功能， 有效提升空间探测中对空间目标的探测能力，为天基空间态势感知系统的建设提供技术支撑；
2、本发明提出了一种基于机器学习暗弱空间目标检测方法，通过获取目标时空演化特性提取知识，以支持知识驱动的空间目标态势感知应用；
3、本发明提出知识驱动的新目标发现与分类方法，基于空间目标知识库，结合传统空间目标检测方法开展了知识驱动的新目标发现应用研究，提升了空间目标态势感知过程中对新目标的发现、分类以及识别能力。
附图说明
图1是本发明的目标检测模型网络结构图；
图2是目标检测模型网络中的收缩卷积模块结构图；
图3是收缩卷积模块中的软阈值计算单元结构图。
具体实施方式
本申请提出一种知识驱动的空间目标态势感知方法，包含如下技术框架：
1空间目标态势感知知识库构建
梳理空间目标态势感知系统业务需求，以态势感知系统和态势感知对象作为切入点，结合对空间目标态势感知所需知识进行分析，并通过知识抽取方法获取结构化知识，建立空间目标态势感知知识库。空间目标态势感知所需知识主要包含态势感知系统相关知识以及态势感知对象相关知识，本申请中相关知识的来源主要有两个方面：一方面是先验知识，包括各种态势感知系统和对象相关的立项文档、空间目标库等，另一方面是态势感知系统工作时得到的观测信息。分析两方面知识具体内容，通过提取方法提取结构化知识，并分别构建知识图谱，共同组成知识库。
2空间目标观测特征提取方法
态势感知对象的观测特征需要在系统运行过程中提取，包括目标的灰度值、时序信号、运动特征等。本申请采用改进的U-net语义分割网络对暗弱目标进行前景和背景的语义分割，分割出恒星和目标，并将目标标注出来，根据检测结果提取目标的各类观测特征。
3知识驱动的新目标发现方法
对于视场内出现的目标，首先通过轨迹预报值与实际轨迹对比的方法确认该目标是否为新目标，若为新目标，则继续对其进行推理，以达到对目标进行分类、识别以及对知识库的补充更新。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例
本发明的实施例1提出了一种知识驱动的空间目标态势感知方法，由三部分组成：
1.对空间目标态势感知知识库所需知识进行分析，通过已有资料文档以及网页信息提取出大量相关文本，并经过处理后得到结构化数据，构建知识图谱。
2.在系统运行过程中不断提取空间目标的观测信息，通过改进的U-net语义分割网络进行暗弱空间目标检测，根据检测结果提取其时域特性、空域特性以及运动特性，为知识库提供更新和补充。
3.对于视场中出现的目标，通过轨迹预报值对比和光度曲线对比的方法判断其是否为新目标，若为新目标则通过基于规则的推理方式对其进行分类与识别。关于新目标的识别不属于本申请的研究内容，不再赘述。
具体实施方式步骤详细描述如下：
步骤一：空间目标态势感知知识库构建
步骤A：根据空间目标态势感知系统的工作流程及工作内容分析构建态势感知知识库所需的知识，分析过程包括：
步骤A1：构建态势感知知识库所需知识主要分为两方面，一方面是态势感知系统相关知识，一方面是态势感知对象相关知识。其中态势感知系统相关知识包括了系统类型、所属国家、卫星所处轨道、探测器类型、探测器口径、探测帧频、理论最高探测星等、图像分辨率、视场大小等。
步骤A2：态势感知对象相关知识分为先验知识和观测信息，其中先验知识包括了轨道信息、所属任务、目标种类、目标功能、威胁等级等信息，在知识库构建时需要将态势感知对象的先验知识添加到知识图谱中。观测信息主要包括了目标灰度值、光度曲线、像面运动轨迹、运动速度等信息，观测信息在系统的运行过程中不断对知识库内容进行更新。
步骤A3：态势感知系统和态势感知对象知识图谱的节点集合F由三个子集共同构成：
Figure SMS_36
其中：
A为实体集合， 是各种实体节点的集合，具体实体节点如表1所示。需要说明，对于态势感知系统和态势感知对象知识图谱的实体集合可以为表1所列实体名称中的一部分。
B为关系集合，表示每两个实体间的直接关系，具体见表2。
C为属性集合，
Figure SMS_37
具体属性如表1所示。
知识图谱中的关系可以通过
Figure SMS_38
或者/>
Figure SMS_39
的关系来表示，其中实体与属性的节点对应关系包括但不限于下表所示：
表1 实体及属性示意
Figure SMS_40
知识图谱中关系节点和关系名称及关系相关联的实体对应关系包含但不限于下表所示：
表2 实体间直接关系示意
Figure SMS_41
表1和表2为示意，包括但不限于此表中内容。
步骤B：根据知识分析情况提取知识，从现有立项文档、相关论文以及空间目标库等信息源中获取态势感知系统和态势感知对象相关语料，提取相关知识并将其转换为结构化知识，构建空间目标态势感知语料库。然后采用自底向上的方法构建态势感知系统知识图谱和态势感知对象知识图谱，共同构成态势感知知识库。
步骤二：观测信息提取
步骤C：在观测过程中提取的信息包括了目标的灰度值、时序信号以及运动特征，其具体步骤如下：
步骤C1：对相机拍摄的星空场景图像进行目标检测，采用改进的U-net语义分割网络对暗弱目标进行前景和背景的语义分割，分割出恒星和目标，并将目标标注出来，网络结构图如图1所示。包括编码器和解码器，
编码器包括：三层收缩卷积模块和最大池化模块，用于通过三次下采样操作来逐步提取高维运动特征；
其中收缩卷积模块（Shrink-Conv Block ，简称SC Block ）包括三维卷积单元、批归一单元、ReLu激活函数单元（修正线性单元）以及软阈值计算单元；所述软阈值计算单元包括绝对值计算单元、全局平均池化单元（Max Pooling Block）、小型全连接网络以及sigmoid激活函数；
解码器包括：多层上采样模块，用于通过2×2的3D反卷积方式还原图像尺寸，并通过1×1的3D卷积调整通道数以融合浅层特征和深层特征，最终通过激活函数逐像素的对恒星和目标进行分类。
具体步骤如下：
步骤C1.1：将包含目标的图像序列输入到编码器中，通过SC Block和Max Pooling模块进行三次下采样操作来逐步提取高维运动特征。
步骤C1.2：将高维特征输入到右侧解码器中，通过2×2的3D反卷积方式还原图像尺寸，并通过1×1的3D卷积调整通道数以融合浅层特征和深层特征。
步骤C1.3：最终通过SoftMax激活函数逐像素的对恒星和目标进行分类，输出检测结果图像序列。
步骤C1.4：在编码器部分中网络各层输入可以用以下公式表示：
Figure SMS_42
其中
Figure SMS_43
表示第j个SC Block的输入值；P( )表示最大池化操作；
Figure SMS_44
表示第j个SC Block对输入值进行的运算。
SC Block表示，其内部结构如图2：
在上个公式中，
Figure SMS_45
的计算公式如下：
Figure SMS_46
Figure SMS_47
其中/>
Figure SMS_48
为激活函数；/>
Figure SMS_49
为批归一化模块（BatchNorm模块）；/>
Figure SMS_50
为3D卷积模块；/>
Figure SMS_51
为软阈值计算函数，/>
Figure SMS_52
操作代表软阈值化操作。
SC Block的主要用途就是用来在使用3D卷积提取空间目标的运动特征的同时，利用软阈值（Soft Thresh）模块学习到一组阈值，用阈值对特征图的各个通道进行软阈值化，实现对背景噪声的抑制。软阈值化操作可以用如下公式表示：
Figure SMS_53
其中/>
Figure SMS_54
为输入特征，/>
Figure SMS_55
为输出特征，τ为阈值，即为正参数。在ReLU激活函数中将负特征设置为零，而是将接近零的特征设置为零，这样可以保留有用的负特征。Soft Thresh模块的内部结构如图3：
在这个子网络中，首先对输入特征图的所有通道求绝对值。然后经过全局均值池化和平均，获得一个特征，记为Fet。在另一条路径中，全局均值池化之后的特征图，被输入到一个小型的全连接网络。这个全连接网络以Sigmoid激活函数作为最后一层，将输出归一化到0和1之间，获得一个系数，记为q。最终的阈值可以表示为q×Fet，也就是说阈值是一个0和1之间的数字乘以特征图的绝对值的平均。这种方式，不仅保证了阈值为正，而且不会太大。而且，不同的样本会学习到不同的阈值。因此，在一定程度上，这可以理解成一种特殊的注意力机制：注意到与当前任务无关的特征，通过软阈值化，将它们置为零；或者说，注意到与当前任务有关的特征，将它们保留下来。
步骤C2：根据目标检测模块输出的检测结果来提取观测信息，具体流程如下：
步骤C2.1：根据检测结果二值化图像确定目标在原始数据各帧图像中的位置，以
Figure SMS_56
的形式来表示。
步骤C2.2：在原始数据中找到目标，记录其在第i帧图像上的灰度值Gi，构成离散的时序信号序列，表示为：
Figure SMS_57
。
并计算平均灰度值
Figure SMS_58
。
步骤C2.3：记录目标在像平面中的轨迹，以记录各帧图像中目标的坐标的形式来记录目标轨迹，表示为：
Figure SMS_59
。
步骤C2.4：根据拍摄时间间隔、目标各帧位置计算目标在像平面中的平均运动速度：
Figure SMS_60
其中v为目标在像面中的平均运动速度，n为该组图像序列的帧数，
Figure SMS_61
表示第i+1帧与第i帧拍摄时间间隔。
步骤C3：将步骤C2中获取到的各类观测信息更新到态势感知对象知识图谱中。
步骤三：基于态势感知对象观测知识的新目标发现
步骤D：新目标发现首先需要通过对比轨迹预报值与实际轨迹观测值，由此来判断视场中的目标是否为新目标，具体流程如下：
步骤D1：获取相机拍摄时间
Figure SMS_62
、卫星姿态角/>
Figure SMS_63
、相机视场/>
Figure SMS_64
、观测卫星两行轨道根数（TLE）信息/>
Figure SMS_65
，并从知识库中获取已知目标的两行轨道根数（TLE）信息/>
Figure SMS_66
。
步骤D2：将观测卫星和已知目标的轨道信息输入到SGP4模型中，得到当前时刻下目标和观测卫星在TEMED坐标系下的位置
Figure SMS_67
和/>
Figure SMS_68
：
Figure SMS_69
Figure SMS_70
步骤D3：进行坐标转换，将TEMED坐标系坐标转换为像平面坐标系下坐标信息，具体步骤如下：
步骤D3.1：首先将TEMED坐标系坐标转换到J2000坐标系下，转换公式如下所示：
Figure SMS_71
其中，
Figure SMS_72
是观测卫星或目标在TEMED坐标系下的位置，/>
Figure SMS_73
是观测卫星或目标在J2000坐标系下的位置；/>
Figure SMS_74
为转换矩阵。
步骤D3.2：进行J2000坐标系到星载相机坐标系的转换，转换公式为：
Figure SMS_75
其中，
Figure SMS_76
是观测卫星或目标在TEMED坐标系下的位置，/>
Figure SMS_77
是观测卫星或目标在J2000坐标系下的位置；/>
Figure SMS_78
为转换矩阵，表示为：/>
Figure SMS_79
同时判断当前时刻下星载相机所指位置是否可以拍摄到已知目标。取观测卫星姿态角
Figure SMS_80
，若在当前视轴指向下目标可以被星载相机拍摄到，其赤经赤纬值/>
Figure SMS_81
应满足：
Figure SMS_82
其中R为相机视场半径，/>
Figure SMS_83
为视轴指向。
步骤D3.3：若已知目标可以被星载相机拍摄到，则从态势感知对象知识图谱中获取其星等
Figure SMS_84
，同时从态势感知系统知识图谱中获取观测相机的极限探测星等/>
Figure SMS_85
，若/>
Figure SMS_86
，说明态势感知系统不具备探测该目标的能力，则当前态势感知系统观测到的目标不为已知目标或仅为噪声点。
步骤D3.4：进行星载相机坐标系到平面坐标系的投影变换，经过变换后的目标坐标表示如下：
Figure SMS_87
其中，X、Y表示变换后的横、纵坐标，
Figure SMS_88
是目标在TEMED坐标系下的位置，/>
Figure SMS_89
是目标在J2000坐标系下的位置，/>
Figure SMS_90
为转换矩阵的元素。
通过上述变换即可得到目标在像平面坐标系下的坐标信息。
步骤D4：对比目标轨迹预报值与目标实际轨迹，判断当前观测目标是否为新目标。具体流程如下：
步骤D4.1：根据实拍图像序列中每帧图像拍摄时刻
Figure SMS_91
，分别计算/>
Figure SMS_92
时刻下已知目标的像平面位置，得到目标轨迹预报值/>
Figure SMS_93
。
步骤D4.2：将目标实际轨迹
Figure SMS_94
与轨迹预报值/>
Figure SMS_95
进行对比，记录每个轨迹点上实际轨迹与预报值的误差/>
Figure SMS_96
，误差/>
Figure SMS_97
的计算方法为：
Figure SMS_98
其中n表示图像序列的帧数，即每条轨迹上共有n个轨迹点；/>
Figure SMS_99
分别表示目标实际轨迹/>
Figure SMS_100
的第i个轨迹点的横坐标、纵坐标。
为误差
Figure SMS_101
设置阈值，在阈值内误差值越小，轨迹相似度越高，若误差超过阈值，则认为轨迹相似度极低，视场中出现的目标可能为新目标。
步骤E：在获取目标真实轨迹
Figure SMS_102
的同时，记录目标的每个轨迹点所对应的在图像上的灰度值，通过灰度值来计算当前轨迹点的视星等，形成该目标的光度曲线，并与知识库内已知目标进行对比，进一步确认该目标是否为已知目标，具体步骤如下：
步骤E1.1：目标星等越高，目标越暗，对应的灰度值越低，每间隔一个星等大小，其亮度大约相差2.512倍，而81%的恒星星等都在4.5~6之间，因此默认4.5星等的目标在图像上的灰度值为255，则目标灰度值
Figure SMS_103
所对应的目标星等/>
Figure SMS_104
为：
Figure SMS_105
步骤E1.2：计算每个轨迹点的灰度值所对应的星等，构成观测目标的光度曲线，并与知识库内已知目标的光度曲线做出对比，计算观测目标与已知目标的光度曲线相似度
Figure SMS_106
。
步骤E1.3：根据步骤D中计算的轨迹误差和光度曲线相似度
Figure SMS_107
，判断当前观测目标是否为新目标，若当前目标为已知目标，则向知识库中更新其观测特性、异动情况等信息；若当前目标为新目标，则在知识库中增加其信息，包含观测特性、轨道信息等属性，并开展下一步分类与识别相关推理。
实施例2
本发明的实施例1提出了一种知识驱动的空间目标态势感知系统，基于实施例1的方法实现，包括:
检测模块，用于将采集的一组星空场景图像序列输入预先建立和训练好的目标检测模型进行检测，得到检测结果；
更新模块，用于根据检测结果提取待判断目标对应的观测信息，对已建立的空间目标态势感知知识库进行更新和补充；
判断模块，用对于待判断目标，结合空间目标态势感知知识库，通过轨迹预报值对比和光度曲线对比，判断是否为新目标；
目标检测模型为改进的U-net语义分割网络。
本申请提出一种知识驱动的空间目标态势感知方法，方法以态势感知知识库为基础，以暗弱空间目标特征提取方法为核心，实现对低信噪比暗弱空间目标的检测、识别及分类。在实际应用中，将态势感知知识库部署在星上信息处理器中，能够减少因数据回传和地面处理而产生的处理时延，实现星上实时检测实时处理，将大大提升天基态势感知系统的工作能力。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种知识驱动的空间目标态势感知方法，所述方法包括：
步骤1）将采集的一组星空场景图像序列输入预先建立和训练好的目标检测模型进行检测，得到检测结果；
步骤2）根据检测结果提取待判断目标对应的观测信息，对已建立的空间目标态势感知知识库进行更新和补充；
步骤3）对于待判断目标，结合空间目标态势感知知识库，通过轨迹预报值对比和光度曲线对比，判断是否为新目标；
所述目标检测模型为改进的U-net语义分割网络。
2.根据权利要求1所述的知识驱动的空间目标态势感知方法，其特征在于，所述方法还包括：空间目标态势感知知识库的建立步骤；具体包括：
从现有立项文档、相关论文以及空间目标库中获取态势感知相关语料，构建空间目标态势感知语料库，从中提取相关知识并转换为结构化知识；
采用自底向上的方法构建态势感知系统知识图谱和态势感知对象知识图谱，共同构成空间目标态势感知知识库。
3.根据权利要求2所述的知识驱动的空间目标态势感知方法，其特征在于，所述相关知识包括态势感知系统相关知识和态势感知对象相关知识；其中，
所述态势感知系统相关知识包括：系统类型、所属国家、卫星所处轨道、探测器类型、探测器口径、探测帧频、理论最高探测星等、图像分辨率和视场大小；
所述态势感知对象相关知识包括先验知识和观测信息，其中，
所述先验知识包括轨道信息、所属任务、目标种类、目标功能和威胁等级；
所述观测信息包括：目标灰度值、光度曲线、像面运动轨迹和运动速度。
4.根据权利要求3所述的知识驱动的空间目标态势感知方法，其特征在于，所述态势感知系统知识图谱和态势感知对象知识图谱均具有节点集合F，所述节点集合F包括实体集合A、关系集合B和属性集合C；其中，
所述实体集合A包括：态势感知对象、态势感知系统、所属国家、航天任务、探测卫星和探测载荷；
所述关系集合B包括：属于、竞争、合作、探测和组网；
所述属性集合C包括：轨道信息、目标类型、功能、异动情况、像面轨迹、威胁等级、灰度值、光度曲线、速度、加速度；系统类型、卫星数量；任务类型、开始时间、卫星数量；轨道信息、载荷；探测器类型、口径、图像分辨率、极限探测能力、探测帧频和视场大小；
知识图谱的关系包括某两个实体间的直接关系以及实体和属性间的关系。
5.根据权利要求4所述的知识驱动的空间目标态势感知方法，其特征在于，所述目标检测模型的输入为包含待判断目标的一组星空场景图像序列，输出为检测结果图像序列，所述改进的U-net语义分割网络包括编码器和解码器；其中，
所述编码器，用于通过三次下采样操作来逐步提取高维运动特征；包括：三层收缩卷积模块和最大池化模块，其中所述收缩卷积模块包括三维卷积单元、批归一单元、ReLu激活函数单元以及软阈值计算单元；所述软阈值计算单元包括绝对值计算单元、全局平均池化单元、全连接网络以及sigmoid激活函数；
所述解码器，用于通过2×2的3D反卷积方式还原图像尺寸，并通过1×1的3D卷积调整通道数以融合浅层特征和深层特征，最终通过激活函数逐像素的对恒星和目标进行分类；包括多层上采样模块。
6.根据权利要求5所述的知识驱动的空间目标态势感知方法，其特征在于，所述步骤2）具体包括：
步骤2-1）根据检测结果二值化图像确定待判断目标在原始数据各帧图像中的位置
Figure QLYQS_1
：
Figure QLYQS_2
其中，/>
Figure QLYQS_3
分别表示待判断目标在第i帧图像上位置的横坐标和纵坐标；
步骤2-2）在星空场景图像序列中找到待判断目标，根据在第i帧图像上的灰度值Gi，构成离散的时序信号序列g，表示为：
Figure QLYQS_4
并计算平均灰度值
Figure QLYQS_5
；
其中，n为该组图像序列的帧数；
步骤2-3）记录待判断目标的像面运动轨迹
Figure QLYQS_6
：
Figure QLYQS_7
；
步骤2-4）根据下式得到待判断目标在像平面中的平均运动速度v：
Figure QLYQS_8
其中，/>
Figure QLYQS_9
表示第i+1帧与第i帧拍摄时间间隔；/>
Figure QLYQS_10
，
Figure QLYQS_11
分别表示待判断目标在第i+1帧图像上位置的横坐标和纵坐标；
步骤2-5）将步骤2-1）至2-4）的结果更新到态势感知对象知识图谱。
7.根据权利要求6所述的知识驱动的空间目标态势感知方法，其特征在于，所述步骤3）：
步骤3-1）获取相机拍摄时间、卫星姿态角、相机视场、观测卫星两行轨道根数信息
Figure QLYQS_12
，并从空间目标态势感知知识库中获取已知目标的两行轨道根数信息/>
Figure QLYQS_13
；
步骤3-2）将
Figure QLYQS_14
和/>
Figure QLYQS_15
输入SGP4模型中，得到当前时刻下观测卫星和已知目标在TEMED坐标系下的位置/>
Figure QLYQS_16
；
步骤3-3）进行坐标转换，将待判断目标由TEMED坐标系下的坐标转换为像平面坐标系下的坐标信息，同时判断当前观测相机的视场中是否会出现已知目标以及观测相机是否具备探测该已知目标的能力；
步骤3-4）通过轨迹预报值对比和光度曲线对比，判断待判断目标是否为新目标。
8.根据权利要求7所述的知识驱动的空间目标态势感知方法，其特征在于，所述步骤3-3）具体包括：
步骤3-3-1）将TEMED坐标系坐标转换到J2000坐标系下；
步骤3-3-2）进行J2000坐标系到星载相机坐标系的转换，并取观测卫星姿态角
Figure QLYQS_17
，若已知目标的赤经/>
Figure QLYQS_18
赤纬/>
Figure QLYQS_19
满足下式，则当前时刻下星载相机能够拍摄到已知目标；
Figure QLYQS_20
其中R为相机视场半径；/>
Figure QLYQS_21
分别为观测卫星的滚动、俯仰和偏航角；
步骤3-3-3）对于星载相机能够拍摄到的已知目标，从态势感知对象知识图谱中获取其星等
Figure QLYQS_22
，同时从态势感知系统知识图谱中获取星载相机的极限探测星等/>
Figure QLYQS_23
，若/>
Figure QLYQS_24
，说明态势感知系统不具备探测该已知目标的能力，则待判断目标不是已知目标或仅为噪声点；
步骤3-3-4）进行星载相机坐标系到平面坐标系的投影变换，得到待判断目标在像平面坐标系下的坐标信息。
9.根据权利要求7所述的知识驱动的空间目标态势感知方法，其特征在于，所述步骤3-4）具体包括：
步骤3-4-1）根据实拍图像序列中每帧图像拍摄时刻，分别计算对应时刻已知目标的像平面位置，得到目标轨迹预报值
Figure QLYQS_25
；
步骤3-4-2）将待判断目标实际轨迹
Figure QLYQS_26
与目标轨迹预报值/>
Figure QLYQS_27
进行对比，记录每个轨迹点上实际轨迹与预报值的误差/>
Figure QLYQS_28
；
步骤3-4-3）记录待判断目标实际轨迹
Figure QLYQS_29
的每个轨迹点对应在图像上的灰度值/>
Figure QLYQS_30
，根据下式计算当前轨迹点的星等/>
Figure QLYQS_31
：
Figure QLYQS_32
步骤3-4-4）根据每个轨迹点的星等，形成待判断目标的光度曲线；
步骤3-4-5）将光度曲线与空间目标态势感知知识库中已知目标的光度曲线进行对比，得到光度曲线相似度
Figure QLYQS_33
；
步骤3-4-6）判断误差
Figure QLYQS_34
是否超过设定的第一阈值并且光度曲线相似度/>
Figure QLYQS_35
超过设定的第二阈值，判断为是，则判定待判断目标为新目标，向空间目标态势感知知识库增加新目标的观测特性和轨道信息；判断为否，则待判断目标为已知目标，向空间目标态势感知知识库更新观测特性和异动信息。
10.一种知识驱动的空间目标态势感知系统，其特征在于，所述系统包括：目标检测模型、检测模块、更新模块和判断模块；其中，
所述检测模块，用于将采集的一组星空场景图像序列输入预先建立和训练好的目标检测模型进行检测，得到检测结果；
所述更新模块，用于根据检测结果提取待判断目标对应的观测信息，对已建立的空间目标态势感知知识库进行更新和补充；
所述判断模块，用对于待判断目标，结合空间目标态势感知知识库，通过轨迹预报值对比和光度曲线对比，判断是否为新目标；
所述目标检测模型为改进的U-net语义分割网络。
CN202310506495.4A 2023-05-08 2023-05-08 一种知识驱动的空间目标态势感知方法及系统 Active CN116229286B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310506495.4A CN116229286B (zh) 2023-05-08 2023-05-08 一种知识驱动的空间目标态势感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310506495.4A CN116229286B (zh) 2023-05-08 2023-05-08 一种知识驱动的空间目标态势感知方法及系统

Publications (2)

Publication Number Publication Date
CN116229286A true CN116229286A (zh) 2023-06-06
CN116229286B CN116229286B (zh) 2023-07-18

Family

ID=86584671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310506495.4A Active CN116229286B (zh) 2023-05-08 2023-05-08 一种知识驱动的空间目标态势感知方法及系统

Country Status (1)

Country Link
CN (1) CN116229286B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117852319A (zh) * 2024-03-07 2024-04-09 中国人民解放军国防科技大学 用于天地基态势感知系统的空间目标可见性判断方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122194A1 (en) * 2011-03-09 2012-09-13 Bae Systems Information And Electronic Systems Integration Inc. System and method for situational awareness and target cueing
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统
CN113157800A (zh) * 2021-03-31 2021-07-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 实时发现空中动态目标识别方法
CN114906353A (zh) * 2020-09-29 2022-08-16 中国科学院微小卫星创新研究院 导航卫星空间态势感知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122194A1 (en) * 2011-03-09 2012-09-13 Bae Systems Information And Electronic Systems Integration Inc. System and method for situational awareness and target cueing
CN110866887A (zh) * 2019-11-04 2020-03-06 深圳市唯特视科技有限公司 一种基于多传感器的目标态势融合感知方法和系统
CN114906353A (zh) * 2020-09-29 2022-08-16 中国科学院微小卫星创新研究院 导航卫星空间态势感知方法
CN113157800A (zh) * 2021-03-31 2021-07-23 西南电子技术研究所（中国电子科技集团公司第十研究所） 实时发现空中动态目标识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117852319A (zh) * 2024-03-07 2024-04-09 中国人民解放军国防科技大学 用于天地基态势感知系统的空间目标可见性判断方法
CN117852319B (zh) * 2024-03-07 2024-05-17 中国人民解放军国防科技大学 用于天地基态势感知系统的空间目标可见性判断方法

Also Published As

Publication number Publication date
CN116229286B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN111862126B (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN109271856B (zh) 基于扩张残差卷积的光学遥感图像目标检测方法
CN110889324A (zh) 一种基于yolo v3面向末端制导的热红外图像目标识别方法
CN110598600A (zh) 一种基于unet神经网络的遥感图像云检测方法
CN108537121B (zh) 气象环境参数与图像信息融合的自适应遥感场景分类方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN110533100B (zh) 一种基于机器学习进行cme检测和跟踪的方法
CN110555868A (zh) 一种复杂地面背景下运动小目标检测方法
CN116229286B (zh) 一种知识驱动的空间目标态势感知方法及系统
CN104778699B (zh) 一种自适应对象特征的跟踪方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN115937659A (zh) 基于Mask-RCNN的室内复杂环境下多目标检测方法
CN109215059B (zh) 一种航拍视频中运动车辆跟踪的局部数据关联方法
CN111950498A (zh) 一种基于端到端实例分割的车道线检测方法及装置
CN111950476A (zh) 基于深度学习的复杂环境下河道船舶自动识别方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN116310902A (zh) 一种基于轻量级神经网络的无人机目标检测方法及系统
CN115424140A (zh) 星载海量图像数据分布式协同快速高精度处理系统及方法
CN115601538A (zh) 目标检测方法及目标检测器、系统和介质
CN116453033A (zh) 一种视频监控场景下高精度低算量的人群密度估计方法
CN113361475A (zh) 一种基于多阶段特征融合信息复用的多光谱行人检测方法
Zhang et al. Vehicle identification and speed calculation method for general road camera perspective
CN112800895B (zh) 基于深度学习算法识别建筑物的方法
CN113313091B (zh) 仓储物流下的基于多重注意力和拓扑约束的密度估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant