CN115131392A - 基于天基光学观测图像的空间运动目标检测跟踪方法 - Google Patents

基于天基光学观测图像的空间运动目标检测跟踪方法 Download PDF

Info

Publication number
CN115131392A
CN115131392A CN202211050064.3A CN202211050064A CN115131392A CN 115131392 A CN115131392 A CN 115131392A CN 202211050064 A CN202211050064 A CN 202211050064A CN 115131392 A CN115131392 A CN 115131392A
Authority
CN
China
Prior art keywords
frame
image
moving
target
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211050064.3A
Other languages
English (en)
Other versions
CN115131392B (zh
Inventor
刘怡丹
胡玉新
丁昊
喻小东
李磊
崔婷婷
袁明帅
梅寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202211050064.3A priority Critical patent/CN115131392B/zh
Publication of CN115131392A publication Critical patent/CN115131392A/zh
Application granted granted Critical
Publication of CN115131392B publication Critical patent/CN115131392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于天基光学观测图像的空间运动目标检测跟踪方法及装置，该方法包括：对天基光学观测数据文件进行解析和预处理，将预处理后得到的图像数据加入当前图像队列；判断当前图像队列的长度是否等于阈值；若是，根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集；将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为新的活动轨迹加入至当前活动轨迹集；更新当前图像队列，重复以上步骤，完成对剩余图像数据的运动目标检测及跟踪处理。

Description

基于天基光学观测图像的空间运动目标检测跟踪方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于天基光学观测图像的空间运动目标检测跟踪方法、装置、电子设备及存储介质。
背景技术
近年来，太空探索活动日益频繁，随着在轨空间目标数量增加，空间目标碰撞规避、空间资源权益保障等空间安全问题越来越受到重视。空间态势感知技术是目前空间安全问题的主要应对和防范手段，其主要通过监测空间运动目标的位置和运动状态变化信息确定其状态、属性和意图。天基光学观测具有不受地理位置和气象条件影响、探测范围深远等显著优势，是获取空间运动目标信息的重要手段之一。恒星目标和空间运动目标在天基光学观测图像中通常都表现为缺少结构和纹理特征的光斑，难以直接区分，但在连续多帧观测图像中，恒星背景通常保持相对静止，空间运动目标则存在位移，故可根据其运动特性差异区分恒星和空间运动目标，完成空间运动目标检测跟踪。
目前，基于天基光学观测图像的空间运动目标检测跟踪常通过差分图像法、多帧累加法、投影帧法等方式分割运动目标及恒星背景，再通过帧间关联完成运动目标的跟踪确认。这些方法在理论上具有较高的完备性，但受系统噪声和空间目标多样性影响，在处理快速运动目标、暗弱小目标等非常规目标时容易导致错检和漏检，影响实际应用效果。
发明内容
为解决现有技术中存在的问题，本发明实施例提供的一种基于天基光学观测图像的空间运动目标检测跟踪方法、装置、电子设备及存储介质，该方法对于暗弱目标、小目标、快速运动目标等非常规目标有更好的适应性，整体检测率更高，虚警率更低。
本发明的第一个方面提供了一种基于天基光学观测图像的空间运动目标检测跟踪方法，包括：S100，对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列；判断当前图像队列的长度是否等于一阈值；S200，若是，根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集；S300，将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集；S400，更新当前图像队列，重复步骤S100~S400，完成对剩余图像数据的运动目标检测及跟踪处理。
进一步地，根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集，包括：在时间维计算当前图像队列的最大值投影帧、最大值索引帧、中值投影帧及差分投影帧；对最大值投影帧及中值投影帧自适应阈值分割，得到最大值帧前景掩膜和中值帧前景掩膜；根据最大值帧前景掩膜和中值帧前景掩膜的重叠关系提取恒星目标，得到每个恒星目标的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜；利用恒星掩膜去除差分投影帧中的恒星残余，并根据分割后的前景像素相对于背景像素的均值信噪比，对差分投影帧进行自适应阈值分割，得到差分帧前景掩膜；根据差分帧前景掩膜及最大值索引帧，得到运动目标像素索引帧；并根据帧序号从运动目标像素索引帧中提取各帧包含的运动目标连通域，计算各运动目标的质心坐标、信噪比及运动速度估计值，得到每帧图像数据对应的候选运动目标集。
进一步地，对最大值投影帧及中值投影帧自适应阈值分割，得到最大值帧前景掩膜和中值帧前景掩膜，包括：将最大值投影帧设为初始待分割影像；计算初始待分割影像的均值和标准差，并通过线性加权计算初始待分割影像的二值分割阈值；利用二值分割阈值对初始待分割影像进行二值分割，得到初始待分割影像的前景掩膜；并通过前景掩膜得到初始待分割影像的前景图像和背景图像；根据前景图像和背景图像的均值和标准差，计算前景图像的全局均值信噪比；若前景图像的全局均值信噪比小于阈值或迭代次数超过上限，则利用二值分割阈值对最大值投影帧和中值投影帧进行二值分割，得到最大值帧前景掩膜和中值帧前景掩膜；否则，将背景图像作为新的待分割影像，重复以上步骤，得到最大值帧前景掩膜和中值帧前景掩膜。
进一步地，根据最大值帧前景掩膜和中值帧前景掩膜的重叠关系提取恒星目标，得到每个恒星目标的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜，包括：创建全零矩阵；其中，该全零矩阵用于存储恒星目标掩膜；将最大值帧前景掩膜和中值帧前景掩膜逐点相加，得到前景像素出现次数图；提取前景像素出现次数图中的所有连通域，对每个连通域分别计算其重复像素数与总像素数之比；将重复像素数与总像素数之比大于第二阈值的连通域划分为恒星目标连通域，并输出其对应的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜。
进一步地，利用恒星掩膜去除差分投影帧中的恒星残余，并根据分割后的前景像素相对于背景像素的均值信噪比，对差分投影帧进行自适应阈值分割，得到差分帧前景掩膜，包括：利用恒星掩膜去除差分投影帧中的恒星残余，得到恒星抑制差分投影帧；对恒星抑制差分投影帧的均值和标准差做线性加权，得到恒星抑制差分投影帧的二值分割阈值；利用二值分割阈值对恒星抑制差分投影帧进行二值分割，得到差分帧前景掩膜；并根据差分帧前景掩膜计算得到差分帧前景图像和差分帧背景图像；根据差分帧前景图像和差分帧背景图像的均值和标准差，计算差分帧前景图像的全局均值信噪比；若全局均值信噪比处于预设范围内或阈值计算次数超过上限，则输出差分帧前景掩膜；否则，调整二值分割阈值中的加权系数，重复以上步骤，以得到迭代后的差分帧前景掩膜。
进一步地，将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集，包括：将当前图像队列中起始帧包含的候选运动目标与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，若当前活动轨迹集为空或该候选运动目标与所有的活动轨迹均匹配失败，则将该候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集中；将连续预置帧未被更新的活动轨迹判定为非活动轨迹，统计非活动轨迹中目标出现的总次数；若目标出现的总次数大于目标出现次数阈值，则判定该非活动轨迹为有效轨迹，输出该非活动轨迹中运动目标的图像切片、质心坐标、所在帧序号及信噪比；否则，判断该非活动轨迹为无效轨迹。
进一步地，对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列，包括：对天基光学观测数据文件进行解析，获得观测图像、连续两帧拍摄间隔时长及单帧曝光时长；对观测图像进行一维中值滤波处理，得到滤波后的观测图像。
进一步地，更新当前图像队列，重复以上步骤，完成对剩余图像数据的运动目标检测及跟踪处理，包括：判断当前图像队列是否为空；若是，结束图像数据的运动目标检测及跟踪处理；若否，弹出当前图像队列的起始帧，判断是否存在尚未处理的天基光学观测数据文件；若存在，则重复以上步骤，完成对剩余图像数据的运动目标检测及跟踪处理；若不存在，将该起始帧中的候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集。
本发明的第二个方面提供了一种基于天基光学观测图像的空间运动目标检测跟踪装置，包括：图像预处理模块，用于对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列；以及，判断当前图像队列的长度是否等于一阈值；目标检测模块，用于在当前图像队列的长度等于一阈值时，根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集；轨迹更新模块，用于将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集；图像队列更新模块，用于更新当前图像队列，重复图像预处理模块、目标检测模块、轨迹更新模块及图像队列更新模块的操作，完成对剩余图像数据的运动目标检测及跟踪处理。
本发明的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本发明的第一个方面提供的基于天基光学观测图像的空间运动目标检测跟踪方法。
本发明的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本发明的第一个方面提供的基于天基光学观测图像的空间运动目标检测跟踪方法。
本发明相对于现有技术至少具备以下有益效果：
（1）、本发明提供的基于天基光学观测图像的空间运动目标检测跟踪方法，该方法基于多帧图像连通域重叠关系的恒星范围判定方法，将使用此方法获得的恒星掩膜用于恒星残余过滤，可充分去除恒星残余像素，且不会对微小运动目标产生影响。以往方法通常根据连通域面积判定恒星残余像素，因此会将微小运动目标一并去除，导致微小目标检测率降低。
（2）、在进行前景-背景阈值分割时，以往方法通常直接根据nσ原则进行分割，分割效果受背景定义影响大，容易出现阈值过高导致暗弱目标漏检，或阈值过低导致虚警率增大的情况。本发明提出的一种基于预设目标信噪比范围的自适应分割方法，在使用nσ原则进行分割后，根据分割结果和预设信噪比的差异对分割阈值做自适应调整，使得分割结果满足信噪比要求，从而提高预期范围内目标的检测率，降低虚警率。
（3）、本发明提出的一种自适应的目标轨迹长度阈值设定方法，可根据目标图上尺寸估计其运动速度，对常规目标使用固定阈值门限，对快速运动目标根据其图上大小和图像尺寸预估目标出现次数，设定阈值门限（低于常规目标使用的固定阈值门限），从而实现对目标轨迹长度有效性的自适应判定，在保证常规目标检测率的同时降低快速运动短轨迹目标的漏检率。
附图说明
为了更完整地理解本发明及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本发明一实施例的基于天基光学观测图像的空间运动目标检测跟踪方法的流程图；
图2示意性示出了根据本发明一实施例的目标检测的流程图；
图3示意性示出了根据本发明一实施例的生成最大值帧前景掩膜和中值帧前景掩膜的流程图；
图4示意性示出了根据本发明一实施例的生成恒星目标的流程图；
图5示意性示出了根据本发明一实施例的生成差分帧前景掩膜的流程图；
图6示意性示出了根据本发明一实施例的基于天基光学观测图像的空间运动目标检测跟踪装置的方框图；
图7示意性示出了根据本发明一实施例的适于实现上文描述的方法的电子设备的方框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。本发明的技术可以硬件和/或软件（包括固件、微代码等）的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。
现有技术中基于天基光学观测图像的空间运动目标检测跟踪方法一般基于恒星背景和空间运动目标的运动特性差异来实现，即通过差分计算从天基光学观测图像中分离恒星背景和空间运动目标，再通过二值分割和帧间关联逐步提取运动目标连通域，构建运动目标链。此类方法在理论上具有较高的完备性，但受系统噪声和空间目标多样性影响，在处理快速运动目标、暗弱小目标等非常规目标时容易导致错检和漏检，影响实际应用效果。现有技术中的空间运动目标检测跟踪方法主要存在以下不足：
1）、受内外部噪声引起的恒星和空间目标闪烁问题影响，恒星目标也可能包含变化像素，此时差分计算无法完全分离运动目标和恒星像素，直接将差分结果用于空间运动目标检测容易导致检测虚警率增大。为处理残余的恒星变化像素，有部分方法使用连通域面积作为约束对差分结果进行滤除，此类方法可以有效去除残余的恒星像素，但容易一并去除视场中的微小空间运动目标，使目标检测率降低。
2）、在天基光学观测图像中，恒星和空间目标的数量和动态范围可能存在较大波动，直接使用nσ法进行二值分割阈值计算可能难以达到良好的分割效果。当分割阈值过高时，暗弱目标容易被错分为背景噪声，致使其检测率降低，而阈值过低则可能导致噪声检出量过高，增大后续帧间关联环节的计算压力，甚至导致虚警。
3）、在帧间关联环节，为减少随机噪声对目标轨迹更新和判定造成的干扰，通常会对目标运动速度范围和最小轨迹长度进行人为限制，所用门限参数一般根据经验设置。但对于超出预期的快速运动目标，使用固定门限可能导致目标帧间关联出错或轨迹误判，从而影响快速运动目标的正常检出。
针对现有技术中存在的问题，本发明提供了一种基于天基光学观测图像的空间运动目标检测跟踪方法，以用于对连续多帧天基光学观测图像中的空间运动目标进行检测和跟踪。该方法在投影帧法的基础上进行改进：在完成差分投影帧计算后，利用恒星影像在连续多帧天基光学观测图像中的重叠关系提取恒星目标的最大范围，再以此作为掩膜去除差分帧中的恒星变化像素，避免其对空间小目标的检测和跟踪造成干扰；采用基于预设可检测信噪比范围的多次自适应分割策略，对图像中的恒星和空间运动目标进行二值分割，使分割阈值可以适应任务需求和图像特性，尽可能地提升暗弱目标检测率，降低虚警率；在检出目标后，根据运动目标外接矩形高宽差对其运动速度进行估算，从而自适应地调整目标运动速度及轨迹长度阈值参数，使其具备跟踪快速运动目标的能力。
下面将结合本发明具体的实施例中的基于天基光学观测图像的空间运动目标检测跟踪方法的具体流程，对本发明的技术方案进行详细说明。应当理解，附图中示出的基于天基光学观测图像的空间运动目标检测跟踪方法的流程及计算结构等仅是示例性的，以帮助本领域的技术人员理解本发明的技术方案，并非用以限制本发明的保护范围。
图1示意性示出了根据本发明实施例的基于天基光学观测图像的空间运动目标检测跟踪方法的流程图。如图1所示，该方法包括：步骤S100~S400。
在操作S100，对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列；以及，判断当前图像队列的长度是否等于一阈值。
本发明的实施例中，读取连续N帧图像对应的天基光学观测数据文件，依次进行解析和预处理，并将处理后得到的图像数据加入当前图像队列。
具体地，通过解析天基光学观测数据文件获得的数据至少包括：观测图像I、连续 两帧拍摄间隔时长
Figure 228161DEST_PATH_IMAGE001
及单帧曝光时长
Figure 145301DEST_PATH_IMAGE002
。然后对观测图像I进行一维中值滤波处理，滤波 器窗口大小可以设为100，对横向纵向各进行一次滤波。本发明的实施例中，当前图像队列 可以记为
Figure 987356DEST_PATH_IMAGE003
，I i 表示当前图像队列中第i帧图像数据，队列长度可以设为 N，采用先入先出的方式维护图像队列。建立图像队列后，创建一空集用于维护活动轨迹。
进一步地，判断当前图像队列的长度是否等于一阈值N，若是，则对当前图像队列中的图像数据进行处理；否则，重复S100步骤，继续读取天基光学观测数据文件进行解析和预处理。
需说明的是，本发明的实施例中，阈值N为正整数，其可以取值5、6、7、8或更大的数字，一般地，阈值N取值5。
在操作S200，当当前图像队列的长度达到阈值N时，根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集。
本发明的实施例中，在时间维计算当前图像队列的投影帧，该投影帧至少包括最大值投影帧、最大值索引帧、中值投影帧及差分投影帧，再根据最大值投影帧、最大值索引帧、中值投影帧及差分投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集。
具体地，每帧图像数据对应的候选运动目标集至少包括各运动目标的质心坐标、信噪比及运动速度估计值等。
在操作S300，将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集。
本发明的实施例中，对目标进行关联跟踪，可以通过将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，以更新活动轨迹集，具体为将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集。以及，对活动轨迹进行有效性判定，输出有效轨迹包含的运动目标信息。
在操作S400，更新当前图像队列，重复步骤S100~S400，完成对剩余图像数据的运动目标检测及跟踪处理。
本发明的实施例中，更新当前图像队列，完成对剩余图像的运动目标检测及跟踪处理，具体可包括：判断当前图像队列是否为空，若否，则弹出当前图像队列的起始帧；若是，则算法终止。
进一步地，在当前图像队列不为空时，判断当前图像队列的起始帧中是否存在尚未处理的天基光学观测数据文件；若存在，则重复步骤S100~S400，完成对剩余图像数据的运动目标检测及跟踪处理；若不存在，将该起始帧中的候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集。
本发明的实施例提供的一种基于天基光学观测图像的空间运动目标检测跟踪方法，该方法通过预设全局均值信噪比范围，对图像中的恒星和运动目标进行自适应阈值分割，从而充分提取所需范围内的恒星及运动目标，提升暗弱目标检测率，降低图像噪声的负面干扰。
图2示意性示出了根据本发明一实施例的目标检测的流程图。
根据本发明的实施例，如图2所示，步骤S200中根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集，具体包括：步骤S210~S250。
在操作S210，在时间维计算当前图像队列的最大值投影帧、最大值索引帧、中值投影帧及差分投影帧。
本发明的实施例中，在时间维计算当前图像队列
Figure 196937DEST_PATH_IMAGE004
的最大值投影帧F max 、最大值 索引帧K max 、中值投影帧F mid 及差分投影帧F dif 。其中，最大值投影帧F max 、最大值索引帧K max 、 中值投影帧F mid 及差分投影帧F dif 可以分别表示为：
Figure 322195DEST_PATH_IMAGE005
其中，（x，y）表示图像像素坐标。
在操作S220，对最大值投影帧及中值投影帧自适应阈值分割，得到最大值帧前景掩膜和中值帧前景掩膜。
本发明的实施例中，对最大值投影帧F max 及中值投影帧F mid 自适应阈值分割，可以分割后新增前景像素相对于背景像素的均值信噪比，自适应迭代计算最大值投影帧的二值分割阈值，并将此二值分割阈值同时应用于中值投影帧二值分割，获得最大值帧前景掩膜M Fmax 和中值帧前景掩膜M Fmid 。
具体地，如图3所示，步骤S220具体包括：S2201~S2205。
在操作S2201，将最大值投影帧F max 设为初始待分割影像F 0 。
在操作S2202，计算初始待分割影像F 0 的均值和标准差，并通过线性加权计算初始待分割影像的二值分割阈值。
本发明的实施例中，计算初始待分割影像F 0 的均值
Figure 589228DEST_PATH_IMAGE006
和标准差
Figure 850445DEST_PATH_IMAGE007
，并通过线性 加权计算初始待分割影像F 0 的二值分割阈值T F 。其中，均值
Figure 519324DEST_PATH_IMAGE006
、标准差
Figure 325737DEST_PATH_IMAGE007
及二值分割阈值T F 满足以下关系：
Figure 80067DEST_PATH_IMAGE008
其中，M和N分别表示初始待分割影像F 0 的长和宽；a F 表示线性加权系数，其值可以设为3。
在操作S2203，利用二值分割阈值对初始待分割影像进行二值分割，得到初始待分割影像的前景掩膜；并通过前景掩膜得到初始待分割影像的前景图像和背景图像。
本发明的实施例中，利用二值分割阈值T F 对初始待分割影像F 0 进行二值分割，获得初始待分割影像F 0 的前景掩膜M 0 ，其中，M 0 =F 0 ＞T F 。然后通过前景掩膜M 0 计算初始待分割影像F 0 的前景图像F 0_FG 和背景图像F 0_BG 。其中，F 0_FG =F 0 ×M 0 ，F 0_BG =F 0 ×（1-M 0 ）。
在操作S2204，根据前景图像和背景图像的均值和标准差，计算前景图像的全局均值信噪比。
本发明的实施例中，根据前景图像F 0_FG 和背景图像F 0_BG 的均值和标准差，计算前景图像的全局均值信噪比SNR FG ，其中，全局均值信噪比SNR FG 满足以下关系：
Figure 817078DEST_PATH_IMAGE009
其中，
Figure 402780DEST_PATH_IMAGE010
、
Figure 832625DEST_PATH_IMAGE011
及
Figure 385835DEST_PATH_IMAGE012
分别为前景图像均值、背景图像均值及背景图像 标准差。
在操作S2205，若前景图像的全局均值信噪比小于阈值或迭代次数超过上限，则利用二值分割阈值对最大值投影帧和中值投影帧进行二值分割，得到最大值帧前景掩膜和中值帧前景掩膜；否则，将背景图像作为新的待分割影像，重复以上步骤，得到最大值帧前景掩膜和中值帧前景掩膜。
本发明的实施例中，若全局均值信噪比SNR FG 小于阈值N或迭代次数超过上限，则利用二值分割阈值T F 对最大值投影帧F max 和中值投影帧F mid 进行二值分割，得到最大值帧前景掩膜M Fmax 和中值帧前景掩膜M Fmid 。其中，M Fmax =F max ＞T star ，M Fmid =F mid ＞T star 。否则，将景图像F 0_BG 作为新的待分割影像F 0 ’，重复执行步骤S2202~S2205，以得到最大值帧前景掩膜M Fmax 和中值帧前景掩膜M Fmid 。
在操作S230，根据最大值帧前景掩膜和中值帧前景掩膜的重叠关系提取恒星目标，得到每个恒星目标的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜。
本发明的实施例中，根据最大值帧前景掩膜M Fmax 和中值帧前景掩膜M Fmid 的重叠关系提取恒星目标，可以为将最大值帧前景掩膜M Fmax 和中值帧前景掩膜M Fmid 相加，得到前景像素出现次数图，对该前景像素出现次数图中各连通域，计算其中重复像素数与总像素数之比，若比值超过第二阈值，则视其为恒星目标。输出各恒星目标的图像切片、质心坐标和信噪比，以及包含所有恒星目标像素的恒星掩膜。
需说明的是，第二阈值可以取值为0.5，其在其他一些实施例中，可以为其他的数值，本发明的实施例对第二阈值不做限定。
如图4所示，步骤S230具体包括：S2301~S2303。
在操作S2301，创建全零矩阵；其中，该全零矩阵用于存储恒星目标掩膜。
本发明的实施例中，创建与图像大小相同的全零矩阵，用于存储恒星目标掩膜，记为F starmask 。
在操作S2302，将最大值帧前景掩膜和中值帧前景掩膜逐点相加，得到前景像素出现次数图。
本发明的实施例中，将最大值帧前景掩膜M Fmax 和中值帧前景掩膜M Fmid 逐点相加，得到前景像素出现次数图M FGNum ，其中，M FGNum =M Fmax +M Fmid 。
在操作S2303，提取前景像素出现次数图中的所有连通域，对每个连通域分别计算其重复像素数与总像素数之比；将重复像素数与总像素数之比大于第二阈值的连通域划分为恒星目标连通域，并输出其对应的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜。
本发明的实施例中，提取前景像素出现次数图M FGNum 中的所有连通域，对每个连通 域分别计算其重复像素数与总像素数之比
Figure 660958DEST_PATH_IMAGE013
，重复像素数与总像素数之比
Figure 304429DEST_PATH_IMAGE013
满足以下关 系：
Figure 701913DEST_PATH_IMAGE014
其中，N Ω_overlap表示连通域中的重复像素数；N Ω表示连通域的总像素数；Ω表示连通域包含的像素点集。其中，N Ω_overlap满足以下关系：
Figure 430834DEST_PATH_IMAGE015
。
具体地，将重复像素数与总像素数之比大于第二阈值的连通域划分为恒星目标连通域，并输出其对应的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜。并在恒星目标掩膜图F starmask 中将其像素值标记为1，即F starmask 满足以下关系：
Figure 322698DEST_PATH_IMAGE016
。
在操作S240，利用恒星掩膜去除差分投影帧中的恒星残余，并根据分割后的前景像素相对于背景像素的均值信噪比，对差分投影帧进行自适应阈值分割，得到差分帧前景掩膜。
根据本发明的实施例，如图5所示，步骤S240具体包括：S2401~S2405。
在操作S2401，利用恒星掩膜去除差分投影帧中残余的恒星像素，获得恒星抑制差分投影帧F dif_starRemoved ，其中，F dif_starRemoved 满足以下关系：
Figure 820675DEST_PATH_IMAGE017
。
在操作S2402，对恒星抑制差分投影帧的均值和标准差做线性加权，得到恒星抑制差分投影帧的二值分割阈值。
本发明的实施例中，对恒星抑制差分投影帧F dif_starRemoved 的均值μ dif_starRemoved 和标准差σ dif_starRemoved 做线性加权，得到恒星抑制差分投影帧F dif_starRemoved 的二值分割阈值T dif 。其中，二值分割阈值T dif 满足以下关系：
Figure 654639DEST_PATH_IMAGE018
其中，首次计算时加权系数α dif 设为3。
在操作S2403，利用二值分割阈值对恒星抑制差分投影帧进行二值分割，得到差分帧前景掩膜；并根据差分帧前景掩计算得到差分帧前景图像和差分帧背景图像。
本发明的实施例中，利用二值分割阈值T dif 对恒星抑制差分投影帧F dif_starRemoved 进行二值分割，得到差分帧前景掩膜M dif 。其中，M dif =F dif_starRemoved ＞T dif 。再根据差分帧前景掩膜M dif 计算得到差分帧前景图像F dif_FG 和差分帧背景图像F dif_BG 。其中，差分帧前景图像F dif_FG 和差分帧背景图像F dif_BG 满足以下关系：
Figure 605278DEST_PATH_IMAGE019
。
在操作S2404，根据差分帧前景图像和差分帧背景图像的均值和标准差，计算差分帧前景图像的全局均值信噪比。
本发明的实施例中，根据差分帧前景图像F dif_FG 和差分帧背景图像F dif_BG 的均值和标准差，计算差分帧前景图像的全局均值信噪比SNR dif ，其中，全局均值信噪比SNR dif 满足以下关系：
Figure 487783DEST_PATH_IMAGE020
其中，
Figure 154781DEST_PATH_IMAGE021
、
Figure 97329DEST_PATH_IMAGE022
及
Figure 597581DEST_PATH_IMAGE023
分别为差分帧前景图像均值、差分帧背景图 像均值及差分帧背景图像标准差。
在操作S2405，若全局均值信噪比处于预设范围内或阈值计算次数超过上限，则输出差分帧前景掩膜；否则，调整二值分割阈值中的加权系数，重复以上步骤，以得到迭代后的差分帧前景掩膜。
本发明的实施例中，若全局均值信噪比SNR dif 处于预设范围内或阈值计算次数超过上限，则输出差分帧前景掩膜执行步骤S250；否则，调整二值分割阈值T dif 中的加权系数α dif ，重复执行步骤S2402~S2405，以得到迭代后的差分帧前景掩膜。
具体地，加权系数α dif 根据全局均值信噪比SNR dif 的大小进行动态调整，若全局均 值信噪比SNR dif 大于预期范围上界，则将加权系数α dif 降低为
Figure 18198DEST_PATH_IMAGE024
；否则，将 加权系数α dif 升高为
Figure 490767DEST_PATH_IMAGE025
。其中，
Figure 417266DEST_PATH_IMAGE026
的初始值为1，若调整后α dif 即将超出预 设范围，则先将
Figure 342497DEST_PATH_IMAGE027
减半，再进行调整。
本发明的实施例中，全局均值信噪比SNR dif 的预设范围可以为[3，10]，加权系数α dif 的预设范围为（0，4），阈值计算次数上限可以设为10。需说明的是，这些数值可以根据实际应用场景进行设定，其包括但不仅限于此数值范围。
在操作S250，根据差分帧前景掩膜及最大值索引帧，得到运动目标像素索引帧；并根据帧序号从运动目标像素索引帧中提取各帧包含的运动目标连通域，计算各运动目标的质心坐标、信噪比及运动速度估计值，得到每帧图像数据对应的候选运动目标集。
本发明的实施例中，将差分帧前景掩膜M dif 及最大值索引帧K max 相乘，得到运动目标像素索引帧K mov ，其中，K mov =M dif ×K max ，再根据帧序号从运动目标像素索引帧K mov 中提取各帧包含的运动目标连通域，计算各运动目标的质心坐标、信噪比及运动速度估计值，得到每帧图像数据对应的候选运动目标集。
其中，目标运动速度v通过其最小外接矩形的高宽差与曝光时长之比来估计，即
Figure 629122DEST_PATH_IMAGE028
，其中，h和w分别表示目标最小外接矩形的高和宽。若目标最小外接矩形趋近于 正方形（即
Figure 690619DEST_PATH_IMAGE029
），取可达的最大运动速度
Figure 974970DEST_PATH_IMAGE030
。
本发明的实施例中，通过多帧图像的恒星范围判定方法，该方法基于恒星目标连通域在连续多帧天基光学观测图像中的重叠关系，从多帧图像中获得恒星目标的像素范围，并通过掩膜去除恒星变化像素，避免其对空间小目标的检测和跟踪造成干扰。以及，基于自适应图像阈值分割方法，通过预设全局均值信噪比范围，对图像中的恒星和运动目标进行自适应阈值分割，从而充分提取所需范围内的恒星及运动目标，提升暗弱目标检测率，降低图像噪声的负面干扰。
根据本发明的实施例，步骤S300中将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，具体包括以下步骤：S310~S320。
在操作S310，将当前图像队列中起始帧包含的候选运动目标与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，若当前活动轨迹集为空或该候选运动目标与所有的活动轨迹均匹配失败，则将该候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集中。
本发明的实施例中，具体匹配原则包括：候选目标至轨迹末点的质心距离与预估距离之比处于[0.5，1.5]范围内，候选目标与轨迹末点所成向量和轨迹末两点所成向量的夹角余弦值处于[0，0.1]范围内，即满足以下关系：
Figure 699081DEST_PATH_IMAGE031
其中，P cand 、P t1及P t2分别表示候选目标质心、轨迹末点质心及轨迹次末点质心；
Figure 727080DEST_PATH_IMAGE032
表示P cand 到P t1的向量；
Figure 970979DEST_PATH_IMAGE033
表示P t1到P t2的向量；d表示预估距离，其中，
Figure 160652DEST_PATH_IMAGE034
，
Figure 873524DEST_PATH_IMAGE035
表示候选目标帧序号与轨迹末点帧序号之差。
在操作S320，将连续预置帧未被更新的活动轨迹判定为非活动轨迹，统计非活动轨迹中目标出现的总次数；若目标出现的总次数大于目标出现次数阈值T valid ，则判定该非活动轨迹为有效轨迹，输出该非活动轨迹中运动目标的图像切片、质心坐标、所在帧序号及信噪比；否则，判断该非活动轨迹为无效轨迹。
本发明的实施例中，目标出现次数阈值T valid 根据轨迹起始点目标的运动速度自适应设置，当根据目标运动速度推算的最大出现次数N max 大于等于固定阈值T 0，则取目标出现次数阈值T valid 为T 0；否则，目标出现次数阈值T valid 取自适应计算出的次数阈值T adapt ，即目标出现次数阈值T valid 满足以下关系：
Figure 439635DEST_PATH_IMAGE036
其中，最大出现次数N max 及次数阈值T adapt 分别满足以下关系：
Figure 741303DEST_PATH_IMAGE037
其中，（C x ，C y ）表示轨迹初始点目标质心坐标；H和W为图像高和宽；
Figure 164194DEST_PATH_IMAGE038
表示向下 取整；T 0根据图像尺寸和常规运动目标速度设定，其通常取值5~10。使用这一方式可以在尽 可能保留快速运动目标轨迹的同时降低随机虚警的影响。
本发明的实施例中，通过对不同运动速度目标的轨迹有效性判定方法，该方法可根据目标的图上大小和图像尺寸预估目标的最小出现次数（即轨迹长度），从而自适应调整相应轨迹的有效性判定条件，提升对快速运动短轨迹目标的适应性，降低快速运动目标的漏检率。
图6示意性示出了根据本发明一实施例的基于天基光学观测图像的空间运动目标检测跟踪装置的方框图。
如图6所示，该基于天基光学观测图像的空间运动目标检测跟踪装置600，包括：图像预处理模块610、目标检测模块620、轨迹更新模块630及图像队列更新模块640。该装置600可以用于实现参考图1所描述的基于天基光学观测图像的空间运动目标检测跟踪方法。
图像预处理模块610，用于对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列；以及，判断当前图像队列的长度是否等于一阈值。该图像预处理模块610例如可以用于执行上文参考图1所描述的S100步骤，在此不再赘述。
目标检测模块620，用于在当前图像队列的长度等于一阈值时，根据当前图像队列计算得到当前图像队列的投影帧，并对投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集。该目标检测模块620例如可以用于执行上文参考图1所描述的S200步骤，在此不再赘述。
轨迹更新模块630，用于将候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标集加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至当前活动轨迹集。该轨迹更新模块630例如可以用于执行上文参考图1所描述的S300步骤，在此不再赘述。
图像队列更新模块640，用于更新当前图像队列，重复图像预处理模块、目标检测模块、轨迹更新模块及图像队列更新模块的操作，完成对剩余图像数据的运动目标检测及跟踪处理。该图像队列更新模块640例如可以用于执行上文参考图1所描述的S400步骤，在此不再赘述。
根据本发明的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上装置、基板上的装置、封装上的装置、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，图像预处理模块610、目标检测模块620、轨迹更新模块630及图像队列更新模块640中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，图像预处理模块610、目标检测模块620、轨迹更新模块630及图像队列更新模块640中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上装置、基板上的装置、封装上的装置、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，图像预处理模块610、目标检测模块620、轨迹更新模块630及图像队列更新模块640中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
图7示意性示出了根据本发明实施例的适于实现上文描述的方法的电子设备的方框图。图7示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，本实施例中所描述的电子设备700，包括：处理器701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储部分708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中，存储有电子设备700操作所需的各种程序和数据。处理器 701、ROM702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备700还可以包括输入/输出（I/O）接口705，输入/输出（I/O）接口705也连接至总线704。电子设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本发明实施例的装置中限定的上述功能。根据本发明的实施例，上文描述的装置、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/装置中所包含的；也可以是单独存在，而未装配入该设备/装置/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的基于天基光学观测图像的空间运动目标检测跟踪方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机装置中运行时，该程序代码用于使计算机装置实现本发明实施例所提供的基于天基光学观测图像的空间运动目标检测跟踪方法。
在该计算机程序被处理器701执行时执行本发明实施例的装置/装置中限定的上述功能。根据本发明的实施例，上文描述的装置、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分709被下载和安装，和/或从可拆卸介质711被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时，执行本发明实施例的装置中限定的上述功能。根据本发明的实施例，上文描述的装置、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
需要说明的是，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来。
附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附保护范围及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附保护范围来进行确定，还由所附保护范围的等同物来进行限定。

Claims (10)

1.一种基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，包括：
S100，对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列；判断所述当前图像队列的长度是否等于一阈值；
S200，若是，根据所述当前图像队列计算得到所述当前图像队列的投影帧，并对所述投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集；
S300，将所述候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至所述当前活动轨迹集；
S400，更新所述当前图像队列，重复步骤S100~S400，完成对剩余图像数据的运动目标检测及跟踪处理。
2.根据权利要求1所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述根据所述当前图像队列计算得到所述当前图像队列的投影帧，并对所述投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集，包括：
在时间维计算所述当前图像队列的最大值投影帧、最大值索引帧、中值投影帧及差分投影帧；
对所述最大值投影帧及所述中值投影帧自适应阈值分割，得到最大值帧前景掩膜和中值帧前景掩膜；
根据所述最大值帧前景掩膜和所述中值帧前景掩膜的重叠关系提取恒星目标，得到每个恒星目标的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜；
利用所述恒星掩膜去除所述差分投影帧中的恒星残余，并根据分割后的前景像素相对于背景像素的均值信噪比，对所述差分投影帧进行自适应阈值分割，得到差分帧前景掩膜；
根据所述差分帧前景掩膜及所述最大值索引帧，得到运动目标像素索引帧；并根据帧序号从所述运动目标像素索引帧中提取各帧包含的运动目标连通域，计算各运动目标的质心坐标、信噪比及运动速度估计值，得到每帧图像数据对应的所述候选运动目标集。
3.根据权利要求2所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述对所述最大值投影帧及所述中值投影帧自适应阈值分割，得到最大值帧前景掩膜和中值帧前景掩膜，包括：
将所述最大值投影帧设为初始待分割影像；
计算所述初始待分割影像的均值和标准差，并通过线性加权计算所述初始待分割影像的二值分割阈值；
利用所述二值分割阈值对所述初始待分割影像进行二值分割，得到所述初始待分割影像的前景掩膜；并通过所述前景掩膜得到所述初始待分割影像的前景图像和背景图像；
根据所述前景图像和所述背景图像的均值和标准差，计算所述前景图像的全局均值信噪比；
若所述前景图像的全局均值信噪比小于所述阈值或迭代次数超过上限，则利用所述二值分割阈值对所述最大值投影帧和所述中值投影帧进行二值分割，得到所述最大值帧前景掩膜和所述中值帧前景掩膜；否则，将所述背景图像作为新的待分割影像，重复以上步骤，得到所述最大值帧前景掩膜和所述中值帧前景掩膜。
4.根据权利要求2所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述根据所述最大值帧前景掩膜和所述中值帧前景掩膜的重叠关系提取恒星目标，得到每个恒星目标的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜，包括：
创建全零矩阵；其中，该全零矩阵用于存储恒星目标掩膜；
将所述最大值帧前景掩膜和所述中值帧前景掩膜逐点相加，得到前景像素出现次数图；
提取所述前景像素出现次数图中的所有连通域，对每个连通域分别计算其重复像素数与总像素数之比；
将所述重复像素数与总像素数之比大于第二阈值的连通域划分为恒星目标连通域，并输出其对应的图像切片、质心坐标、信噪比以及包含所有恒星目标像素的恒星掩膜。
5.根据权利要求2所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述利用所述恒星掩膜去除所述差分投影帧中的恒星残余，并根据分割后的前景像素相对于背景像素的均值信噪比，对所述差分投影帧进行自适应阈值分割，得到差分帧前景掩膜，包括：
利用所述恒星掩膜去除所述差分投影帧中的恒星残余，得到恒星抑制差分投影帧；
对所述恒星抑制差分投影帧的均值和标准差做线性加权，得到所述恒星抑制差分投影帧的二值分割阈值；
利用所述二值分割阈值对所述恒星抑制差分投影帧进行二值分割，得到所述差分帧前景掩膜；并根据所述差分帧前景掩膜计算得到差分帧前景图像和差分帧背景图像；
根据所述差分帧前景图像和所述差分帧背景图像的均值和标准差，计算所述差分帧前景图像的全局均值信噪比；
若所述全局均值信噪比处于预设范围内或阈值计算次数超过上限，则输出所述差分帧前景掩膜；否则，调整所述二值分割阈值中的加权系数，重复以上步骤，以得到迭代后的差分帧前景掩膜。
6.根据权利要求1所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述将所述候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至所述当前活动轨迹集，包括：
将所述当前图像队列中起始帧包含的候选运动目标与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，若所述当前活动轨迹集为空或该候选运动目标与所有的活动轨迹均匹配失败，则将该候选运动目标作为起始点创建新的活动轨迹加入至所述当前活动轨迹集中；
将连续预置帧未被更新的活动轨迹判定为非活动轨迹，统计所述非活动轨迹中目标出现的总次数；若目标出现的总次数大于目标出现次数阈值，则判定该非活动轨迹为有效轨迹，输出该非活动轨迹中运动目标的图像切片、质心坐标、所在帧序号及信噪比；否则，判断该非活动轨迹为无效轨迹。
7.根据权利要求1所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列，包括：
对天基光学观测数据文件进行解析，获得观测图像、连续两帧拍摄间隔时长及单帧曝光时长；
对所述观测图像进行一维中值滤波处理，得到滤波后的观测图像。
8.根据权利要求1所述的基于天基光学观测图像的空间运动目标检测跟踪方法，其特征在于，所述更新所述当前图像队列，重复以上步骤，完成对剩余图像数据的运动目标检测及跟踪处理，包括：
判断所述当前图像队列是否为空；
若是，结束图像数据的运动目标检测及跟踪处理；
若否，弹出所述当前图像队列的起始帧，判断是否存在尚未处理的天基光学观测数据文件；若存在，则重复以上步骤，完成对剩余图像数据的运动目标检测及跟踪处理；若不存在，将该起始帧中的所述候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹集的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至所述当前活动轨迹集。
9.一种基于天基光学观测图像的空间运动目标检测跟踪装置，其特征在于，包括：
图像预处理模块，用于对天基光学观测数据文件进行解析和预处理，并将预处理后得到的图像数据加入当前图像队列；以及，判断所述当前图像队列的长度是否等于一阈值；
目标检测模块，用于在所述当前图像队列的长度等于一阈值时，根据所述当前图像队列计算得到所述当前图像队列的投影帧，并对所述投影帧通过自适应阈值分割提取恒星目标和运动目标，得到每帧图像数据对应的候选运动目标集；
轨迹更新模块，用于将所述候选运动目标集与当前活动轨迹集中的每条活动轨迹依次进行关联匹配，将匹配成功的候选运动目标加入至相应的活动轨迹的末尾，将未匹配成功的候选运动目标作为起始点创建新的活动轨迹加入至所述当前活动轨迹集；
图像队列更新模块，用于更新所述当前图像队列，重复所述图像预处理模块、所述目标检测模块、所述轨迹更新模块及所述图像队列更新模块的操作，完成对剩余图像数据的运动目标检测及跟踪处理。
10.一种电子设备，其特征在于，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如权利要求1~8中任一项所述的基于天基光学观测图像的空间运动目标检测跟踪方法。
CN202211050064.3A 2022-08-31 2022-08-31 基于天基光学观测图像的空间运动目标检测跟踪方法 Active CN115131392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211050064.3A CN115131392B (zh) 2022-08-31 2022-08-31 基于天基光学观测图像的空间运动目标检测跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211050064.3A CN115131392B (zh) 2022-08-31 2022-08-31 基于天基光学观测图像的空间运动目标检测跟踪方法

Publications (2)

Publication Number Publication Date
CN115131392A true CN115131392A (zh) 2022-09-30
CN115131392B CN115131392B (zh) 2022-12-06

Family

ID=83387920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211050064.3A Active CN115131392B (zh) 2022-08-31 2022-08-31 基于天基光学观测图像的空间运动目标检测跟踪方法

Country Status (1)

Country Link
CN (1) CN115131392B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689879A (zh) * 2024-01-05 2024-03-12 哈尔滨工业大学 一种天基巡天望远镜图像中的空间目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002509A1 (en) * 2009-01-09 2011-01-06 Kunio Nobori Moving object detection method and moving object detection apparatus
CN102116876A (zh) * 2011-01-14 2011-07-06 中国科学院上海技术物理研究所 基于轨迹编目模型的空间点目标天基探测方法
CN106296726A (zh) * 2016-07-22 2017-01-04 中国人民解放军空军预警学院 一种天基光学序列图像中的空间目标检测跟踪方法
CN109816700A (zh) * 2019-01-11 2019-05-28 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
CN114373130A (zh) * 2022-01-07 2022-04-19 中国空间技术研究院 一种天基红外暗弱小运动目标检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110002509A1 (en) * 2009-01-09 2011-01-06 Kunio Nobori Moving object detection method and moving object detection apparatus
CN102116876A (zh) * 2011-01-14 2011-07-06 中国科学院上海技术物理研究所 基于轨迹编目模型的空间点目标天基探测方法
CN106296726A (zh) * 2016-07-22 2017-01-04 中国人民解放军空军预警学院 一种天基光学序列图像中的空间目标检测跟踪方法
CN109816700A (zh) * 2019-01-11 2019-05-28 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
CN114373130A (zh) * 2022-01-07 2022-04-19 中国空间技术研究院 一种天基红外暗弱小运动目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘天赐: "天基探测条件下动态群目标仿真与集同跟踪方法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689879A (zh) * 2024-01-05 2024-03-12 哈尔滨工业大学 一种天基巡天望远镜图像中的空间目标检测方法
CN117689879B (zh) * 2024-01-05 2024-08-23 哈尔滨工业大学 一种天基巡天望远镜图像中的空间目标检测方法

Also Published As

Publication number Publication date
CN115131392B (zh) 2022-12-06

Similar Documents

Publication Publication Date Title
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
US10878575B2 (en) Foreground-aware image inpainting
US9947077B2 (en) Video object tracking in traffic monitoring
CN109272509B (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN107872644B (zh) 视频监控方法及装置
US8571261B2 (en) System and method for motion detection in a surveillance video
US20190172184A1 (en) Method of video stabilization using background subtraction
US9508134B2 (en) Apparatus, system, and method for enhancing image data
CN112417955B (zh) 巡检视频流处理方法及装置
WO2021013049A1 (zh) 前景图像获取方法、前景图像获取装置和电子设备
CN112509003B (zh) 解决目标跟踪框漂移的方法及系统
US11688078B2 (en) Video object detection
US10789682B2 (en) Apparatus, system, and method for enhancing an image
KR20210012012A (ko) 물체 추적 방법들 및 장치들, 전자 디바이스들 및 저장 매체
CN115131392B (zh) 基于天基光学观测图像的空间运动目标检测跟踪方法
CN110728700B (zh) 一种运动目标追踪方法、装置、计算机设备及存储介质
CN115937071A (zh) 一种图像检测方法、装置、设备及介质
CN114037087A (zh) 模型训练方法及装置、深度预测方法及装置、设备和介质
CN114120423A (zh) 人脸图像检测方法、装置、电子设备和计算机可读介质
CN113850843A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN111199179B (zh) 目标对象的跟踪方法、终端设备及介质
CN110599542A (zh) 面向几何区域的自适应vslam局部建图的方法和装置
Chen et al. Enhancement of edge-based surveillance videos based on bilateral filtering
CN116091367B (zh) 光学遥感图像盲去模糊方法、装置、设备和介质
CN115222771B (zh) 一种目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant