CN112560691A - 一种基于卫星视频数据的天基目标自动识别方法 - Google Patents

Abstract

本发明涉及一种基于卫星视频数据的天基目标自动识别方法，包括步骤：获取n帧连续的卫星视频数据影像，并依次对每一帧影像进行预处理，得到预处理后的卫星视频数据影像；利用三帧差分法对预处理后的卫星视频数据影像的每一帧进行运动目标检测与识别，并记录每个运动目标的信息，得到最终目标集；利用天基目标的运动规律排除干扰目标，从所述最终目标集中筛选出天基目标；对筛选出的天基目标进行影像有效帧判定，删除饱和或受日地杂光干扰的无效帧；提取影像有效帧中的天基目标，输出目标切片、目标运动轨迹图以及目标相关参数。本发明有效填补了遥感行业内针对太空中的卫星进行自动识别方法的空白，可广泛应用于运动天基目标的自动识别应用之中。

Description

一种基于卫星视频数据的天基目标自动识别方法

技术领域

本发明涉及目标自动识别技术领域，特别是涉及一种基于卫星视频数据的天基目标自动识别方法。

背景技术

由长光卫星技术有限公司自主研制的“吉林一号”系列视频卫星在具有米级空间分辨率的同时视频影像尺寸达到12K×5K，其特有的海量数据信息与高清视频质量使其在目标检测领域具有极其重要应用前景。但至今主流的检测对象多为飞机、舰船、车辆等，针对太空中的卫星目标进行识别的方法在市面上仍是空白，行业内尚无一种针对天基目标进行自动识别的方法。目前，中国已经有上百颗卫星在轨飞行，数量排名世界第二，仅次于美国。全球各国总共发射的卫星数量更是与日俱增。对于如此大数量的人造卫星，针对卫星的检测也是十分重要。因此，为了提升遥感视频应用和服务能力，并将海量遥感视频数据推广航空领域，能够针对太空中的卫星目标进行自动识别，急需设计一种基于卫星视频数据的天基目标自动识别方法。

发明内容

为解决现有技术中存在的问题，本发明提供一种基于卫星视频数据的天基目标自动识别方法。本发明有效填补了遥感行业内针对太空中的天基目标进行自动识别的空白，可广泛应用于运动天基目标的自动识别应用之中。

为解决上述问题，本发明采取如下的技术方案：

一种基于卫星视频数据的天基目标自动识别方法，包括以下步骤：

步骤1：获取n帧连续的卫星视频数据影像，并依次对每一帧影像进行中值滤波、灰度化处理、二值化处理以及形态学开运算，得到预处理后的卫星视频数据影像，n≥4；

步骤2：利用三帧差分法对预处理后的卫星视频数据影像的每一帧进行运动目标检测与识别，并记录每个运动目标的信息，得到最终目标集；

步骤3：利用天基目标的运动规律排除干扰目标，从所述最终目标集中筛选出天基目标；

步骤4：对筛选出的天基目标进行影像有效帧判定，删除饱和或受日地杂光干扰的无效帧；

步骤5：提取影像有效帧中的天基目标，输出目标切片、目标运动轨迹图以及目标相关参数。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种基于卫星视频数据的天基目标自动识别方法，该方法利用三帧差分法实现针对卫星视频数据进行运动目标识别，并通过天基目标运动规律实现对运动目标的筛选，通过“饱和”和“是否受杂光干扰”两个指标进行影像有效性判定，删掉无效帧，提取有效帧中的目标，最终输出目标切片、目标运动轨迹图以及目标相关参数，实现针对卫星视频数据的天基目标自动识别，有效填补了遥感行业内针对太空中的卫星进行自动识别方法的空白，可广泛应用于运动天基目标的自动识别应用之中。

附图说明

图1为本发明一种基于卫星视频数据的天基目标自动识别方法的流程图；

图2为本发明给出的目标切片与目标轨迹的一个实例示意图；

图3为本发明给出的目标切片与目标轨迹的另一个实例示意图。

具体实施方式

下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

如图1所示，本发明提供一种基于卫星视频数据的天基目标自动识别方法，该方法包括以下步骤：

步骤1：获取n帧连续的卫星视频数据影像，并依次对每一帧影像进行中值滤波、灰度化处理、二值化处理以及形态学开运算，最终得到预处理后的卫星视频数据影像，n≥4。

在本步骤中，首先获取n帧连续的卫星视频数据影像，分别为src₀，src₁…src_n，其中n≥4，依次对每一帧影像进行预处理，预处理包括中值滤波、灰度化处理、二值化处理以及形态学开运算，可选地，滤波窗口设置为9*9大小，二值化阈值设置为1，开运算中膨胀次数为3次，腐蚀次数为1次，最终得到预处理后的卫星视频数据影像，分别为dst₀，dst₁…dst_n。

步骤2：利用三帧差分法对预处理后的卫星视频数据影像的每一帧进行运动目标检测与识别，并记录每个运动目标的信息，得到最终目标集。

步骤2.1：对前三帧影像进行检测，并将检测结果存储至目标集L中，详细步骤如下：

步骤2.1.1、检测：对前三帧影像数据dst₀，dst₁，dst₂进行三帧差分运算。首先计算dst₀与dst₁的帧间误差绝对值imgdelta1＝|dst₀-dst₁|以及dst₁与dst₂的帧间误差绝对值imgdelta2＝|dst₁-dst₂|；然后对imgdelta1和imgdelta2求交集，即可得到dst₁上的所有运动目标；最后，给每个运动目标分配ID编码(ID＝1，2，3…)，检测并记录每个运动目标的图像信息和轮廓信息。

步骤2.1.2、存储：对每个运动目标建立信息集l_ID，记录并存储该目标的目标编码、出现次数、每次出现时所在帧的序号、目标位置坐标(x，y)以及目标的形状信息(目标宽度w和长度h)。建立检测结果集M_i，用于存储在dst_i中检测到的所有运动目标的信息，

m为在第i帧中检测到的运动目标总数，

表示在dst_i中检测到的第k个运动目标(1≤k≤m)。同时建立目标集L，用于存储至今为止找到的所有疑似天基目标，L＝{l₁，l₂，…l_ID…}。特别地，对于dst₁，将在dst₁中找到的每一个目标

按顺序赋予ID编码，即此时ID＝k，并存入对应的l_ID中。同时，所有l_ID均存入目标集L中，以便后续的跟踪识别。

步骤2.2：完成对剩余帧的运动目标检测，并完成检测结果与跟踪结果的匹配关联，得到最终目标集FL＝{…，l_ID，…}。具体步骤如下：

步骤2.2.1、检测：依次读取连续三帧影像dst_(i-1)，dst_i，dst_(i+1)(i＝2，…，n-1)进行三帧差分运算，计算方法与步骤2.1.1相同，得到dst_i的检测结果集M_i。

步骤2.2.2、匹配关联：将目标集L与检测结果集

进行匹配关联，具体方法为：首先，遍历M_i和L，在L中找到与

位置距离最近的目标

其中

表示在dst_j(1≤j≤i-1)中检测到的第p个运动目标；然后，将目标

的坐标记为(x’，y’)，长宽记为h’和w’，目标

的坐标记为(x，y)，长宽记为h和w。若|x’–x|<w+100且y’–y<10*h，则判定这两个目标为同一目标，将

加入到目标集L对应的信息集l_ID中；若不符合上述条件，则将该目标视为新目标，赋予新的目标编码ID’后加入到目标集L中新建的l_ID’中。

步骤2.2.3、初步筛选：实时监控当前目标集L＝{…，l_ID，…}中每一个l_ID的目标出现总次数(即

数量)和出现频率。若l_ID中的目标出现次数<3且在当前帧及当前帧的前三帧中均没有检测到目标，判定该目标为干扰目标，删除对应l_ID；

步骤2.2.4、至此第i帧影像的运动目标检测与识别已完成，当前目标集为L_i。接着判断是否已检测完所有帧，若完成则循环截止，令最终目标集FL＝L_i；否则令i＝i+1，回到步骤2.2.1。

步骤3：利用天基目标的运动规律排除干扰目标，从最终目标集中筛选出天基目标。

本步骤通过天基目标的运动规律对剩余每一个运动目标进行筛选，排除恒星及其他目标的干扰，具体步骤如下：

步骤3.1：计算相邻两帧的同一个天基目标的运动距离矢量，根据所述运动距离矢量的正负判断该天基目标是否为干扰目标。

天基目标恒定从上往下运动，可通过每个目标的运动距离矢量d判断运动方向。d＝y’-y，其中y为前一帧目标左上角点纵坐标，y’为后一帧目标的左上角纵坐标。若d<0，说明后一帧目标位于前一帧目标上方，不符合“从上往下运动”这一规律，删除该目标。

步骤3.2：计算天基目标的横、纵方向的总偏移距离，并判断横向总偏移距离是否大于纵向总偏移距离，若是，则判断该天基目标为干扰目标。

天基目标的纵向偏移距离恒比横向偏移距离长，故分别计算每个目标的横、纵方向的总偏移距离hd、zd。hd＝|x_n-x₀|，zd＝y_n–y₀，下标n和下标0分别代表最后一个目标和第一个目标。若hd<zd，说明横向偏移较大，不符合“纵向偏移比横向偏移大”这一规律，删除该目标。

步骤4：对筛选出的天基目标进行影像有效帧判定，删除饱和或受日地杂光干扰的无效帧。

本步骤对检测到的天基目标进行影像有效性判定，具体步骤如下：

步骤4.1：判定影像是否饱和，即判断天基目标中是否存在灰度值为255的像元，若目标中存在灰度值为最大值(255)的像元，则判定该帧饱和，判定为无效帧并删除；

步骤4.2：判定影像是否受日、地杂光干扰，即判断天基目标所在帧中是否存在面积大于10000像元的连通域，并判断天基目标是否处于连通域内，若影像中存在面积大于10000像元的连通域，则该帧影像存在杂光；若目标处于杂光区域内，则判定该目标受杂光干扰，判定该帧无效并删除。

步骤5：提取影像有效帧中的天基目标，输出目标切片、目标运动轨迹图以及目标的位置、形状等目标相关参数。图2和图3为利用本实施例所提出的天基目标自动识别方法对不同拍摄任务中的卫星视频数据影像进行识别所得到的目标切片(图2(a)、图3(a))与目标轨迹(图2(b)、图3(b))实例示意图。

本实施例提供一种基于卫星视频数据的天基目标自动识别方法，该方法利用三帧差分法实现针对卫星视频数据进行运动目标识别，并通过天基目标运动规律实现对运动目标的筛选，通过“饱和”和“是否受杂光干扰”两个指标进行影像有效性判定，删掉无效帧，提取有效帧中的目标，最终输出目标切片、目标运动轨迹图以及目标相关参数，实现针对卫星视频数据的天基目标自动识别，有效填补了遥感行业内针对太空中的卫星进行自动识别方法的空白，可广泛应用于运动天基目标的自动识别应用之中。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于卫星视频数据的天基目标自动识别方法，其特征在于，包括以下步骤：

步骤1：获取n帧连续的卫星视频数据影像，并依次对每一帧影像进行中值滤波、灰度化处理、二值化处理以及形态学开运算，得到预处理后的卫星视频数据影像，n≥4；

步骤2：利用三帧差分法对预处理后的卫星视频数据影像的每一帧进行运动目标检测与识别，并记录每个运动目标的信息，得到最终目标集；

步骤3：利用天基目标的运动规律排除干扰目标，从所述最终目标集中筛选出天基目标；

步骤4：对筛选出的天基目标进行影像有效帧判定，删除饱和或受日地杂光干扰的无效帧；

步骤5：提取影像有效帧中的天基目标，输出目标切片、目标运动轨迹图以及目标相关参数。

2.根据权利要求1所述一种基于卫星视频数据的天基目标自动识别方法，其特征在于，所述步骤2包括以下步骤：

步骤2.1：对前三帧影像进行检测，并将检测结果存储至目标集L中，详细步骤如下：

步骤2.1.1、检测：对前三帧影像数据dst₀，dst₁，dst₂进行三帧差分运算，首先计算dst₀与dst₁的帧间误差绝对值imgdelta1＝|dst₀-dst₁|以及dst₁与dst₂的帧间误差绝对值imgdelta2＝|dst₁-dst₂|；然后对imgdelta1和imgdelta2求交集，即可得到dst₁上的所有运动目标；最后，给每个运动目标分配ID编码，检测并记录每个运动目标的图像信息和轮廓信息，其中ID＝1，2，3…；

步骤2.1.2、存储：对每个运动目标建立信息集l_ID，记录并存储该目标的目标编码、出现次数、每次出现时所在帧的序号、目标位置坐标(x，y)以及目标的形状信息；建立检测结果集M_i，用于存储在dst_i中检测到的所有运动目标的信息，

m为在第i帧中检测到的运动目标总数，

表示在dst_i中检测到的第k个运动目标，1≤k≤m；同时建立目标集L，用于存储至今为止找到的所有疑似天基目标，L＝{l₁，l₂，…l_ID…}；对于dst₁，将在dst₁中找到的每一个目标按顺序赋予ID编码，即此时ID＝k，并存入对应的l_ID中，同时，所有l_ID均存入目标集L中，以便后续的跟踪识别；

步骤2.2：完成对剩余帧的运动目标检测，并完成检测结果与跟踪结果的匹配关联，得到最终目标集FL＝{…，l_ID，…}，具体步骤如下：

步骤2.2.1、检测：依次读取连续三帧影像dst_(i-1)，dst_i，dst_(i+1)进行三帧差分运算，计算方法与步骤2.1.1相同，得到dst_i的检测结果集M_i，其中i＝2，…，n-1；

步骤2.2.2、匹配关联：将目标集L与检测结果集

进行匹配关联，具体方法为：首先，遍历M_i和L，在L中找到与

位置距离最近的目标

其中

表示在dst_j中检测到的第p个运动目标，其中1≤j≤i-1；然后，将目标

的坐标记为(x’，y’)，长宽记为h’和w’，目标

的坐标记为(x，y)，长宽记为h和w，若|x’–x|<w+100且y’–y<10*h，则判定这两个目标为同一目标，将

加入到目标集L对应的信息集l_ID中；若不符合上述条件，则将该目标视为新目标，赋予新的目标编码ID’后加入到目标集L中新建的l_ID’中；

步骤2.2.3、初步筛选：实时监控当前目标集L＝{…，l_ID，…}中每一个l_ID的目标出现总次数和出现频率，若l_ID中的目标出现次数<3且在当前帧及当前帧的前三帧中均没有检测到目标，判定该目标为干扰目标，删除对应l_ID；

步骤2.2.4、至此第i帧影像的运动目标检测与识别已完成，当前目标集为L_i；接着判断是否已检测完所有帧，若完成则循环截止，令最终目标集FL＝L_i；否则令i＝i+1，回到步骤2.2.1。

3.根据权利要求1或2所述一种基于卫星视频数据的天基目标自动识别方法，其特征在于，所述步骤3包括以下步骤：

步骤3.1：计算相邻两帧的同一个天基目标的运动距离矢量，根据所述运动距离矢量的正负判断该天基目标是否为干扰目标；

步骤3.2：计算天基目标的横、纵方向的总偏移距离，并判断横向总偏移距离是否大于纵向总偏移距离，若是，则判断该天基目标为干扰目标。

4.根据权利要求1或2所述一种基于卫星视频数据的天基目标自动识别方法，其特征在于，所述步骤4包括以下步骤：

步骤4.1：判断天基目标中是否存在灰度值为255的像元，若是，则判定天基目标所在帧为无效帧并删除；

步骤4.2：判断天基目标所在帧中是否存在面积大于10000像元的连通域，并判断天基目标是否处于连通域内，若是，则判定天基目标所在帧为无效帧并删除。

Images