CN110458089B - 一种基于高低轨光学卫星观测的海上目标关联系统及方法 - Google Patents

Abstract

本发明涉及一种基于高低轨光学卫星观测的海上目标关联系统及方法，包括：目标检测与跟踪模块、目标检测与运动特征提取模块和目标多层次多特征关联模块；目标检测与跟踪模块，利用高轨光学卫星图像序列进行海上目标的检测与跟踪，得到海上目标的运动轨迹信息；目标检测与运动特征提取模块，利用低轨图像进行海上目标的检测与运动特征提取，得到目标的位置与航向信息；目标多层次多特征关联模块，基于目标检测与跟踪模块得到所述运动轨迹信息和目标检测与运动特征提取模块得到的所述位置与航向信息，进行海上目标多层次多特征关联。本发明可以显著提高海上目标的监视能力，同时在复杂观测背景下具有很高的目标关联正确率，且易于实现。

Description

一种基于高低轨光学卫星观测的海上目标关联系统及方法

技术领域

本发明涉及一种基于高低轨光学卫星观测的海上目标关联系统及方法，属于天基海洋监视中海上目标信息融合技术领域。

背景技术

随着卫星种类与数量的不断增加，海洋监视应用形式更加复杂。单颗、单类卫星得到的信息单一，难以完成对海上目标的有效观测，需要多颗多类甚至不同轨道的卫星相互协同，共同完成对海上目标的持续监视。

高轨光学卫星可以对海上目标进行大范围、长时间、连续跟踪，但是高轨光学卫星受轨道高度的限制，卫星成像的分辨率较低，在海上目标几何等特征提取上较为困难，更难以识别出目标类型，且系统复杂、造价昂贵。而低轨光学卫星的图像分辨率很高，利于海上目标的检测与特征提取，很多卫星可以进行类型甚至个体识别。同时，随着微纳技术的发展，低轨光学卫星的集成度越来越高，在制造与发射成本等方面存在很大优势。因此，可以利用高轨、低轨成像卫星进行海上目标联合监视，实现高轨的发现跟踪与低轨的详查识别，利用多源卫星信息的融合提高海上目标态势感知能力。在高低轨多星联合监视中，低轨卫星海上目标点迹与高轨卫星海上目标航迹的关联是两种卫星信息融合的关键。但是，目前国内外主要针对高低轨卫星任务规划问题进行研究，对于高低轨卫星联合监视下的海上目标关联方面还没有公开的资料，因此迫切需要一种有效可行的点迹关联方法。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种基于高低轨光学卫星观测的海上目标关联系统及方法，关联正确率高、鲁棒性强，联合提高了目标监视能力。

本发明的基本思路是：首先通过高轨卫星跟踪得到海上目标的运动轨迹，然后通过低轨卫星得到海上目标的位置与航向等信息，最后通过多特征多层次的目标关联将高轨、低轨的目标信息融合。本发明的技术方案包括以下处理步骤：

步骤一：利用高轨光学卫星图像序列进行海上目标的检测与跟踪，得到目标在每帧图像中的图像位置，通过高轨卫星图像的像方与物方变换关系得到点迹的地理位置，在地理坐标下通过多假设跟踪算法进行数据关联，从而得到海上目标的运动轨迹信息；

步骤二：利用低轨图像进行海上目标的检测，得到目标的图像位置与图像切片。利用低轨卫星图像的像方与物方变换关系，得到目标的地理位置。利用图像切片进行运动特征提取，得到海上目标航向信息；

步骤三：根据步骤一中高轨卫星目标运动轨迹与步骤二中低轨卫星目标检测点迹，提出一种基于位置、大小、航向等特征信息的海上目标多层次多特征关联方法，最终得到海上目标在高低轨卫星图像中的一一对应关系，实现高低轨卫星信息的有效融合。

所述高轨卫星图像的海上目标检测与跟踪模块具体实现过程如下：

(1)利用恒虚警算法对高轨卫星图像进行海上目标检测，得到目标在每帧图像中的图像位置；

(2)利用卫星图像的像方与物方变换关系，将第一步中的图像位置转换为地理位置，得到检测点迹的地理位置；

(3)根据步骤(2)中每帧检测点迹的地理位置，在地理坐标下建立运动模型，利用多假设跟踪算法或采用联合概率数据关联方法对进行海上目标跟踪，得到海上目标的运动轨迹信息。

所述低轨卫星图像的海上目标检测与运动特征提取模块具体实现过程如下：

(1)利用深度学习检测框架对低轨卫星图像进行海上目标检测，得到目标在图像中的位置以及相应的图像切片；

(2)根据步骤(1)中每个目标的图像切片，利用Radon变换或深度学习方法在切片中提取海上目标的长度与航向，得到目标的长度与航向；

(3)利用卫星图像的像方与物方变换关系，将步骤(1)的位置与步骤(2)中的航向转换为地理坐标下的信息，得到海上目标真实位置与航向信息。

所述海上目标多层次多特征关联模块具体实现过程如下：

(1)针对高轨卫星跟踪得到的疑是静止目标，利用地理距离进行高低轨卫星目标检测点迹的最优关联，得到静止目标在高低轨卫星图像中的一一对应关系；

(2)针对步骤(1)中未关联的低轨卫星大型目标点迹与高轨卫星目标轨迹，利用航向、大小以及地理位置等特征进行目标关联，得到大型海上运动目标在高低轨卫星图像中的一一对应关系；

(3)针对步骤(2)中剩余未关联的小目标进行目标关联，得到小目标在高低轨卫星图像中的一一对应关系，最后综合前面步骤中的关联结果，实现高轨卫星图像中目标运动信息与低轨卫星图像中目标特征信息的有效融合，提高海上目标的联合感知能力。

本发明与现有技术相比的优点在于：

(1)在高低轨光学卫星联合监视下，高轨卫星可以提供目标的航迹信息，而低轨卫星由于分辨率较高，除位置信息外，还可以提取目标的其他特征，如大小、航向等信息。如果仅仅利用位置进行目标关联，在局部目标密集海域，容易造成关联错误。为了提高关联的准确性与鲁棒性，本发明根据高低轨卫星的特点，采用位置、航向等作为关联参数，可以显著提高海上目标的监视能力，同时在复杂观测背景下具有很高的目标关联正确率，且易于实现。

(2)本发明采用了多特征多层次的关联方法，与仅仅利用位置进行目标关联的方法相比，提高了关联正确率，有效降低了在密集海域的海上目标关联模糊。

附图说明

图1为本发明的基于高低轨光学卫星观测的海上目标关联系统组成框图；

图2为多层次目标关联流程图；

图3为实施例的场景图；

图4为实施例的关联效果图；

图5实施例的部分目标切片与AIS信息，(a)静止目标A，(b)运动目标B，(c)弱小目标C。

具体实施方式

下面结合附图对本发明做更详细的描述：

如图1所示，本发明具体实现如下：

步骤一：高轨卫星图像海上目标检测与跟踪

对于高轨卫星图像序列，采用海岸线数据进行地理校正，在帧间图像配准后采用经典的恒虚警算法进行目标检测，利用卫星光学成像的几何模型，即图像的像方与物方变换关系将目标的位置转化为地理位置，在地理坐标下进行目标的运动建模，利用多假设跟踪中多帧数据关联进一步减少虚假目标，利用滤波算法估计出目标的运动状态，得到海上目标的运动轨迹信息。

步骤二：低轨卫星图像海上目标检测与运动特征提取

由于低轨卫星图像分辨率比较高，利用深度学习中Faster RCNN检测框架进行目标检测。在检测出目标后，利用卫星图像的像方与物方变换关系将目标的图像位置转化为地理位置。利用Radon变换来提取目标切片中目标长度与船身角度信息，将船身角度近似为航向。为了避免对角线上的能量累积超过目标倾斜角方向，先对检测后的目标切片去均值，再进行Radon变换，提取目标在切片上的旋转角度。根据目标倾斜角将切片旋转到水平位置，进行水平方向投影，得到目标能量的轮廓图。通过设置一定的阈值，得到目标两端，从而得到目标长度。对轮廓图进行直线拟合，得到目标能量的分布角度。根据角度方向与大小，判断目标在图像中的方向。判断的主要依据是运动目标航行时会产生尾流，造成光学图像能量分布上有一定长度的拖尾。通过线性拟合后得到的斜率，判断航向的正负，消除航向180°模糊。为了保证航向提取的可靠性，防止航向提取错误带来关联错误，设置当目标估计长度超过阈值L_min时，才能作为为大型目标来提取航向，否则无航向信息。在光学图像中，一些更特殊的尾迹，如Kelvin尾迹，还可以用来估计航速，但是只有在分辨率较高、海况与光照良好等情况下才能得到。因此在低轨卫星图像中，尾流提供的主要是航向信息。为了得到目标在地理坐标下的航向θ_true(真实航向)，再根据像方与物方变换关系将图像角度进一步转化，得到目标真实航向信息。

步骤三：多层次多特征海上目标关联

如图2所示，根据运动状态将海上目标分为运动目标与静止目标，将高轨卫星航迹中速度小于门限v_min的目标作为疑是静止目标，通过低轨卫星对疑是静止目标进行鉴别与确认。设低轨卫星目标与高轨卫星疑是静止目标坐标分别为

其中lat与lon分别表示纬度与经度，上标GF4与GF1分别代表GF-4与GF-1卫星所得目标的物理量，上标s表示静止目标，下标i与j分别表示待关联的GF-1与GF-4卫星所得目标的序号数。设置距离关门限K_s，以与低轨卫星目标间的地理距离为代价函数进行二维最优分配，即：

其中，M,N为目标个数，T_ij表示目标对应关系，T_ij取值为1时表示可以关联，取值为0时表示不相关，D_geo用来表示地理位置间的距离函数，R_earth为地球平均半径，地理位置

到

的距离公式如下所示：

当疑是静止目标与低轨卫星点迹关联上，说明该目标为真实静止目标，否则认为固定杂波予以剔除。这主要因为低轨卫星图像分辨率大于高轨卫星，高轨卫星图像检测到的目标在低轨卫星图像中都应该能检测到。

对于高轨卫星中的运动目标，需要前向或者后向预测到低轨卫星成像的中间时刻，再基于位置与航向特征进行目标关联。设预测后高轨卫星运动目标的状态为

剩余的有航向信息低轨卫星目标信息为

其中sog与cog分别表示航速与航向，则航向差为：

其中，上标GF4与GF1分别代表GF-4与GF-1卫星所得目标的物理量，上标m表示运动目标，下标l与k分别表示二次关联中GF-1与GF-4卫星所得目标的序号数。航向门限设为Δθ，由于速度、航向以及中断时间间隔等因素造成位置偏差，运动关联的距离门限K_m设为：

其中K_m1,K_m2分别为速度变化与方向变化引起的位置变化，ΔT为卫星间隔时间，即航迹预测时间，Δs为最大速度差，s_mean为目标的平均速度，则目标关联问题可以转化为以下的优化问题，

其中，M′,N′为待关联的目标个数，d_lk与T_lk分别为目标距离与对应关系。最后，对剩余低轨卫星小目标与高轨卫星目标基于距离进行关联，即上式中没有航向差限制下的关联，得到最后的关联结果。综合前面的关联结果，得到同一目标在高轨与低轨卫星图像上的一一对应关系，实现海上目标在高轨卫星图像中运动信息与低轨卫星图像中特征信息的有效融合。

图3为实施例下高低轨卫星海上目标联合监视的场景，高低轨卫星分别采用“高分四号”(GF-4)、“高分一号”(GF-1)卫星，GF-4卫星在任务海域进行监视，检测与跟踪目标，引导GF-1卫星进行类型识别与身份确认。实施例中选取了感兴趣区域(ROI)进行研究，图4为实施例下高低轨卫星海上目标关联效果图，可以看出，该海域为舰船目标密集海域，通过目标关联可以有效综合各个卫星信息，形成统一的监视态势。由于GF-1卫星分辨率高于GF-4卫星，其目标检测个数更多，很多小目标不能在GF-4卫星中有效检测出来，因此无法进行关联，这也表明低轨卫星可以用来弥补高轨卫星不能有效探测小目标的不足。结合实测的自动识别系统(AIS)信息可以得到，通过多层次多特征的关联，关联正确率得到了提高，在实验区域中接近100％(而只利用位置进行关联正确率为95％)，有效解决了舰船目标之间的关联模糊。同时，图5标注了3个目标，分别是静止目标A、运动目标B与小目标C，具体目标的切片以及AIS信息如图4所示。海上目标关联不仅可以从高轨卫星得到目标准确的运动信息，还可以从低轨卫星得到目标的尺寸信息以及确认静止目标(如目标A与B)，甚至更丰富的特征信息，而没有关联上的目标(如小目标C)只能得到单一卫星的信息，这些充分体现了高低轨卫星海上目标信息融合的优势。

以上虽然描述了本发明的具体实施方法，但是本领域的技术人员应当理解，这些仅是举例说明，在不背离本发明原理和实现的前提下，可以对这些实施方案做出多种变更或修改，因此，本发明的保护范围由所附权利要求书限定。

Claims (4)

1.一种基于高低轨光学卫星观测的海上目标关联系统，其特征在于，包括：目标检测与跟踪模块、目标检测与运动特征提取模块和目标多层次多特征关联模块；其中：

目标检测与跟踪模块，利用高轨光学卫星图像序列进行海上目标的检测与跟踪，得到海上目标的运动轨迹信息；

目标检测与运动特征提取模块，利用低轨图像进行海上目标的检测与运动特征提取，得到目标的位置与航向信息；

目标多层次多特征关联模块，基于目标检测与跟踪模块得到所述运动轨迹信息和目标检测与运动特征提取模块得到的所述位置与航向信息，进行海上目标多层次多特征关联，得到同一目标在高轨与低轨卫星图像上的一一对应关系，实现海上目标在高轨卫星图像中运动信息与低轨卫星图像中特征信息的有效融合，提高海上目标的感知能力；

所述目标多层次多特征关联模块具体实现过程如下：

（1）针对高轨卫星跟踪得到的疑是静止目标，利用地理距离进行高低轨卫星目标检测点迹的最优关联，得到静止目标在高低轨卫星中的一一对应关系；

（2）针对步骤（1）中未关联的低轨卫星大型目标点迹与高轨卫星目标轨迹，利用航向、大小以及地理位置特征进行目标关联，得到大型海上运动目标在高低轨卫星中的一一对应关系；

（3）针对步骤（2）中剩余未关联的小目标进行目标关联，得到小目标在高低轨卫星中的一一对应关系，最后综合前面步骤中的关联结果，实现高轨卫星图像中目标运动信息与低轨卫星图像中目标特征信息的有效融合，提高海上目标的联合感知能力。

2.根据权利要求1所述的基于高低轨光学卫星观测的海上目标关联系统，其特征在于：所述目标检测与跟踪模块具体实现过程如下：

（1）利用恒虚警算法对高轨卫星图像进行海上目标检测，得到目标在每帧图像中的图像位置；

（2）利用卫星图像的像方与物方变换关系，将第一步中的图像位置转换为地理位置，得到检测点迹的地理位置；

（3）根据步骤（2）中每帧检测点迹的地理位置，在地理坐标下建立运动模型，利用多假设跟踪算法或采用联合概率数据关联方法对进行海上目标跟踪，得到海上目标的运动轨迹信息。

3.根据权利要求1所述的基于高低轨光学卫星观测的海上目标关联系统，其特征在于：所述目标检测与运动特征提取模块具体实现过程如下：

（1）利用深度学习检测框架对低轨卫星图像进行海上目标检测，得到目标在图像中的位置以及相应的图像切片；

（2）根据步骤（1）中每个目标的图像切片，利用Radon变换或深度学习方法在切片中提取海上目标的长度与航向，得到目标的长度与航向；

（3）利用卫星图像的像方与物方变换关系，将步骤（1）的位置与步骤（2）中的航向转换为地理坐标下的信息，得到海上目标真实位置与航向信息。

4.一种基于高低轨光学卫星观测的海上目标关联方法，其特征在于，包括以下处理步骤：

步骤一：利用高轨光学卫星图像序列进行海上目标的检测与跟踪，得到目标在每帧图像中的图像位置，通过高轨卫星图像的像方与物方变换关系得到点迹的地理位置，在地理坐标下通过多假设跟踪算法进行数据关联，从而得到海上目标的运动轨迹信息；

步骤二：利用低轨图像进行海上目标的检测，得到目标的图像位置与图像切片，利用低轨卫星图像的像方与物方变换关系，得到目标的地理位置，利用图像切片进行运动特征提取，得到海上目标航向信息；

步骤三：根据步骤一中高轨卫星目标运动轨迹与步骤二中低轨卫星目标检测点迹，提出一种基于位置、大小、航向特征信息的海上目标多层次多特征关联方法，最终得到海上目标在高低轨卫星中的一一对应关系，实现高低轨卫星信息的有效融合；

所述海上目标多层次多特征关联方法具体实现过程如下：

（1）针对高轨卫星跟踪得到的疑是静止目标，利用地理距离进行高低轨卫星目标检测点迹的最优关联，得到静止目标在高低轨卫星图像中的一一对应关系；

（2）针对步骤（1）中未关联的低轨卫星大型目标点迹与高轨卫星目标轨迹，利用航向、大小以及地理位置特征进行目标关联，得到大型海上运动目标在高低轨卫星图像中的一一对应关系；

（3）针对步骤（2）中剩余未关联的小目标进行目标关联，得到小目标在高低轨卫星图像中的一一对应关系，最后综合前面步骤中的关联结果，实现高轨卫星图像中目标运动信息与低轨卫星图像中目标特征信息的有效融合，提高海上目标的联合感知能力。

Images