CN115908509B

CN115908509B - 基于航向恒定船舶的远海序列光学遥感影像配准方法

Info

Publication number: CN115908509B
Application number: CN202310016901.9A
Authority: CN
Inventors: 王乾通; 周光尧; 刘雨菡; 刘方坚; 胡玉新
Original assignee: Aerospace Information Research Institute of CAS
Current assignee: Aerospace Information Research Institute of CAS
Priority date: 2023-01-06
Filing date: 2023-01-06
Publication date: 2023-05-12
Anticipated expiration: 2043-01-06
Also published as: CN115908509A

Abstract

本发明提供一种基于航向恒定船舶的远海序列光学遥感影像配准方法，包括：获取待测遥感影像，对待测遥感影像进行船舶检测，获得多艘船舶的航迹信息；通过阈值分割和外接矩形算法，从待测遥感影像提取每艘船舶在每一帧影像中的航向；根据航迹信息计算每艘船舶的目标航迹方向，利用目标航迹方向修正每艘船舶在每一帧影像中的航向；计算修正后的每艘船舶在所有帧影像中的航向均值，根据修正后的每艘船舶在每一帧影像中的航向与航向均值之差，从多艘船舶中确定出航向恒定船舶，得到航向恒定船舶的航向；根据航向恒定船舶的航向和航迹信息，建立关于影像偏移量的方程组，通过求解方程组确定影像帧间偏移量，利用影像帧间偏移量对待测遥感影像进行配准。

Description

基于航向恒定船舶的远海序列光学遥感影像配准方法

技术领域

本发明涉及光学序列遥感图像配准技术领域，尤其涉及一种基于航向恒定船舶的远海序列光学遥感影像配准方法。

背景技术

静止轨道光学遥感卫星能够采集一个区域内的连续帧光学影像，在航运监测中具有重要的作用。但由于卫星姿态容易受到轻微扰动，序列图像的定位存在差异，将一组图像按照RGB的方式拼接后可以发现地物之间存在明显的偏差。这种偏差的存在会导致船舶在不同时刻的相对位置存在偏差，进而影响到船舶航向和航速的估算，对航运监测存在不利的影响。

为解决遥感图像间的定位偏差，一般采用基于图像的配准算法进行图像配准。图像配准基本遵循基于特征点对构建空间变换矩阵的方案，具体如下：首先利用特征点提取算法（如SIFT算子提取）从两幅图像中提取特征点；进一步利用相似度度量函数从两幅图像的特征点中筛选属于同一位置的特征点对，即同名点对；在此基础上，利用同名点对的坐标构建两幅图像间的仿射变换矩阵，最终基于该变换矩阵对图像进行重建和配准。

但是，对于成像区域是海面的序列遥感图像，基于同名点的图像配准算法无法获取稳定的参考点，无法建立准确的仿射变化矩阵。基于同名点对的图像配准算法是建立在图像中的物体形态不发生变化、物体不发生不可知位移的基础上的。而在茫茫大海上，物体形态不稳定（如海波、云等），位置不稳定（物体位置随时间变化而变化），难以满足基于同名点对的配准算法的基本假设。

发明内容

鉴于上述问题，本发明提供了一种基于航向恒定船舶的远海序列光学遥感影像配准方法。

本发明提供了一种基于航向恒定船舶的远海序列光学遥感影像配准方法，包括：步骤S1，获取待测遥感影像，对待测遥感影像进行船舶检测，获得多艘船舶的航迹信息；步骤S2，通过阈值分割和外接矩形算法，从待测遥感影像提取每艘船舶在每一帧影像中的航向；步骤S3，根据航迹信息计算每艘船舶的目标航迹方向，利用目标航迹方向修正每艘船舶在每一帧影像中的航向；步骤S4，计算修正后的每艘船舶在所有帧影像中的航向均值，根据修正后的每艘船舶在每一帧影像中的航向与航向均值之差，从多艘船舶中确定出航向恒定船舶，得到航向恒定船舶的航向；步骤S5，根据航向恒定船舶的航向和航迹信息，建立关于影像偏移量的方程组，通过求解方程组确定影像帧间偏移量，利用影像帧间偏移量对待测遥感影像进行配准。

进一步地，在步骤S1，对待测遥感影像进行船舶检测，获得多艘船舶的航迹信息，具体包括：步骤S11，采用预设的船舶检测算法对待测遥感影像进行检测，获得多个目标的外接矩形框，外接矩形框的中心为船舶中心；步骤S12，采用预设的船舶关联算法从多个目标的外接矩形框获得多艘船舶的航迹信息。

进一步地，船舶检测算法采用YOLOv4船舶检测算法，船舶关联算法采用综合同步轨道序列光学影像时空信息的船舶关联算法。

进一步地，步骤S2具体包括：步骤S21，采用OTSU算法对待测遥感影像进行阈值分割形成多帧影像，从多帧影像提取包含目标的像素区域；步骤S22，采用最小外接矩形算法获取像素区域的最小外接矩形；步骤S23，根据最小外接矩形的坐标，计算出每艘船舶在每一帧影像中的航向。

进一步地，在步骤S3，每艘船舶的目标航迹方向按照以下公式计算得出：

式中， N为船舶数量； V _i为第 i艘船舶的航迹方向；为第 i艘船舶在第1帧影像中的水平和竖直坐标信息；为第 i艘船舶在第 L帧影像中的水平和竖直坐标信息； L为航迹长度。

进一步地，在步骤S3，按照以下公式修正每艘船舶在每一帧影像中的航向：

式中，为第 i艘船舶在第 j帧影像中的航向；为修正后的第 i艘船舶在第 j帧影像中的航向。

进一步地，在步骤S4，按照以下公式从多艘船舶中确定出航向恒定船舶：

式中，为修正后的第 i艘船舶在所有帧影像中的航向均值； Consis _i为第 i艘船舶的状态判定，取值为1表示第 i艘船舶为航向恒定船舶，取值为0则表示非航向恒定船舶。

进一步地，在步骤S4，航向恒定船舶的航向为航向恒定船舶在所有帧影像中的航向均值。

进一步地，步骤S5具体包括：步骤S51，获取多个航向恒定船舶的航迹信息和航向，设定相邻两帧影像之间的水平方向偏移量和竖直方向偏移量，建立关于影像偏移量的方程组；步骤S52，求解方程组的最优解，获得影像帧间偏移量；步骤S53，利用影像帧间偏移量对待测遥感影像进行配准。

进一步地，在步骤S51，在配准第1艘船舶的第1帧影像与第2帧影像时，建立如下关于影像偏移量的方程组：

式中，为各个航向恒定船舶的航向； M为航向恒定船舶的数量；为第1帧影像与第2帧影像之间的水平方向偏移量和竖直方向偏移量；为第1艘船舶在第1帧影像中的水平和竖直坐标信息；为第2艘船舶在第1帧影像中的水平和竖直坐标信息。

与现有技术相比，本发明提供的基于航向恒定船舶的远海序列光学遥感影像配准方法，至少具有以下有益效果：

本发明针对海上序列光学遥感影像难以寻找稳定的配准参考点的问题，通过提取航向恒定的船舶目标，并基于这些船舶目标建立关于影像偏移量的方程组，通过计算方程组的解可以确定影像帧间偏移量，利用该偏移量对遥感影像进行配准。本发明能够有效解决无稳定参考点的海上序列光学遥感影像的配准问题。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本发明实施例的基于航向恒定船舶的远海序列光学遥感影像配准方法的流程图；

图2示意性示出了根据图1的算法流程图；

图3示意性示出了根据本发明实施例的航迹信息获得过程的流程图；

图4示意性示出了根据本发明实施例的船舶航向提取过程的流程图；

图5示意性示出了根据本发明实施例的船舶航向提取过程的对比图，其中，(a)为船舶切片，(b)为阈值分割后的包含目标的像素区域，(c)为最小外接矩形；

图6示意性示出了根据本发明实施例的帧间几何配准过程的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

一般情况下，在远海光学序列遥感图像中会存在大量处在运动状态的船舶，其中多数船舶在短时间窗口内的航速和航向均是稳定不变的，利用这些船舶可以进行帧间配准。有鉴于此，本发明提出了一种基于航向恒定船舶的远海序列光学遥感影像配准方法。

图1示意性示出了根据本发明实施例的基于航向恒定船舶的远海序列光学遥感影像配准方法的流程图。图2示意性示出了根据图1的算法流程图。

如图1所示，根据该实施例的基于航向恒定船舶的远海序列光学遥感影像配准方法，可以包括步骤S1~步骤S5。

步骤S1，获取待测遥感影像，对待测遥感影像进行船舶检测，获得多艘船舶的航迹信息。

本步骤包含船舶检测和关联两个过程。具体而言，图3示意性示出了根据本发明实施例的航迹信息获得过程的流程图。如图3所示，对待测遥感影像进行船舶检测，获得多艘船舶的航迹信息，可以进一步包括步骤S11~步骤S12。

步骤S11，采用预设的船舶检测算法对待测遥感影像进行检测，获得多个目标的外接矩形框，外接矩形框的中心为船舶中心。

步骤S12，采用预设的船舶关联算法从多个目标的外接矩形框获得多艘船舶的航迹信息。

示例性地，船舶检测算法采用YOLOv4船舶检测算法，船舶关联算法采用综合同步轨道序列光学影像时空信息的船舶关联算法。

通过上述实施例，在船舶检测方面，可以采用现有的YOLOv4船舶检测算法对待测遥感影像进行检测，获得目标的外接矩形框，该外接矩形框的中心为船舶中心。在目标关联方面，可以采用专利CN113989683A中的船舶关联算法，也即采用综合同步轨道序列光学影像时空信息的船舶关联算法，获取船舶航迹信息。为了便于说明，假设场景中有N艘船舶，利用上述算法获得多艘船舶的航迹信息表示为：

式中， T _i为第 i艘船舶的航迹信息；为第 i艘船舶在第 L帧影像中的水平和竖直坐标信息； L为航迹长度。

步骤S2，通过阈值分割和外接矩形算法，从待测遥感影像提取每艘船舶在每一帧影像中的航向。

本步骤是基于图像的船舶航向提取过程。具体而言，图4示意性示出了根据本发明实施例的船舶航向提取过程的流程图。图5示意性示出了根据本发明实施例的船舶航向提取过程的对比图，其中，(a)为船舶切片，(b)为阈值分割后的包含目标的像素区域，(c)为最小外接矩形。

请参阅图4和图5，上述步骤S2可以进一步包括步骤S21~步骤S23。

步骤S21，采用OTSU算法对待测遥感影像进行阈值分割形成多帧影像，从多帧影像提取包含目标的像素区域。

步骤S22，采用最小外接矩形算法获取像素区域的最小外接矩形。

OTSU算法（最大类间方差法）是一种确定图像二值化分割阈值的算法，由日本学者大津于1979年提出。本发明实施例采用OTSU算法进行阈值分割，在局部区域内提取出属于目标的像素区域。在此基础上，采用最小外接矩形算法获取目标的最小外接矩形。

步骤S23，根据最小外接矩形的坐标，计算出每艘船舶在每一帧影像中的航向。

根据最小外接矩形四角点坐标确定目标长边，并计算长边与X轴正方向的夹角，将该夹角设定为船舶航。由此，每艘船舶在每一帧影像中的航向可以表示为：

式中，为第 i艘船舶的航向；为第 i艘船舶在第 L帧影像中的航向。

步骤S3，根据航迹信息计算每艘船舶的目标航迹方向，利用目标航迹方向修正每艘船舶在每一帧影像中的航向。

本步骤是基于运动方向的航向修正过程。由于光学序列遥感影像分辨率过低，难以准确确定船头的方向，因而上述步骤S2求得的船舶航向存在两种可能性。为去除这一不确定性，本发明实施例利用目标航迹方向修正步骤S2中的每一帧中目标的航向。

本发明实施例中，每艘船舶的目标航迹方向按照以下公式计算得出：

接着，当求得第 i艘船舶的目标航迹方向 V _i与该船舶的当前某一帧影像中的航向的夹角小于90度时，则当前该帧影像中的航向为准确方向，否则，将当前该帧影像中的航向旋转180度。也即，按照以下公式修正每艘船舶在每一帧影像中的航向：

步骤S4，计算修正后的每艘船舶在所有帧影像中的航向均值，根据修正后的每艘船舶在每一帧影像中的航向与航向均值之差，从多艘船舶中确定出航向恒定船舶，得到航向恒定船舶的航向。

本步骤用于判断每艘船舶的航向是否恒定。理想情况下，若一艘船舶的整体航向 V _i与每一帧图像中的航向完全相同，则可以判定该目标的航向是恒定的，但由于阈值分割、连通域提取以及最小外接矩形计算过程中可能存在的偏差，基于图像提取出的船舶目标航向存在一定的误差。因此，本发明实施例采用统计学方案解决这一问题。

首先，确定修正后的每艘船舶 i在所有帧影像中的航向均值，也即：

式中，为修正后的第 i艘船舶在所有帧影像中的航向均值。

接着，船舶 i在任意一帧影像中的航向与航向均值之差均小于1度，则认为这一误差来源于随意误差，船舶方向恒定。若船舶 i存在一帧影像中的航向与航向均值之差均大于1度，则认为该船舶航向不稳定，不予采用。也即，按照以下公式从多艘船舶中确定出航向恒定船舶：

式中， Consis _i为第 i艘船舶的状态判定，取值为1表示第 i艘船舶为航向恒定船舶，取值为0则表示非航向恒定船舶。

在判定出航向恒定船舶后，每个航向恒定船舶的航向为该航向恒定船舶在所有帧影像中的航向均值。也即，航向恒定船舶 m的航向确定为：

式中， M为航向恒定船舶的数量；为航向恒定船舶 m在第 j帧影像中的修正航向。至此，获得了航向恒定船舶及其航向。

步骤S5，根据航向恒定船舶的航向和航迹信息，建立关于影像偏移量的方程组，通过求解方程组确定影像帧间偏移量，利用影像帧间偏移量对待测遥感影像进行配准。

本步骤是基于航迹的帧间几何配准过程。具体而言，图6示意性示出了根据本发明实施例的帧间几何配准过程的流程图。如图6所示，本发明实施例中，步骤S5可以进一步包括步骤S51~步骤S53。

步骤S51，获取多个航向恒定船舶的航迹信息和航向，设定相邻两帧影像之间的水平方向偏移量和竖直方向偏移量，建立关于影像偏移量的方程组。

示例性地，给定 M个航向稳定船舶的航迹，各个航迹的航向为，并且各航向均不相同。以配准第1艘船舶的第1帧影像与第2帧影像为例，设定相邻两帧影像之间的水平方向偏移量和竖直方向偏移量为，且设向右、向上为 x, y的正方向，则建立如下关于影像偏移量的方程组：

为了简化计算过程，假设变量 P和 d为：

则有：

步骤S52，求解方程组的最优解，获得影像帧间偏移量。

步骤S53，利用影像帧间偏移量对待测遥感影像进行配准。

本发明实施例设定影像帧间偏移量，利用该偏移量对每艘航向恒定船舶的图上位置进行修正，修正后的位置应当满足船舶航向一致性要求，即修正后的位置应当位于船舶的航向延长线上。基于此，本发明实施例建立关于影像帧间偏移量的约束函数，通过求解该函数的最优解获得影像帧间偏移量。

以下给出一具体实施例的基于航迹的帧间几何配准过程。假设一个场景中的两帧图像偏差为：相对第1帧图像，第2帧图像水平方向向右偏移1像素，竖直方向向上偏移33像素。场景中存在两个匀速运动的物体，目标1在两帧中的位置分别为（124, 239），（175,156），航向为45度。目标2在两帧中的位置分别为（137, 519），（178, 526），航向为-45度。

根据已知的航迹和航向信息，可以构建如下方程组：

也即两帧图像之间水平和竖直方向的偏移为1和33，则目标实际位置应该为（174,189）和（177,559），与实际偏移一致。

通过上述公开的实施例，本发明针对海上序列光学遥感影像难以寻找稳定的配准参考点的问题，通过提取航向恒定的船舶目标，并基于这些船舶目标建立关于影像偏移量的方程组，通过计算方程组的解可以确定影像帧间偏移量，利用该偏移量对遥感影像进行配准。本发明能够有效解决无稳定参考点的海上序列光学遥感影像的配准问题。

附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。此外，位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，包括：

步骤S1，获取待测遥感影像，对所述待测遥感影像进行船舶检测，获得多艘船舶的航迹信息；

步骤S2，通过阈值分割和外接矩形算法，从所述待测遥感影像提取每艘船舶在每一帧影像中的航向；

步骤S3，根据所述航迹信息计算每艘船舶的目标航迹方向，利用所述目标航迹方向修正所述每艘船舶在每一帧影像中的航向；

步骤S4，计算修正后的每艘船舶在所有帧影像中的航向均值，根据修正后的每艘船舶在每一帧影像中的航向与所述航向均值之差，从所述多艘船舶中确定出航向恒定船舶，得到所述航向恒定船舶的航向；

步骤S5，根据所述航向恒定船舶的航向和所述航迹信息，建立关于影像偏移量的方程组，通过求解所述方程组确定影像帧间偏移量，利用所述影像帧间偏移量对所述待测遥感影像进行配准；

其中，所述步骤S2具体包括：

步骤S21，采用OTSU算法对所述待测遥感影像进行阈值分割形成多帧影像，从所述多帧影像提取包含目标的像素区域；

步骤S22，采用最小外接矩形算法获取所述像素区域的最小外接矩形；

步骤S23，根据所述最小外接矩形的坐标，计算出每艘船舶在每一帧影像中的航向；

在步骤S3，所述每艘船舶的目标航迹方向按照以下公式计算得出：，

式中，N为船舶数量；V _i为第i艘船舶的航迹方向；为第i艘船舶在第1帧影像中的水平和竖直坐标信息；为第i艘船舶在第L帧影像中的水平和竖直坐标信息；L为航迹长度。

2.根据权利要求1所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，在步骤S1，对所述待测遥感影像进行船舶检测，获得多艘船舶的航迹信息，具体包括：

步骤S11，采用预设的船舶检测算法对所述待测遥感影像进行检测，获得多个目标的外接矩形框，所述外接矩形框的中心为船舶中心；

步骤S12，采用预设的船舶关联算法从所述多个目标的外接矩形框获得多艘船舶的航迹信息。

3.根据权利要求2所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，所述船舶检测算法采用YOLOv4船舶检测算法，所述船舶关联算法采用综合同步轨道序列光学影像时空信息的船舶关联算法。

4.根据权利要求1所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，在步骤S3，按照以下公式修正所述每艘船舶在每一帧影像中的航向：，

式中，为第i艘船舶在第j帧影像中的航向；为修正后的第i艘船舶在第j帧影像中的航向。

5. 根据权利要求4所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，在步骤S4，按照以下公式从所述多艘船舶中确定出航向恒定船舶：，

，

式中，为修正后的第i艘船舶在所有帧影像中的航向均值；Consis _i为第i艘船舶的状态判定，取值为1表示第i艘船舶为航向恒定船舶，取值为0则表示非航向恒定船舶。

6.根据权利要求1所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，在步骤S4，所述航向恒定船舶的航向为所述航向恒定船舶在所有帧影像中的航向均值。

7.根据权利要求1所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，所述步骤S5具体包括：

步骤S51，获取多个所述航向恒定船舶的航迹信息和航向，设定相邻两帧影像之间的水平方向偏移量和竖直方向偏移量，建立关于影像偏移量的方程组；

步骤S52，求解所述方程组的最优解，获得影像帧间偏移量；

步骤S53，利用所述影像帧间偏移量对所述待测遥感影像进行配准。

8.根据权利要求7所述的基于航向恒定船舶的远海序列光学遥感影像配准方法，其特征在于，在步骤S51，在配准第1艘船舶的第1帧影像与第2帧影像时，建立如下关于影像偏移量的方程组：，

式中，为各个航向恒定船舶的航向；M为航向恒定船舶的数量；为第1帧影像与第2帧影像之间的水平方向偏移量和竖直方向偏移量；为第1艘船舶在第1帧影像中的水平和竖直坐标信息；为第2艘船舶在第1帧影像中的水平和竖直坐标信息。