CN110807424B - 一种基于航拍图像的港口船舶比对方法 - Google Patents

Abstract

本发明公开了一种基于航拍图像的港口船舶比对方法，包括如下步骤：对可见光视频图像进行海面区域分割，得到水面区域的掩码图像；再在图像中根据直线特征与空间位置关系，提取海岸线；然后在海岸线以外的海面区域内，进行停靠船舶的检测与匹配；最终在图像中用不同颜色矩形框，分别标注出匹配成功的船舶与未匹配的船舶。本发明利用无人机GNSS定位功能，拍照时记录无人机精确地理位置、云台姿态，并通过图像处理算法对图像进行匹配分析、去噪，在图像中标注出匹配的船舶与未匹配的船舶，为地面监控人员提供了有效信息。与现有技术相比，本发明实现了无人机的高效、智能化的港口监管，减少了人力，提高了港口监管的自动化程度。

Description

一种基于航拍图像的港口船舶比对方法

技术领域

本发明涉及航拍图像匹配技术领域，具体为一种基于航拍图像的港口船舶比对方法，主要用于港口监管，实现对船舶离港报警、到港报警、非法停靠报警。

背景技术

近几年来，随着无人机行业飞速发展，无人机也越来越多应用于港口、海岸线的监管。在港口中，海岸线长、作业范围大、环境复杂，如果仅依靠人力，不仅耗费较多资源，并且难以实现大范围的船舶监管。采用图像处理技术的自动图像匹配，对于节省人力、提高监管效率，有重要意义。因此，我们提出一种基于航拍图像的港口船舶比对方法。

发明内容

本发明的目的在于提供一种基于航拍图像的港口船舶比对方法，实现了无人机的港口船舶自动监控，提高了无人机港口监控的智能化程度和效率，减少了人力，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于航拍图像的港口船舶比对方法，包括以下步骤：

对图像进行海面区域的分割与海岸线提取；

对图像进行停靠船舶的检测与匹配。

优选的，所述对图像进行海面区域的分割与海岸线提取过程中提取了海面、海岸线的空间信息，用于协助定位船舶位置，最终进行船舶的匹配。

优选的，所述对图像进行海面区域的分割方法包括：

采用AC算法提取图像显著性特征，然后进行二值化处理，分割得到图像中可能为海面的n个区域～；

在可能为海面的多个区域中，对每个区域进行面积计算，得到面积最大的区域；

对图像进行RGB到HSV色彩空间的转换，在的质心撒播1个种子点，通过漫水填充的方式，标注所有与种子点H值相差小于的像素，作为海面区域。

优选的，所述对图像进行海岸线提取的方法包括：

对图像进行霍夫直线检测，得到k条直线～；

对直线～遍历，根据海岸线两侧一侧是海、一侧是陆地的特征，进行直线筛选，得到符合海岸线特征的直线。

优选的，所述对图像进行停靠船舶的检测与匹配中对船舶检测的方法包括：

在海岸线以外的海面区域内，采用AC算法提取图像显著性特征，然后进行二值化处理，分割得到船舶区域。

优选的，所述对图像进行停靠船舶的检测与匹配中对船舶匹配的方法包括：

对于两幅图像，选择海岸线以外的区域，作为待处理的感兴趣区域；

对两幅图像进行基于ORB方法的特征点提取与特征点描述，并采用BruteForce进行两幅图像特征点的匹配；

采用GMS方法对匹配的特征点进行筛选去噪，得到高鲁棒性的匹配点集；

对于每个船舶区域，计算该区域内部的匹配点数量，超过某阈值时，认为是匹配的船舶，否则认为是未匹配的船舶。

与现有技术相比，本发明的有益效果是：本发明提供的一种基于航拍图像的港口船舶比对方法，在无人机港口监管过程中，一共有多次飞行任务。第一次飞行目的为采集样本，无人机保持约140～200米高度，利用无人机自稳云台搭载的摄像头向下方拍摄（俯仰角-85°～-95°），以获取船舶图像集，并在每幅图像中叠加pos数据，该次飞行拍摄的图像作为比对参考样本。后续每次飞行任务之前，读取第一次飞行所采集到的图像集中的pos信息，自动生成航线，并使云台在飞行过程中保持和第一次飞行一致的姿态；如果当前经纬度和样本集中某张图像的经纬度接近（距离小于某个阈值），立即加载样本图像、当前图像，通过算法处理，得到两张图像中，匹配到的船舶以及未匹配到的船舶的像素坐标，同时在图像中叠加目标框，并在后端地面站平台进行语音报警。与现有技术相比，本发明实现了无人机的港口船舶自动监控，提高了无人机港口监控的智能化程度和效率，减少了人力。

附图说明

图1为本发明的一种基于航拍图像的港口船舶比对方法的流程示意图；

图2为本发明港口监管场景示意图；

图3为本发明样本图像与当前图像示意图；

图4为本发明海面区域标注示意图；

图5为本发明图像匹配示意图；

图6为本发明船舶标注示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明利用图像处理技术，对两幅图像中的船舶目标进行检测、匹配，并将目标的方框叠加到图像中，并在地面站实现声音报警

请参阅图1～图6所示，本发明提供的一种基于航拍图像的港口船舶比对方法，包括以下步骤：

首先，如图2所示，无人机保持合适的飞行高度和云台姿态，对港口海岸线停靠的船舶拍摄；

其次，如图3所示，根据当前经纬度、样本图像的经纬度信息，自动加载样本图像，同时获取当前图像；

再次，如图4所示，根据海面区域显著性低、港口和船舶区域显著性高的特性，进行图像显著性检测，得到可能为海面的候选区域，然而，仅有显著性检测无法准确标注出海面区域，需要对候选区域进行筛选，得到最大的候选区域，由漫水填充标注出属于海面的所有像素，接着，通过直线提取和筛选，得到海岸线，并在海岸线以外的海面区域内，采用AC算法提取图像显著性特征，然后进行二值化处理，分割得到船舶区域；

最后，如图5和图6所示，对于两幅图像，选择海岸线以外的区域，作为待处理的感兴趣区域（ROI），在该区域中，对两幅图像进行特征点的匹配和筛选去噪，得到高鲁棒性的匹配点集，并对于每个船舶区域，通过匹配点数量判定是否为匹配的船舶，通过绿色矩形框标注出匹配的船舶，红色矩形框标注出未匹配的船舶。

本发明通过图像和无人机pos数据的结合，并通过图像处理的方式，匹配同一场景不同时刻的船舶目标。无人机第一次飞行时，采集图像并在图像中叠加pos信息，作为参考样本，后续的飞行任务中，自动生成航线，并根据当前经纬度自动加载样本图像，自动实现比对，将坐标框叠加到当前图像中，并给出报警信号，提示值守人员。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于航拍图像的港口船舶比对方法，其特征在于，包括以下步骤：

无人机保持合适的飞行高度和云台姿态，对港口海岸线停靠的船舶拍摄；根据当前经纬度、样本图像的经纬度信息，自动加载样本图像，同时获取当前图像；根据海面区域显著性低、港口和船舶区域显著性高的特性，进行图像显著性检测，得到可能为海面的候选区域，然而，仅有显著性检测无法准确标注出海面区域，需要对候选区域进行筛选，得到最大的候选区域，由漫水填充标注出属于海面的所有像素，接着，通过直线提取和筛选，得到海岸线，并在海岸线以外的海面区域内，采用AC算法提取图像显著性特征，然后进行二值化处理，分割得到船舶区域；对于两幅图像，选择海岸线以外的区域，作为待处理的感兴趣区域，在该区域中，对两幅图像进行特征点的匹配和筛选去噪，得到高鲁棒性的匹配点集，并对于每个船舶区域，通过匹配点数量判定是否为匹配的船舶，通过绿色矩形框标注出匹配的船舶，红色矩形框标注出未匹配的船舶；其中无人机第一次飞行时，采集图像并在图像中叠加pos信息，作为参考样本，后续的飞行任务中，自动生成航线，并根据当前经纬度自动加载样本图像，自动实现比对，将坐标框叠加到当前图像中，并给出报警信号，提示值守人员。

2.根据权利要求1所述的一种基于航拍图像的港口船舶比对方法，其特征在于：对图像进行海面区域的分割与海岸线提取过程中提取了海面、海岸线的空间信息，用于协助定位船舶位置，最终进行船舶的匹配。

3.根据权利要求1所述的一种基于航拍图像的港口船舶比对方法，其特征在于：对图像进行停靠船舶的检测与匹配中对船舶匹配的方法包括：

对于两幅图像，选择海岸线以外的区域，作为待处理的感兴趣区域；

对两幅图像进行基于ORB方法的特征点提取与特征点描述，并采用BruteForce进行两幅图像特征点的匹配；

采用GMS方法对匹配的特征点进行筛选去噪，得到高鲁棒性的匹配点集；

对于每个船舶区域，计算该区域内部的匹配点数量，超过某阈值时，认为是匹配的船舶，否则认为是未匹配的船舶。