CN111026831A - 一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法 - Google Patents

Abstract

本发明揭示了一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法，包括：通过分布式并行化的机器学习对海上驻留点进行初步分析，采用卫星地图图像处理对所述海上驻留点进行筛选，得到最终船舶位置。本发明提供了一种航运信息挖掘方案，能够为航运从业者提供了关键信息，例如可用于港口位置挖掘等。

Description

一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法

技术领域

本发明属于航运关键位置挖掘技术领域，具体涉及一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法。

背景技术

传统港口关键位置挖掘技术，主要是基于卫星遥感影像(如灰度遥感图像、高分辨率遥感图像、SAR遥感图像等)，通过海陆分割、港口轮廓提取、特征提取等步骤进行识别的。然而，该港口识别方法无法识别出偏僻或私人的小港口。

所以，针对上述技术问题，有必要提供一种新型的港口位置挖掘技术，为航运从业者提供精确的港口关键信息。

发明内容

有鉴于此，本发明的目的在于提供一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法。

为了实现上述目的，本发明一实施例提供的技术方案如下：

一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法，所述方法包括：

S100，通过分布式并行化的机器学习对海上驻留点进行初步分析；

S200，采用卫星地图图像处理对所述海上驻留点进行筛选，得到最终船舶位置。

一实施例中，所述分布式并行化的机器学习基于Spark大数据计算框架的网格聚类算法。

一实施例中，所述卫星地图图像处理处理的是卫星瓦片地图数据，通过所述卫星瓦片地图的颜色阈值判断驻留点是否靠岸。

一实施例中，所述方法还包括：在步骤S100之前，将Ais数据上传至分布式文件系统。

一实施例中，所述方法还包括：在S200之后，将筛选结果输出到分布式文件系统上，得到最终港口位置。

一实施例中，所述S100包括：

S101，对全量数据进行初步筛选，在映射阶段遍历所有数据记录，并按照相关字段初步对驻留点进行保留，所述字段包括速度、抛锚字段；

S102，对驻留点进行分析，通过经纬度位置精度确定网格大小，并划分网格；

S103，将每个驻留点的网格信息作为key，原始经纬度数据作为value，输出<key,value>二元组到下一个阶段。

一实施例中，所述S100还包括：

S104，对上一阶段的二元组<key,value>中的key相同的二元组进行合并，并对value进行统计，得到网格内的位置均值和位置数量；

S105，基于S104中的结果求出所有点的距离矩阵dis＝[n,n],n为数据的个数，为大于等于0的自然数；

S106，如果e取值为3，所述距离矩阵dis的每一行中大于3的所有点个数的和若大于MinPts，则为1个类别；

S107，将所有类别进行重复检查，若有重复值则合并，直至没有重复；

S108，将同类别中的位置点按位置个数进行加权平均，得到结果。

一实施例中，所述S200包括：

S201，对驻留点下载所属的卫星瓦片地图，当所述卫星瓦片地图格式为颜色为#a3ccff和#fcf9f2的二色图像时，来判断驻留点是否靠岸；

S202，对所述二色图像进行判断，去除只有单色的图像。

本发明具有以下有益效果：本发明利用了分布式并行化的机器学习技术、图像处理技术，对海量Ais轨迹数据和卫星图像进行分析处理，得到了轨迹中的靠岸常驻点，进而为航运从业者提供了关键信息，例如可用于港口位置挖掘等。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明方法的流程示意图；

图2、图3分别为本发明分布式算法两个阶段的流程示意图；

图4为本发明网格聚类示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明所揭示的一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法，通过分布式并行化的机器学习技术聚类算法来对海上驻留点进行初步分析，并且采用卫星地图图像处理技术进行筛选，得到最终关键位置。进而为航运从业者提供了关键信息，例如可用于港口位置挖掘等。

具体地，如图1所示，本发明实施例所揭示的一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法，包括：

步骤100，将Ais(Automatic identification System，船舶自动识别系统)数据上传至分布式文件系统。

步骤200，通过分布式并行化的机器学习对海上驻留点进行初步分析。

本实施例中，对步骤1中的Ais数据集使用Spark大数据计算框架的网格聚类算法进行计算，对海上驻留点进行初步分析。其中，spark是一个实现快速通用的集群计算平台。

具体地，结合图2至图4所示，步骤200包括：

S201，对全量数据进行初步筛选，在映射阶段遍历所有数据记录，并按照相关字段初步对驻留点进行保留，所述字段包括速度、抛锚字段；

S202，对驻留点进行分析，通过经纬度位置精度确定网格大小，并划分网格；

S203，将每个驻留点的网格信息作为key，原始经纬度数据作为value，输出<key,value>二元组到下一个阶段；

S204，对上一阶段的二元组<key,value>中的key相同的二元组进行合并，并对value进行统计，得到网格内的位置均值和位置数量；

S205，基于S204中的结果求出所有点的距离矩阵dis＝[n,n],n为数据的个数，为大于等于0的自然数；

S206，如果e取值为3，所述距离矩阵dis的每一行中大于3的所有点个数的和若大于MinPts，则为1个类别；

S207，将所有类别进行重复检查，若有重复值则合并，直至没有重复；

S208，将同类别中的位置点按位置个数进行加权平均，得到结果。

步骤300，采用卫星地图图像处理对所述海上驻留点进行筛选，得到最终船舶位置。

本实施例中，下载处理后驻留点所在的卫星瓦片地图，通过卫星瓦片地图的颜色阈值判断驻留点是否靠岸。

具体地，步骤300包括：

S301，对驻留点下载所属的卫星瓦片地图，当所述卫星瓦片地图格式为颜色为#a3ccff和#fcf9f2的二色图像时，来判断驻留点是否靠岸；

S302，对所述二色图像进行判断，去除只有单色的图像。

步骤400，将结果输出到分布式文件系统上得到最终结果。

由以上技术方案可以看出，本发明具有以下优点：提供了一种基于Ais轨迹数据和卫星图像的航运信息挖掘方案，为航运从业者提供了关键信息，例如可用于港口位置挖掘等。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书一个或多个实施例的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.一种基于Ais轨迹数据和卫星图像的航运信息挖掘方法，其特征在于，所述方法包括：

S100，通过分布式并行化的机器学习对海上驻留点进行初步分析；

S200，采用卫星地图图像处理对所述海上驻留点进行筛选，得到最终船舶位置。

2.根据权利要求1所述的航运信息挖掘方法，其特征在于，所述分布式并行化的机器学习基于Spark大数据计算框架的网格聚类算法。

3.根据权利要求1所述的航运信息挖掘方法，其特征在于，所述卫星地图图像处理处理的是卫星瓦片地图数据，通过所述卫星瓦片地图的颜色阈值判断驻留点是否靠岸。

4.根据权利要求1所述的航运信息挖掘方法，其特征在于，所述方法还包括：在步骤S100之前，将Ais数据上传至分布式文件系统。

5.根据权利要求1或4所述的航运信息挖掘方法，其特征在于，所述方法还包括：在S200之后，将筛选结果输出到分布式文件系统上，得到最终港口位置。

6.根据权利要求1所述的航运信息挖掘方法，其特征在于，所述S100包括：

S101，对全量数据进行初步筛选，在映射阶段遍历所有数据记录，并按照相关字段初步对驻留点进行保留，所述字段包括速度、抛锚字段；

S102，对驻留点进行分析，通过经纬度位置精度确定网格大小，并划分网格；

S103，将每个驻留点的网格信息作为key，原始经纬度数据作为value，输出<key,value>二元组到下一个阶段。

7.根据权利要求6所述的航运信息挖掘方法，其特征在于，所述S100还包括：

S104，对上一阶段的二元组<key,value>中的key相同的二元组进行合并，并对value进行统计，得到网格内的位置均值和位置数量；

S105，基于S104中的结果求出所有点的距离矩阵dis＝[n,n],n为数据的个数，为大于等于0的自然数；

S106，如果e[MS1]取值为3，所述距离矩阵dis的每一行中大于3的所有点个数的和若大于MinPts，则为1个类别；

S107，将所有类别进行重复检查，若有重复值则合并，直至没有重复；

S108，将同类别中的位置点按位置个数进行加权平均，得到结果。

8.根据权利要求7所述的航运信息挖掘方法，其特征在于，所述S200包括：

S201，对驻留点下载所属的卫星瓦片地图，当所述卫星瓦片地图格式为颜色为#a3ccff和#fcf9f2的二色图像时，来判断驻留点是否靠岸；

S202，对所述二色图像进行判断，去除只有单色的图像。

Images