CN114090555A

CN114090555A - 一种ais数据处理方法及系统

Info

Publication number: CN114090555A
Application number: CN202111252885.0A
Authority: CN
Inventors: 王乐凯; 袁小平; 孔宪聪; 穆珂
Original assignee: Beiming Chenggong Software Shandong Co ltd
Current assignee: Beiming Chenggong Software Shandong Co ltd
Priority date: 2021-10-27
Filing date: 2021-10-27
Publication date: 2022-02-25

Abstract

本发明公开了一种AIS数据处理方法及系统，该方法包括：采集AIS数据，形成AIS数据消息；判断AIS数据消息中的数据是否存在异常，对AIS数据消息中的数据进行异常去除处理；对异AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；建立AIS数据计算基础模型；将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库。本发明实现了基于高质量AIS数据构建符合空间数据应用的数据资源池，可在此基础上基于标准数据服务实现数据的安全共享开放及相关监控管理。

Description

一种AIS数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，具体来说，涉及一种AIS数据处理方法及系统。

背景技术

船舶自动识别系统(Automatic Identification System，AIS)是一种新型的船舶避碰系统，也称无线电应答系统，用于船舶之间、船岸之间自动应答和识别，由AIS船台和AIS岸站系统组成，通过增强船舶识别和船舶动态信息收集的功能，实现船岸之间的信息传输和交换，可在航行安全、交通控制和海事管理方面发挥十分重要的作用。我国海事局自2003年起在沿海和内河沿岸建设船舶AIS岸基网络系统，同时在运输船舶上配备AIS船台，现已建成覆盖全国所有沿海水域和内河四级以上高等级航道水域的岸基网络。

随着该系统的深入推广和应用，海量船舶AIS数据不断积累，为后续数据分析应用创造了条件。船舶AIS数据内容丰富，能够从微观层面准确、真实地还原单条船舶的历史航行轨迹，从宏观层面反映群体船舶的航行特征、航道繁忙程度、港口作业效率、区域经济运行趋势和特点，对于行业管理部门和企业掌握行业发展态势、进行宏观决策等具有重要的支撑作用。

然而，目前针对AIS数据处理方法相对较少，大致分为两类：基于单船单轨迹的AIS数据处理方法和基于统计模型的AIS数据处理方法。其中，基于单船单轨迹的AIS数据处理方法依据船舶的AIS数据，如船舶自身位置、速度与航向等，判断异常数据并进行修复，该处理方法比较简单，不需要历史数据，但依赖于判别模型，无法在高速采样AIS数据信息的小区域内应用，普适性较弱；基于统计模型的AIS数据处理方法主要采用给定的AIS数据集，建立船舶正常行为的统计模型，再应用统计模型对目标实例进行判断，该处理方法具有较强的普适性，但在使用时仍需进行数据的物理完整性、空间逻辑完整性和时间精度识别等，处理过程比较复杂。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

为了解决相关技术中的上述技术问题，本发明提出一种AIS数据处理方法及系统。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种AIS数据处理方法。

该AIS数据处理方法，包括：

采集AIS数据，并将采集的所有AIS数据写入到消息队列，形成AIS数据消息；其中，所述AIS数据包括AIS转发数据、AIS实时数据、AIS历史数据；

对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理；

对异常去除处理后的AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；

根据得到的AIS基础数据、AIS位置数据、AIS数据历史数据，通过预置的数据挖掘框架，建立AIS数据计算基础模型；

将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库。

此外，AIS数据处理方法还包括：在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式，并备份所有AIS数据；在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。

其中，对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理包括：

对AIS数据消息中的数据，进行报文规则分析，判断AIS数据消息中的数据报文规则是否正确，并在判断结果为错误的情况下，删除对应的数据，其中，所述报文规则包括报文长度规则、报文项目规则、报文内容格式规则；

对AIS数据消息中的数据，进行数据时隙分析，判断AIS数据消息中的每个数据是否为单条报文数据；并在判断结果为否的情况下，继续对该数据进行分析，确定该数据是否为数据时隙中的第一条报文数据，若是，则创建数据等待队列，若不是，则将该数据追加到数据等到队列，并在数据等到队列中所有时隙数据全部完成后，根据数据时隙对数据进行融合，形成完整的单条报文数据；

对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据；并在判断结果为是的情况下，对重复的数据进行删除处理。

进一步的，对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据包括：将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据；将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。

其中，根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据包括：通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；并对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。

根据本发明的另一方面，提供了一种AIS数据处理系统。

该AIS数据处理系统，包括：

数据采集模块，用于采集AIS数据，并将采集的所有AIS数据写入到消息队列，形成AIS数据消息；其中，所述AIS数据包括AIS转发数据、AIS实时数据、AIS历史数据；

数据分析模块，用于对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理；

数据匹配模块，用于对异常去除处理后的AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；

模型建立模块，用于根据得到的AIS基础数据、AIS位置数据、AIS数据历史数据，通过预置的数据挖掘框架，建立AIS数据计算基础模型；

分布式存储模块，用于将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库。

此外，该AIS数据处理系统还包括：预处理模块，用于在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式；在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。

其中，所述数据分析模块包括报文分析子模块、时隙分析子模块以及重复数据分析子模块。其中，所述报文分析子模块，用于对AIS数据消息中的数据，进行报文规则分析，判断AIS数据消息中的数据报文规则是否正确，并在判断结果为错误的情况下，删除对应的数据，其中，所述报文规则包括报文长度规则、报文项目规则、报文内容格式规则；所述时隙分析子模块，用于对AIS数据消息中的数据，进行数据时隙分析，判断AIS数据消息中的每个数据是否为单条报文数据；并在判断结果为否的情况下，继续对该数据进行分析，确定该数据是否为数据时隙中的第一条报文数据，若是，则创建数据等待队列，若不是，则将该数据追加到数据等到队列，并在数据等到队列中所有时隙数据全部完成后，根据数据时隙对数据进行融合，形成完整的单条报文数据；所述重复数据分析子模块，用于对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据；并在判断结果为是的情况下，对重复的数据进行删除处理，所述重复数据分析子模块在进行数据重复分析时，将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据，将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。

其中，所述数据匹配模块包括数据分类子模块和数据匹配去重子模块，其中，所述数据分类子模块，用于通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；所述数据匹配去重子模块，用于对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。

有益效果：

本发明通过采集多源AIS数据，并对多源AIS数据进行多线程数据异常处理，得到符合规定的AIS数据，同时对得到的AIS数据进行规则匹配，得到AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型，并通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库，从而实现了基于高质量AIS数据构建符合空间数据应用的数据资源池，进而可使得在此基础上基于标准数据服务实现数据的安全共享开放及相关监控管理，发挥AIS数据在业务处理及决策分析领域的重要价值。增强了AIS数据应用的普适性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的一种AIS数据处理方法的流程示意图；

图2是根据本发明实施例的一种AIS数据处理系统的框图示意图；

图3是根据本发明实施例的AIS数据处理系统实际应用的系统架构图；

图4是根据本发明实施例的AIS数据处理流程示意图；

图5是根据本发明实施例的实际应用时AIS数据存储过程中数据去重清洗流程示意图；

图6是根据本发明实施例的AIS数据采集流程示意图；

图7是根据本发明实施例的AIS数据分析流程示意图；

图8是根据本发明实施例的时隙报文数据融合流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

根据本发明的实施例，提供了一种AIS数据处理方法及系统。

如图1所示，根据本发明实施例的一种AIS数据处理方法包括：

步骤S101，采集AIS数据，并将采集的所有AIS数据写入到消息队列，形成AIS数据消息；其中，所述AIS数据包括AIS转发数据、AIS实时数据、AIS历史数据；

步骤S103，对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理；

步骤S105，对异常去除处理后的AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；

步骤S107，根据得到的AIS基础数据、AIS位置数据、AIS数据历史数据，通过预置的数据挖掘框架，建立AIS数据计算基础模型；

步骤S109，将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库。

此外，为了防止采集的数据不匹配，在实际应用时，还可在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式，并备份所有AIS数据；同时在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。

实际应用时，对所述AIS数据消息异常去除处理可从报文规则分析、数据时隙分析以及数据重复分析方面进行异常数据的判断和处理。

具体的，在报文规则分析时，是对AIS数据消息中的数据，进行报文规则分析，判断AIS数据消息中的数据报文规则是否正确，并在判断结果为错误的情况下，删除对应的数据，其中，所述报文规则包括报文长度规则、报文项目规则、报文内容格式规则。

而在数据时隙分析时，则是在对AIS数据消息中的数据，进行数据时隙分析，判断AIS数据消息中的每个数据是否为单条报文数据；并在判断结果为否的情况下，继续对该数据进行分析，确定该数据是否为数据时隙中的第一条报文数据，若是，则创建数据等待队列，若不是，则将该数据追加到数据等到队列，并在数据等到队列中所有时隙数据全部完成后，根据数据时隙对数据进行融合，形成完整的单条报文数据；

而在数据重复分析时，则是对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据；并在判断结果为是的情况下，对重复的数据进行删除处理。数据重复分析实际应用时，可将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据；将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。

此外，在实际应用时，根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据时，可通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；并对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。

如图2所示，根据本发明实施例的提供了一种AIS数据处理系统，包括：

数据采集模块201，用于采集AIS数据，并将采集的所有AIS数据写入到消息队列，形成AIS数据消息；其中，所述AIS数据包括AIS转发数据、AIS实时数据、AIS历史数据；

数据分析模块203，用于对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理；

数据匹配模块205，用于对异常去除处理后的AIS数据消息进行解码，并根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据；

模型建立模块207，用于根据得到的AIS基础数据、AIS位置数据、AIS数据历史数据，通过预置的数据挖掘框架，建立AIS数据计算基础模型；

分布式存储模块209，用于将AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库。

此外，为了防止采集的数据不匹配，在实际应用时，该AIS数据处理系统还包括：预处理模块（图中未示出），用于在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式；在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。

而所述数据分析模块203则可分为报文分析子模块（图中未示出）、时隙分析子模块（图中未示出）以及重复数据分析子模块（图中未示出）。具体的，所述报文分析子模块，用于对AIS数据消息中的数据，进行报文规则分析，判断AIS数据消息中的数据报文规则是否正确，并在判断结果为错误的情况下，删除对应的数据，其中，所述报文规则包括报文长度规则、报文项目规则、报文内容格式规则；所述时隙分析子模块，用于对AIS数据消息中的数据，进行数据时隙分析，判断AIS数据消息中的每个数据是否为单条报文数据；并在判断结果为否的情况下，继续对该数据进行分析，确定该数据是否为数据时隙中的第一条报文数据，若是，则创建数据等待队列，若不是，则将该数据追加到数据等到队列，并在数据等到队列中所有时隙数据全部完成后，根据数据时隙对数据进行融合，形成完整的单条报文数据；所述重复数据分析子模块，用于对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据；并在判断结果为是的情况下，对重复的数据进行删除处理，所述重复数据分析子模块在进行数据重复分析时，将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据，将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。

而对于数据匹配模块205来说，则可分为数据分类子模块（图中未示出）和数据匹配去重子模块（图中未示出），其中，所述数据分类子模块，用于通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；所述数据匹配去重子模块，用于对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。

为了方便理解本发明的上述技术方案，以下从实际应用的技术原理的角度对本发明的上述技术方案进行详细说明。

具体应用时，如图3所示，系统构成可分为AIS多源数据采集、AIS数据处理、AIS数据存储、AIS数据计算、AIS数据转发、AIS数据配置管理监控、AIS数据共享服务。

数据采集模块作为数据采集处理平台的一部分，是AIS数据体系的入口，主要实现多源、多协议AIS数据的采集及标准化，充分考虑AIS多厂家、多数据中心、多协议等特点，在数据采集端即实现了基于服务端方式的数据采集，也支持基于客户端模式的数据采集，无论是基站厂家或者是AIS数据分中心都可以按其适应的方式进行数据的采集接入，数据采集接入后根据业务需求进行标准化处理，形成统一的AIS数据格式内容为支撑后续处理。

数据处理模块作为数据采集处理平台的一部分，主要根据不同场景完成AIS数据的灵活处理，其中AIS原始数据的存储备份可实现AIS数据接入后最原始报文的文件备份，可按一定策略进行备份规则设定；AIS数据有效性检查主要是针对AIS报文的基本格式有效性检查及处理；AIS数据融合实现了一条AIS报文通过多个时隙发送后的等待融合；AIS清洗过滤主要是针对一定时间范围内的重复AIS内容进行清洗过滤，提升AIS数据质量；AIS数据解码是根据ITU1371相关标准规范对AIS报文进行有效解码。

AIS数据转发模块可支持处理后的原始数据的转发、同时也支持解码后的动静态数据转发，转发目的包括对AIS数据时效要求比较高的上层实时监控应用、包括AIS事件计算层、AIS数据存储层等，通过对数据转发策略的配置，可实现数据的定向、定量高效转发。

AIS数据存储包括了AIS历史数据存储、实时数据存储、历史数据挖掘及数据服务接口几个模块，充分考虑AIS数据特点及应用需求，对AIS数据存储进行了合理拆分，实时数据存储记录每个目标的最新位置的信息，实现船舶目标实时位置访问的灵活高效；历史数据存储记录所有目标的历史轨迹，按时间和空间维度进行索引建设，有效保障历史轨迹的快速检索；数据分析挖掘框架的搭建实现任何一类分析挖掘只需要关注自身业务相关的算法即可，框架把挖掘技术难点进行屏蔽，数据服务接口模式实现数据层数据访问标准化，充分解耦应用及数据的关系。

AIS数据计算则是指针对实时数据各类事件进行高速计算，数据计算由一个实时数据事件计算管理器及多个事件计算容器构成，数据计算管理器会根据不同的计算策略把需要计算的数据分发到对应的计算容器中，计算容器进行计算后把计算结果以通知的方式输出，形成实时的告警预警等数据源，有效的对规则区域内的违法、违规等行为快速做出预警，根据不同情况及时做出处置。

AIS数据配置管理监控系统完成AIS数据体系建设过程中的配置、管理及监控预警等，实现AIS数据采集源的协议格式等灵活配置，实时监控各个数据采集点的状态，同时完成AIS数据转发的客户端配置及监管，最终达到AIS数据从采集、处理到转发的各个环节的配置、管理及监控预警的目标。

AIS数据共享服务系统主要是实现数据资源唯一可靠出口的目标，达到数据资源出口的可管、可控、可监，保障数据安全、高效、稳定的提供共享开放，整个系统架构一套底层的API核心网关引擎实现数据服务接口的高效转发代理、安全验证及高可用，上层开发对应的管理、统计、分析功能完成数据服务的注册、发布、审核、申请、授权等基础管理及相关的安全策略配置等，同时包含多维度多层次的数据服务使用情况统计分析。

而对应的机制流程，则可如图4所示，具体如下：

通过Socket实时接收AIS数据源发送的报文，打包去重后处理（打包数量可配置），存入消息队列RabbitMQ；开启多个消费者多线程接收处理RabbitMQ中的消息（开启消费者数量可配置，可以动态启停消费者，开启中和关闭中的消费者详细信息可查看）；消费者对AIS信号解码，借助redis进行数据清洗（如图5所示）；静态的船舶数据(如船的名字、imo呼号等不经常变动的数据)通过redis比对，没有变化不需要实时更新，设定了更新周期；船舶位置信息，借助redis对比经纬度、船速、转向再次去重复，根据船速和2个信号中船舶位置距离去除异常位置错误信号；数据清洗完毕后存入Elasticsearch搜索引擎中进行分析；可以根据mmsi提供船舶的基本信息，可以根据mmsi提供船舶的实时位置信息和历史位置信息；根据船速、标准的报告间隔（两信号的发送时间间隔）和2个信号中船舶位置距离去除异常位置错误信号。

对于数据采集来说，则可如图5所示，包括AIS转发数据接入、AIS数据实时接入、历史数据导入，其中，AIS转发数据接入主要是指针对第三方数据中心转发过来的AIS数据源，例如目前长航局从海事局接收的数据就属于AIS转发数据，从逻辑上来分析，所有数据的处理功能都应该在原始数据接入端进行处理，因此从第三方接入的数据应该是完成了数据的清洗过滤等处理工作，同时第三方已经对AIS原始数据进行了时间标注，这类数据的采集接入要根据第三方提供的接口协议及数据格式内容等进行对应的定制化处理。针对AIS转发数据，基于流数据的模式接入后直接发送到内置的消息中间件数据处理队列进行缓存，分别设置数据备份队列和数据处理队列，两个队列避免单个队列出现问题后导致数据的丢失，数据处理端分别会有两个独立的接收软件用来接收队列内的报文，分别进行历史数据文件备份及数据的进一步处理。

而AIS实时数据接入主要是指接入的数据源是未经过处理的AIS原始报文数据源，此类报文可以是直接从AIS基站服务器接入，也可以是从AIS分中心转发数据源进行接入。通过Socket协议接入AIS实时流数据后，首先对数据进行判断，如果是国际标准格式的裸数据，则需要对报文进行时间戳标注，如果是已经包含时间戳的国产格式数据，则直接进行AIS数据发送队列的操作。

针对AIS实时数据，基于流数据的模式接入及简单判断处理后，直接发送到内置的消息中间件数据处理队列进行缓存，分别设置数据备份队列和数据处理队列，两个队列避免单个队列出现问题后导致数据的丢失，数据处理端分别会有两个独立的接收软件用来接收队列内的报文，分别进行历史数据文件备份及数据的进一步处理。

而AIS历史数据导入则是在特定场景下实现的一类数据接入，当数据中心的AIS出现问题需要利用历史数据进行恢复或者某类特定数据分析需要对历史数据进行导入等情况下，可针对实时数据接入备份的历史数据文件或者其他场景下产生的历史文件进行文件方式数据接入，此类文件通常是按照一定策略按时序进行备份的，所以对历史数据的数据导入会采用File协议，逐个按序进行文件读取，针对读取的内容进行格式化，以消息报文的模式转发到消息中间件对应队列中，考虑到数据本身已经有文件备份，所以此时只需要转发到数据处理队列即可，数据处理端负责对数据进行接收后处理。

对于AIS数据分析来说，则可如图6和图7所示，可分为AIS数据接收、AIS数据备份、AIS数据筛选融合、AIS数据清洗过滤、AIS数据解码五个方面，具体如下：

数据接收模块由可配置的3个独立功能模块构成，分别是AIS明文数据处理模块，负责接收AIS转发数据源接入后写入对应队列的报文；AIS实时报文处理模块，负责接收AIS实时数据源接入后写入对应队列的报文；AIS历史数据处理模块，负责接收AIS历史数据导入后写入对应队列的报文，3个模块可进行插件化的加载，可加载某一个功能或者全部加载，模块加载启动后会实时收取数据接入端写入到队列中的报文数据。

AIS数据备份模块属于流程中的可选模块，主要功能是按照一定策略规则对接收到的AIS数据进行备份，AIS数据备份和数据处理是属于多线程并行模式，备份和处理并行运行，互不干扰，从数据处理需求来分析，数据备份主要是针对AIS转发数据接入及AIS实时数据接入，考虑到AIS历史数据导入本身已经有历史文件存在，所以不需要再进行备份，数据备份以最通用的文本文件进行备份，通过对AIS数据量及数据应用分析，建议备份文件以小时为单位进行文件写入，每一个小时写一个新文件。

而AIS数据筛选融合则分为AIS数据筛选和AIS数据融合，具体如下：

AIS数据筛选：

考虑到船台数据发送的过程中可能由于时隙、链路等问题产生无效数据，AIS数据筛选模块是数据处理的一个基础过滤环节，它通过对报文的初步识别，对不符合标识的AIS数据首先进行一次过滤，保障后续处理AIS数据的有效性。

AIS数据筛选是对AIS的第一层处理，主要目标是对不合法的AIS数据进行筛选剔除，在不对数据进行任何解码判断的情况下，对于报文长度不正确、报文项的缺失、报文项内容错误等按照AIS标准规范进行快速筛选，整个数据筛选是由一系列可扩展的规则适配器结合具体的筛选规则采用逐项筛选的原则进行，具体筛选规则包括：

AIS的信息报文分为明码和暗码，明码以“$”字符开始，可以直接看出其代表的意思，IEC（国际电工委员会）对明码有明确的字符数限制（一个句子加终止符不超过82 个字符），暗码是封装的信息包，以“！”开头，其格式为：！AACCC，X，Y，Z，U，C-C，V*HH <CR><LF>其中AACCC 为标识符，指明本条句子封装的背景信息，X，Y，Z 分别表示发送这一信息需要的句子总数（1-9）、本句的句子序数（1-9）和连续信息的识别（0-9）；U 表示AIS信道号； C-C为封装信息，为数据部分；V 表示填充的BIT数，因为封装的字符需要是6 的整数倍，若不满足需填充0-5个字符；HH 表示检验字段。

AIS数据的筛选基于上诉对AIS标准报文的理解的情况下设置对应算法，在不对核心报文解析的情况下，对报文的每一项进行验证是否符合标准范围，如果当前报文缺失某一项或者某一项的值域不符合标准规范值域范围，则认定报文无效，直接进行丢弃。

同时，报文是否合法的规则可通过用户自定的规则，其判断规则与执行逻辑是松耦合的关系，用户可通过对规则的指定，完成对AIS报文数据的合法性判断及筛选。

AIS数据融合：

AIS技术标准规定：每分钟划分为2250个时间段。每个时间段可发布一条不长于256比特的信息，每条船舶会通过询问（自动）选择一个与他船不发生冲突的时间段和对应的时间段来发布本船的信息，在统一的VHF的频道上，AIS范围内任何船舶都能自行互不干扰地发送报告和接受全部船舶（岸站）的报告，这就是SOTDMA的技术核心，因为AIS VDM消息的语句长度是有限制的，最大不超过82个字节，如果压缩的通讯消息长度太长，那么，VDM消息必须分解为多条子消息来发送，分解为多条发送的方法是将通讯消息拆开到多条语句中，并且将每条消息中的“消息分解总条数”都设置为拆分成的总条数（不超过9个），然后依照顺序为每条子消息编号，这个编号记录到“语句序号”中，并且用“连续消息鉴别码”来指定该条拆分消息的鉴别号，这个鉴别号依照顺序从0到9循环。

在报文解析之前，需要判断该报文的组成，如果是多条分解报文构成，那么需要等待所有对应分解报文全部获取之后，完成报文的融合，只有对分解报文完成融合后才可算做一条完整报文进行解析，否则报文属于残缺报文。由于多个报文会不断有序的发送，所以系统采用基于一套基于内存区域排序等待模式进行数据融合流程处理。具体流程包括：（1）收到报文后会判断报文是单条报文还是多条组合；（2）如果是单条报文则直接进入报文清洗过滤环节；（3）如果是多条组合的第一条报文，则创建报文等待队列；（4）如果是多条组合中的非第一条，则追加到等待队列；（5）当组合报文全部收取完整后进入报文清洗过滤环节。

AIS数据清洗过滤：在对AIS无效数据进行抛弃后，对分解报文进行合并，分解合并完成之后，就需要针对AIS数据重复的情况进行定向的数据清洗过滤。出现数据重复的情况主要有以下两种：（1）一个船台发送一条AIS数据，被一个基站的两个接收器同时接收，一条数据两次接收，可能会产生重复数据；（2）一个船台发送的数据会被一个以上的基站接收，数据发送到中心的时候会出现重复数据。

当这两种情况出现时，中心就会出现重复数据，这些重复数据加大了网络数据压力的同时，还为应用带来困扰。所以，从底层需要将这部分数据过滤、清除。数据处理中的过滤模块需要将这部分数据有效的清除，如何判断、定义重复数据为该模块建设重点。

针对重复数据的定义，是单位时间内完全相同的AIS数据报文，本系统基于流数据处理体系技术Storm工程，配合一套基于内存的队列模式，采用可灵活配置的“时间窗口”方式过滤重复数据，所谓“时间窗口”是增开一个内存队列的模式，采用多线程的方式，完成数据的写入过程。AIS报文获取之后，首先将进入一个“时间窗口”，也就是一个张内存数据表。报文在进入该数据表之后，在单位时间段内，例如3秒钟之内，该报文将被从该表中取出，进入下一个环节。新增AIS数据报文在被写入该内存表之前，对时间窗口内存表内的数据进行全量对比校验，查看是否存在相同数据报文内容，主要验证报文字符是否完全匹配。当出现相同报文时，新报文将被直接丢弃。

通过这种方式，可有效的屏蔽单位时间段内的重复报文，时间窗口时间段的长短可由用户设置。考虑到中心数据量的大小及AIS系统数据更新频率等因素，建议过滤时间间隔可设置为15秒，以此保证“时间窗口”表中的数据总量在一定范围内，有效提高入表前的数据重复判断效率。同时，在写入过程中，可采用多线程的方式，完成单表的数据写入、判断重复过程。

在进行数据存储时，数据存储平台采用分布式文件系统存储HDFS作为大数据的存储系统，通过多级索引及高并发机制，实现海量数据的高吞吐量访问。基于HDFS模式的大数据储存机制，可对PG量级的数据进行快速读写，通过基于时间窗口的流式数据处理后，数据一次接入，核心内置高并行的能力会同时并发数据到不同的存储节点进行多任务存储，数据会分散在各个节点，利用有效的索引机制进行管理，当涉及到数据读取访问时，会根据索引直接定位到存储数据块，整体数据抽取，最后在一个小的数据块再进一步进行数据筛选。

基于这种大数据存储模式，大量廉价的硬件集群上通过分布式数据读写，合理利用各台机器的性能，达到以量取胜的基本目的。而其优势也非常明显，就是少量机器的损坏不会影响整个数据存储。基于Hadoop的整体存储架构中，数据存储采用HDFS，数据库采用Hbase，其自身携带的高可靠、高安全及数据多份复制等机制保障了数据的双向扩展伸缩，大量廉价的PC Server 大大降低数据中心建设成本，而其内部处理模式在数据及设备容错、高吞吐、高并发方面达到非常优秀的效果，对于用户屏蔽了多点备份、恢复等分布式的技术。通过控件zookeeper 管理整个Hadoop下的存储节点的协调运转，利用自带的一些心跳、事件等模式保障数据节点的高可用。

通过组件MapReduce实现数据的并行处理，包括数据的多种数据格式的接入处理就转换等，例如关系型数据库到HDFS，同时还包括多种文件格式，如文本文件、excel等数据的导入及转换，能提供一些NoSQL数据库连接器，使用元数据模型来判断数据类型并在数据从数据源转移到分布式文件系统时确保类型安全的数据处理，对大数据批量传输，能够分割数据集并创建任务来处理每个区块。

考虑到AIS应用特点，数据存储整体分为索引区、值区两块内容。索引区面向实时数据查询可提供快速的数据响应。值区具体存储AIS数据内容，面向历史数据查询提供有效的数据支持。两块区域通过ID进行关联。ID是为某条AIS数据分配的唯一标识，是关联这两个存储的关键字段。通过该字段，实现索引到值域之间的数据映射。两块存储内容方面存在交叉，在索引区方面，是将数据ID、AIS某些经常用到的数据查询属性罗列存储。当请求过来时，通过请求中的参数数据，首先在索引区完成初次检索，生成ID集。随后，通过索引区与值区间的ID关联，完成值区中所有ID集中包含的数据内容，最后将该数据集向对应应用提供返回值。

AIS历史轨迹数据主要是针对涉及到船舶动态信息的报文进行全量存储，数据存储以空间时间两种模式进行存储，分别赋予不同索引，存储结构基本沿用报文合并结构，保证数据的完整性，当进行数据存储时，如果发现本报文没有此信息，则置空，所有报文数据全部采用插入，不做更新及删除操作。

数据计算挖掘框架主要是针对数据进行实时计算及历史分析的一个整体框架，所有的业务计算及分析都可以基于此框架进行业务算法的后续开发扩展，屏蔽框架层面的技术难点。

（1）数据计算框架搭建：根据整个数据资源平台的建设需求，搭建数据计算框架，主要是搭建基于MapReduce的数据挖掘框架及基于Storm流数据处理下的实时计算框架，搭建一套稳定的框架目标是所有的计算分析都可以在此框架下进行快速扩展。（2）数据计算基础模型：在框架下实现必要的一些基础计算模型，根据项目的数据特点，实现一些基础的位置计算、历史轨迹等基础计算模型，未来跟多的业务可结合已有基础模型进行跟多的分析挖掘，支撑决策、管理及趋势分析等。

而对于数据接口来说，数据API接口采用HTTP协议，接口由协议、IP、端口、路径及参数组成，具体形式如下：

其中主要变化来自于参数部分：cmd参数，请求命令码，不同的业务使用不同的请求命令码，具体参照数据服务的各自要求。param参数，请求参数为JSON格式，具体参照数据API的各自要求。请求参数需使用base64进行编码。注意：如果实时查询类服务的结果中某字段为null，则返回的json串中不会含有该字段。返回数据格式则可为JSON格式。

对于实际过程中的监控任务管理来说，每一个任务都是监控数据的采集单元，一个监控数据采集任务将采集若干监控指标数据，监控任务可以被启动、停止、计划，每次采集监控指标可能会成功、失败。总之，监控任务是一个可以被管理的数据采集单元。具体操作单元可包括：新增，新建一个监控任务，可配置任务名称、任务分类、监控指标、执行计划等。修改，对一个已创建的监控任务进行修改。删除，删除一个已创建的监控任务。检索，根据任务名称、分类等检索监控任务。查看，查看监控任务详情。启动，监控任务必须被启动才能够按照监控计划去采集监控指标数据。未启动的监控任务是未启用状态。暂停，已经启动的监控任务可以被暂停，暂停将停止监控数据采集计划。暂停了的监控任务可以被再次启动。

由此可见，借助于本发明的上述技术方案，本发明通过采集多源AIS数据，并对多源AIS数据进行多线程数据异常处理，得到符合规定的AIS数据，同时对得到的AIS数据进行规则匹配，得到AIS基础数据、AIS位置数据、AIS数据历史数据以及AIS数据计算基础模型，并通过索引分布式文件存储形式存在至数据库，形成结构化AIS数据库，从而实现了基于高质量AIS数据构建符合空间数据应用的数据资源池，进而可使得在此基础上基于标准数据服务实现数据的安全共享开放及相关监控管理，发挥AIS数据在业务处理及决策分析领域的重要价值。增强了AIS数据应用的普适性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种AIS数据处理方法，其特征在于，包括：

2.根据权利要求1所述的AIS数据处理方法，其特征在于，还包括：

在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式，并备份所有AIS数据；

在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；

并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。

3.根据权利要求1所述的AIS数据处理方法，其特征在于，对所述AIS数据消息进行分析，判断AIS数据消息中的数据是否存在异常，并在判断结果为AIS数据消息中的数据存在异常的情况下，对AIS数据消息中的数据进行异常去除处理包括：

4.据权利要求3所述的AIS数据处理方法，其特征在于，对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据包括：

将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据；

将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。

5.根据权利要求1所述的AIS数据处理方法，其特征在于，根据预置匹配规则对解码后得到的AIS数据进行匹配，形成AIS基础数据、AIS位置数据、AIS数据历史数据包括：

通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；

并对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。

6.一种AIS数据处理系统，其特征在于，包括：

7.根据权利要求6所述的AIS数据处理系统，其特征在于，还包括：

预处理模块，用于在采集的所有AIS数据写入到消息队列之前，对采集的所有AIS数据进行数据格式处理，促使所有AIS数据的格式为预置数据格式，并备份所有AIS数据；在对所有的AIS数据进行数据格式处理之后，对AIS实时数据进行时间戳判断；并在判断结果为AIS实时数据不具备时间戳的情况下，在AIS实时数据中写入时间戳。

8.根据权利要求7所述的AIS数据处理系统，其特征在于，所述数据分析模块包括报文分析子模块、时隙分析子模块以及重复数据分析子模块；其中，

所述报文分析子模块，用于对AIS数据消息中的数据，进行报文规则分析，判断AIS数据消息中的数据报文规则是否正确，并在判断结果为错误的情况下，删除对应的数据，其中，所述报文规则包括报文长度规则、报文项目规则、报文内容格式规则；

所述时隙分析子模块，用于对AIS数据消息中的数据，进行数据时隙分析，判断AIS数据消息中的每个数据是否为单条报文数据；并在判断结果为否的情况下，继续对该数据进行分析，确定该数据是否为数据时隙中的第一条报文数据，若是，则创建数据等待队列，若不是，则将该数据追加到数据等到队列，并在数据等到队列中所有时隙数据全部完成后，根据数据时隙对数据进行融合，形成完整的单条报文数据；

所述重复数据分析子模块，用于对AIS数据消息中的数据，进行数据重复分析，判断AIS数据消息中的数据是否存在重复数据；并在判断结果为是的情况下，对重复的数据进行删除处理。

9.根据权利要求8所述的AIS数据处理系统，其特征在于，所述重复数据分析子模块在进行数据重复分析时，将AIS数据消息中的数据存储至预置内存数据表；并在单位时间内，从预置内存数据表中取出对应数据，将对AIS数据消息中的后续数据存储至所述内存数据表，并将后续数据与内存数据表中所记录的数据进行比对，在比对结果为具有相同数据的情况下，判断该数据为重复数据。

10.根据权利要求7所述的AIS数据处理系统，其特征在于，所述数据匹配模块包括数据分类子模块和数据匹配去重子模块，其中，

所述数据分类子模块，用于通过远程字典匹配规则，将解码后得到的AIS数据根据静态船舶数据、船舶位置信息数据以及船舶历史数据，匹配分类为AIS基础数据、AIS位置数据、AIS数据历史数据；

所述数据匹配去重子模块，用于对匹配分后的AIS基础数据、AIS位置数据、AIS数据历史数据，单独采用远程字典匹配规则进行内部重复数据匹配，并对应的重复数据进行去重处理。