CN114780644B - 一种船舶航行数据处理方法、装置、设备及存储介质 - Google Patents

一种船舶航行数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114780644B
CN114780644B CN202210683604.5A CN202210683604A CN114780644B CN 114780644 B CN114780644 B CN 114780644B CN 202210683604 A CN202210683604 A CN 202210683604A CN 114780644 B CN114780644 B CN 114780644B
Authority
CN
China
Prior art keywords
real
time
ship
navigation data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210683604.5A
Other languages
English (en)
Other versions
CN114780644A (zh
Inventor
刘鹏
刘振涛
王伟志
陈宇婷
姚望
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202210683604.5A priority Critical patent/CN114780644B/zh
Publication of CN114780644A publication Critical patent/CN114780644A/zh
Application granted granted Critical
Publication of CN114780644B publication Critical patent/CN114780644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Navigation (AREA)

Abstract

本发明涉及船舶航行技术领域，具体是涉及一种船舶航行数据处理方法、装置、设备及存储介质。本发明将实时航行数据存储在分布式数据库中，分布式数据库具有快速存储以及快速查找数据的特点，缩短提取实时航行数据所需要的时间，从而缩短了得到指标分析结果所需要的时间。再将指标分析结果存储在分布式数据库中，当需要将分布式数据库中的指标分析结果发送给显示终端时，又由于分布式数据具有快速查找的特点，因此能够快速查找到指标分析结果将其发送给显示终端。综上所述，由于本发明能够缩短了得到指标分析结果的时间以及缩短了发送给显示终端的时间，从而提高了显示终端得到指标分析结果的实时性。

Description

一种船舶航行数据处理方法、装置、设备及存储介质
技术领域
本发明涉及船舶航行技术领域，具体是涉及一种船舶航行数据处理方法、装置、设备及存储介质。
背景技术
掌握海上船舶行为特征是实现海上交通、船舶自动化和智能化的基础。由于海上船舶通航环境非常复杂，一般无法直接获得准确可靠的全部通航环境要素。现今的AIS（安装在船舶上，用于统计船舶航行数据）是集船舶导航、避碰、海事监管于一体的现代化无线电系统，在水上交通运输领域里，发挥着重要作用。当前，海洋目标监测网络建设飞速发展，呈现明显的栅栺化部署趋势，观测站点（需要从AIS系统上获取航行数据的站点）数量几何式增长。
现有的技术方案在实现对AIS数据实时异常分析可视化的功能时，将异常结果和轨迹、航速等航行态势（指标分析结果）进行可视化的方案，因为存在数据滞后，这样无法在岸基对船舶实时运行情况的进行初步分析和监测，进而无法对异常船只进行如摄像头、无人机观测等进一步的管控手段，第一时间发现船只异常可疑行为。
综上所述，现有技术将指标分析结果呈现给用户显示终端的实时性较差。
因此，现有技术还有待改进和提高。
发明内容
为解决上述技术问题，本发明提供了一种船舶航行数据处理方法、装置、设备及存储介质，解决了现有技术导致实时性较差的问题。
为实现上述目的，本发明采用了以下技术方案：
第一方面，本发明提供一种船舶航行数据处理方法，其中，包括：
将船舶的实时航行数据存储至分布式数据库；
提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态；
将所述指标分析结果存储至所述分布式数据库；
通过所述分布式数据库将所述指标分析结果发送至显示终端。
在一种实现方式中，所述将船舶的实时航行数据存储至分布式数据库，包括：
建立用于采集所述实时航行数据的队列；
对所述队列进行分区，得到分区之后的所述队列；
获取与所述实时航行数据所对应的历史航行数据；
计算所述历史航行数据的增量信息，所述增量信息用于表征所述历史航行数据的数据增长量；
依据所述增量信息，通过分区之后的所述队列将所述实时航行数据存储至所述分布式数据库。
在一种实现方式中，所述依据所述增量信息，通过分区之后的所述队列将所述实时航行数据存储至所述分布式数据库，包括：
依据分区之后的所述队列，得到分区之后的所述队列中的队列第一分区和队列第二分区；
当所述增量信息与第一设定增量相吻合时，通过所述队列第一分区将所述实时航行数据存储至所述分布式数据库；
或者，当所述增量信息与第二设定增量相吻合时，通过所述队列第二分区将所述实时航行数据存储至所述分布式数据库，所述第二设定增量大于所述第一设定增量。
在一种实现方式中，所述将船舶的实时航行数据存储至分布式数据库，之后包括：
删除在设定时间内同一个船舶重复的所述实时航行数据，得到去重之后的所述实时航行数据；
将去重之后的所述实时航行数据与标准值进行比较，去除偏离所述标准值的所述实时航行数据，得到清洗之后的所述实时航行数据。
在一种实现方式中，将船舶的实时航行数据存储至分布式数据库，之前还包括：
计算与所述分布式数据库所对应的单节点的有效空间，所述有效空间为所述单节点用于存储所述实时航行数据的空间；
获取所述实时航行数据所对应的备份数量；
获取所述实时航行数据所占据的存储空间以及所述实时航行数据所对应的数据膨胀率；
依据所述单节点的有效空间、所述备份数量、所述实时航行数据所占据的存储空间、所述实时航行数据所对应的数据膨胀率，得到节点数量；
依据所述节点数量构建用于部署所述分布式数据库的节点集群。
在一种实现方式中，通过所述分布式数据库将所述指标分析结果发送至显示终端，之后包括：
统计各个所述指标分析结果被发送至所述显示终端的各个时间，所述时间为距离当前时间点的时间；
依据各个所述时间，对各个所述指标分析结果进行分类，得到各个所述指标分析结果所对应的时间标签；
对所述分布式数据库进行分区，得到所述分布式数据库所对应的各个子数据库；
依据各个所述指标分析结果所对应的时间标签，对各个所述指标分析结果移至对应的各个所述子数据库；
在当前时间点之后的时间点，通过各个所述子数据库将各个所述指标分析结果发送至所述显示终端。
在一种实现方式中，所述提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态，包括：
提取存储至所述分布式数据库的所述实时航行数据中的船舶实时位置；
依据所述船舶实时位置，得到航行轨迹是否异常的指标分析结果。
在一种实现方式中，所述依据所述船舶实时位置，得到航行轨迹是否异常的指标分析结果，包括：
依据所述船舶实时位置，得到所述船舶实时位置中的船舶实时纬度和船舶实时经度；
建立与所述船舶实时纬度和所述船舶实时经度所对应的预设直线；
依据所述预设直线，得到所述预设直线所对应的参数值；
依据所述参数值、船舶历史纬度、与船舶历史纬度所对应的船舶历史经度，构建误差函数；
根据所述船舶历史纬度、所述船舶历史经度、所述误差函数采用最小二乘法，得到与所述参数值所对应的目标参数值；
依据所述目标参数值、所述船舶实时纬度、所述船舶实时经度，得到航行轨迹是否异常的指标分析结果。
在一种实现方式中，所述依据所述目标参数值、所述船舶实时纬度、所述船舶实时经度，得到航行轨迹是否异常的指标分析结果，包括：
依据所述目标参数值，拟合出目标直线；
计算由所述船舶实时纬度和所述船舶实时经度构成的各个坐标点到所述目标直线的距离平均值；
将所述距离平均值与与阈值进行比较，得到航行轨迹是否异常的指标分析结果。
在一种实现方式中，所述提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态，包括：
依据所述实时航行数据，得到所述实时航行数据中的各个实时航速；
对各个所述实时航速按照设定顺序进行排序，得到航速序列；
计算所述航速序列中相邻两个所述实时航速的比值；
依据所述比值，得到航速是否异常的指标分析结果。
第二方面，本发明实施例还提供一种船舶航行数据处理装置，其中，所述装置包括如下组成部分：
数据存储驱动模块，用于将船舶的实时航行数据存储至分布式数据库；
数据处理模块，用于提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态；
结果存储驱动模块，用于将所述指标分析结果存储至所述分布式数据库；
发送模块，用于通过所述分布式数据库将所述指标分析结果发送至显示终端。
第三方面，本发明实施例还提供一种终端设备，其中，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的船舶航行数据处理程序，所述处理器执行所述船舶航行数据处理程序时，实现上述所述的船舶航行数据处理方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有船舶航行数据处理程序，所述船舶航行数据处理程序被处理器执行时，实现上述所述的船舶航行数据处理方法的步骤。
有益效果：本发明将实时航行数据存储在分布式数据库中，分布式数据库具有快速存储以及快速查找数据的特点，缩短提取实时航行数据所需要的时间，从而缩短了得到指标分析结果所需要的时间。再将指标分析结果存储在分布式数据库中，当需要将分布式数据库中的指标分析结果发送给显示终端时，又由于分布式数据具有快速查找的特点，因此能够快速查找到指标分析结果将其发送给显示终端。综上所述，由于本发明能够缩短了得到指标分析结果的时间以及缩短了发送给显示终端的时间，从而提高了显示终端得到指标分析结果的实时性。
附图说明
图1为本发明的整体流程图；
图2为本发明实施例中的流程图；
图3为本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
以下结合实施例和说明书附图，对本发明中的技术方案进行清楚、完整地描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
经研究发现，掌握海上船舶行为特征是实现海上交通、船舶自动化和智能化的基础。由于海上船舶通航环境非常复杂，一般无法直接获得准确可靠的全部通航环境要素。现今的AIS（安装在船舶上，用于统计船舶航行数据）是集船舶导航、避碰、海事监管于一体的现代化无线电系统，在水上交通运输领域里，发挥着重要作用。当前，海洋目标监测网络建设飞速发展，呈现明显的栅栺化部署趋势，观测站点（需要从AIS系统上获取航行数据的站点）数量几何式增长。现有的技术方案在实现对AIS数据实时异常分析可视化的功能时，将异常结果和轨迹、航速等航行态势（指标分析结果）进行可视化的方案，因为存在数据滞后，这样无法在岸基对船舶实时运行情况的进行初步分析和监测，进而无法对异常船只进行如摄像头、无人机观测等进一步的管控手段，第一时间发现船只异常可疑行为。
为解决上述技术问题，本发明提供了一种船舶航行数据处理方法、装置、设备及存储介质，解决了现有技术导致实时性较差的问题。具体实施时，首先将船舶的实时航行数据存储至分布式数据库；然后提取存储至分布式数据库的实时航行数据，对提取的实时航行数据进行处理，得到指标分析结果，之后将指标分析结果存储至分布式数据库；最后通过分布式数据库将指标分析结果发送至显示终端。
示例性方法
本实施例的船舶航行数据处理方法可应用于终端设备中，所述终端设备可为具有计算功能的终端产品，比如电脑等。在本实施例中，如图1中所示，所述船舶航行数据处理方法具体包括如下步骤：
S100，建立用于形成分布式数据库的节点集群。
本实施例的分布式数据库满足并行数据操作需求，通过数据库实现数据载入、索引建立、数据查询等分布式计算场景。
节点集群由一个个节点（节点相当于服务器）组成，节点集群承载着分布式数据库（Vertica）。
采用无共享架构、分布式存储，节点集群中所有节点 100%对等，集群中没有主节点或者其他共享资源。按照列式存储数据，还主动的根据列数据的特点和查询的要求选择最佳的算法对数据进行排序和压缩（即实时航行数据存储到分布式数据库上之后，可以根据用户的查询要求对实时航行数据进行压缩和排序）。
步骤S100包括如下的步骤S101至S105：
S101，计算与所述分布式数据库所对应的单节点的有效空间，所述有效空间为所述单节点用于存储所述实时航行数据的空间。
在一种实施例中，单节点所采用的服务器配置如表1所示：
表1
集群类型 配置 数量（台）
分布式数据库计算节点 X86 机架服务器，2 路≥14 核 CPU，512GB 内存，系统盘：2 块 600GBSAS，数据盘 24 *2.4TB SAS 硬盘，2万兆 Intel 网卡+2千兆 Intel网卡；1GB Raid0/1/50 卡； 10
采用一主一副两副本的形式存放副本（同一个实时航行数据保存两份），主副两副本存放在相邻节点上，选择合适的一个或多个字段进行数据分布，保证数据的均匀分布能有效提升DML操作性能，选择前4个字段进行均匀分布。
节点参数：数据膨胀率1.4；默认备份数2；磁盘格式化率1.093；磁盘利用率80%。其中数据膨胀率即下一个时间要采集的实时航行数据相对应当前时间的实时航行数据可能要增加的比率。
单节点有效空间= 24*2.4T*0.8/磁盘格式化率=42.2T
24*2.4T对应表1中的节点的数据盘参数。0.8为磁盘利用率。
S102，获取所述实时航行数据所对应的备份数量。
S103，获取所述实时航行数据所占据的存储空间以及所述实时航行数据所对应的数据膨胀率。
S104，依据所述单节点的有效空间、所述备份数量、所述实时航行数据所占据的存储空间、所述实时航行数据所对应的数据膨胀率，得到节点数量。
在一个实施例中，存储实时航行数据需要的节点数量= 140*1.4*2/单节点有效空间（42.2T）≈10 台
其中， 140为实时航行数据所占据的存储空间，2为备份数量。
S105，依据所述节点数量构建用于部署所述分布式数据库的节点集群。
将各个节点部署成无共享架构、分布式存储，各个节点内部的存储器就构成了分布式数据库。
S200，将船舶的实时航行数据存储至分布式数据库。
利用Rabbitmq实现对海上AIS系统原始数据的实时采集，解析后将采集到的数据实时写入Kafka消息队列，存入Vertica数据库ais-dynamic数据表中。
步骤S100在采集实时航行数据之前先建立好分布式数据库，之后就通过队列（Kafka）将实时航行数据存储至分布式数据库，之所以用队列，是因为队列具有先进先出的功能，这样能够将产生的实时航行数据按照时间顺序保存在分布式数据库，便于用户查找实时航行数据，从而提高了实时性。步骤S200包括如下的步骤S201至S205：
S201，建立用于采集所述实时航行数据的队列。
采用队列Kafka作为数据源端（用于将AI系统中的船舶航行数据加载到分布式存储数据中）,使用程序完成Kafka对接进行数据加载，采用kafka连接器，简化应用调度实时装载的难度，从而进一步提高了实时性。
S202，对所述队列进行分区，得到所述队列中的队列第一分区和队列第二分区。
Kafka端创建对应业务的topic（主题），受Kafka端硬件配置限制，业务一二均采用一个topic对应80个partition。即将所有的队列进行划分，80个partition分区（队列第一分区）用于存储一个topic的实时航行数据，另外80个partition分区（队列第二分区）用于存储另一个topic的实时航行数据。
S203，获取与所述实时航行数据所对应的历史航行数据。
S204，计算所述历史航行数据的增量信息，所述增量信息用于表征所述历史航行数据的数据增长量。
S205，当所述增量信息与第一设定增量相吻合时，通过所述队列第一分区将所述实时航行数据存储至所述分布式数据库；
或者，当所述增量信息与第二设定增量相吻合时，通过所述队列第二分区将所述实时航行数据存储至所述分布式数据库，所述第二设定增量大于所述第一设定增量。
举例说明：业务一：每日增量数据（可以是每条船舶的每天增量数据也可以是所有船舶每日的增量，增量数据是通过历史航行数据分析得到的）为2T（第一设定增量），数据量相对较少，因此采用每15分钟同步一次数据（每15分钟将）。业务二：每日增量数据为6T（第二设定增量），数据量相对较多，采用每10分钟同步一次数据。分布式数据库端也创建与队列第一分区、队列第二分区对应的Part1表和Part2表。
将业务一对应的实时航行数据通过队列第一分区加载到分布式数据库的Part1表、将业务二对应的实时航行数据通过队列第二分区加载到分布式数据库的Part2表。
在一个实施例中，将船舶的实时航行数据存储至分布式数据库之后会对数据进行预处理，清洗无用的数据，便于后续将实时航行数据加载给显示终端，从而提高了实时性。
对数据进行预处理的具体过程：删除在设定时间内同一个船舶重复的所述实时航行数据，得到去重之后的所述实时航行数据；将去重之后的所述实时航行数据与标准值进行比较，去除偏离所述标准值的所述实时航行数据，得到清洗之后的所述实时航行数据。
在一个实施例中，比如AIS系统产生了一条动态数据，但数据分析与指挥控制中心系统拿到这条数据的时候，需要的并不是这条业务数据，而是要基于这条业务数据得出一定时间范围内船只的航行数据是正常行驶的，还是异常行驶等信息，此时，需要把业务数据清洗转化为指标数据。
预处理的详细过程为：根据海上态势监测业务需要，定时查询分布式数据库Vertica中的指标数据（船舶的经纬度、航速等），并按照业务规则（定时提取AIS动态数据，对原始数据进行去重，排除异常值后，首先对每1分钟（设定时间）mmsi号（船识别号）出现大于1次的MMSI字段数据去重输出数据列表出来，然后根据数据列表逐个遍历查询前10分钟的某MMSI号的精度、纬度、采集时间、航速、航向等，组合成dataframe。
S300，提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态。
本实施例如果要分析船舶A当前时间所对应的指标分析结果，就从分布式数据库中提取船舶A距离当前时间10分钟之内的实时航行数据至数据处理器中，通过数据处理器计算出船舶航行状态是否异常的指标分析结果。
数据分析中数据读取采用python分析程序，通过加载vertica_python库，建立connect连接，通过SQL进行数据库业务查询操作，虽然该场景的查询属于很简单的精确查询，但是如表2所示，由于过滤字段mmsi是varchar类型，相对于int类型的查询会比较慢。所以，可以增加一个hash_id列用来保存mmsi（船识别号）的hash值（船识别号的第一个字），然后通过该hash_id进行过滤，在表结构上不做改动的情况下，通过在分布式数据库的projection中新增加一个hashmmsi列，不仅不影响kafka数据的载入，同时又可以使用directed query（一种数据查询方式）方式进行查询，最终进行等值过滤，加速查询效率。Vertica中的directed query相当于在SQL外层包装了一个视图，但是可以通过传入变量的方式对原生的SQL进行改写，并且在后续的查询过程中，执行计划的可以通过软解析的方式进行。在不改写用户SQL的前提下，如表3所示，通过后台修改命令达到查询效率的提升，从而提高了显示终端获取指标分析结果的实时性。
表2
[0001]参数名 [0002]类型 [0003]描述 [0004]备注
[0005]collectTime [0006]timestamp [0007]分析时间 [0008]
[0009]mmsi [0010]varchar [0011]船识别号 [0012]
[0013]abnormal [0014]boolean [0015]轨迹异常 [0016]True:异常；False:正常
[0017]aisSog_abnormal [0018]boolean [0019]航速异常 [0020]True:异常；False:正常
[0021]trajectory [0022]Longvarchar [0023]分析结果数据 [0024]包含10分钟内的船分析数据
表3
普通精确查询 使用hash字段的dq查询
耗时 20116.257ms 11731.977ms
处理器从分布式数据库提取了实时航行数据（比如航速，船舶的经纬度）之后，第一种情况就是针对船舶的经纬度判断船舶轨迹是否异常，第二种情况就是分析航速是否异常。当为第一种情况时，步骤S300包括如下的步骤S301a至S309a：
S301a，提取存储至所述分布式数据库的所述实时航行数据中的船舶实时位置。
S302a，依据所述船舶实时位置，得到所述船舶实时位置中的船舶实时纬度和船舶实时经度。
S303a，建立与所述船舶实时纬度和所述船舶实时经度所对应的预设直线。
在一个实施例中，利用线性回归模型，假设变量x和变量y之间存在线性关系y=wx+b（x代表经度，y代表纬度），调整参数w和b，使得所有点(由
经度和纬度构成的点)到该直线的距离平方之和最小，设此时满足要求的w=w0，b=b0，即定义拟合函数:
y=w0x+b0
本实施例中，先用一部分船舶历史经度和船舶历史纬度构成的坐标点去
拟合出直线：y=w0x+b0。
S304a，依据所述预设直线，得到所述预设直线所对应的参数值。
参数值就是w和b分别对应的w0和b0。
S305a，依据所述参数值、船舶历史纬度、与船舶历史纬度所对应的船舶历史经度，构建误差函数loss：
loss= (y - w*x -b)^2
将实时经度x和船舶实时纬度y构成的坐标点代入到误差函数中，计算出loss。
S306a，根据所述船舶历史纬度、所述船舶历史经度、所述误差函数，采用最小二乘法，得到与所述参数值所对应的目标参数值。
采用最小二乘法得到w的值
Figure 939333DEST_PATH_IMAGE001
（w的目标参数值）和b的值
Figure 221410DEST_PATH_IMAGE002
（b的目标参数值）。
S307a，依据所述目标参数值，拟合出目标直线
Figure 188229DEST_PATH_IMAGE003
。
S308a，计算由所述船舶实时纬度和所述船舶实时经度构成的各个坐标点到所述目标直线的距离平均值。
S309a，将所述距离平均值与与阈值进行比较，得到航行轨迹是否异常的指标分析结果。
距离平均值与阈值T进行比较，当大于阈值时，航行轨迹就是异常的，否则航行轨迹正常。
本实施例中，是定义主处理函数abnormal，将经纬度坐标参数传入leastsq函数，返回w,b的求解结果，求得均值与自定义的阈值T相比较，判断是否为异常船只。
在一个实施例中，采用下述步骤判断航行轨迹是否正常：
依据所述船舶实时位置，得到所述船舶实时位置中的船舶实时纬度和船舶实时经度。
建立与所述船舶实时纬度和所述船舶实时经度所对应的预设直线Y：
Y=WX+B
比如在一个小时内采集了10组船舶实时纬度和船舶实时经度数据，这10组数据构成了10个坐标点，通过这10个坐标点拟合出预设直线Y。
依据所述预设直线，得到所述预设直线所对应的参数值W1和B1。
参数值W1和B1就是W和B的值。
依据所述参数值、所述船舶实时纬度和所述船舶实时经度，构建误差函数LOSS。
LOSS= (Y - W1*X -B1)^2
调整所述参数值W1和B1，直至所述误差函数的值小于阈值
Figure 225455DEST_PATH_IMAGE004
，得到调整之后的所述参数值W2和B2。
依据调整之后的所述参数值W2和B2，得到航行轨迹是否异常的指标分析结果。
在一个实施例中，计算W2和B2的平均值与预设参数值（固定值）之间的差值，当差值大于预设值时，航行轨迹异常，否则航行轨迹正常。该实施例中在计算出最后的参数值W2和B2过程中分成两步（误差函数LOSS以及通过误差函数LOSS调整参数值）进行，这两步采用的都是船舶实时纬度和船舶实时经度，使得船舶实时纬度和船舶实时经度数据得到充分的利用，从而使得计算出来的参数值W2和B2更能准确反映出实时的航行轨迹是否异常。另外在参数值W2和B2的过程中没有依赖历史数据，能够减少从分布式数据库提取数据所需要的时间，从而提高了实时性。
当为第二种情况时，步骤S300包括如下的步骤S301b至S304b：
S301b，依据所述实时航行数据，得到所述实时航行数据中的各个实时航速。
S302b，对各个所述实时航速按照设定顺序进行排序，得到航速序列。
S303b，计算所述航速序列中相邻两个所述实时航速的比值。
S304b，依据所述比值，得到航速是否异常的指标分析结果。
本实施例是依据“跳跃度”法，把一组实时航速数据由大到小（设定顺序）排列得到X(1) 、X(2)、…X(k)、X(k+1)、…、X(n-1)、X(n)，用X(k+1)/X(k)来表示数据的跳跃度。在测量数据出现异常的时候，对应的X(k+1)/X(k)比值必然有反常的大起大落，也就是数据发生突变，对于符合正态统计分布规律的数据，但数据总体数量够大时，越接近中间均值（视为真实值）时测量数据的存在概率越大，也即数据的跳跃度（X(k+1)/X(k)）比值越大；越远离中间均值，数据越稀疏，数据跳跃度越小。跳跃度超过给定阈值
Figure 379356DEST_PATH_IMAGE004
，判断为航速异常。
在一个实施例中，也可以将一组实时航速数据由小到大排序，依据排序之后的相邻两个航速的比值判断航速是否异常。
步骤S300第一种情况中的船舶轨迹预测是基于当前船舶的航速、航向、经纬度等信息，通过轨迹拟合等方法对航线进行预测，只关注船舶当前的轨迹、不依赖于历史数据，以AIS经纬度数据为基础，使用最小二乘法对船舶轨迹进行建模，以直线段（预设直线）和大角度转弯（阈值T）两种情况作为判断标准，实现对船舶轨迹的异常判断，该算法的优点是简单快速，无需依赖于其他轨迹数据，大大减少了计算量。
S400，将所述指标分析结果存储至所述分布式数据库。
在一个实施例中，本实施例不仅将指标分析结果（航行轨迹是否异常和航速是否异常）保存至分布式数据库，还将采集时间、船舶编码MMSI、轨迹异常结果、航速异常结果、详细分析数据等信息保存到分布式数据库，而且是以步骤S300中的表2的形式进行保存，这样便于用户全面获取船舶航行状况。
S500，通过所述分布式数据库将所述指标分析结果发送至显示终端。
本实施例是用户先通过WEB端（显示终端）向分布式数据库发送请求，之后分布式数据库将指标分析结果（包括轨迹异常结果和航速异常结果）发送给显示终端。在一个实施例中可以只发送指标分析结果，在另一个实施例中分布式数据库将指标分析结果保存在含有采集时间、船舶编码MMSI、详细分析数据所在的表中，然后将该表发送给显示终端。
在一个实施例中，在进行完步骤S100至步骤S500之后，还对每条船舶的指标分析结果以及该船舶所对应的实时航行数据被用户访问的次数进行分析，根据分析结果将频繁被访问的数据放置在分布式数据库的一个区内（子数据库），将被访问频繁程度低的数据放置在分布式数据库的另一个区内（另一个子数据库）。当用户下次发送访问请求时，就可以根据该访问请求所对应的数据被访问频繁程度到相应的子数据库去查找，从而更进一步提高用户获得数据的实时性。该过程的详细步骤如下：统计各个所述指标分析结果被发送至所述显示终端的各个时间，所述时间为距离当前时间点之前的时间；依据各个所述时间，对各个所述指标分析结果进行分类，得到各个所述指标分析结果所对应的时间标签；对所述分布式数据库进行分区，得到所述分布式数据库所对应的各个子数据库；依据各个所述指标分析结果所对应的时间标签，将各个所述指标分析结果移至对应的各个所述子数据库；在当前时间点之后的时间点，通过各个所述子数据库将各个所述指标分析结果发送至所述显示终端。
在一个实施例中，将分布式数据库划分为第一子数据库、第二子数据库、第三子数据库；
若所述指标分析结果在当前时间点之前的一年之内被发送至所述显示终端，则将所述指标分析结果移动至第一子数据库；
若所述指标分析结果在当前时间点之前的一年之内未被发送至所述显示终端，则统计所述指标分析结果被发送至所述显示终端的总次数S以及所述指标分析结果每次被发送至所述显示终端所对应的时间
Figure 501943DEST_PATH_IMAGE005
(为距离当前时间点的时间，
Figure 120006DEST_PATH_IMAGE005
大于一年)；
根据总次数S和时间t，得到运算结果G：
Figure 265817DEST_PATH_IMAGE006
式中
Figure 172593DEST_PATH_IMAGE007
为指标分析结果第i次被发送至所述显示终端所对应的时间。
当G大于等于设定值（0.3）时，将所述指标分析结果移动至第二子数据库；
当G小于等于设定值时，将所述指标分析结果移动至第二子数据库；
当接收到显示终端发出的查询所述指标分析结果的指令时，首先在第一子数据库进行查询，若第一子数据库未查询到，则在第二子数据库继续查询，若第二子数据库未查询到，则在第三子数据库继续查询。
在计算G时，综合考虑了指标分析结果被发送至所述显示终端的总次数S（指标分析结果被发送至显示终端即该指标分析结果被用户访问了）以及每次发送的时间，这两个因素决定了该指标分析结果被用户需求的程度，因此根据G的大小将指标分析结果划分到不同的子数据库，能够提高用户下次查询指标分析结果的速度。
步骤S200中虽然已经根据业务（比如业务一和业务二）将分布式数据库划分不同的分区表（比如Part1表和Part2表）可以加快包含分区字段的查询场景，但是也会带来ROS个数超限制以及分区数过多的问题，通过对现场数据的查询，发现时间范围跨度很大，按照当前每天一个分区计算，该表的分区数和总的ROS会出现超标的危险。因此需要通过将不经常查询或者数据量比较少的分区进行合并操作。在一个实施例中，采用如下规则进行分区合并：针对不在当年的分区按照年进行分区合并（将当年没有被访问的指标分析结果都放置在同一个子数据库中），或者针对不在当月的分区按照月进行分区合并（当月没有被访问的指标分析结果都放置在同一个子数据库中），针对当月内的分区，不做合并操作。
在分布式数据库Vertica接收到查询数据的指标时，虽然Vertica本身适合于分析型的查询，针对简单的精确查询，特别是查询所有字段的精确查询，Vertica的瓶颈在于IO的读取和CPU的解压缩部分。在测试的过程中，发现有些过滤条件查询速度在10s以上，有些在1s以下，针对该问题。通过分析，发现这种时快时慢的根因在于系统中缓存数据的大小。并且通过Vertica的profile可以定量的看出来到底查询中的数据有多少来源于读取磁盘以及读取cache，因此合理设置cache size或增加缓存服务可以有效提高查询效率。
以图2为例，说明步骤S100至S500的整体过程：
步骤一，实时接收Rabbitmq消息队列中的数据，并进行字段解析推送到Kafka。
步骤二，启动数据消息队列Kafka。
步骤三，启动数据消息队列Kafka生产者。
步骤四，利用连接器建立KafkaConnect实时处理AIS原始数据入库。
步骤五，使用Vertica_python定时获取消息记录，对AIS数据相关字段进行清洗、组装、转换后形成指标分析数据，将指标分析数据写入Vertica。
步骤六，启动后台指标数据分析计算定时任务：根据数据统计业务需要，定时查询分布式数据库中的原始苏剧，并按照业务规则进行相应的聚合计算。如：计算去重后规定时间内的船舶MMSI编号、每个MMSI编号船舶得精度、纬度、航速计算、轨迹异常、航速异常等。经过指标数据计算后得到了所有的展示数据。
步骤七，启动后端接口程序从分布式数据库中获取分析后的指标数据。
步骤八，每间隔设定时间利用websocket将指标数据实时推送到Web前端。
步骤九，当用户需要显示轨迹及航速数据时，前端系统请求服务。
步骤十，前端web页面渲染。
加载海图和AIS原始数据，由后台程序通过Websocket实时推送到WEB界面展示船舶位置，并结合算法分析结果数据，对船舶10分钟的历史轨迹和航速提供展示功能，对船舶异常结果进行列表展示。
综上，本发明将实时航行数据存储在分布式数据库中，分布式数据库具有快速存储以及快速查找数据的特点，缩短提取实时航行数据所需要的时间，从而缩短了得到指标分析结果所需要的时间。再将指标分析结果存储在分布式数据库中，当需要将分布式数据库中的指标分析结果发送给显示终端时，又由于分布式数据具有快速查找的特点，因此能够快速查找到指标分析结果将其发送给显示终端。综上所述，由于本发明能够缩短了得到指标分析结果的时间以及缩短了发送给显示终端的时间，从而提高了显示终端得到指标分析结果的实时性。
另外，本发明的WEB展示模块获取支持对AIS实时数据、经纬度轨迹异常分析数据、航速异常分析数据的动态显示；数据加载模块主要完成从分布式数据仓库中读取实时AIS数据；数据处理模块主要完成对数据的清洗、分组、格式转换；算法分析模块主要完成对AIS船舶轨迹、航速数据的异常分析，输出异常结果；数据存储模块主要结合分布式数据库完成对原始数据、分析结果数据的数据保存。
本发明解决了海上态势监测系统对于AIS数据指标实时分析的支持。通过采用无master分布式数据库架构实现了海量数据打散，均匀分布在各计算节点，并进行负载均衡高可用，以1s为读取间隔，每次获取10分钟内的AIS原始结果数据，通过python进行数据处理，加载机器学习模型，得到分析结果数据信息；本发明中的数据分析的程序，其独立运行，对业务系统没有影响；本发明中数据采集的是分布式数据库vertica中的分析结果数据，是经过清洗转换出来的数据，而不是直接使用业务数据；本发明中计算去重后规定时间内的船舶MMSI编号、每个MMSI编号船舶得精度、纬度、航速计算、轨迹异常、航速异常，实现了对海上态势状态监测全流程的状态跟踪Web展示。
示例性装置
本实施例还提供一种船舶航行数据处理装置，所述装置包括如下组成部分：
数据存储驱动模块，用于将船舶的实时航行数据存储至分布式数据库；
数据处理模块，用于提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态；
结果存储驱动模块，用于将所述指标分析结果存储至所述分布式数据库；
发送模块，用于通过所述分布式数据库将所述指标分析结果发送至显示终端。
基于上述实施例，本发明还提供了一种终端设备，其原理框图可以如图3所示。该终端设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种船舶航行数据处理方法。该终端设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端设备的温度传感器是预先在终端设备内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端设备的限定，具体的终端设备以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端设备，终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的船舶航行数据处理程序，处理器执行船舶航行数据处理程序时，实现如下操作指令：
将船舶的实时航行数据存储至分布式数据库；
提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态；
将所述指标分析结果存储至所述分布式数据库；
通过所述分布式数据库将所述指标分析结果发送至显示终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种船舶航行数据处理方法，其特征在于，包括：
将船舶的实时航行数据存储至分布式数据库；
提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征船舶航行状态；
将所述指标分析结果存储至所述分布式数据库；
通过所述分布式数据库将所述指标分析结果发送至显示终端；
所述提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态，包括：
提取存储至所述分布式数据库的所述实时航行数据中的船舶实时位置；
依据所述船舶实时位置，得到所述船舶实时位置中的船舶实时纬度和船舶实时经度；
建立与所述船舶实时纬度和所述船舶实时经度所对应的预设直线；
依据所述预设直线，得到所述预设直线所对应的参数值；
依据所述参数值、船舶历史纬度、与船舶历史纬度所对应的船舶历史经度，构建误差函数；
根据所述船舶历史纬度、所述船舶历史经度、所述误差函数，采用最小二乘法，得到与所述参数值所对应的目标参数值；
依据所述目标参数值、所述船舶实时纬度、所述船舶实时经度，得到航行轨迹是否异常的指标分析结果。
2.如权利要求1所述的船舶航行数据处理方法，其特征在于，所述将船舶的实时航行数据存储至分布式数据库，包括：
建立用于采集所述实时航行数据的队列；
对所述队列进行分区，得到分区之后的所述队列；
获取与所述实时航行数据所对应的历史航行数据；
计算所述历史航行数据的增量信息，所述增量信息用于表征所述历史航行数据的数据增长量；
依据所述增量信息，通过分区之后的所述队列将所述实时航行数据存储至所述分布式数据库。
3.如权利要求2所述的船舶航行数据处理方法，其特征在于，所述依据所述增量信息，通过分区之后的所述队列将所述实时航行数据存储至所述分布式数据库，包括：
依据分区之后的所述队列，得到分区之后的所述队列中的队列第一分区和队列第二分区；
当所述增量信息与第一设定增量相吻合时，通过所述队列第一分区将所述实时航行数据存储至所述分布式数据库；
或者，当所述增量信息与第二设定增量相吻合时，通过所述队列第二分区将所述实时航行数据存储至所述分布式数据库，所述第二设定增量大于所述第一设定增量。
4.如权利要求1所述的船舶航行数据处理方法，其特征在于，所述将船舶的实时航行数据存储至分布式数据库，之后包括：
删除在设定时间内同一个船舶重复的所述实时航行数据，得到去重之后的所述实时航行数据；
将去重之后的所述实时航行数据与标准值进行比较，去除偏离所述标准值的所述实时航行数据，得到清洗之后的所述实时航行数据。
5.如权利要求1所述的船舶航行数据处理方法，其特征在于，将船舶的实时航行数据存储至分布式数据库，之前还包括：
计算与所述分布式数据库所对应的单节点的有效空间，所述有效空间为所述单节点用于存储所述实时航行数据的空间；
获取所述实时航行数据所对应的备份数量；
获取所述实时航行数据所占据的存储空间以及所述实时航行数据所对应的数据膨胀率；
依据所述单节点的有效空间、所述备份数量、所述实时航行数据所占据的存储空间、所述实时航行数据所对应的数据膨胀率，得到节点数量；
依据所述节点数量构建用于部署所述分布式数据库的节点集群。
6.如权利要求1所述的船舶航行数据处理方法，其特征在于，通过所述分布式数据库将所述指标分析结果发送至显示终端，之后包括：
统计各个所述指标分析结果被发送至所述显示终端的各个时间，所述时间为距离当前时间点之前的时间；
依据各个所述时间，对各个所述指标分析结果进行分类，得到各个所述指标分析结果所对应的时间标签；
对所述分布式数据库进行分区，得到所述分布式数据库所对应的各个子数据库；
依据各个所述指标分析结果所对应的时间标签，将各个所述指标分析结果移至对应的各个所述子数据库；
在当前时间点之后的时间点，通过各个所述子数据库将各个所述指标分析结果发送至所述显示终端。
7.如权利要求1所述的船舶航行数据处理方法，其特征在于，所述依据所述目标参数值、所述船舶实时纬度、所述船舶实时经度，得到航行轨迹是否异常的指标分析结果，包括：
依据所述目标参数值，拟合出目标直线；
计算由所述船舶实时纬度和所述船舶实时经度构成的各个坐标点到所述目标直线的距离平均值；
将所述距离平均值与阈值进行比较，得到航行轨迹是否异常的指标分析结果。
8.如权利要求1所述的船舶航行数据处理方法，其特征在于，所述提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态，包括：
依据所述实时航行数据，得到所述实时航行数据中的各个实时航速；
对各个所述实时航速按照设定顺序进行排序，得到航速序列；
计算所述航速序列中相邻两个所述实时航速的比值；
依据所述比值，得到航速是否异常的指标分析结果。
9.一种船舶航行数据处理装置，其特征在于，所述装置包括如下组成部分：
数据存储驱动模块，用于将船舶的实时航行数据存储至分布式数据库；
数据处理模块，用于提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征船舶航行状态；
结果存储驱动模块，用于将所述指标分析结果存储至所述分布式数据库；
发送模块，用于通过所述分布式数据库将所述指标分析结果发送至显示终端；
所述提取存储至所述分布式数据库的所述实时航行数据，对提取的所述实时航行数据进行处理，得到指标分析结果，所述指标分析结果用于表征所述船舶航行状态，包括：
提取存储至所述分布式数据库的所述实时航行数据中的船舶实时位置；
依据所述船舶实时位置，得到所述船舶实时位置中的船舶实时纬度和船舶实时经度；
建立与所述船舶实时纬度和所述船舶实时经度所对应的预设直线；
依据所述预设直线，得到所述预设直线所对应的参数值；
依据所述参数值、船舶历史纬度、与船舶历史纬度所对应的船舶历史经度，构建误差函数；
根据所述船舶历史纬度、所述船舶历史经度、所述误差函数，采用最小二乘法，得到与所述参数值所对应的目标参数值；
依据所述目标参数值、所述船舶实时纬度、所述船舶实时经度，得到航行轨迹是否异常的指标分析结果。
10.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的船舶航行数据处理程序，所述处理器执行所述船舶航行数据处理程序时，实现如权利要求1-8任一项所述的船舶航行数据处理方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有船舶航行数据处理程序，所述船舶航行数据处理程序被处理器执行时，实现如权利要求1-8任一项所述的船舶航行数据处理方法的步骤。
CN202210683604.5A 2022-06-17 2022-06-17 一种船舶航行数据处理方法、装置、设备及存储介质 Active CN114780644B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210683604.5A CN114780644B (zh) 2022-06-17 2022-06-17 一种船舶航行数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210683604.5A CN114780644B (zh) 2022-06-17 2022-06-17 一种船舶航行数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114780644A CN114780644A (zh) 2022-07-22
CN114780644B true CN114780644B (zh) 2022-09-13

Family

ID=82421780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210683604.5A Active CN114780644B (zh) 2022-06-17 2022-06-17 一种船舶航行数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114780644B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630074B (zh) * 2022-12-22 2023-03-03 亿海蓝（北京）数据技术股份公司 数据索引的构建方法、装置、可读存储介质和助航设备
CN117056405B (zh) * 2023-07-19 2024-02-09 中国船舶集团有限公司第七一九研究所 一种舰船软件监测数据采集处理方法、系统及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779137A (zh) * 2016-11-14 2017-05-31 上海海事大学 一种根据海况与操纵条件预测船舶油耗的方法
CN109214107A (zh) * 2018-09-26 2019-01-15 大连海事大学 一种船舶航行行为在线预测方法
CN111179638A (zh) * 2020-01-08 2020-05-19 中国船舶重工集团公司第七二四研究所 一种基于时间序列的船舶ais目标航行监控方法
CN111949751A (zh) * 2020-07-31 2020-11-17 智慧航海（青岛）科技有限公司 一种智能船舶轨迹可视化方法及系统
CN112785030A (zh) * 2020-11-26 2021-05-11 中远海运科技股份有限公司 船舶行为识别系统、方法和平台
CN112836889A (zh) * 2021-02-19 2021-05-25 鹏城实验室 路径优化方法、水下航行器以及计算机可读存储介质
CN113538902A (zh) * 2021-06-17 2021-10-22 北京工业大学 基于交通状态的交叉口车辆轨迹数据修复方法
CN113778992A (zh) * 2021-09-14 2021-12-10 苏州瓦泊特智能科技有限公司 数据分区存储方法、系统、计算机设备和存储介质
WO2022068417A1 (zh) * 2020-09-29 2022-04-07 南京北斗创新应用科技研究院有限公司 一种基于ais数据的船舶徘徊检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8860602B2 (en) * 2012-10-09 2014-10-14 Accipiter Radar Technologies Inc. Device and method for cognitive radar information network
US11397258B2 (en) * 2015-07-17 2022-07-26 Origin Wireless, Inc. Method, apparatus, and system for outdoor target tracking
CN113096445B (zh) * 2021-03-29 2022-04-01 交通运输部东海航海保障中心福州航标处 一种以视觉航标为通讯节点的智能航路设计方法
CN113393707A (zh) * 2021-06-21 2021-09-14 广州嘉航通信科技有限公司 基于光电联动的船舶监测方法、系统、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106779137A (zh) * 2016-11-14 2017-05-31 上海海事大学 一种根据海况与操纵条件预测船舶油耗的方法
CN109214107A (zh) * 2018-09-26 2019-01-15 大连海事大学 一种船舶航行行为在线预测方法
CN111179638A (zh) * 2020-01-08 2020-05-19 中国船舶重工集团公司第七二四研究所 一种基于时间序列的船舶ais目标航行监控方法
CN111949751A (zh) * 2020-07-31 2020-11-17 智慧航海（青岛）科技有限公司 一种智能船舶轨迹可视化方法及系统
WO2022068417A1 (zh) * 2020-09-29 2022-04-07 南京北斗创新应用科技研究院有限公司 一种基于ais数据的船舶徘徊检测方法
CN112785030A (zh) * 2020-11-26 2021-05-11 中远海运科技股份有限公司 船舶行为识别系统、方法和平台
CN112836889A (zh) * 2021-02-19 2021-05-25 鹏城实验室 路径优化方法、水下航行器以及计算机可读存储介质
CN113538902A (zh) * 2021-06-17 2021-10-22 北京工业大学 基于交通状态的交叉口车辆轨迹数据修复方法
CN113778992A (zh) * 2021-09-14 2021-12-10 苏州瓦泊特智能科技有限公司 数据分区存储方法、系统、计算机设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Statistical analysis of motion patterns in AIS Data: Anomaly detection and motion prediction;B. Ristic等;《2008 11th International Conference on Information Fusion》;20080926;第1-7页 *
基于Spark的内河船舶轨迹实时异常检测方法研究;彭祥文;《中国优秀硕士学位论文全文数据库信息科技辑》;20190215(第2期);第I138-1116页 *
基于统计学理论的船舶轨迹异常识别;甄荣等;《集美大学学报(自然科学版)》;20150525;第20卷(第3期);第193-197页 *
彭祥文.基于Spark的内河船舶轨迹实时异常检测方法研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2019,(第2期),第I138-1116页. *

Also Published As

Publication number Publication date
CN114780644A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114780644B (zh) 一种船舶航行数据处理方法、装置、设备及存储介质
US11874855B2 (en) Parallel data access method and system for massive remote-sensing images
Patroumpas et al. Online event recognition from moving vessel trajectories
Makris et al. Performance Evaluation of MongoDB and PostgreSQL for Spatio-temporal Data.
CN108595664B (zh) 一种hadoop环境下的农业数据监控方法
Malensek et al. Fast, ad hoc query evaluations over multidimensional geospatial datasets
CN113341919B (zh) 一种基于时序数据长度优化的计算系统故障预测方法
CN113284369B (zh) 一种基于ads-b实测航路数据的预测方法
CN118012850B (zh) 面向智慧灌溉多源信息的数据库构建系统、方法及设备
CN116450620B (zh) 面向多源多域时空基准数据的数据库设计方法及系统
CN111949751A (zh) 一种智能船舶轨迹可视化方法及系统
CN114153646B (zh) 一种运维故障处置方法、装置及存储介质、处理器
Herodotou et al. Big maritime data management
CN118153919A (zh) 设备维护排配方法及相关设备
CN112749035B (zh) 异常检测方法、装置及计算机可读介质
CN108052629A (zh) 一种基于高精度dem数据的快速海陆判断方法
Wu et al. NEIST: A neural-enhanced index for spatio-temporal queries
CN112800349A (zh) 水上移动目标的运动状态获取方法、装置、设备和介质
Liu et al. Design of information security access system in the power grid based on improved Bayesian algorithm
Kang et al. Cloud-based framework for spatio-temporal trajectory data segmentation and query
Yu et al. Efficient Spatio-Temporal-Data-Oriented Range Query Processing for Air Traffic Flow Statistics
US20240004765A1 (en) Data processing method and apparatus for distributed storage system, device, and storage medium
CN111611406B (zh) 用于人工智能学习模式的数据存储系统与方法
CN111142807B (zh) 基于存储地址遍历的存储优化方法及装置
CN118333529B (zh) 库存预警方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant