CN116049208B - 一种船舶imo号与mmsi号自动更新匹配方法及系统 - Google Patents

一种船舶imo号与mmsi号自动更新匹配方法及系统 Download PDF

Info

Publication number
CN116049208B
CN116049208B CN202310076534.1A CN202310076534A CN116049208B CN 116049208 B CN116049208 B CN 116049208B CN 202310076534 A CN202310076534 A CN 202310076534A CN 116049208 B CN116049208 B CN 116049208B
Authority
CN
China
Prior art keywords
mmsi
historical
time
mmsi number
ais data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310076534.1A
Other languages
English (en)
Other versions
CN116049208A (zh
Inventor
段俊利
刘鑫鑫
韩懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cosco Shipping Technology Co Ltd
Shanghai Ship and Shipping Research Institute Co Ltd
Original Assignee
Cosco Shipping Technology Co Ltd
Shanghai Ship and Shipping Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cosco Shipping Technology Co Ltd, Shanghai Ship and Shipping Research Institute Co Ltd filed Critical Cosco Shipping Technology Co Ltd
Priority to CN202310076534.1A priority Critical patent/CN116049208B/zh
Publication of CN116049208A publication Critical patent/CN116049208A/zh
Application granted granted Critical
Publication of CN116049208B publication Critical patent/CN116049208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
    • G06F2216/03—Data mining

Abstract

本发明提供了一种船舶IMO号与MMSI号自动更新匹配方法及系统，该方法基于具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并采用特定的判断条件判断出IMO号可能存在新MMSI号未更新匹配，再通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，并根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次，再采用特定的判断方法识别出新MMSI号和历史MMSI号，最后对船舶IMO号与MMSI号进行更新及匹配，能够有效去除AIS数据中的错误数据。

Description

一种船舶IMO号与MMSI号自动更新匹配方法及系统
技术领域
本发明涉及船舶数据信息化处理技术领域，具体涉及一种船舶IMO号与MMSI号自动更新匹配方法及系统。
背景技术
随着船舶自动识别系统(Automatic Identification System,AIS)的普及，海上交通及其相关研究领域进入“大数据”时代，AIS数据涵盖了多种信息，具有广泛的应用价值。
船舶IMO号是国际海事组织(International Maritime Organization,IMO)为每艘船舶分配一个唯一的参考编号以进行识别，建造时由IHS海事公司指派，此数字永久与船体联系在一起，无论船名、船主或者船旗如何变化，它都不会改变。海上移动服务标识MMSI(Maritime Mobile Service Identity)是识别船舶的唯-9位数字。其前三位数字成为MID，代表国籍。AIS系统使用的是MMSI号来识别船舶，IMO号是船员提供的AIS静态信息的一部分，船舶被出售或者长期出租或船旗发生变化时，MMSI号也会发生变化。因此AIS数据中会出现同一IMO号匹配到多个MMSI号的情况出现，导致使用AIS进行数据挖掘时出现错误。
发明内容
为解决AIS数据中同一IMO号匹配到多个MMSI号导致数据杂乱错误等问题，本发明提供了一种船舶IMO号与MMSI号自动更新匹配方法，基于AIS数据、船舶基础数据和泊位数据，使用数据挖掘方法和统计分析方法，并采用特定的计算方式对船舶IMO号与MMSI号进行自动更新及匹配，能够有效去除AIS数据中的错误数据。本发明还涉及一种船舶IMO号与MMSI号自动更新匹配系统。
本发明的技术方案如下：
一种船舶IMO号与MMSI号自动更新匹配方法，其特征在于，包括以下步骤：
数据采集步骤：采集具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，所述AIS数据包括MMSI号和船舶经纬度位置信息；
MMSI号发现步骤：根据AIS数据计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并按照IMO号对MMSI号的数量进行累计，当MMSI号未在由基本信息数据中的历史MMSI号建立的列表中时，若累计数量大于一，且在多个MMSI号中至少一个MMSI号的接收时间与当前时间的时间差大于等于预设时间阈值，且至少另一个MMSI号的接收时间与当前时间的时间差小于预设时间阈值，则船舶的IMO号存在新MMSI号未更新匹配；
MMSI号识别步骤：通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，并采用统计分析技术，根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次；
在某个船舶历史MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差大于等于预设时间阈值时，
采用数据挖掘技术，若该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值且停泊时长大于预设时间阈值，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号，否则，则该船舶MMSI号已由历史MMIS号更换至新MMSI号；
更新匹配步骤：自动提取新MMSI号和历史MMIS号的前三位数字，根据国际电联海上识别数字表，分别自动判定新MMSI号和历史MMIS号的前三位数字是否匹配其各自基本信息数据中的历史船旗国数据，若匹配，则将历史MMSI号所对应的最终AIS数据的接收时间自动认定为历史MMSI号退役时间，并将新MMSI号自动更新至数据库中，完成与IMO号的自动匹配。
优选地，所述数据采集步骤中，所述基本信息数据包括IMO号、历史MMSI号、MMSI生效时间和历史船旗国数据。
优选地，所述数据采集步骤中，所述泊位数据包括泊位位置信息和泊位类型。
优选地，所述MMSI号识别步骤中，通过采用核密度估计算法对每日AIS数据频次进行重采样后，得到重采样数据集的区间，将落入到该区间内的每日AIS数据频次的最小值作为日均AIS数据频次。
优选地，所述MMSI号识别步骤中，采用数据挖掘技术，将该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值，且停泊时长大于预设时间阈值的船舶，判定为该船舶停靠在修理泊位上进行修理；
若船舶停靠在修理泊位上进行修理，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号。
一种船舶IMO号与MMSI号自动更新匹配系统，其特征在于，包括依次连接的数据采集模块、MMSI号发现模块、MMSI号识别模块和更新匹配模块，
数据采集模块，采集具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，所述AIS数据包括MMSI号和船舶经纬度位置信息；
MMSI号发现模块，根据AIS数据计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并按照IMO号对MMSI号的数量进行累计，当MMSI号未在由基本信息数据中的历史MMSI号建立的列表中时，若累计数量大于一，且在多个MMSI号中至少一个MMSI号的接收时间与当前时间的时间差大于等于预设时间阈值，且至少另一个MMSI号的接收时间与当前时间的时间差小于预设时间阈值，则船舶的IMO号存在新MMSI号未更新匹配；
MMSI号识别模块，通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，并采用统计分析技术，根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次；
在某个船舶历史MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差大于等于预设时间阈值时，
采用数据挖掘技术，若该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值且停泊时长大于预设时间阈值，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号，否则，则该船舶MMSI号已由历史MMIS号更换至新MMSI号；
更新匹配模块，自动提取新MMSI号和历史MMIS号的前三位数字，根据国际电联海上识别数字表，分别自动判定新MMSI号和历史MMIS号的前三位数字是否匹配其各自基本信息数据中的历史船旗国数据，若匹配，则将历史MMSI号所对应的最终AIS数据的接收时间自动认定为历史MMSI号退役时间，并将新MMSI号自动更新至数据库中，完成与IMO号的自动匹配。
优选地，所述基本信息数据包括IMO号、历史MMSI号、MMSI生效时间和历史船旗国数据。
优选地，所述泊位数据包括泊位位置信息和泊位类型。
优选地，所述MMSI号识别模块中，通过采用核密度估计算法对每日AIS数据频次进行重采样后，得到重采样数据集的区间，将落入到该区间内的每日AIS数据频次的最小值作为日均AIS数据频次。
优选地，所述MMSI号识别模块中，采用数据挖掘技术，将该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值，且停泊时长大于预设时间阈值的船舶，判定为船舶停靠在修理泊位上进行修理；
若船舶停靠在修理泊位上进行修理，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号。
本发明的有益效果为：
本发明提供的一种船舶IMO号与MMSI号自动更新匹配方法，基于具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，计算出船舶MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，可根据时间差判定船舶是否可能存在已更新但未匹配的MMSI号；并按照IMO号对MMSI号的数量进行累计，根据特定的判断条件确定出船舶的IMO号可能存在新MMSI号未更新匹配，然后通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，能够判定MMSI号长时间丢失的原因为船舶进厂修理导致还是已经被更换；并根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次，进而通过特定的判断方法判定出新MMSI号和历史MMSI号是否被更换；最后提取新MMSI号和历史MMIS号的前三位数字，并根据国际电联海上识别数字表对船舶IMO号与MMSI号进行自动更新及匹配，能够有效去除AIS数据中的错误数据。本发明实现了同一船舶不同MMSI号的发现、过期MMSI号的识别与最新MMSI号的智能判定，采用数据挖掘技术和统计分析技术并结合航运业相关业务逻辑，完成对船舶MMSI号的自动更新，IMO号与最新MMSI号的自动更新匹配。
本发明还涉及一种船舶IMO号与MMSI号自动更新匹配系统，该系统与上述的船舶IMO号与MMSI号自动更新匹配方法相对应，可理解为是一种实现上述船舶IMO号与MMSI号自动更新匹配方法的系统，包括依次连接的数据采集模块、MMSI号发现模块、MMSI号识别模块和更新匹配模块，各模块相互协同工作，基于AIS数据、船舶基础数据和泊位数据，使用数据挖掘方法和统计分析方法，并结合业务逻辑采用特定的计算方式对船舶IMO号与MMSI号进行自动更新及匹配，能够有效去除AIS数据中的错误数据。
附图说明
图1是本发明船舶IMO号与MMSI号自动更新匹配方法的流程图。
具体实施方式
下面结合附图对本发明进行说明。
本发明涉及一种船舶IMO号与MMSI号自动更新匹配方法，该方法的流程图如图1所示，依次包括以下步骤：
数据采集步骤：或进一步称为数据采集和预处理步骤：采集具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，AIS数据包括MMSI号、经度坐标和纬度坐标，并优选进行预处理：具体地，先使用Python语言中的psycopg2(是Python语言的PostgreSQL数据库接口)连接PostgreSQL数据库，从PostgreSQL数据库中查询所有具有有效IMO号的未退役船舶的AIS数据，基本信息数据和泊位数据，在获得上述数据后，对数据进行清洗，去除无用的干扰数据，并对AIS的数据进行预处理，去掉AIS中有问题的数据(如缺失过多)。优选地，基本信息数据包括IMO号、历史MMSI号、MMSI生效时间和历史船旗国数据。泊位数据包括泊位位置信息和泊位类型。
MMSI号发现步骤：根据AIS数据计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并按照IMO号对MMSI号的数量进行累计，当MMSI号未在由基本信息数据中的历史MMSI号建立的列表中时，若累计数量大于一，且在多个MMSI号中至少一个MMSI号的接收时间与当前时间的时间差大于等于预设时间阈值，且至少另一个MMSI号的接收时间与当前时间的时间差小于预设时间阈值，则船舶的IMO号可能存在新MMSI号未更新匹配；
具体地，查询所有拥有有效IMO号且未退役的船舶MMSI号所对应的最终AIS数据，并根据AIS数据计算出船舶MMSI号所对应的最终AIS数据的接收时间Tais_new与当前时间Tnow的时间差Tdelta，其中，时间差Tdelta按照下式进行计算：
Tdelta＝Tnow-Tais_new (1)
在计算出船舶MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差后，按照IMO号对MMSI号的数量进行累计，当MMSI号不在根据基本信息数据中的历史MMSI号建立的历史MMSI号列表中时，若累计数量大于预设数值阈值，即累计数量大于1，且在多个MMSI号中至少一个MMSI号的Tdelta大于等于预设时间阈值，且至少另一个MMSI号的Tdelta小于预设时间阈值，举例来讲，比如预设时间阈值为10天，即在多个MMSI号中存在至少一个MMSI号的Tdelta大于10天且至少另一个MMSI号的Tdelta小于10天，则认为该IMO号可能存在新MMSI号未更新匹配。
MMSI号识别步骤：在存在IMO号可能存在新MMSI号未更新匹配的情况后，将不同IMO号对应的MMSI的AIS数据按照时间进行升序排序，MMSI序列表示为{m1,m2,…mk,}，其对应的时间分别表示为{t1,t2,…tk,}，k随着IMO号对应的MMSI号数量而变化。若某个历史MMSI号的Tdelta大于等于10天，通过ST_Distance函数计算该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离，其中，距离使用经纬度求解两点P1、P2的球面距离，按照下式计算：
上式中，R取地球半径6372.8km，p1:p2:/> 是经度，λ是纬度，Δλ是两点纬度差，/>是两点经度差。
采用数据挖掘技术，将船舶的AIS经纬度坐标到修理泊位的距离小于预设距离阈值，即AIS经纬度点距离修理泊位1km以内，停泊时长大于预设时间阈值的船舶，即停泊时长大于10日的船舶，认定为该船停靠在修理泊为上进行船舶修理。并根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次，即计算新MMSI号在历史MMSI号所对应最终AIS数据的接收时间往后5日内的日均AIS数据频次。
在某个历史MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差大于等于预设时间阈值时，采用数据挖掘技术进行以下判断：若该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为其对应船舶的MMSI号，不存在新MMSI号未更新匹配的情况，否则，则该船舶MMSI号已由历史MMIS号更换至新MMSI号；
具体地，查询已存储在船舶MMSI历史中的MMSI号(即历史MMSI号)，按照MMSI生效时间进行升序排列，MMSI序列表示为{m1，m2，...mk，}，查询mi(i＜k)所对应的最终AIS数据，其时间为Tmi，并计算mj(j＞i)在Tmi至Tmi+5日内的每天AIS数据频次。其中，对于每日AIS数据频次，采用核密度估计算法进行重采样，得到重采样数据集的区间为0.25分位数和0.75分位数，落在该区间内的AIS数据频次在100-150之间，因此正常MMSI号的日均AIS数据频次选定为100。
若m1对应的Tdelta大于等于10天，m1所对应最终AIS数据中的经纬度位置距离修理泊位1km以内且停泊时长大于10天(即该船舶停靠在修理泊位上进行修理)，且m1对应的Tais_new到Tnow的日均AIS数据频次大于等于100，且m2在m1对应的Tais_new往后5日内的日均AIS数据频次小于100，则认为m1仍为该船舶的MMSI号；
若m1所对应最终AIS数据中的经纬度位置距离修理泊位1km以外且停泊时长小于等于10天，且m1对应的Tais_new到Tnow的日均AIS数据频次小于100，且m2在mi对应的Tais_new往后5日内的日均AIS数据频次大于等于100，且AIS静态数据中的尺寸信息相同，则认为该船舶MMSI号已由mi更换至m2。
需要说明的是，若存在多个mmsi的Tdelta小于10天，则无法判定新mmsi；若只有一个mmsi的Tdelta小于10天，则判定其为疑似新mmsi。
更新匹配步骤：自动提取新MMSI号和历史MMIS号的前三位数字，根据国际电联海上识别数字表，分别自动判定新MMSI号和历史MMIS号的前三位数字是否匹配其各自基本信息数据中的历史船旗国数据，若匹配，则将历史MMSI号所对应的最终AIS数据的接收时间自动认定为历史MMSI号退役时间，并将新MMSI号自动更新至数据库中，完成与IMO号的自动匹配。
实施例：
以一艘IMO号为9618680的船舶为例，首先查询该IMO号对应的历史MMSI号，发现其历史MMSI号分别为357909000和440104000，生效日期分别为2014.09和2022.02。
然后查询该IMO号的最新AIS数据，发现存在3个不同的MMSI号，时间postime、位置(经纬度lon，lat)及船旗国信息flag_ctry见表1。
表1
通过表1发现MMSI号357909000和440104000均在MMSI历史列表中存在，但636021714为新出现的MMSI号(后续称为新MMSI号)。并且440104000对应的最终AIS数据的接收时间，距离当前时间已超过10天，新MMSI号时间距离当前时间小于10天，认为该IMO号存在新MMSI号未更新匹配。
计算历史MMSI号440104000所对应最终AIS数据中的经纬度位置到修理泊位的距离，得到该AIS点到最近的修理泊位的距离为4.215km，并且在2022-04-2015:31:09后，该历史MMSI号440104000再无新的AIS数据出现。计算新MMSI号636021714在历史MMSI号440104000最新时间2022-04-2015:31:09之后5日内的每日的AIS数据频次，如表2所示，计算得到时间postime为5日内日均AIS数据频次count为199.6次。
表2
由于历史MMSI号440104000距离修理泊位大于1000m，最新AIS接收时间后的日均频次为0，且新MMSI号636021714日均频次大于100，且尺寸相同，则认为636021714为船舶9618680继440104000后的新MMSI号。
提取新MMSI号636021714的前三位，查询国际电联海上识别数字表，根据国际电联海上识别数字表发现其前三位数字对应的船旗国为Liberia(Republic of)，与AIS数据中的船旗国信息匹配，则历史MMSI号440104000退役时间认定为2022.04.20，新MMSI号636021714生效时间为2022.04.21，并更新至数据库中。
本发明还涉及了一种船舶IMO号与MMSI号自动更新匹配系统，该系统与上述船舶IMO号与MMSI号自动更新匹配方法相对应，可理解为是实现上述方法的系统，该系统包括依次连接的数据采集模块、MMSI号发现模块、MMSI号识别模块和更新匹配模块，具体地，
数据采集模块，采集具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，所述AIS数据包括MMSI号和船舶经纬度位置信息；
MMSI号发现模块，根据AIS数据计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并按照IMO号对MMSI号的数量进行累计，当MMSI号未在由基本信息数据中的历史MMSI号建立的列表中时，若累计数量大于一，且在多个MMSI号中至少一个MMSI号的接收时间与当前时间的时间差大于等于预设时间阈值，且至少另一个MMSI号的接收时间与当前时间的时间差小于预设时间阈值，则船舶的IMO号存在新MMSI号未更新匹配；
MMSI号识别模块，通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，并采用统计分析技术，根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次；
在某个船舶历史MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差大于等于预设时间阈值时，
采用数据挖掘技术，若该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值且停泊时长大于预设时间阈值，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号，不存在新MMSI号未更新匹配的情况，否则，则该船舶MMSI号已由历史MMIS号更换至新MMSI号；
更新匹配模块，自动提取新MMSI号和历史MMIS号的前三位数字，根据国际电联海上识别数字表，分别自动判定新MMSI号和历史MMIS号的前三位数字是否匹配其各自基本信息数据中的历史船旗国数据，若匹配，则将历史MMSI号所对应的最终AIS数据的接收时间自动认定为历史MMSI号退役时间，并将新MMSI号自动更新至数据库中，完成与IMO号的自动匹配。
优选地，基本信息数据包括IMO号、历史MMSI号、MMSI生效时间和历史船旗国数据。
优选地，泊位数据包括泊位位置信息和泊位类型。
优选地，将历史MMSI号与历史船旗国数据关联，并抽取历史船旗国数据作为样本验证历史MMSI号前三位是否匹配国际电联海上识别数字表。
优选地，MMSI号识别模块中，采用数据挖掘技术，将该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值，且停泊时长大于预设时间阈值的船舶，判定为船舶停靠在修理泊位上进行修理；
若船舶停靠在修理泊位上进行修理，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号。
本发明提供了客观、科学的船舶IMO号与MMSI号自动更新匹配方法及系统，基于AIS数据、船舶基础数据和泊位数据，使用数据挖掘方法和统计分析方法，并采用特定的计算方式对船舶IMO号与MMSI号进行自动更新及匹配，能够有效去除AIS数据中的错误数据。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。

Claims (10)

1.一种船舶IMO号与MMSI号自动更新匹配方法，其特征在于，包括以下步骤：
数据采集步骤：采集具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，所述AIS数据包括MMSI号和船舶经纬度位置信息；
MMSI号发现步骤：根据AIS数据计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并按照IMO号对MMSI号的数量进行累计，当MMSI号未在由基本信息数据中的历史MMSI号建立的列表中时，若累计数量大于一，且在多个MMSI号中至少一个MMSI号的接收时间与当前时间的时间差大于等于预设时间阈值，且至少另一个MMSI号的接收时间与当前时间的时间差小于预设时间阈值，则船舶的IMO号存在新MMSI号未更新匹配；
MMSI号识别步骤：通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，并采用统计分析技术，根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次；
在某个船舶历史MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差大于等于预设时间阈值时，
采用数据挖掘技术，若该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值且停泊时长大于预设时间阈值，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号，否则，则该船舶MMSI号已由历史MMIS号更换至新MMSI号；
更新匹配步骤：自动提取新MMSI号和历史MMIS号的前三位数字，根据国际电联海上识别数字表，分别自动判定新MMSI号和历史MMIS号的前三位数字是否匹配其各自基本信息数据中的历史船旗国数据，若匹配，则将历史MMSI号所对应的最终AIS数据的接收时间自动认定为历史MMSI号退役时间，并将新MMSI号自动更新至数据库中，完成与IMO号的自动匹配。
2.根据权利要求1所述的船舶IMO号与MMSI号自动更新匹配方法，其特征在于，所述数据采集步骤中，所述基本信息数据包括IMO号、历史MMSI号、MMSI生效时间和历史船旗国数据。
3.根据权利要求1所述的船舶IMO号与MMSI号自动更新匹配方法，其特征在于，所述数据采集步骤中，所述泊位数据包括泊位位置信息和泊位类型。
4.根据权利要求2所述的船舶IMO号与MMSI号自动更新匹配方法，其特征在于，所述MMSI号识别步骤中，通过采用核密度估计算法对每日AIS数据频次进行重采样后，得到重采样数据集的区间，将落入到该区间内的每日AIS数据频次的最小值作为日均AIS数据频次。
5.根据权利要求1所述的船舶IMO号与MMSI号自动更新匹配方法，其特征在于，所述MMSI号识别步骤中，采用数据挖掘技术，将该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值，且停泊时长大于预设时间阈值的船舶，判定为该船舶停靠在修理泊位上进行修理；
若船舶停靠在修理泊位上进行修理，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号。
6.一种船舶IMO号与MMSI号自动更新匹配系统，其特征在于，包括依次连接的数据采集模块、MMSI号发现模块、MMSI号识别模块和更新匹配模块，
数据采集模块，采集具有有效IMO号的未退役船舶的AIS数据、基本信息数据和泊位数据，所述AIS数据包括MMSI号和船舶经纬度位置信息；
MMSI号发现模块，根据AIS数据计算MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差，并按照IMO号对MMSI号的数量进行累计，当MMSI号未在由基本信息数据中的历史MMSI号建立的列表中时，若累计数量大于一，且在多个MMSI号中至少一个MMSI号的接收时间与当前时间的时间差大于等于预设时间阈值，且至少另一个MMSI号的接收时间与当前时间的时间差小于预设时间阈值，则船舶的IMO号存在新MMSI号未更新匹配；
MMSI号识别模块，通过ST_Distance函数计算历史MMSI号所对应最终AIS数据中的经纬度位置到泊位数据中修理泊位的距离，并采用统计分析技术，根据AIS数据计算出历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次，以及计算出新MMSI号在历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次；
在某个船舶历史MMSI号所对应的最终AIS数据的接收时间与当前时间的时间差大于等于预设时间阈值时，
采用数据挖掘技术，若该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值且停泊时长大于预设时间阈值，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号，否则，则该船舶MMSI号已由历史MMIS号更换至新MMSI号；
更新匹配模块，自动提取新MMSI号和历史MMIS号的前三位数字，根据国际电联海上识别数字表，分别自动判定新MMSI号和历史MMIS号的前三位数字是否匹配其各自基本信息数据中的历史船旗国数据，若匹配，则将历史MMSI号所对应的最终AIS数据的接收时间自动认定为历史MMSI号退役时间，并将新MMSI号自动更新至数据库中，完成与IMO号的自动匹配。
7.根据权利要求6所述的船舶IMO号与MMSI号自动更新匹配系统，其特征在于，所述基本信息数据包括IMO号、历史MMSI号、MMSI生效时间和历史船旗国数据。
8.根据权利要求6所述的船舶IMO号与MMSI号自动更新匹配系统，其特征在于，所述泊位数据包括泊位位置信息和泊位类型。
9.根据权利要求7所述的船舶IMO号与MMSI号自动更新匹配系统，其特征在于，所述MMSI号识别模块中，通过采用核密度估计算法对每日AIS数据频次进行重采样后，得到重采样数据集的区间，将落入到该区间内的每日AIS数据频次的最小值作为日均AIS数据频次。
10.根据权利要求6所述的船舶IMO号与MMSI号自动更新匹配系统，其特征在于，所述MMSI号识别模块中，采用数据挖掘技术，将该历史MMSI号所对应最终AIS数据中的经纬度位置到修理泊位的距离小于预设距离阈值，且停泊时长大于预设时间阈值的船舶，判定为船舶停靠在修理泊位上进行修理；
若船舶停靠在修理泊位上进行修理，且该历史MMSI号所对应最终AIS数据的接收时间到当前时间的日均AIS数据频次大于等于预设频次阈值，且新MMSI号在该历史MMSI号所对应最终AIS数据的接收时间之后的某一段时间内的日均AIS数据频次小于预设频次阈值，则该历史MMSI号仍为该船舶的MMSI号。
CN202310076534.1A 2023-01-19 2023-01-19 一种船舶imo号与mmsi号自动更新匹配方法及系统 Active CN116049208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310076534.1A CN116049208B (zh) 2023-01-19 2023-01-19 一种船舶imo号与mmsi号自动更新匹配方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310076534.1A CN116049208B (zh) 2023-01-19 2023-01-19 一种船舶imo号与mmsi号自动更新匹配方法及系统

Publications (2)

Publication Number Publication Date
CN116049208A CN116049208A (zh) 2023-05-02
CN116049208B true CN116049208B (zh) 2023-10-31

Family

ID=86133007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310076534.1A Active CN116049208B (zh) 2023-01-19 2023-01-19 一种船舶imo号与mmsi号自动更新匹配方法及系统

Country Status (1)

Country Link
CN (1) CN116049208B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116828391B (zh) * 2023-08-29 2023-12-05 中船（浙江）海洋科技有限公司 一种检测ais异常开关的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220521A (zh) * 2017-07-14 2017-09-29 广东省环境科学研究院 一种用于船舶污染物排放量计算的静态数据获取方法
GB201814546D0 (en) * 2018-09-06 2018-10-24 Clarksons Cloud Ltd Method for vessel tracking
CN113988213A (zh) * 2021-11-12 2022-01-28 中远海运科技股份有限公司 一种船舶在坞修理识别方法及系统
CN115050214A (zh) * 2022-06-07 2022-09-13 兰州大学 一种基于ais数据的船舶碰撞风险预测方法
CN115060264A (zh) * 2022-05-23 2022-09-16 中国船舶重工集团公司第七0七研究所九江分部 一种基于ais数据的prm航线规划方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180211202A1 (en) * 2017-01-26 2018-07-26 Eugenio S. YNION, JR. Method, system, apparatus, and program for real-time and online freight management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220521A (zh) * 2017-07-14 2017-09-29 广东省环境科学研究院 一种用于船舶污染物排放量计算的静态数据获取方法
GB201814546D0 (en) * 2018-09-06 2018-10-24 Clarksons Cloud Ltd Method for vessel tracking
CN113988213A (zh) * 2021-11-12 2022-01-28 中远海运科技股份有限公司 一种船舶在坞修理识别方法及系统
CN115060264A (zh) * 2022-05-23 2022-09-16 中国船舶重工集团公司第七0七研究所九江分部 一种基于ais数据的prm航线规划方法
CN115050214A (zh) * 2022-06-07 2022-09-13 兰州大学 一种基于ais数据的船舶碰撞风险预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于react的船舶智能管理系统的设计与实现;夏雯婷;信息科技辑;全文 *
基于历史航迹的船舶任意点到港的航线规划算法;段俊利;上海船舶运输科学研究所学报;全文 *
面向e-航海时空数据处理的负载均衡算法;张安民;侯泽北;李兆兴;张殿君;;测绘科学(10);全文 *

Also Published As

Publication number Publication date
CN116049208A (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
US10922981B2 (en) Risk event identification in maritime data and usage thereof
CN116049208B (zh) 一种船舶imo号与mmsi号自动更新匹配方法及系统
CN108362293B (zh) 一种基于关键点技术的车辆轨迹匹配方法
CN111091226B (zh) 一种基于实际航运业务和数据挖掘的运力预测方法
CN112562415A (zh) 船舶航线推荐方法
CN112016730B (zh) 港口泊位装卸效率挖掘方法、装置、设备和储存介质
CN112541591A (zh) 一种泊位识别方法、平台
CN108090722A (zh) 一种基于gps的物流网络站点识别设备与识别方法
CN111931077B (zh) 数据处理方法、装置、电子设备及存储介质
CN113988213B (zh) 一种船舶在坞修理识别方法及系统
CN110579218B (zh) 一种规划更换电池路径的方法及终端
CN113822518B (zh) 一种ais大数据驱动的集装箱港口装卸效率计算方法
CN112991820A (zh) 套牌船识别方法及系统
CN115186234B (zh) 港口距离矩阵的计算方法、装置、电子设备及存储介质
CN116542591A (zh) 一种考虑不确定条件的多式联运路径优化方法
CN116308037A (zh) 一种船舶备件预警方法和系统
CN113761397B (zh) 一种定制客运路线的推荐方法、系统、设备及存储介质
CN113807560B (zh) 一种物流成本预测方法、装置、电子设备以及存储介质
CN115660539B (zh) 集装箱跟踪数据处理方法、系统、设备、存储介质和芯片
Jauernig et al. International logistics in Lithuania at a time of transition
CN115641245A (zh) 一种基于船舶ais以及船期数据的船舶对齐方法
CN114638172B (zh) 一种湖底地形修复数据处理系统及处理方法
CN115619414A (zh) 验证船舶及其贸易背景是否涉敏的方法和装置
AU2023202360B1 (en) Detecting Inaccuracies in Carrier Location Data of a Vessel
CN116674710A (zh) 一种船舶超载的核查方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant