CN115145951B - 一种多源船舶数据融合方法及装置 - Google Patents

一种多源船舶数据融合方法及装置 Download PDF

Info

Publication number
CN115145951B
CN115145951B CN202210258609.3A CN202210258609A CN115145951B CN 115145951 B CN115145951 B CN 115145951B CN 202210258609 A CN202210258609 A CN 202210258609A CN 115145951 B CN115145951 B CN 115145951B
Authority
CN
China
Prior art keywords
ship
data
association
ais
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210258609.3A
Other languages
English (en)
Other versions
CN115145951A (zh
Inventor
孙腾达
杨蕾
史婧
杨雪
郑军
郑飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Trancomm Technologies Co ltd
Original Assignee
China Trancomm Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Trancomm Technologies Co ltd filed Critical China Trancomm Technologies Co ltd
Priority to CN202210258609.3A priority Critical patent/CN115145951B/zh
Publication of CN115145951A publication Critical patent/CN115145951A/zh
Application granted granted Critical
Publication of CN115145951B publication Critical patent/CN115145951B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/256Integrating or interfacing systems involving database management systems in federated or virtual databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种多源船舶数据融合方法及装置,方法包括如下步骤,S1、以MMSI为条件进行多源数据关联;S2、以IMO Number为条件进行多源数据关联;S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;S4、以船舶识别号为条件进行多源数据关联。优点是:使得查询船舶数据的易用性上有了较大的提升,一次查询就能够获得较为全面的船舶数据,减少了数据查询的次数,提升了数据查询的效率,尤其对关联数据查询、多维数据查询效率提升尤为明显。在动静态数据结合方面效果显著,船舶AIS数据提供了船舶的实时位置信息,但对于船舶自身的信息描述的并不完整,进行多源数据融合后,弥补了动静态数据各自的短板,使得信息查询更准确、及时。

Description

一种多源船舶数据融合方法及装置
技术领域
本发明涉及大数据融合技术领域,尤其涉及一种多源船舶数据融合方法及装置。
背景技术
受船舶管理部门、国内外标准不同等因素影响,船舶数据的来源渠道较多,各数据来源对船舶信息描述各有侧重,既有重复也有不同,缺少能够全方位展示船舶信息全貌的权威数据。同时因为标准不同,各数据来源船舶数据之间缺少相互关联的标准,导致数据关联查询较为困难。
发明内容
本发明的目的在于提供一种多源船舶数据融合方法及装置,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种多源船舶数据融合方法,包括如下步骤,
S1、以MMSI为条件进行多源数据关联;
S2、以IMO Number为条件进行多源数据关联;
S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
S4、以船舶识别号为条件进行多源数据关联。
优选的,中国籍船舶的多源数据包括船舶AIS数据、船舶登记数据、船舶检验数据、无线电数据、航运公司数据、中文船名数据、船舶运营证数据、船舶进出港数据、远洋渔业船舶档案数据、船员数据;国际船舶的多源数据除上述数据外还包括船舶档案数据。
优选的,步骤S1具体为,以船舶AIS数据为基础,以MMSI为条件,将船舶AIS数据与远洋渔业船舶档案数据、无线电数据、船舶进出港数据、具有MMSI的船舶登记数据、船舶检验数据进行直接关联。
优选的,步骤S2具体为,以船舶AIS数据为基础,以IMO Number为条件,将船舶AIS数据与国际船舶的船舶档案数据、具有IMO Number的船舶登记数据、船舶检验数据进行直接关联。
优选的,船舶AIS数据包括AIS静态数据和AIS动态数据;步骤S3具体为,利用AIS静态数据中的船舶名称、船舶呼号、船舶船长和船舶船宽与船舶登记数据和船舶检验数据中的对应信息按照比对规则进行比对,基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联。
优选的,所述比对规则为,
建立字符串长度为4的比对结果,初始值为0000,对比结果的每一位从左至右分别对应船舶名称、船舶呼号、船舶船长和船舶船宽,比对一致的,将相应位数值改为1,比对不一致的,相应位数值保持不变;
基于比对结果构建比对结果数据集;比对结果数据集中保存三类数据,分别为MMIS、船舶识别号和比对结果。
优选的,步骤S3中基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联,具体为,确定MMSI与船舶识别号之间的对应关系;基于比对结果将比对结果数据集进行降序排序,顺序排在第一位的MMSI与船舶识别号之间的对应关系即为最合适的对应关系;利用该最合适的对应关系将AIS动态数据与船舶登记数据和船舶检验数据直接关联。
优选的,步骤S4具体为,以船舶登记数据和船舶检验数据为基础,以船舶识别号为条件,将船舶登记数据和船舶检验数据与船舶运营证数据、航运公司数据和船员数据进行直接关联。
本发明的目的还在于提供一种多源船舶数据融合装置,融合装置用于实现上述任一所述的融合方法,所述融合装置包括,
MMSI关联单元;用于以MMSI为条件进行多源数据关联;
IMO Number关联单元;用于以IMO Number为条件进行多源数据关联;
动静态数据关联单元;用于以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
船舶识别号关联单元;用于以船舶识别号为条件进行多源数据关联。
本发明的有益效果是:1、使得查询船舶数据的易用性上有了较大的提升,一次查询就能够获得较为全面的船舶数据,减少了数据查询的次数,提升了数据查询的效率,尤其对关联数据查询、多维数据查询效率提升尤为明显。2、在动静态数据结合方面效果显著,船舶AIS数据提供了船舶的实时位置信息,但对于船舶自身的信息描述的并不完整,进行多源数据融合后,弥补了动静态数据各自的短板,使得信息查询更准确、及时。
附图说明
图1是本发明实施例中融合方法的流程示意图;
图2是本发明实施例中融合装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
实施例一
如图1所示,本实施例中,提供了一种多源船舶数据融合方法,包括如下步骤,
S1、以MMSI为条件进行多源数据关联;
S2、以IMO Number为条件进行多源数据关联;
S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
S4、以船舶识别号为条件进行多源数据关联。
本实施例中,中国籍船舶的多源数据包括船舶AIS数据、船舶登记数据、船舶检验数据、无线电数据、航运公司数据、中文船名数据、船舶运营证数据、船舶进出港数据、远洋渔业船舶档案数据、船员数据;国际船舶的多源数据除上述数据外还包括船舶档案数据。
本实施例中,步骤S1具体为,以船舶AIS数据为基础,以MMSI为条件,将船舶AIS数据与远洋渔业船舶档案数据、无线电数据、船舶进出港数据、具有MMSI的船舶登记数据、船舶检验数据进行直接关联。
MMSI(水上移动通信业务标识码Maritime Mobile Service Identify)是船舶AIS数据中唯一标识一条船数据项,MMSI重复的船舶数据被认为是相同船舶。因此,在多源数据中,具有MMSI数据项的数据,可以使用MMSI数据项与船舶AIS数据进行直接关联。
本实施例中,步骤S2具体为,以船舶AIS数据为基础,以IMO Number为条件,将船舶AIS数据与国际船舶的船舶档案数据、具有IMO Number的船舶登记数据、船舶检验数据进行直接关联。
IMO(国际海事组织International Maritime Organization)Number国际海事组织(IMO)于1987年引入了船舶识别编号,该船号将伴随船舶终生,直至其报废,因此,在多源数据中,尤其是船舶AIS数据和国际船舶的船舶档案数据,均可以使用IMO Number进行数据上的直接关联。
本实施例中,受IMO Number的登记政策、AIS设备的使用范围等历史因素的影响,我国在进行船舶登记、船舶检验时并未强制要求船舶必须提供上述编号,因此,在国内船舶数据中,有约30%-40%的船舶不具备或未提供MMSI或IMO Number,这就导致在进行船舶AIS数据与船舶登记数据、船舶检验数据进行关联时,需要再增加一种MMSI或IMO Number之外的数据关联方式,使船舶AIS数据能够与船舶登记数据、船舶检验数据进行直接关联。
具体来说:船舶AIS数据包括AIS静态数据和AIS动态数据;步骤S3具体为,利用AIS静态数据中的船舶名称、船舶呼号、船舶船长和船舶船宽与船舶登记数据和船舶检验数据中的对应信息按照比对规则进行比对,基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联。
本实施例中,所述比对规则为,
1、建立字符串长度为4的比对结果,初始值为0000,对比结果的每一位从左至右分别对应船舶名称、船舶呼号、船舶船长和船舶船宽,比对一致的,将相应位数值改为1,比对不一致的,相应位数值保持不变;比如1100,表示船舶船名、船舶呼号比对一致,船舶船长、船舶船宽比对不一致。
2、基于比对结果构建比对结果数据集;比对结果数据集中保存三类数据,分别为MMIS、船舶识别号(CN)和比对结果(Matched)。
具体的,以AIS静态数据为基础,利用其中船舶名称、船舶呼号、船舶船长、船舶船宽数据项,与船舶登记数据、船舶检验数据中的英文船名、船舶呼号、船舶船长、船宽进行比对,对比结果写入4位长度字符串,字符串每一位分别为:第1位-船舶名称、第2位-船舶呼号、第3位-船舶船长、第4位-船舶船宽,字符串初始值为0000,每比对成功一项则将该项对应的为置为1,例如0100,1100,1111等。构建比对结果数据集,并将最终的比对结果写入比对结果数据集中,比对结果数据集有3列,分别是MMSI、cn、matched(即为比对结果)。一个比对结果数据集为类似下表中的存储内容:
MMSI cn matched
413999999 cnxxxxxxxxxxx 1000
413999999 cnxxxxxxxxxxx 1111
413999999 cnxxxxxxxxxxx 1100
本实施例中,步骤S3中基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联,具体为,确定MMSI与船舶识别号之间的对应关系;基于比对结果将比对结果数据集进行降序排序,顺序排在第一位的MMSI与船舶识别号之间的对应关系即为最合适的对应关系;利用该最合适的对应关系将AIS动态数据与船舶登记数据和船舶检验数据直接关联。
具体的,通过对matched排序,可得到最符合的MMSI-cn对。但有时由于数据质量的问题,matched可能相同,此时将随机选择一个作为最符合的MMSI-cn对。
通过以上过程,实现了AIS动态数据(比如,船舶的实时位置信息)与船舶登记数据、船舶检验数据的直接关联,丰富了数据内容,提升了各自的短板。
本实施例中,步骤S4具体为,以船舶登记数据和船舶检验数据为基础,以船舶识别号为条件,将船舶登记数据和船舶检验数据与船舶运营证数据、航运公司数据和船员数据进行直接关联。
我国从2011年开始正式对中国旗船舶实施船舶识别号管理,此号码作为船舶唯一识别编码,用于永久识别船舶。因此,在我国的船舶管理数据中,均可以使用船舶识别号进行数据上的直接关联。
实施例二
如图2所示,本实施例中,提供了一种多源船舶数据融合装置,融合装置用于实现所述的融合方法,所述融合装置包括,
MMSI关联单元;用于以MMSI为条件进行多源数据关联;
IMO Number关联单元;用于以IMO Number为条件进行多源数据关联;
动静态数据关联单元;用于以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
船舶识别号关联单元;用于以船舶识别号为条件进行多源数据关联。
各个模块具体的关联方式与实施例一种的关联方式相同。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明提供了一种多源船舶数据融合方法及装置,使得查询船舶数据的易用性上有了较大的提升,一次查询就能够获得较为全面的船舶数据,减少了数据查询的次数,提升了数据查询的效率,尤其对关联数据查询、多维数据查询效率提升尤为明显。在动静态数据结合方面效果显著,船舶AIS数据提供了船舶的实时位置信息,但对于船舶自身的信息描述的并不完整,进行多源数据融合后,弥补了动静态数据各自的短板,使得信息查询更准确、及时。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。

Claims (2)

1.一种多源船舶数据融合方法,其特征在于:包括如下步骤,
S1、以MMSI为条件进行多源数据关联;
步骤S1具体为,以船舶AIS数据为基础,以MMSI为条件,将船舶AIS数据与远洋渔业船舶档案数据、无线电数据、船舶进出港数据、具有MMSI的船舶登记数据、船舶检验数据进行直接关联;
S2、以IMO Number为条件进行多源数据关联;
步骤S2具体为,以船舶AIS数据为基础,以IMO Number为条件,将船舶AIS数据与国际船舶的船舶档案数据、具有IMO Number的船舶登记数据、船舶检验数据进行直接关联;
S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;船舶AIS数据包括AIS静态数据和AIS动态数据;步骤S3具体为,利用AIS静态数据中的船舶名称、船舶呼号、船舶船长和船舶船宽与船舶登记数据和船舶检验数据中的对应信息按照比对规则进行比对,基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联;
所述比对规则为,
建立字符串长度为4的比对结果,初始值为0000,对比结果的每一位从左至右分别对应船舶名称、船舶呼号、船舶船长和船舶船宽,比对一致的,将相应位数值改为1,比对不一致的,相应位数值保持不变;
基于比对结果构建比对结果数据集;比对结果数据集中保存三类数据,分别为MMIS、船舶识别号和比对结果;
步骤S3中基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联,具体为,确定MMSI与船舶识别号之间的对应关系;基于比对结果将比对结果数据集进行降序排序,顺序排在第一位的MMSI与船舶识别号之间的对应关系即为最合适的对应关系;利用该最合适的对应关系将AIS动态数据与船舶登记数据和船舶检验数据直接关联;
S4、以船舶识别号为条件进行多源数据关联;
中国籍船舶的多源数据包括船舶AIS数据、船舶登记数据、船舶检验数据、无线电数据、航运公司数据、中文船名数据、船舶运营证数据、船舶进出港数据、远洋渔业船舶档案数据、船员数据;国际船舶的多源数据除上述数据外还包括船舶档案数据;
步骤S4具体为,以船舶登记数据和船舶检验数据为基础,以船舶识别号为条件,将船舶登记数据和船舶检验数据与船舶运营证数据、航运公司数据和船员数据进行直接关联。
2.一种多源船舶数据融合装置,其特征在于:融合装置用于实现上述权利要求1所述的融合方法,所述融合装置包括,
MMSI关联单元;用于以MMSI为条件进行多源数据关联;
IMO Number关联单元;用于以IMO Number为条件进行多源数据关联;
动静态数据关联单元;用于以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
船舶识别号关联单元;用于以船舶识别号为条件进行多源数据关联。
CN202210258609.3A 2022-03-16 2022-03-16 一种多源船舶数据融合方法及装置 Active CN115145951B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210258609.3A CN115145951B (zh) 2022-03-16 2022-03-16 一种多源船舶数据融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210258609.3A CN115145951B (zh) 2022-03-16 2022-03-16 一种多源船舶数据融合方法及装置

Publications (2)

Publication Number Publication Date
CN115145951A CN115145951A (zh) 2022-10-04
CN115145951B true CN115145951B (zh) 2023-04-11

Family

ID=83405235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210258609.3A Active CN115145951B (zh) 2022-03-16 2022-03-16 一种多源船舶数据融合方法及装置

Country Status (1)

Country Link
CN (1) CN115145951B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630348A (zh) * 2022-12-13 2023-01-20 亿海蓝(北京)数据技术股份公司 船舶物理身份聚类匹配方法及系统、电子设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185903A (zh) * 2021-11-25 2022-03-15 海南超船电子商务有限公司 一种船舶信息查找方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101311714B1 (ko) * 2011-06-30 2013-09-25 주식회사 희망에어텍 선박을 감시하는 통합 감시 시스템 및 그의 방법
KR101334804B1 (ko) * 2011-10-07 2013-11-29 한국해양과학기술원 선박 통합모니터링을 위한 위성정보 및 선박정보의 통합방법
CN106021675B (zh) * 2016-05-13 2020-04-24 自然资源部第三海洋研究所 一种基于多源船舶自动识别系统数据的数据融合方法
CN107220521A (zh) * 2017-07-14 2017-09-29 广东省环境科学研究院 一种用于船舶污染物排放量计算的静态数据获取方法
CN111382148B (zh) * 2020-03-06 2024-01-16 深圳市闻迅数码科技有限公司 一种船舶信息管理方法、终端设备及计算机可读介质
CN112857360B (zh) * 2021-03-22 2022-06-17 哈尔滨工程大学 一种船舶航行多信息融合方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114185903A (zh) * 2021-11-25 2022-03-15 海南超船电子商务有限公司 一种船舶信息查找方法

Also Published As

Publication number Publication date
CN115145951A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN115145951B (zh) 一种多源船舶数据融合方法及装置
WO2003105066A3 (en) DATA ENTRY METHOD AND DEVICE
CN101692651A (zh) 一种哈希查找表的方法和装置
CN109857912A (zh) 一种字形识别方法、电子设备及存储介质
CN110689371A (zh) 一种基于ai和大数据的智能营销云服务平台
CN112800165A (zh) 一种基于聚类算法的产业集群定位方法、装置及电子设备
CN113505245A (zh) 知识图谱的生成方法、计算机可读存储介质及计算机设备
CN109726204A (zh) 一种基于自定义数据表的数据资料管理方法及装置
CN204808373U (zh) 防伪溯源标签
CN203217620U (zh) 一种二维码封条
CN113947066A (zh) 基于asr的文本比对方法、装置、电子设备及存储介质
CN109977992B (zh) 电子装置、批量注册行为的识别方法和存储介质
CN113407657A (zh) 基于单级数据库的数据查询方法、装置、设备及存储介质
Glasco Computerizing the manuscript census
CN102467248B (zh) 减少五笔输入法中无意义词自动上屏显示的方法
Richter Faithful Transmission or Creative Change: Tracing Modes of Manuscript Production from the Material Evidence
CN114548825B (zh) 投诉工单失真检测方法、装置、设备及存储介质
CN103854085A (zh) 具有报警功能的船舶维修管理系统
CN100464286C (zh) 声母韵母声标2-4码手机汉字输入法
CN110162590A (zh) 一种工程招标文本结合经济要素的数据库显示方法及其装置
JPS5960691A (ja) 光学文字読取装置
Wang Design of a Student's Online Examination System Based on B/S Architecture
CN107526829A (zh) 一种法律诉求辅助系统的控制方法
Koll et al. Relation of title length to number of authors
CN111930820A (zh) 一种基于web端操作的自助数据提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant