CN115145951B - 一种多源船舶数据融合方法及装置 - Google Patents
一种多源船舶数据融合方法及装置 Download PDFInfo
- Publication number
- CN115145951B CN115145951B CN202210258609.3A CN202210258609A CN115145951B CN 115145951 B CN115145951 B CN 115145951B CN 202210258609 A CN202210258609 A CN 202210258609A CN 115145951 B CN115145951 B CN 115145951B
- Authority
- CN
- China
- Prior art keywords
- ship
- data
- association
- ais
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/256—Integrating or interfacing systems involving database management systems in federated or virtual databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种多源船舶数据融合方法及装置,方法包括如下步骤,S1、以MMSI为条件进行多源数据关联;S2、以IMO Number为条件进行多源数据关联;S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;S4、以船舶识别号为条件进行多源数据关联。优点是:使得查询船舶数据的易用性上有了较大的提升,一次查询就能够获得较为全面的船舶数据,减少了数据查询的次数,提升了数据查询的效率,尤其对关联数据查询、多维数据查询效率提升尤为明显。在动静态数据结合方面效果显著,船舶AIS数据提供了船舶的实时位置信息,但对于船舶自身的信息描述的并不完整,进行多源数据融合后,弥补了动静态数据各自的短板,使得信息查询更准确、及时。
Description
技术领域
本发明涉及大数据融合技术领域,尤其涉及一种多源船舶数据融合方法及装置。
背景技术
受船舶管理部门、国内外标准不同等因素影响,船舶数据的来源渠道较多,各数据来源对船舶信息描述各有侧重,既有重复也有不同,缺少能够全方位展示船舶信息全貌的权威数据。同时因为标准不同,各数据来源船舶数据之间缺少相互关联的标准,导致数据关联查询较为困难。
发明内容
本发明的目的在于提供一种多源船舶数据融合方法及装置,从而解决现有技术中存在的前述问题。
为了实现上述目的,本发明采用的技术方案如下:
一种多源船舶数据融合方法,包括如下步骤,
S1、以MMSI为条件进行多源数据关联;
S2、以IMO Number为条件进行多源数据关联;
S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
S4、以船舶识别号为条件进行多源数据关联。
优选的,中国籍船舶的多源数据包括船舶AIS数据、船舶登记数据、船舶检验数据、无线电数据、航运公司数据、中文船名数据、船舶运营证数据、船舶进出港数据、远洋渔业船舶档案数据、船员数据;国际船舶的多源数据除上述数据外还包括船舶档案数据。
优选的,步骤S1具体为,以船舶AIS数据为基础,以MMSI为条件,将船舶AIS数据与远洋渔业船舶档案数据、无线电数据、船舶进出港数据、具有MMSI的船舶登记数据、船舶检验数据进行直接关联。
优选的,步骤S2具体为,以船舶AIS数据为基础,以IMO Number为条件,将船舶AIS数据与国际船舶的船舶档案数据、具有IMO Number的船舶登记数据、船舶检验数据进行直接关联。
优选的,船舶AIS数据包括AIS静态数据和AIS动态数据;步骤S3具体为,利用AIS静态数据中的船舶名称、船舶呼号、船舶船长和船舶船宽与船舶登记数据和船舶检验数据中的对应信息按照比对规则进行比对,基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联。
优选的,所述比对规则为,
建立字符串长度为4的比对结果,初始值为0000,对比结果的每一位从左至右分别对应船舶名称、船舶呼号、船舶船长和船舶船宽,比对一致的,将相应位数值改为1,比对不一致的,相应位数值保持不变;
基于比对结果构建比对结果数据集;比对结果数据集中保存三类数据,分别为MMIS、船舶识别号和比对结果。
优选的,步骤S3中基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联,具体为,确定MMSI与船舶识别号之间的对应关系;基于比对结果将比对结果数据集进行降序排序,顺序排在第一位的MMSI与船舶识别号之间的对应关系即为最合适的对应关系;利用该最合适的对应关系将AIS动态数据与船舶登记数据和船舶检验数据直接关联。
优选的,步骤S4具体为,以船舶登记数据和船舶检验数据为基础,以船舶识别号为条件,将船舶登记数据和船舶检验数据与船舶运营证数据、航运公司数据和船员数据进行直接关联。
本发明的目的还在于提供一种多源船舶数据融合装置,融合装置用于实现上述任一所述的融合方法,所述融合装置包括,
MMSI关联单元;用于以MMSI为条件进行多源数据关联;
IMO Number关联单元;用于以IMO Number为条件进行多源数据关联;
动静态数据关联单元;用于以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
船舶识别号关联单元;用于以船舶识别号为条件进行多源数据关联。
本发明的有益效果是:1、使得查询船舶数据的易用性上有了较大的提升,一次查询就能够获得较为全面的船舶数据,减少了数据查询的次数,提升了数据查询的效率,尤其对关联数据查询、多维数据查询效率提升尤为明显。2、在动静态数据结合方面效果显著,船舶AIS数据提供了船舶的实时位置信息,但对于船舶自身的信息描述的并不完整,进行多源数据融合后,弥补了动静态数据各自的短板,使得信息查询更准确、及时。
附图说明
图1是本发明实施例中融合方法的流程示意图;
图2是本发明实施例中融合装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不用于限定本发明。
实施例一
如图1所示,本实施例中,提供了一种多源船舶数据融合方法,包括如下步骤,
S1、以MMSI为条件进行多源数据关联;
S2、以IMO Number为条件进行多源数据关联;
S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
S4、以船舶识别号为条件进行多源数据关联。
本实施例中,中国籍船舶的多源数据包括船舶AIS数据、船舶登记数据、船舶检验数据、无线电数据、航运公司数据、中文船名数据、船舶运营证数据、船舶进出港数据、远洋渔业船舶档案数据、船员数据;国际船舶的多源数据除上述数据外还包括船舶档案数据。
本实施例中,步骤S1具体为,以船舶AIS数据为基础,以MMSI为条件,将船舶AIS数据与远洋渔业船舶档案数据、无线电数据、船舶进出港数据、具有MMSI的船舶登记数据、船舶检验数据进行直接关联。
MMSI(水上移动通信业务标识码Maritime Mobile Service Identify)是船舶AIS数据中唯一标识一条船数据项,MMSI重复的船舶数据被认为是相同船舶。因此,在多源数据中,具有MMSI数据项的数据,可以使用MMSI数据项与船舶AIS数据进行直接关联。
本实施例中,步骤S2具体为,以船舶AIS数据为基础,以IMO Number为条件,将船舶AIS数据与国际船舶的船舶档案数据、具有IMO Number的船舶登记数据、船舶检验数据进行直接关联。
IMO(国际海事组织International Maritime Organization)Number国际海事组织(IMO)于1987年引入了船舶识别编号,该船号将伴随船舶终生,直至其报废,因此,在多源数据中,尤其是船舶AIS数据和国际船舶的船舶档案数据,均可以使用IMO Number进行数据上的直接关联。
本实施例中,受IMO Number的登记政策、AIS设备的使用范围等历史因素的影响,我国在进行船舶登记、船舶检验时并未强制要求船舶必须提供上述编号,因此,在国内船舶数据中,有约30%-40%的船舶不具备或未提供MMSI或IMO Number,这就导致在进行船舶AIS数据与船舶登记数据、船舶检验数据进行关联时,需要再增加一种MMSI或IMO Number之外的数据关联方式,使船舶AIS数据能够与船舶登记数据、船舶检验数据进行直接关联。
具体来说:船舶AIS数据包括AIS静态数据和AIS动态数据;步骤S3具体为,利用AIS静态数据中的船舶名称、船舶呼号、船舶船长和船舶船宽与船舶登记数据和船舶检验数据中的对应信息按照比对规则进行比对,基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联。
本实施例中,所述比对规则为,
1、建立字符串长度为4的比对结果,初始值为0000,对比结果的每一位从左至右分别对应船舶名称、船舶呼号、船舶船长和船舶船宽,比对一致的,将相应位数值改为1,比对不一致的,相应位数值保持不变;比如1100,表示船舶船名、船舶呼号比对一致,船舶船长、船舶船宽比对不一致。
2、基于比对结果构建比对结果数据集;比对结果数据集中保存三类数据,分别为MMIS、船舶识别号(CN)和比对结果(Matched)。
具体的,以AIS静态数据为基础,利用其中船舶名称、船舶呼号、船舶船长、船舶船宽数据项,与船舶登记数据、船舶检验数据中的英文船名、船舶呼号、船舶船长、船宽进行比对,对比结果写入4位长度字符串,字符串每一位分别为:第1位-船舶名称、第2位-船舶呼号、第3位-船舶船长、第4位-船舶船宽,字符串初始值为0000,每比对成功一项则将该项对应的为置为1,例如0100,1100,1111等。构建比对结果数据集,并将最终的比对结果写入比对结果数据集中,比对结果数据集有3列,分别是MMSI、cn、matched(即为比对结果)。一个比对结果数据集为类似下表中的存储内容:
MMSI | cn | matched |
413999999 | cnxxxxxxxxxxx | 1000 |
413999999 | cnxxxxxxxxxxx | 1111 |
413999999 | cnxxxxxxxxxxx | 1100 |
本实施例中,步骤S3中基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联,具体为,确定MMSI与船舶识别号之间的对应关系;基于比对结果将比对结果数据集进行降序排序,顺序排在第一位的MMSI与船舶识别号之间的对应关系即为最合适的对应关系;利用该最合适的对应关系将AIS动态数据与船舶登记数据和船舶检验数据直接关联。
具体的,通过对matched排序,可得到最符合的MMSI-cn对。但有时由于数据质量的问题,matched可能相同,此时将随机选择一个作为最符合的MMSI-cn对。
通过以上过程,实现了AIS动态数据(比如,船舶的实时位置信息)与船舶登记数据、船舶检验数据的直接关联,丰富了数据内容,提升了各自的短板。
本实施例中,步骤S4具体为,以船舶登记数据和船舶检验数据为基础,以船舶识别号为条件,将船舶登记数据和船舶检验数据与船舶运营证数据、航运公司数据和船员数据进行直接关联。
我国从2011年开始正式对中国旗船舶实施船舶识别号管理,此号码作为船舶唯一识别编码,用于永久识别船舶。因此,在我国的船舶管理数据中,均可以使用船舶识别号进行数据上的直接关联。
实施例二
如图2所示,本实施例中,提供了一种多源船舶数据融合装置,融合装置用于实现所述的融合方法,所述融合装置包括,
MMSI关联单元;用于以MMSI为条件进行多源数据关联;
IMO Number关联单元;用于以IMO Number为条件进行多源数据关联;
动静态数据关联单元;用于以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
船舶识别号关联单元;用于以船舶识别号为条件进行多源数据关联。
各个模块具体的关联方式与实施例一种的关联方式相同。
通过采用本发明公开的上述技术方案,得到了如下有益的效果:
本发明提供了一种多源船舶数据融合方法及装置,使得查询船舶数据的易用性上有了较大的提升,一次查询就能够获得较为全面的船舶数据,减少了数据查询的次数,提升了数据查询的效率,尤其对关联数据查询、多维数据查询效率提升尤为明显。在动静态数据结合方面效果显著,船舶AIS数据提供了船舶的实时位置信息,但对于船舶自身的信息描述的并不完整,进行多源数据融合后,弥补了动静态数据各自的短板,使得信息查询更准确、及时。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视本发明的保护范围。
Claims (2)
1.一种多源船舶数据融合方法,其特征在于:包括如下步骤,
S1、以MMSI为条件进行多源数据关联;
步骤S1具体为,以船舶AIS数据为基础,以MMSI为条件,将船舶AIS数据与远洋渔业船舶档案数据、无线电数据、船舶进出港数据、具有MMSI的船舶登记数据、船舶检验数据进行直接关联;
S2、以IMO Number为条件进行多源数据关联;
步骤S2具体为,以船舶AIS数据为基础,以IMO Number为条件,将船舶AIS数据与国际船舶的船舶档案数据、具有IMO Number的船舶登记数据、船舶检验数据进行直接关联;
S3、以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;船舶AIS数据包括AIS静态数据和AIS动态数据;步骤S3具体为,利用AIS静态数据中的船舶名称、船舶呼号、船舶船长和船舶船宽与船舶登记数据和船舶检验数据中的对应信息按照比对规则进行比对,基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联;
所述比对规则为,
建立字符串长度为4的比对结果,初始值为0000,对比结果的每一位从左至右分别对应船舶名称、船舶呼号、船舶船长和船舶船宽,比对一致的,将相应位数值改为1,比对不一致的,相应位数值保持不变;
基于比对结果构建比对结果数据集;比对结果数据集中保存三类数据,分别为MMIS、船舶识别号和比对结果;
步骤S3中基于比对结果建立AIS动态数据与船舶登记数据和船舶检验数据的直接关联,具体为,确定MMSI与船舶识别号之间的对应关系;基于比对结果将比对结果数据集进行降序排序,顺序排在第一位的MMSI与船舶识别号之间的对应关系即为最合适的对应关系;利用该最合适的对应关系将AIS动态数据与船舶登记数据和船舶检验数据直接关联;
S4、以船舶识别号为条件进行多源数据关联;
中国籍船舶的多源数据包括船舶AIS数据、船舶登记数据、船舶检验数据、无线电数据、航运公司数据、中文船名数据、船舶运营证数据、船舶进出港数据、远洋渔业船舶档案数据、船员数据;国际船舶的多源数据除上述数据外还包括船舶档案数据;
步骤S4具体为,以船舶登记数据和船舶检验数据为基础,以船舶识别号为条件,将船舶登记数据和船舶检验数据与船舶运营证数据、航运公司数据和船员数据进行直接关联。
2.一种多源船舶数据融合装置,其特征在于:融合装置用于实现上述权利要求1所述的融合方法,所述融合装置包括,
MMSI关联单元;用于以MMSI为条件进行多源数据关联;
IMO Number关联单元;用于以IMO Number为条件进行多源数据关联;
动静态数据关联单元;用于以船舶名称、船舶呼号、船舶船长和船舶船宽为条件进行多源数据关联;
船舶识别号关联单元;用于以船舶识别号为条件进行多源数据关联。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210258609.3A CN115145951B (zh) | 2022-03-16 | 2022-03-16 | 一种多源船舶数据融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210258609.3A CN115145951B (zh) | 2022-03-16 | 2022-03-16 | 一种多源船舶数据融合方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115145951A CN115145951A (zh) | 2022-10-04 |
CN115145951B true CN115145951B (zh) | 2023-04-11 |
Family
ID=83405235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210258609.3A Active CN115145951B (zh) | 2022-03-16 | 2022-03-16 | 一种多源船舶数据融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115145951B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115630348A (zh) * | 2022-12-13 | 2023-01-20 | 亿海蓝(北京)数据技术股份公司 | 船舶物理身份聚类匹配方法及系统、电子设备、存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114185903A (zh) * | 2021-11-25 | 2022-03-15 | 海南超船电子商务有限公司 | 一种船舶信息查找方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101311714B1 (ko) * | 2011-06-30 | 2013-09-25 | 주식회사 희망에어텍 | 선박을 감시하는 통합 감시 시스템 및 그의 방법 |
KR101334804B1 (ko) * | 2011-10-07 | 2013-11-29 | 한국해양과학기술원 | 선박 통합모니터링을 위한 위성정보 및 선박정보의 통합방법 |
CN106021675B (zh) * | 2016-05-13 | 2020-04-24 | 自然资源部第三海洋研究所 | 一种基于多源船舶自动识别系统数据的数据融合方法 |
CN107220521A (zh) * | 2017-07-14 | 2017-09-29 | 广东省环境科学研究院 | 一种用于船舶污染物排放量计算的静态数据获取方法 |
CN111382148B (zh) * | 2020-03-06 | 2024-01-16 | 深圳市闻迅数码科技有限公司 | 一种船舶信息管理方法、终端设备及计算机可读介质 |
CN112857360B (zh) * | 2021-03-22 | 2022-06-17 | 哈尔滨工程大学 | 一种船舶航行多信息融合方法 |
-
2022
- 2022-03-16 CN CN202210258609.3A patent/CN115145951B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114185903A (zh) * | 2021-11-25 | 2022-03-15 | 海南超船电子商务有限公司 | 一种船舶信息查找方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115145951A (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115145951B (zh) | 一种多源船舶数据融合方法及装置 | |
WO2003105066A3 (en) | DATA ENTRY METHOD AND DEVICE | |
CN101692651A (zh) | 一种哈希查找表的方法和装置 | |
CN109857912A (zh) | 一种字形识别方法、电子设备及存储介质 | |
CN110689371A (zh) | 一种基于ai和大数据的智能营销云服务平台 | |
CN112800165A (zh) | 一种基于聚类算法的产业集群定位方法、装置及电子设备 | |
CN113505245A (zh) | 知识图谱的生成方法、计算机可读存储介质及计算机设备 | |
CN109726204A (zh) | 一种基于自定义数据表的数据资料管理方法及装置 | |
CN204808373U (zh) | 防伪溯源标签 | |
CN203217620U (zh) | 一种二维码封条 | |
CN113947066A (zh) | 基于asr的文本比对方法、装置、电子设备及存储介质 | |
CN109977992B (zh) | 电子装置、批量注册行为的识别方法和存储介质 | |
CN113407657A (zh) | 基于单级数据库的数据查询方法、装置、设备及存储介质 | |
Glasco | Computerizing the manuscript census | |
CN102467248B (zh) | 减少五笔输入法中无意义词自动上屏显示的方法 | |
Richter | Faithful Transmission or Creative Change: Tracing Modes of Manuscript Production from the Material Evidence | |
CN114548825B (zh) | 投诉工单失真检测方法、装置、设备及存储介质 | |
CN103854085A (zh) | 具有报警功能的船舶维修管理系统 | |
CN100464286C (zh) | 声母韵母声标2-4码手机汉字输入法 | |
CN110162590A (zh) | 一种工程招标文本结合经济要素的数据库显示方法及其装置 | |
JPS5960691A (ja) | 光学文字読取装置 | |
Wang | Design of a Student's Online Examination System Based on B/S Architecture | |
CN107526829A (zh) | 一种法律诉求辅助系统的控制方法 | |
Koll et al. | Relation of title length to number of authors | |
CN111930820A (zh) | 一种基于web端操作的自助数据提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |