CN112347211A - 船舶自动识别系统数据的处理方法、系统和存储介质 - Google Patents

船舶自动识别系统数据的处理方法、系统和存储介质 Download PDF

Info

Publication number
CN112347211A
CN112347211A CN202011221057.6A CN202011221057A CN112347211A CN 112347211 A CN112347211 A CN 112347211A CN 202011221057 A CN202011221057 A CN 202011221057A CN 112347211 A CN112347211 A CN 112347211A
Authority
CN
China
Prior art keywords
ship
identification system
data
automatic identification
system data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011221057.6A
Other languages
English (en)
Inventor
左少标
王乐凯
李嵩
周海龙
王传超
穆珂
刘文健
袁小平
李强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beiming Software Co ltd
Original Assignee
Beiming Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beiming Software Co ltd filed Critical Beiming Software Co ltd
Priority to CN202011221057.6A priority Critical patent/CN112347211A/zh
Publication of CN112347211A publication Critical patent/CN112347211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种船舶自动识别系统数据的处理方法、系统和存储介质，该方法利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；将所述HBase中的船舶自动识别系统数据映射到所述网格图；按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。

Description

船舶自动识别系统数据的处理方法、系统和存储介质
技术领域
本发明涉及航海数据处理领域，尤其是一种船舶自动识别系统数据的处理方法、系统和存储介质。
背景技术
AIS全名为船舶自动识别系统，全球任何500总吨以上的船舶都强制安装AIS系统，AIS主要包括岸基模块和船载设备两部分，是船舶的定位，通信和导航的重要系统,近年来获得了广泛的应用.利用AIS系统，可以实现航迹关联,获取船舶的经纬度信息,船舶航行动态信息等功能，AIS系统的应用在船舶水上交通及监管方面都具有极大的意义，而AIS数据由于信号发送时间间隔短，数据量极大，使得对于AIS数据的存储及处理成为数据利用与分析的主要瓶颈。AIS数据的数据量大，数据处理效率低，数据计算重复且准确性差，无法满足当前业务的数据处理需求。
发明内容
为解决上述技术问题的至少之一，本发明的目的在于：提供一种船舶自动识别系统数据的处理方法、系统和存储介质。
第一方面，本发明实施例提供了：
一种船舶自动识别系统数据的处理方法，利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：
获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
将所述HBase中的船舶自动识别系统数据映射到所述网格图；
按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
在一些实施例中，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离时，对已经进行过计算的两个网格中的所述船舶自动识别系统数据不再计算。
在一些实施例中，所述网格大小为0.5°*0.5°。
在一些实施例中，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离的步骤之前，还包括：
根据网格在所述网格图中的位置对各所述网格进行分类标记，根据每个网格的分类标记确定该网格需要进行计算的相邻网格。
在一些实施例中，所述船舶自动识别系统数据至少包括：船舶名称、船舶MMSI、经度、纬度、航速、船首向、转向率和报告时间。
在一些实施例中，当一个船舶的所述船舶自动识别系统数据有多个时，根据报告时间最新的一个作为该船舶在所述网格图中的船舶自动识别系统数据。
在一些实施例中，采用平方法或者内接矩阵法计算两个船舶的距离。
第二方面，本发明实施例提供了：
一种船舶自动识别系统数据的处理系统，利用HBase对所述船舶自动识别系统数据进行处理，包括：
获取单元，用于获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
划分单元，用于按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
映射单元，用于将所述HBase中的船舶自动识别系统数据映射到所述网格图；
碰撞风险计算单元，用于按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
第三方面，本发明实施例提供了：
一种船舶自动识别系统数据的处理系统，包括
存储器，用于存储程序；
处理器，用于加载所述程序以执行上述的船舶自动识别系统数据的处理方法。
第四方面，本发明实施例提供了：
一种存储介质，其存储有程序，所述程序被处理器执行时实现上述的船舶自动识别系统数据的处理方法。
本发明实施例的有益效果是：本发明借助HBase进行AIS数据的存储与处理，利用HBase对海量数据处理的优势，增加数据并发处理的速度，利用网格计算算法解决数据计算重复及效率低下的问题。
附图说明
图1为根据本发明实施例提供的一种船舶自动识别系统数据的处理方法的流程图；
图2为根据本发明实施例提供的一种网格图的计算顺序示意图；
图3为根据本发明实施例提供的一种网格的示意图；
图4为根据本发明实施例提供的一种网格图的类型分布图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
参照图1、图2、图3和图4，一种船舶自动识别系统数据的处理方法，利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：
获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
将所述HBase中的船舶自动识别系统数据映射到所述网格图；
按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
如图2、图3和图4所示，对于划分后的每一个网格，应该定义网格ID，左下角网格坐标及右上角网格坐标。对每个网格定义type属性，根据所处位置，四个角的属性type值为3，边上的网格属性type值为1，内部的网格属性type值为2。
如图2所示为确定网格计算顺序，从左下角的网格开始计算。通过属性值，可以知道其位置，从而决定需要计算的相邻网格。
传统的AIS数据存储通常为文本形式或使用空间数据库postgres等结构化数据库存储，缺点就是数据存取效率差，且并发存取都有局限性，甚至导致进程崩溃的情况。解决数据存储及数据处理速度的问题。
本实施例借助HBase进行AIS数据的存储与处理，利用HBase对海量数据处理的优势，增加数据并发处理的速度，利用网格计算算法解决数据计算重复及效率低下的问题。
HBase的设计结构上满足AIS数据存储量大的特性，一张数据表可以有上亿行，将AIS数据按照时间戳(报告时间)倒序进行排序，存储到HBase中，数据结构如表1：
表1
Figure BDA0002762032440000031
Figure BDA0002762032440000041
本实施例采用网格划分的计算方式，用于数据已经经过解析处理后存储在HBase数据库中，利用HBase几乎不存在数据读取效率的问题的特点，剩下的就是对于读取到的数据的计算处理。本发明采用网格划分的方法，减少数据计算次数，同时也能够避免数据的重复计算和无效计算问题。
首先是如何划分网格，考虑到船舶大小及船舶安全距离的计算，网格至少需要能够保证一条船的承载大小及船舶安全距离，设置网格大小为0.5°*0.5°，对每个网格定义网格ID，左下角经纬度LCoordinates、右上角经纬度RCoordinates，如图3所示。为了避免重复计算及无效计算，根据网格分布情况，可以将网格分为边、角、内部3类，定义一个type属性标识。如图4所示。
对于属于“边”的网格type＝1，周围存在5个相邻网格，需要计算6次，属于“角”的网格type＝2，周围存在3个相邻网格，需要计算4次，“内部”网格type＝3，周围有8个相邻的网格，需要计算9次。
接下来，如何将数据映射到网格中，根据时间戳属性，将同一时间点的数据从HBase读取出来，并根据经纬度信息确认数据网格中的位置，将数据映射到网格中。
然后，就是确定计算顺序，选择左下角的网格作为初始网格开始计算，假设网格ID为ID11，则需要与相邻的网格ID12、ID21及ID22计算3次，之后计算ID12相邻的网格，需要与网格ID13，ID23，ID22，ID21计算4次，因为ID11与ID12已经计算过，这里不会再次计算，之后需要计算ID21相邻的网格，同样需要计算ID31，ID32，ID22，因为与ID12及ID11都已计算过，不再计算，以此类推，如图2所示。
确定了网格划分及计算顺序问题后，就是船舶之间的距离计算，距离计算可以采用平方法或内接矩形法，使用内接矩形法，按照x、y轴方向进行排序，计算交集来判断两个数据点是否超过设置的安全距离，其实就是对排序次数的计算。
开平方法：两点之间的直线距离可以根据坐标计算公式(x1-x2)2+(y1-y2)2开平方取得，这里也可以不进行开平方计算。
内接矩形法：设置碰撞距离为R，以R为圆的半径，则认为落在x±√2R和y±√2R这个内接矩形内的点存在碰撞风险。
当数据量足够大的情况下，能够将算法复杂度由【n！】降低到【3*n*排序次数】。
可见本发明借助HBase进行AIS数据的存储与处理，利用HBase对海量数据处理的优势，增加数据并发处理的速度，利用网格计算算法解决数据计算重复及效率低下的问题。
在一些实施例中，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离时，对已经进行过计算的两个网格中的所述船舶自动识别系统数据不再计算。
在一些实施例中，所述网格大小为0.5°*0.5°。这个大小可以确保
在一些实施例中，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离的步骤之前，还包括：
根据网格在所述网格图中的位置对各所述网格进行分类标记，根据每个网格的分类标记确定该网格需要进行计算的相邻网格。通过对网格标记分类，可以确定需要进行哪些运算，这样相对于确定相邻网格之间是否已经计算过，更加快捷和简单，提升了处理效率。
在一些实施例中，所述船舶自动识别系统数据至少包括：船舶名称、船舶MMSI、经度、纬度、航速、船首向、转向率和报告时间。
在一些实施例中，当一个船舶的所述船舶自动识别系统数据有多个时，根据报告时间最新的一个作为该船舶在所述网格图中的船舶自动识别系统数据。通过这样的刷新方法可以确保在网格图中不会同时出现同一艘船的多个数据。
在一些实施例中，采用平方法或者内接矩阵法计算两个船舶的距离。这两种方法简单且计算量低。
一种船舶自动识别系统数据的处理系统，利用HBase对所述船舶自动识别系统数据进行处理，包括：
获取单元，用于获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
划分单元，用于按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
映射单元，用于将所述HBase中的船舶自动识别系统数据映射到所述网格图；
碰撞风险计算单元，用于按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
一种船舶自动识别系统数据的处理系统，包括
存储器，用于存储程序；
处理器，用于加载所述程序以执行上述的船舶自动识别系统数据的处理方法。
一种存储介质，其存储有程序，所述程序被处理器执行时实现上述的船舶自动识别系统数据的处理方法。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种船舶自动识别系统数据的处理方法，其特征在于，利用HBase对所述船舶自动识别系统数据进行处理，包括以下步骤：
获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
按照预设的网格尺寸在经纬度海图上划分网格，得到网格图；
将所述HBase中的船舶自动识别系统数据映射到所述网格图；
按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
2.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离时，对已经进行过计算的两个网格中的所述船舶自动识别系统数据不再计算。
3.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，所述网格大小为0.5°*0.5°。
4.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，在所述按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离的步骤之前，还包括：
根据网格在所述网格图中的位置对各所述网格进行分类标记，根据每个网格的分类标记确定该网格需要进行计算的相邻网格。
5.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，所述船舶自动识别系统数据至少包括：船舶名称、船舶MMSI、经度、纬度、航速、船首向、转向率和报告时间。
6.根据权利要求5所述的船舶自动识别系统数据的处理方法，其特征在于，当一个船舶的所述船舶自动识别系统数据有多个时，根据报告时间最新的一个作为该船舶在所述网格图中的船舶自动识别系统数据。
7.根据权利要求1所述的船舶自动识别系统数据的处理方法，其特征在于，采用平方法或者内接矩阵法计算两个船舶的距离。
8.一种船舶自动识别系统数据的处理系统，其特征在于，利用HBase对所述船舶自动识别系统数据进行处理，包括：
获取单元，用于获取多个所述船舶自动识别系统数据存储在HBase中，每个所述船舶自动识别系统数据用于表示一个船舶的航行信息；
划分单元，用于按照预设的网格尺寸在经纬度地图上划分网格，得到网格图；
映射单元，用于将所述HBase中的船舶自动识别系统数据映射到所述网格图；
碰撞风险计算单元，用于按照预设的次序计算相邻网格中所述船舶自动识别系统数据所表示的位置之间的距离，以确定船舶之间的碰撞风险。
9.一种船舶自动识别系统数据的处理系统，其特征在于，包括
存储器，用于存储程序；
处理器，用于加载所述程序以执行如权利要求1-7任一项所述的方法。
10.一种存储介质，其存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7任一项所述的方法。
CN202011221057.6A 2020-11-05 2020-11-05 船舶自动识别系统数据的处理方法、系统和存储介质 Pending CN112347211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011221057.6A CN112347211A (zh) 2020-11-05 2020-11-05 船舶自动识别系统数据的处理方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011221057.6A CN112347211A (zh) 2020-11-05 2020-11-05 船舶自动识别系统数据的处理方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN112347211A true CN112347211A (zh) 2021-02-09

Family

ID=74428749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011221057.6A Pending CN112347211A (zh) 2020-11-05 2020-11-05 船舶自动识别系统数据的处理方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN112347211A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901969A (zh) * 2021-12-08 2022-01-07 亿海蓝（北京）数据技术股份公司 船舶异常行为检测方法、系统、电子设备和可读存储介质
CN116828391A (zh) * 2023-08-29 2023-09-29 中船（浙江）海洋科技有限公司 一种检测ais异常开关的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287340A1 (en) * 2016-03-31 2017-10-05 Fujitsu Limited Collision risk calculation method, collision risk calculation device, and computer-readable recording medium
CN111179638A (zh) * 2020-01-08 2020-05-19 中国船舶重工集团公司第七二四研究所 一种基于时间序列的船舶ais目标航行监控方法
CN111221931A (zh) * 2019-12-30 2020-06-02 盐城古卓科技有限公司 一种gis软件中针对大数据的可视化管理方法
CN111581314A (zh) * 2020-04-26 2020-08-25 亿海蓝（北京）数据技术股份公司 基于船舶轨迹的泊位识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170287340A1 (en) * 2016-03-31 2017-10-05 Fujitsu Limited Collision risk calculation method, collision risk calculation device, and computer-readable recording medium
CN111221931A (zh) * 2019-12-30 2020-06-02 盐城古卓科技有限公司 一种gis软件中针对大数据的可视化管理方法
CN111179638A (zh) * 2020-01-08 2020-05-19 中国船舶重工集团公司第七二四研究所 一种基于时间序列的船舶ais目标航行监控方法
CN111581314A (zh) * 2020-04-26 2020-08-25 亿海蓝（北京）数据技术股份公司 基于船舶轨迹的泊位识别方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
孟凡君;曹伟;管志强;: "基于HBase的AIS数据分布式存储", 信息通信, no. 05, pages 172 - 174 *
王亮;陈春旭;苏云;: "基于Spark的海量船舶密度分布计算系统设计与实现", 舰船电子工程, no. 12 *
王冬海;卢峰;方晓蓉;郭刚;: "海洋大数据关键技术及在灾害天气下船舶行为预测上的应用", 大数据, no. 04 *
解立志;潘启灏;: "AIS在多船实时避碰检测中的应用", 船海工程, no. 05, pages 177 - 180 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113901969A (zh) * 2021-12-08 2022-01-07 亿海蓝（北京）数据技术股份公司 船舶异常行为检测方法、系统、电子设备和可读存储介质
CN116828391A (zh) * 2023-08-29 2023-09-29 中船（浙江）海洋科技有限公司 一种检测ais异常开关的方法
CN116828391B (zh) * 2023-08-29 2023-12-05 中船（浙江）海洋科技有限公司 一种检测ais异常开关的方法

Similar Documents

Publication Publication Date Title
CN112347211A (zh) 船舶自动识别系统数据的处理方法、系统和存储介质
CN113220678B (zh) 船靠船事件识别方法及系统
CN116628123B (zh) 基于空间数据库的动态切片生成方法和系统
CN112731334A (zh) 一种激光定位车辆的方法及装置
CN112800165A (zh) 一种基于聚类算法的产业集群定位方法、装置及电子设备
CN114290660A (zh) 曲面分层式3d打印方法及系统
CN114219899A (zh) 一种基于改进叉树算法的网格生成方法及装置
CN116721229B (zh) 地图中道路隔离带的生成方法、装置、设备及存储介质
CN115937466B (zh) 一种融合gis的三维模型生成方法、系统及存储介质
CN117009411A (zh) 一种基于点云数据网格化空间存储与索引方法、装置及计算机可读存储介质
CN115018712B (zh) 一种地图数据的分布式调度方法及系统
CN112860828B (zh) 一种定位方法及装置、电子设备及存储介质
CN114528305A (zh) 矢量数据更新范围确定方法、装置、电子设备及存储介质
CN113671460A (zh) 一种地图生成方法、装置、计算机设备及存储介质
CN114490753A (zh) 展示地图信息的方法、装置、电子设备及介质
CN116401326A (zh) 道路标识的更新方法及装置
CN112989193A (zh) 数据处理方法、装置、电子设备及计算机存储介质
CN111522020A (zh) 一种园区活动要素混合定位系统及方法
CN113658033B (zh) 一种计算给定区域内部点集的gpu方法
CN117194591B (zh) 一种球体轨迹到平面地图的显示方法、装置、设备和介质
CN111612095B (zh) 信息聚类方法、装置及存储介质
CN113297340B (zh) 点云地图的矢量化、矢量地图转化点云地图的方法和装置
CN118015236A (zh) 地图显示处理方法、设备、系统、机器人及存储介质
CN117421434A (zh) 点云定位地图的存储方法、装置、电子设备及存储介质
CN114663278A (zh) 地理位置聚合展示方法、装置以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination