CN113407116A - 海量ais轨迹数据存储方法 - Google Patents

海量ais轨迹数据存储方法 Download PDF

Info

Publication number
CN113407116A
CN113407116A CN202110624490.2A CN202110624490A CN113407116A CN 113407116 A CN113407116 A CN 113407116A CN 202110624490 A CN202110624490 A CN 202110624490A CN 113407116 A CN113407116 A CN 113407116A
Authority
CN
China
Prior art keywords
data
ais
data storage
mass
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110624490.2A
Other languages
English (en)
Inventor
吕太之
韩玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huihai Transportation Technology Co ltd
Original Assignee
Nanjing Huihai Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huihai Transportation Technology Co ltd filed Critical Nanjing Huihai Transportation Technology Co ltd
Priority to CN202110624490.2A priority Critical patent/CN113407116A/zh
Publication of CN113407116A publication Critical patent/CN113407116A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供海量AIS轨迹数据存储方法。包括以下步骤：步骤一接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；步骤二分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器。本发明提供的海量AIS轨迹数据存储方法通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法，使用数据相关性多副本一致的哈希值存储优化方法，该方法可按照系统主属性相关性的数据在集群节点中聚集，进而加快数据存储优化速度。

Description

海量AIS轨迹数据存储方法
技术领域
本发明涉及数据储存技术领域，尤其涉及海量AIS轨迹数据存储方法。
背景技术
船舶自动识别系统AIS可对船舶的运动状态进行实时监控，对船舶操纵人员来说，利用AIS数据可了解本船及其他目标船舶的航行动态信息，有利于船舶导航和避碰等行动；对海事交管部门来将，利用AIS数据信息可对船舶进行管理及控制；对事故调查人员来讲，利用AIS数据信息回顾船舶发生事故前的动态信息，并提取有效的特征信息，有利于事故的调查，目前，作为船舶避碰和自动交换信息的重要助航工具，越来越多的船舶配置了AIS设备，补充了雷达获取信息的不足，船舶通过该设备能够自动实时地与其他装有同类设备的船舶交换位置、航速和航向等动态信息，可有效避免船舶碰撞等海损事故的发生，通过AIS船舶也能向AIS基站发送船名、识别码、目的地、是否装载危险货物等静态信息，同时还能接收管理当局通过基站发送来的助航和告警等信息。
所以在海量AIS轨迹存在着大量的数据，导致数据在存储时的时间变长，导致存储的速度降低，同时由于AIS轨迹数据存在大量的数据，在对数据进行读取与检索时，也要耗费大量的时间，降低了查询数据的效率。
发明内容
本发明提供海量AIS轨迹数据存储方法，解决了在海量AIS轨迹存在着大量的数据，导致数据在存储时的时间变长，导致存储的速度降低，同时由于AIS轨迹数据存在大量的数据，在对数据进行读取与检索时，也要耗费大量的时间，降低了查询数据的效率的问题。
为解决上述技术问题，本发明提供的海量AIS轨迹数据存储方法，包括以下步骤：
步骤一，接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；
步骤二，分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器；
步骤三，如果需要存储的AIS轨迹数据的类型为静态信息，则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储；
步骤四，如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等，则将所述数据发送至混合硬盘的闪存区存储；
步骤五，如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间，则AIS轨迹数据存储至混合硬盘的闪存区。
优选的，所述步骤一内包括自动监控模块与决策模块，所述决策模块是用于船舶数据库中的判断。
优选的，所述步骤二包括数据储存规划模块，所述数据储存规划模块内的数据均匀分布在各个集群之中，保持负载均衡，出现故障节点数据为常态数据。
优选的，所述常态数据内包括关联数据，所述关联数据采用标准Hadoop布局方案，对数据进行连续操作需要在约定时间内完成，在此过程中，有大量无用数据被传输，如果该数据在上传保留了一部分设备属性，那么可将该设备上的全部数据都存储到相同节点的位置，利用自映射功能，实现存储的连续性操作行为，进而大大降低阶段数据通信时间，提高整体存储效率。
优选的，所述步骤三中的AIS数据静态信息是指舶系统固有的属性信息，所述步骤四中的AIS数据动态信息包含船舶的实时数据。
优选的，所述步骤五包括数据储存优化模块，所述数据储存优化模块内设置有集群技术。
优选的，所述集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理，从而使客户与集群交互和独立服务器交互无异。
优选的，所述数据储存规划模块是由于网络中节点呈树状结构分布，所以不同子数根节点都需要按照计算机连接方式进行节点交换，不同节点之间的距离是一个节点到另一个节点需要经过的跳数。
优选的，所述自动监控模块是用于船舶数据库中监控目标的提取，进而形成监控队列，计算队列中的优先级，将全部数据存储，方便对目标的跟踪与监控。
与现有技术相比，本发明的有益效果是：
1、通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法，使用数据相关性多副本一致的哈希值存储优化方法，该方法可按照系统主属性相关性的数据在集群节点中聚集，进而加快数据存储优化速度。
2、基于集群方案，可用于海量AIS数据存储和检索，建立了面向海量时空数据的索引机制，索引结构包含了基本的静态、动态和轨迹信息索引，在动态和轨迹信息索引中引入了部分静态信息，从而有效提升了查询效率，提升了AIS轨迹数据的查询效率，同时也为实现高效AIS数据挖掘分析奠定了基础。
附图说明
图1为本发明提供的海量AIS轨迹数据存储方法的实施例的步骤示意图；
图2为本发明提供的海量AIS轨迹数据存储方法的实施例的数据集群的流程框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请结合参阅图1-2所示。海量AIS轨迹数据存储方法包括以下步骤：
步骤一，接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；
步骤二，分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器；
步骤三，如果需要存储的AIS轨迹数据的类型为静态信息，则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储；
步骤四，如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等，则将数据发送至混合硬盘的闪存区存储；
步骤五，如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间，则AIS轨迹数据存储至混合硬盘的闪存区，如果AIS轨迹数据所需的存储空间超过混合硬盘的闪存区剩余的存储空间，则按照预设的混合硬盘的闪存区数据存储规则，将混合硬盘的闪存区中存储级别低的数据转存入混合硬盘的磁性硬盘区，以优先将存储级别高的数据存储至混合硬盘的闪存区。
步骤一内包括自动监控模块与决策模块，所述决策模块是用于船舶数据库中的判断，通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法，使用数据相关性多副本一致的哈希值存储优化方法，该方法可按照系统主属性相关性的数据在集群节点中聚集，进而加快数据存储优化速度，步骤二包括数据储存规划模块，所述数据储存规划模块内的数据均匀分布在各个集群之中，保持负载均衡，出现故障节点数据为常态数据，常态数据内包括关联数据，所述关联数据采用标准Hadoop布局方案，对数据进行连续操作需要在约定时间内完成，在此过程中，有大量无用数据被传输，如果该数据在上传保留了一部分设备属性，那么可将该设备上的全部数据都存储到相同节点的位置，利用自映射功能，实现存储的连续性操作行为，进而大大降低阶段数据通信时间，提高整体存储效率，步骤三中的AIS数据静态信息是指舶系统固有的属性信息，所述步骤四中的AIS数据动态信息包含船舶的实时数据，步骤五包括数据储存优化模块，所述数据储存优化模块内设置有集群技术，集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理，从而使客户与集群交互和独立服务器交互无异，集群技术允许用户仅支付较低成本即可获得较高性能，并且系统的可靠性、可扩展性及灵活性等方面均获得提升，数据储存规划模块是由于网络中节点呈树状结构分布，所以不同子数根节点都需要按照计算机连接方式进行节点交换，不同节点之间的距离是一个节点到另一个节点需要经过的跳数，自动监控模块是用于船舶数据库中监控目标的提取，进而形成监控队列，计算队列中的优先级，将全部数据存储，方便对目标的跟踪与监控，基于集群方案，可用于海量AIS数据存储和检索，建立了面向海量时空数据的索引机制，索引结构包含了基本的静态、动态和轨迹信息索引，在动态和轨迹信息索引中引入了部分静态信息，从而有效提升了查询效率，提升了AIS轨迹数据的查询效率，同时也为实现高效AIS数据挖掘分析奠定了基础。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.海量AIS轨迹数据存储方法，其特征在于，包括以下步骤：
步骤一，接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；
步骤二，分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器；
步骤三，如果需要存储的AIS轨迹数据的类型为静态信息，则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储；
步骤四，如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等，则将所述数据发送至混合硬盘的闪存区存储；
步骤五，如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间，则AIS轨迹数据存储至混合硬盘的闪存区。
2.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤一内包括自动监控模块与决策模块，所述决策模块是用于船舶数据库中的判断。
3.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤二包括数据储存规划模块，所述数据储存规划模块内的数据均匀分布在各个集群之中，保持负载均衡，出现故障节点数据为常态数据。
4.根据权利要求3所述的海量AIS轨迹数据存储方法，其特征在于，所述常态数据内包括关联数据，所述关联数据采用标准Hadoop布局方案，对数据进行连续操作需要在约定时间内完成，在此过程中，有大量无用数据被传输，如果该数据在上传保留了一部分设备属性，那么可将该设备上的全部数据都存储到相同节点的位置，利用自映射功能，实现存储的连续性操作行为，进而大大降低阶段数据通信时间，提高整体存储效率。
5.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤三中的AIS数据静态信息是指舶系统固有的属性信息，所述步骤四中的AIS数据动态信息包含船舶的实时数据。
6.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤五包括数据储存优化模块，所述数据储存优化模块内设置有集群技术。
7.根据权利要求6所述的海量AIS轨迹数据存储方法，其特征在于，所述集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理，从而使客户与集群交互和独立服务器交互无异。
8.根据权利要求3所述的海量AIS轨迹数据存储方法，其特征在于，所述数据储存规划模块是由于网络中节点呈树状结构分布，所以不同子数根节点都需要按照计算机连接方式进行节点交换，不同节点之间的距离是一个节点到另一个节点需要经过的跳数。
9.根据权利要求2所述的海量AIS轨迹数据存储方法，其特征在于，所述自动监控模块是用于船舶数据库中监控目标的提取，进而形成监控队列，计算队列中的优先级，将全部数据存储，方便对目标的跟踪与监控。
CN202110624490.2A 2021-06-04 2021-06-04 海量ais轨迹数据存储方法 Pending CN113407116A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624490.2A CN113407116A (zh) 2021-06-04 2021-06-04 海量ais轨迹数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624490.2A CN113407116A (zh) 2021-06-04 2021-06-04 海量ais轨迹数据存储方法

Publications (1)

Publication Number Publication Date
CN113407116A true CN113407116A (zh) 2021-09-17

Family

ID=77676467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624490.2A Pending CN113407116A (zh) 2021-06-04 2021-06-04 海量ais轨迹数据存储方法

Country Status (1)

Country Link
CN (1) CN113407116A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630074A (zh) * 2022-12-22 2023-01-20 亿海蓝（北京）数据技术股份公司 数据索引的构建方法、装置、可读存储介质和助航设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201936459U (zh) * 2010-12-24 2011-08-17 吴安新 一种船舶识别、定位系统
CN103927129A (zh) * 2014-03-14 2014-07-16 汉柏科技有限公司 数据存储方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201936459U (zh) * 2010-12-24 2011-08-17 吴安新 一种船舶识别、定位系统
CN103927129A (zh) * 2014-03-14 2014-07-16 汉柏科技有限公司 数据存储方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
言娟: "船舶监控系统中数据智能存储优化方法研究", 舰船科学技术, vol. 40, no. 10, pages 181 - 183 *
郑义成 等: "基于ElasticSearch的海量数据存储方法", 指挥信息系统与技术, vol. 7, no. 3, pages 76 - 81 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115630074A (zh) * 2022-12-22 2023-01-20 亿海蓝（北京）数据技术股份公司 数据索引的构建方法、装置、可读存储介质和助航设备
CN115630074B (zh) * 2022-12-22 2023-03-03 亿海蓝（北京）数据技术股份公司 数据索引的构建方法、装置、可读存储介质和助航设备

Similar Documents

Publication Publication Date Title
CN107968840B (zh) 一种大规模电力设备监测报警数据实时处理方法及系统
CN106502266B (zh) 一种多机协同作业指挥控制系统
US9031692B2 (en) Cloud robot system and method of integrating the same
CN111984830A (zh) 一种管理运维平台及数据处理方法
CN106548288B (zh) 电力多场景多态实例管理系统及方法
CN111698017B (zh) 一种卫星云测控平台
CN105389683A (zh) 云计算支撑系统
CN103905311A (zh) 流表匹配方法和装置以及交换机
CN110837423B (zh) 一种自动导引运输车数据采集的方法和装置
CN112887309B (zh) 一种工业协议解析系统
CN106533782A (zh) 一种实时发现线下场所业务故障的方法和系统
US20160352815A1 (en) Data Distribution Based on Network Information
CN105683918A (zh) 分布式系统中的集中式联网配置
CN108449383A (zh) 分布式实时移动微云计算系统
CN115733754B (zh) 基于云原生中台技术的资源管理系统及其弹性构建方法
CN111953771B (zh) 一种配电物联网管理系统
CN108446308A (zh) 可扩展分布式数据库的系统和方法
CN113407116A (zh) 海量ais轨迹数据存储方法
CN108769215B (zh) 一种运输信息集成系统
CN113704341A (zh) 数据采集系统和方法
CN103490923B (zh) 日志文件的读写方法、装置及系统
CN111680807A (zh) 一种电网故障报告服务方法
CN114490093B (zh) 一种面向多云管理场景的云资源最优分配方法
CN113742030B (zh) 跨区服务配置方法、装置和存储介质
CN110798525A (zh) 一种工业机器人多源数据云存储系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination