CN113407116A - 海量ais轨迹数据存储方法 - Google Patents
海量ais轨迹数据存储方法 Download PDFInfo
- Publication number
- CN113407116A CN113407116A CN202110624490.2A CN202110624490A CN113407116A CN 113407116 A CN113407116 A CN 113407116A CN 202110624490 A CN202110624490 A CN 202110624490A CN 113407116 A CN113407116 A CN 113407116A
- Authority
- CN
- China
- Prior art keywords
- data
- ais
- storage
- data storage
- hard disk
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims abstract description 18
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 230000003068 static effect Effects 0.000 claims description 11
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 235000008694 Humulus lupulus Nutrition 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000007726 management method Methods 0.000 claims 1
- 230000001568 sexual effect Effects 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0673—Single storage device
- G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供海量AIS轨迹数据存储方法。包括以下步骤：步骤一接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；步骤二分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器。本发明提供的海量AIS轨迹数据存储方法通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法，使用数据相关性多副本一致的哈希值存储优化方法，该方法可按照系统主属性相关性的数据在集群节点中聚集，进而加快数据存储优化速度。
Description
技术领域
本发明涉及数据储存技术领域，尤其涉及海量AIS轨迹数据存储方法。
背景技术
船舶自动识别系统AIS可对船舶的运动状态进行实时监控，对船舶操纵人员来说，利用AIS数据可了解本船及其他目标船舶的航行动态信息，有利于船舶导航和避碰等行动；对海事交管部门来将，利用AIS数据信息可对船舶进行管理及控制；对事故调查人员来讲，利用AIS数据信息回顾船舶发生事故前的动态信息，并提取有效的特征信息，有利于事故的调查，目前，作为船舶避碰和自动交换信息的重要助航工具，越来越多的船舶配置了AIS设备，补充了雷达获取信息的不足，船舶通过该设备能够自动实时地与其他装有同类设备的船舶交换位置、航速和航向等动态信息，可有效避免船舶碰撞等海损事故的发生，通过AIS船舶也能向AIS基站发送船名、识别码、目的地、是否装载危险货物等静态信息，同时还能接收管理当局通过基站发送来的助航和告警等信息。
所以在海量AIS轨迹存在着大量的数据，导致数据在存储时的时间变长，导致存储的速度降低，同时由于AIS轨迹数据存在大量的数据，在对数据进行读取与检索时，也要耗费大量的时间，降低了查询数据的效率。
发明内容
本发明提供海量AIS轨迹数据存储方法，解决了在海量AIS轨迹存在着大量的数据，导致数据在存储时的时间变长，导致存储的速度降低，同时由于AIS轨迹数据存在大量的数据，在对数据进行读取与检索时，也要耗费大量的时间，降低了查询数据的效率的问题。
为解决上述技术问题，本发明提供的海量AIS轨迹数据存储方法，包括以下步骤：
步骤一，接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；
步骤二，分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器；
步骤三，如果需要存储的AIS轨迹数据的类型为静态信息，则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储；
步骤四，如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等，则将所述数据发送至混合硬盘的闪存区存储；
步骤五，如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间，则AIS轨迹数据存储至混合硬盘的闪存区。
优选的，所述步骤一内包括自动监控模块与决策模块，所述决策模块是用于船舶数据库中的判断。
优选的，所述步骤二包括数据储存规划模块，所述数据储存规划模块内的数据均匀分布在各个集群之中，保持负载均衡，出现故障节点数据为常态数据。
优选的，所述常态数据内包括关联数据，所述关联数据采用标准Hadoop布局方案，对数据进行连续操作需要在约定时间内完成，在此过程中，有大量无用数据被传输，如果该数据在上传保留了一部分设备属性，那么可将该设备上的全部数据都存储到相同节点的位置，利用自映射功能，实现存储的连续性操作行为，进而大大降低阶段数据通信时间，提高整体存储效率。
优选的，所述步骤三中的AIS数据静态信息是指舶系统固有的属性信息，所述步骤四中的AIS数据动态信息包含船舶的实时数据。
优选的，所述步骤五包括数据储存优化模块，所述数据储存优化模块内设置有集群技术。
优选的，所述集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理，从而使客户与集群交互和独立服务器交互无异。
优选的，所述数据储存规划模块是由于网络中节点呈树状结构分布，所以不同子数根节点都需要按照计算机连接方式进行节点交换，不同节点之间的距离是一个节点到另一个节点需要经过的跳数。
优选的，所述自动监控模块是用于船舶数据库中监控目标的提取，进而形成监控队列，计算队列中的优先级，将全部数据存储，方便对目标的跟踪与监控。
与现有技术相比，本发明的有益效果是：
1、通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法，使用数据相关性多副本一致的哈希值存储优化方法，该方法可按照系统主属性相关性的数据在集群节点中聚集，进而加快数据存储优化速度。
2、基于集群方案，可用于海量AIS数据存储和检索，建立了面向海量时空数据的索引机制，索引结构包含了基本的静态、动态和轨迹信息索引，在动态和轨迹信息索引中引入了部分静态信息，从而有效提升了查询效率，提升了AIS轨迹数据的查询效率，同时也为实现高效AIS数据挖掘分析奠定了基础。
附图说明
图1为本发明提供的海量AIS轨迹数据存储方法的实施例的步骤示意图；
图2为本发明提供的海量AIS轨迹数据存储方法的实施例的数据集群的流程框架图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
请结合参阅图1-2所示。海量AIS轨迹数据存储方法包括以下步骤：
步骤一，接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；
步骤二，分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器；
步骤三，如果需要存储的AIS轨迹数据的类型为静态信息，则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储；
步骤四，如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等，则将数据发送至混合硬盘的闪存区存储；
步骤五，如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间，则AIS轨迹数据存储至混合硬盘的闪存区，如果AIS轨迹数据所需的存储空间超过混合硬盘的闪存区剩余的存储空间，则按照预设的混合硬盘的闪存区数据存储规则，将混合硬盘的闪存区中存储级别低的数据转存入混合硬盘的磁性硬盘区，以优先将存储级别高的数据存储至混合硬盘的闪存区。
步骤一内包括自动监控模块与决策模块，所述决策模块是用于船舶数据库中的判断，通过自动监控与决策模块、数据储存规划模块与数据储存优化模块的配合提高船舶系统中数据智能存储优化方法，使用数据相关性多副本一致的哈希值存储优化方法，该方法可按照系统主属性相关性的数据在集群节点中聚集，进而加快数据存储优化速度，步骤二包括数据储存规划模块，所述数据储存规划模块内的数据均匀分布在各个集群之中，保持负载均衡，出现故障节点数据为常态数据，常态数据内包括关联数据，所述关联数据采用标准Hadoop布局方案，对数据进行连续操作需要在约定时间内完成，在此过程中，有大量无用数据被传输，如果该数据在上传保留了一部分设备属性，那么可将该设备上的全部数据都存储到相同节点的位置，利用自映射功能，实现存储的连续性操作行为，进而大大降低阶段数据通信时间，提高整体存储效率，步骤三中的AIS数据静态信息是指舶系统固有的属性信息，所述步骤四中的AIS数据动态信息包含船舶的实时数据，步骤五包括数据储存优化模块，所述数据储存优化模块内设置有集群技术，集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理，从而使客户与集群交互和独立服务器交互无异，集群技术允许用户仅支付较低成本即可获得较高性能，并且系统的可靠性、可扩展性及灵活性等方面均获得提升，数据储存规划模块是由于网络中节点呈树状结构分布，所以不同子数根节点都需要按照计算机连接方式进行节点交换，不同节点之间的距离是一个节点到另一个节点需要经过的跳数，自动监控模块是用于船舶数据库中监控目标的提取，进而形成监控队列，计算队列中的优先级，将全部数据存储，方便对目标的跟踪与监控，基于集群方案，可用于海量AIS数据存储和检索，建立了面向海量时空数据的索引机制，索引结构包含了基本的静态、动态和轨迹信息索引，在动态和轨迹信息索引中引入了部分静态信息，从而有效提升了查询效率，提升了AIS轨迹数据的查询效率，同时也为实现高效AIS数据挖掘分析奠定了基础。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (9)
1.海量AIS轨迹数据存储方法，其特征在于，包括以下步骤：
步骤一，接收需要储存的海量AIS轨迹数据，并对AIS轨迹数据进行加密处理，得到加密数据；
步骤二，分析AIS轨迹数据的类型，并基于需要存储的AIS轨迹数据的类型，将AIS轨迹数据发送至混合硬盘的闪存区或磁性硬盘区存储，以实现对数据的优化存，并将加密数据发送给服务器；
步骤三，如果需要存储的AIS轨迹数据的类型为静态信息，则将该AIS轨迹数据发送至混合硬盘的磁性硬盘区存储；
步骤四，如果需要存储的AIS轨迹数据的类型为动态信息、影音文件等，则将所述数据发送至混合硬盘的闪存区存储；
步骤五，如果AIS轨迹数据所需的存储空间未超过混合硬盘的闪存区剩余的存储空间，则AIS轨迹数据存储至混合硬盘的闪存区。
2.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤一内包括自动监控模块与决策模块，所述决策模块是用于船舶数据库中的判断。
3.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤二包括数据储存规划模块，所述数据储存规划模块内的数据均匀分布在各个集群之中，保持负载均衡，出现故障节点数据为常态数据。
4.根据权利要求3所述的海量AIS轨迹数据存储方法，其特征在于，所述常态数据内包括关联数据，所述关联数据采用标准Hadoop布局方案，对数据进行连续操作需要在约定时间内完成，在此过程中，有大量无用数据被传输，如果该数据在上传保留了一部分设备属性，那么可将该设备上的全部数据都存储到相同节点的位置，利用自映射功能，实现存储的连续性操作行为，进而大大降低阶段数据通信时间，提高整体存储效率。
5.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤三中的AIS数据静态信息是指舶系统固有的属性信息，所述步骤四中的AIS数据动态信息包含船舶的实时数据。
6.根据权利要求1所述的海量AIS轨迹数据存储方法，其特征在于，所述步骤五包括数据储存优化模块，所述数据储存优化模块内设置有集群技术。
7.根据权利要求6所述的海量AIS轨迹数据存储方法，其特征在于，所述集群技术是通过高速网络将相互独立的机器连接成一个组利用统一的控制系统进行调节和管理，从而使客户与集群交互和独立服务器交互无异。
8.根据权利要求3所述的海量AIS轨迹数据存储方法，其特征在于，所述数据储存规划模块是由于网络中节点呈树状结构分布，所以不同子数根节点都需要按照计算机连接方式进行节点交换，不同节点之间的距离是一个节点到另一个节点需要经过的跳数。
9.根据权利要求2所述的海量AIS轨迹数据存储方法，其特征在于，所述自动监控模块是用于船舶数据库中监控目标的提取，进而形成监控队列，计算队列中的优先级，将全部数据存储，方便对目标的跟踪与监控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624490.2A CN113407116A (zh) | 2021-06-04 | 2021-06-04 | 海量ais轨迹数据存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624490.2A CN113407116A (zh) | 2021-06-04 | 2021-06-04 | 海量ais轨迹数据存储方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113407116A true CN113407116A (zh) | 2021-09-17 |
Family
ID=77676467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110624490.2A Pending CN113407116A (zh) | 2021-06-04 | 2021-06-04 | 海量ais轨迹数据存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113407116A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115630074A (zh) * | 2022-12-22 | 2023-01-20 | 亿海蓝（北京）数据技术股份公司 | 数据索引的构建方法、装置、可读存储介质和助航设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201936459U (zh) * | 2010-12-24 | 2011-08-17 | 吴安新 | 一种船舶识别、定位系统 |
| CN103927129A (zh) * | 2014-03-14 | 2014-07-16 | 汉柏科技有限公司 | 数据存储方法 |
-
2021
- 2021-06-04 CN CN202110624490.2A patent/CN113407116A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201936459U (zh) * | 2010-12-24 | 2011-08-17 | 吴安新 | 一种船舶识别、定位系统 |
| CN103927129A (zh) * | 2014-03-14 | 2014-07-16 | 汉柏科技有限公司 | 数据存储方法 |
Non-Patent Citations (2)
| Title |
|---|
| 言娟: "船舶监控系统中数据智能存储优化方法研究", 舰船科学技术, vol. 40, no. 10, pages 181 - 183 * |
| 郑义成 等: "基于ElasticSearch的海量数据存储方法", 指挥信息系统与技术, vol. 7, no. 3, pages 76 - 81 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115630074A (zh) * | 2022-12-22 | 2023-01-20 | 亿海蓝（北京）数据技术股份公司 | 数据索引的构建方法、装置、可读存储介质和助航设备 |
| CN115630074B (zh) * | 2022-12-22 | 2023-03-03 | 亿海蓝（北京）数据技术股份公司 | 数据索引的构建方法、装置、可读存储介质和助航设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107968840B (zh) | 一种大规模电力设备监测报警数据实时处理方法及系统 | |
| KR102611454B1 (ko) | 분산 기계 학습을 위한 저장 장치 및 그것의 기계 학습 방법 | |
| CN110971626B (zh) | 一种企业分支机构访问请求处理方法、装置及系统 | |
| CN111984830A (zh) | 一种管理运维平台及数据处理方法 | |
| CN108683747A (zh) | 资源获取、分发、下载方法、装置、设备及存储介质 | |
| CN103905311A (zh) | 流表匹配方法和装置以及交换机 | |
| CN102187330B (zh) | 数据转发存储中的测量 | |
| CN106548288B (zh) | 电力多场景多态实例管理系统及方法 | |
| US20210344743A1 (en) | File transmission method and system performing the same | |
| US20160352815A1 (en) | Data Distribution Based on Network Information | |
| JP2016521951A (ja) | 仮想ネットワークマッピング保護方法、システムおよびコンピュータ記憶媒体 | |
| CN106156328A (zh) | 一种银行运行日志数据监控方法及系统 | |
| CN111885439A (zh) | 一种光网络综合管理和值勤管理系统 | |
| CN113407116A (zh) | 海量ais轨迹数据存储方法 | |
| CN110226159A (zh) | 尽力而为数据库功能 | |
| CN108322393A (zh) | 路由链路管理方法和系统、虚拟路由网关和宿主机网关 | |
| CN114499834B (zh) | 物联网量子密钥分发方法、系统、电子设备及存储介质 | |
| CN106104503A (zh) | 使用统一api对用于转发的服务器和架构编程以用于细粒度网络优化 | |
| CN112787949B (zh) | 流量采集和输送管理方法、控制装置及存储介质 | |
| CN111538772B (zh) | 数据的交换处理方法、装置、电子设备及存储介质 | |
| CN106326756A (zh) | 一种基于光盘的跨网数据交换传输系统和方法 | |
| CN111680807A (zh) | 一种电网故障报告服务方法 | |
| CN103236985A (zh) | 一种访问存储的多路径负载均衡系统 | |
| CN110825057A (zh) | 提高发电厂厂级信息监控系统稳定性和安全性的方法 | |
| CN107493308B (zh) | 一种发送消息的方法和装置及分布式设备集群系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210917 |