CN116126926B - 一种船舶全生命周期动态数据智能管理方法及系统 - Google Patents
一种船舶全生命周期动态数据智能管理方法及系统 Download PDFInfo
- Publication number
- CN116126926B CN116126926B CN202310085718.4A CN202310085718A CN116126926B CN 116126926 B CN116126926 B CN 116126926B CN 202310085718 A CN202310085718 A CN 202310085718A CN 116126926 B CN116126926 B CN 116126926B
- Authority
- CN
- China
- Prior art keywords
- data
- ship
- event
- dynamic
- latest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000009825 accumulation Methods 0.000 claims abstract description 15
- 238000004873 anchoring Methods 0.000 claims description 9
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000003203 everyday effect Effects 0.000 claims description 4
- 239000003643 water by type Substances 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims description 2
- 238000009313 farming Methods 0.000 claims 2
- 238000005266 casting Methods 0.000 claims 1
- 230000002354 daily effect Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013535 sea water Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
- G06F16/287—Visualization; Browsing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种船舶全生命周期动态数据智能管理方法和系统，基于船舶全生命周期中的动态数据并按照数据类型进行分类，生成不同类型的船舶动态事件数据，并采用特定的数据获取方法获取最新船舶动态事件数据且只保留指定条数的最新船舶动态事件数据记录，以及分别智能统计船舶最新事件表中每分钟、当天、当月、以及系统历史累计的方式对最新船舶动态事件增量数据的数量进行统计，并按实时、当天、当月和累计四个维度动态可视化展示最新船舶动态事件数据的增量过程，实现了海量数据的实时统计，能更加直观立体地展示不同类型的数据。
Description
技术领域
本发明涉及船舶航行风险识别技术领域，具体涉及一种船舶全生命周期动态数据智能管理方法及系统。
背景技术
随着航运信息数字化的发展，航运业务日益繁忙，世界各地的船舶在河流、海域中穿梭不息。全球在册船舶达300万余条，每分钟船舶AIS数据增量达2W条，其中还有很多小渔船、短驳客船记录等数据，对这些数据进行有效筛选过滤，将海量AIS数据整理成船舶全生命周期动态数据，并通过事件类型进行多维度的分析、统计、提取到航运过程中有价值的数据，对航运信息化有重大意义。
目前现有的技术的业务系统对船舶AIS数据重点追踪分析船舶数量约10万条，且整理推送上述船舶事件类型每天的数据量约为4万条，每月上报的平均数量约130万条的数据进行历史分析时，直接通过检索全部船舶的历史动态事件，难以快速统计，且针对船舶数据的管理过程中，一般通过对单一数据进行实时统计来管理船舶数据，存在不准确、滞后、低效等缺陷，因此，如何对大量船舶的全生命周期动态数据进行有效管理和统计，如何同步统计实时增长的船舶动态数据，并对其进行有效的统计和管理，是一个亟待解决的问题。
发明内容
为解决现有对海量船舶数据的管理过程中存在的滞后、低效，以及不能直观立体的对数据进行展示等问题，本发明提供了一种船舶全生命周期动态数据智能管理方法，基于船舶动态AIS数据，通过采用特定的数据获取方法实时更新展示船舶事件信息，以及通过初始基数+每分钟、当天、当月维度增量累加的方式来实现海量数据的智能实时统计，能够有效的实时统计并展示数据内容，且能够更加直观立体地展示不同类型的数据。本发明还涉及一种船舶全生命周期动态数据智能管理系统。
本发明的技术方案如下：
一种船舶全生命周期动态数据智能管理方法，其特征在于，包括以下步骤：
数据采集步骤：采集船舶全生命周期中的动态数据并按照数据类型进行分类，生成不同类型的船舶动态事件数据，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具自动对不同类型的船舶动态事件数据分别配置相应的定时任务，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表、事件数据临时表和船舶最新事件表；
最新事件获取步骤：每隔一段时间自动从船舶事件视图表中获取当前某一时间段内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表中以完成数据的更新，并将船舶最新事件表中船舶动态事件数据接收时间小于更新时间前一段时间的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中提取到船舶最新事件表，且只保留指定条数的最新船舶动态事件数据记录；
增量数据统计步骤：执行kettle任务，分别智能统计船舶最新事件表中平均每分钟、当天、当月以及系统历史累计的每个类型的最新船舶动态事件数据的增量数据的总数，并将统计结果自动累加进船舶动态事件表中的事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中；
增量数据展示步骤：自动执行定时任务，按实时、当天、当月和累计四个维度动态可视化展示事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中最新船舶动态事件数据的增量过程。
优选地，所述数据采集步骤中，所述船舶动态事件数据包括抵离港数据、区域穿行数据、恶劣气象数据、航行异常数据和STS作业数据。
优选地，所述抵离港数据包括靠泊、锚泊和离港数据，所述区域穿行数据包括关键位置水域、全球冰区和中国养殖区，所述恶劣气象数据包括风速、浪高、洋流和台风，所述航行异常数据包括低速、飘航和走锚，所述STS作业数据包括加油作业、装卸货作业和拖轮作业。
优选地，所述增量数据统计步骤中，还在每日的固定时间对事件数据资产统计临时表中当天最新船舶动态事件数据的增量数据进行清零，在每月的固定时间在事件数据资产月度统计表中新建该月的数据空记录，并将该月的最新船舶动态事件数据的初始总数更新至空记录中。
优选地，所述增量数据采集步骤中，所述船舶动态事件表包括船舶事件视图表、事件数据临时表、船舶最新事件表、事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表。
一种船舶全生命周期动态数据智能管理系统，其特征在于，包括依次连接的数据采集模块、最新事件获取模块、增量数据统计模块和增量数据展示模块，
数据采集模块，采集船舶全生命周期中的动态数据并按照数据类型进行分类，生成不同类型的船舶动态事件数据，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具自动对不同类型的船舶动态事件数据分别配置相应的定时任务，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表、事件数据临时表和船舶最新事件表；
最新事件获取模块，每隔一段时间自动从船舶事件视图表中获取当前某一时间段内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表中以完成数据的更新，并将船舶最新事件表中船舶动态事件数据接收时间小于更新时间前一段时间的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中提取到船舶最新事件表，且只保留指定条数的最新船舶动态事件数据记录；
增量数据统计模块，执行kettle任务，分别智能统计船舶最新事件表中平均每分钟、当天、当月以及系统历史累计的每个类型的最新船舶动态事件数据的增量数据的总数，并将统计结果累加进船舶动态事件表中的事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中；
增量数据展示模块，自动执行定时任务，按实时、当天、当月和累计四个维度动态可视化展示事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中最新船舶动态事件数据的增量过程。
优选地，所述船舶动态事件数据包括抵离港数据、区域穿行数据、恶劣气象数据、航行异常数据和STS作业数据。
优选地，所述抵离港数据包括靠泊、锚泊和离港数据，所述区域穿行数据包括关键位置水域、全球冰区和中国养殖区，所述恶劣气象数据包括风速、浪高、洋流和台风，所述航行异常数据包括低速、飘航和走锚，所述STS作业数据包括加油作业、装卸货作业和拖轮作业。
优选地，所述增量数据统计模块中，还在每日的固定时间对事件数据资产统计临时表中当天最新船舶动态事件增量数据的数量进行清零，在每月的固定时间在事件数据资产月度统计表中新建该月的数据空记录，并将该月的最新船舶动态事件数据的初始总数更新至空记录中。
优选地，所述船舶动态事件表包括船舶事件视图表、事件数据临时表、船舶最新事件表、事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表。
本发明的有益效果为：
本发明提供的一种船舶全生命周期动态数据智能管理方法，依次设置数据采集步骤、最新事件获取步骤、增量数据统计步骤和增量数据展示步骤，各步骤相互配合协同工作，基于船舶全生命周期中的动态数据并按照事件类型进行分类，生成不同类型的船舶动态事件数据，改变了传统单一数据实时统计的弊端，并采用特定的数据获取方法实时更新展示船舶事件信息，能够从大量数据中更加快速地获取并展示船舶事件动态数据，相比传统的统计方式大大减少了数据库执行大量船舶动态事件时的统计开销，以及通过初始和每分钟、当天、当月维度累计的方式统计最新船舶动态事件增量数据总数，改变了传统单一数据实时统计的弊端，且按照10min的多事件类型维度进行统计，能够更高效直观的展示不同事件类型的数据，形成数据资产。本发明通过初始基数+增量累加的方式实现了海量数据有效的实时统计并将数据内容进行展示，能更加直观立体地展示不同类型的数据，实现了船舶全生命周期动态数据智能管理，主要应用于航运信息化、数字化过程中，对船舶历史、当前的动态数据资产进行整合、分析，且支持按照不同的船舶动态类型进行数据的实时统计，支持船舶最新动态事件的实时更新展示，支持基于海量的船舶动态事件数据统计历史趋势，将海量AIS数据整理成船舶全生命周期动态数据，并通过事件类型(即各类船舶动态事件数据)进行多维度地分析、统计，提取到航运过程中有价值的数据，对航运信息化有重大意义。
本发明还涉及一种船舶全生命周期动态数据智能管理系统，该系统与上述的船舶全生命周期动态数据智能管理方法相对应，可理解为是一种实现上述船舶全生命周期动态数据智能管理方法的系统，包括依次连接的数据采集模块、最新事件获取模块、增量数据统计模块和增量数据展示模块，各模块相互协同工作，基于船舶全生命周期中的动态数据，通过采用特定的数据获取方法实时更新展示船舶事件信息，以及通过初始基数+每分钟、当天、当月维度增量累加的方式来实现海量数据的智能实时统计，能够有效的实时统计并展示数据内容，且能够更加直观立体的展示不同类型的数据，针对历史和目前的船舶全生命周期数据进行统计，以及动态地展示当前船舶动态数据信息，构建了整合船舶动态数据的系统。
附图说明
图1是本发明船舶全生命周期动态数据智能管理方法的流程图。
图2是本发明最新事件获取步骤的优选流程图。
图3和图4是本发明增量数据统计步骤的优选流程图。
具体实施方式
下面结合附图对本发明进行说明。
本发明涉及一种船舶全生命周期动态数据智能管理方法，该方法的流程图如图1所示，依次包括以下步骤：
一、数据采集步骤：采集船舶全生命周期中的动态数据并按照事件类型进行分类，生成不同类型的船舶动态事件数据，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具自动对不同类型的船舶动态事件数据分别配置相应的定时任务，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表、事件数据临时表和船舶最新事件表；具体地，先使用Python语言中的psycopg2(是Python语言的PostgreSQL数据库接口)连接PostgreSQL数据库，从PostgreSQL数据库中查询船舶AIS数据，再对船舶AIS数据进行统计，获得船舶全生命周期中的动态数据，在获得上述数据后，对数据进行清洗，去除无用的干扰数据，并对动态数据进行预处理，去掉动态数据中有问题的数据(如缺失过多)。然后对动态数据按照数据类型进行分类，生成不同类型的船舶动态事件数据(或者说是根据不同的动态事件类型进行分类管理)，优选地，船舶动态事件数据包括抵离港数据、区域穿行数据、恶劣气象数据、航行异常数据和STS作业数据，其中，抵离港数据包括靠泊、锚泊和离港数据，区域穿行数据包括关键位置水域即“六区一线”(“六区”指渤海水域、长江口水域、舟山群岛水域、台湾海峡水域、珠江口水域和琼州海峡水域，“一线”指长江一线水域)、全球冰区和中国养殖区，恶劣气象数据包括风速、浪高、洋流和台风，航行异常数据包括低速、飘航、走锚，STS作业数据包括加油作业、装卸货作业和拖轮作业。
对动态数据进行分类后，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具(如KETTLE)根据数据类型的不同分别自动配置相应的定时任务，生成不同类型的船舶动态事件数据，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表(V_VESSEL_EVENT)、事件数据临时表(EVENT_ASSERT_NET_TMP)和船舶最新事件表(EVENT_ASSET_NEW)。
二、最新事件获取步骤：每隔一段时间自动从船舶事件视图表中获取当前某一时间段内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表中以完成数据的更新，并将船舶最新事件表中船舶动态事件数据接收时间小于更新时间前一段时间的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中提取到船舶最新事件表，且只保留指定条数的最新船舶动态事件数据记录；
针对目前数据的每日数据量，本发明针对不同船舶动态事件数据类型进行分类统计，优选地，可采用10min更新每日、每月、每年的数据，每5s更新船舶最新事件以及最新数据。根据船舶动态具体信息展示目前展示最新50条数据。即船舶动态事件数据统计粒度。
具体地，如图2所示，每隔5s自动从船舶事件视图表V_VESSEL_EVENT中获取近10min内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表(EVENT_ASSERT_NET_TMP)中以完成数据的更新，然后将船舶最新事件表(EVENT_ASSET_NEW)中船舶动态事件数据接收时间小于更新时间前30分钟的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中存储到船舶最新事件表，且只保留50条最新船舶动态事件数据记录；
三、增量数据统计步骤，执行kettle任务，分别智能统计船舶最新事件表中平均每分钟、当天、当月以及系统历史累计的每个类型的最新船舶动态事件数据的增量数据的总数，并将统计结果自动累加进船舶动态事件表中的事件数据资产类型表、事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中；
具体地，如图3所示，首先统计所有船舶的历史动态数据，将历史动态数据按照事件类型维度从根据船舶动态事件数据生成的事件数据资产类型表(event_asset_type)中写入船舶全生命周期事件数据资产统计总表(event_asset_statistics)的总数(total_num)字段中。并将每日船舶动态事件数据增量(total_num)、每月船舶动态事件数据增量(current_month_num)和平均每分钟船舶动态事件数据增量(per_minute_num)置0。
然后执行kettle定时任务，从船舶最新事件表中获取近10分钟内的不同类型的船舶动态事件增量数据的总数量，并每隔10min进行一次统计，
其中，根据船舶动态数据表(dt_vessel_dynamics)中的船舶靠泊、锚泊和离港等数据统计出船舶抵离港数据的增量数据总数；根据船舶特殊区域穿越表(dt_region_cross_record)中的六区一线、全球冰区、中国养殖区等数据统计出船舶特殊区域穿行数据的增量数据总数；根据船舶事件表(dt_vessel_event)中的恶劣气象，如风、浪、台风、走锚、抛锚、STS数据等统计出船舶恶劣气象、航行异常以及STS作业的增量数据总数。
在统计完每个类型的船舶动态事件数据的增量数据总数后，分别将每个类型的船舶动态事件数据每分钟的增量数据总数累加进全生命周期事件数据资产统计临时表(event_asset_statistics_tmp)中，然后再统计当天、当月以及系统历史累计的最新船舶动态事件数据的数量，并将统计结果累加进数据资产月度统计表(event_asset_statistics_month)和事件数据资产统计总表(event_asset_statistics)中，并如图4所示，在每日0点，执行定时kettle任务，对事件数据资产统计临时表(event_asset_statistics_tmp)中当日数据的数量(today_num)清零，并重新通过每分钟累加的方式统计当日的船舶动态事件数据。在每月1日0点，执行定时kettle任务，在事件数据资产月度统计表(event_asset_statistics_month)中新建该月的数据空记录，并将该月的最新船舶动态事件数据的初始总数更新至空记录中。
四、增量数据展示步骤，自动执行定时任务，按实时、当天、当月和累计四个维度动态可视化展示事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中最新船舶动态事件数据的增量过程，
其中，实时：每隔5s定时更新；
当天：定时在当天0点将当天数据置0，定时10min获取当天的最新船舶动态事件数据总量；
当月：定时在当月1日0点将当月数据置0，定时10min获取当月最新船舶动态事件数据总量；
累计：定时10min获取最新船舶动态事件数据总量。如表1所示。
表1
本发明还涉及了一种船舶全生命周期动态数据智能管理系统，该系统与上述船舶全生命周期动态数据智能管理方法相对应，可理解为是实现上述方法的系统，该系统包括依次连接的数据采集模块、最新事件获取模块、增量数据统计模块和增量数据展示模块，具体地，
数据采集模块，采集船舶全生命周期中的动态数据并按照数据类型进行分类，生成不同类型的船舶动态事件数据，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具自动对不同类型的船舶动态事件数据分别配置相应的定时任务，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表、事件数据临时表和船舶最新事件表中；
最新事件获取模块，每隔一段时间自动从船舶事件视图表中获取当前某一时间段内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表中以完成数据的更新，并将船舶最新事件表中船舶动态事件数据接收时间小于更新时间前一段时间的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中提取到船舶最新事件表，且只保留指定条数的最新船舶动态事件数据记录；
增量数据统计模块，执行kettle任务，分别智能统计船舶最新事件表中平均每分钟、当天、当月以及系统历史累计的每个类型的最新船舶动态事件数据的增量数据的总数，并将统计结果累加进船舶动态事件表中的事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中；
增量数据展示模块，自动执行定时任务，按实时、当天、当月和累计四个维度动态可视化展示事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中最新船舶动态事件数据的增量过程。
优选地，船舶动态事件数据包括抵离港数据、区域穿行数据、恶劣气象数据、航行异常数据和STS作业数据。
优选地，抵离港数据包括靠泊、锚泊和离港数据，区域穿行数据包括关键位置水域、全球冰区和中国养殖区，恶劣气象数据包括风速、浪高、洋流和台风，航行异常数据包括低速、飘航和走锚，STS作业数据包括加油作业、装卸货作业和拖轮作业。
优选地，增量数据统计模块中，还在每日的固定时间对事件数据资产统计临时表中当天最新船舶动态事件增量数据的数量进行清零，在每月的固定时间在事件数据资产月度统计表中新建该月的数据空记录，并将该月的最新船舶动态事件数据的初始总数更新至空记录中。
优选地，所述船舶动态事件表包括船舶事件视图表、事件数据临时表、船舶最新事件表、事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表。
本发明提供了客观、科学的船舶全生命周期动态数据智能管理方法和系统，基于船舶动态AIS数据，通过采用特定的数据获取方法实时更新展示船舶事件信息，以及通过初始基数+每分钟、当天、当月维度增量累加的方式来实现海量数据的实时统计，能够有效的实时统计并展示数据内容，且能够更加直观立体地展示不同类型的数据。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。
Claims (10)
1.一种船舶全生命周期动态数据智能管理方法，其特征在于，包括以下步骤：
数据采集步骤：采集船舶全生命周期中的动态数据并按照数据类型进行分类，生成不同类型的船舶动态事件数据，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具自动对不同类型的船舶动态事件数据分别配置相应的定时任务，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表、事件数据临时表和船舶最新事件表；
最新事件获取步骤：每隔一段时间自动从船舶事件视图表中获取当前某一时间段内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表中以完成数据的更新，并将船舶最新事件表中船舶动态事件数据接收时间小于更新时间前一段时间的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中提取到船舶最新事件表以实时更新展示船舶事件信息，且只保留指定条数的最新船舶动态事件数据记录；
增量数据统计步骤：执行kettle任务，分别智能统计船舶最新事件表中平均每分钟、当天、当月以及系统历史累计的每个类型的最新船舶动态事件数据的增量数据的总数，其中，根据船舶动态数据表中的船舶靠泊、锚泊和离港数据统计出船舶抵离港数据的增量数据总数，根据船舶特殊区域穿越表中的六区一线、全球冰区、中国养殖区数据统计出船舶特殊区域穿行数据的增量数据总数，根据船舶事件表中的恶劣气象、走锚、抛锚、STS数据统计出船舶恶劣气象、航行异常以及STS作业的增量数据总数；并分别将每个类型的船舶动态事件数据每分钟的增量数据总数的统计结果自动累加进船舶动态事件表中的事件数据资产统计临时表中，再通过每分钟累加的方式统计当天、当月以及系统历史累计的最新船舶动态事件数据的数量，并将统计结果累加进事件数据资产月度统计表和事件数据资产统计总表中，从而以多事件类型维度进行统计；
增量数据展示步骤：自动执行定时任务，按实时、当天、当月和累计四个维度动态可视化展示事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中最新船舶动态事件数据的增量过程。
2.根据权利要求1所述的船舶全生命周期动态数据智能管理方法，其特征在于，所述数据采集步骤中，所述船舶动态事件数据包括抵离港数据、区域穿行数据、恶劣气象数据、航行异常数据和STS作业数据。
3.根据权利要求2所述的船舶全生命周期动态数据智能管理方法，其特征在于，所述抵离港数据包括靠泊、锚泊和离港数据，所述区域穿行数据包括关键位置水域、全球冰区和中国养殖区，所述恶劣气象数据包括风速、浪高、洋流和台风，所述航行异常数据包括低速、飘航和走锚，所述STS作业数据包括加油作业、装卸货作业和拖轮作业。
4.根据权利要求1所述的船舶全生命周期动态数据智能管理方法，其特征在于，所述增量数据统计步骤中，还在每日的固定时间对事件数据资产统计临时表中当天最新船舶动态事件数据的增量数据进行清零，在每月的固定时间在事件数据资产月度统计表中新建该月的数据空记录，并将该月的最新船舶动态事件数据的初始总数更新至空记录中。
5.根据权利要求1所述的船舶全生命周期动态数据智能管理方法，其特征在于，所述增量数据采集步骤中，所述船舶动态事件表包括船舶事件视图表、事件数据临时表、船舶最新事件表、事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表。
6.一种船舶全生命周期动态数据智能管理系统，其特征在于，包括依次连接的数据采集模块、最新事件获取模块、增量数据统计模块和增量数据展示模块，
数据采集模块，采集船舶全生命周期中的动态数据并按照数据类型进行分类，生成不同类型的船舶动态事件数据，根据船舶动态事件数据生成船舶动态事件表，再利用ETL工具自动对不同类型的船舶动态事件数据分别配置相应的定时任务，并将配置完定时任务的船舶动态事件数据分别存储至船舶动态事件表中的船舶事件视图表、事件数据临时表和船舶最新事件表；
最新事件获取模块，每隔一段时间自动从船舶事件视图表中获取当前某一时间段内的最新船舶动态事件数据，将最新船舶动态事件数据作为增量数据并按照类型维度存储至事件数据临时表中以完成数据的更新，并将船舶最新事件表中船舶动态事件数据接收时间小于更新时间前一段时间的船舶动态事件数据进行智能删除，再自动将最新船舶动态事件数据从临时表中提取到船舶最新事件表以实时更新展示船舶事件信息，且只保留指定条数的最新船舶动态事件数据记录；
增量数据统计模块，执行kettle任务，分别智能统计船舶最新事件表中平均每分钟、当天、当月以及系统历史累计的每个类型的最新船舶动态事件数据的增量数据的总数，其中，根据船舶动态数据表中的船舶靠泊、锚泊和离港数据统计出船舶抵离港数据的增量数据总数，根据船舶特殊区域穿越表中的六区一线、全球冰区、中国养殖区数据统计出船舶特殊区域穿行数据的增量数据总数，根据船舶事件表中的恶劣气象、走锚、抛锚、STS数据统计出船舶恶劣气象、航行异常以及STS作业的增量数据总数；并分别将每个类型的最新船舶动态事件数据每分钟的增量数据总数的统计结果累加进船舶动态事件表中的事件数据资产统计临时表中，再通过每分钟累加的方式统计当天、当月以及系统历史累计的最新船舶动态事件数据的数量，并将统计结果累加进事件数据资产月度统计表和事件数据资产统计总表中，从而以多事件类型维度进行统计；
增量数据展示模块，自动执行定时任务，按实时、当天、当月和累计四个维度动态可视化展示事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表中最新船舶动态事件数据的增量过程。
7.根据权利要求6所述的船舶全生命周期动态数据智能管理系统，其特征在于，所述船舶动态事件数据包括抵离港数据、区域穿行数据、恶劣气象数据、航行异常数据和STS作业数据。
8.根据权利要求7所述的船舶全生命周期动态数据智能管理系统，其特征在于，所述抵离港数据包括靠泊、锚泊和离港数据，所述区域穿行数据包括关键位置水域、全球冰区和中国养殖区，所述恶劣气象数据包括风速、浪高、洋流和台风，所述航行异常数据包括低速、飘航和走锚，所述STS作业数据包括加油作业、装卸货作业和拖轮作业。
9.根据权利要求6所述的船舶全生命周期动态数据智能管理系统，其特征在于，所述增量数据统计模块中，还在每日的固定时间对事件数据资产统计临时表中当天最新船舶动态事件增量数据的数量进行清零，在每月的固定时间在事件数据资产月度统计表中新建该月的数据空记录，并将该月的最新船舶动态事件数据的初始总数更新至空记录中。
10.根据权利要求6所述的船舶全生命周期动态数据智能管理系统，其特征在于，所述船舶动态事件表包括船舶事件视图表、事件数据临时表、船舶最新事件表、事件数据资产统计临时表、事件数据资产月度统计表和事件数据资产统计总表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310085718.4A CN116126926B (zh) | 2023-01-18 | 2023-01-18 | 一种船舶全生命周期动态数据智能管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310085718.4A CN116126926B (zh) | 2023-01-18 | 2023-01-18 | 一种船舶全生命周期动态数据智能管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116126926A CN116126926A (zh) | 2023-05-16 |
| CN116126926B true CN116126926B (zh) | 2024-05-17 |
Family
ID=86309770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310085718.4A Active CN116126926B (zh) | 2023-01-18 | 2023-01-18 | 一种船舶全生命周期动态数据智能管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116126926B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117495349A (zh) * | 2023-11-07 | 2024-02-02 | 华能澜沧江水电股份有限公司黄登·大华桥水电厂 | 工具设备生命周期智能监测与管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040009126A (ko) * | 2002-07-22 | 2004-01-31 | 엘지전자 주식회사 | 데이터 베이스 시스템의 저부하 통계처리 장치 및 방법 |
| KR20170034158A (ko) * | 2015-09-18 | 2017-03-28 | (주)일우인터내셔날 | 다중매체 통신 기반 선박 상태모니터링과 최적 및 안전 운항 지원을 수행하는 선박 운항 지원 시스템 및 그 방법 |
| CN114037230A (zh) * | 2021-10-28 | 2022-02-11 | 中远海运科技股份有限公司 | 一种快速精准识别预计空载船舶信息的方法及系统 |
| CN114742128A (zh) * | 2022-03-10 | 2022-07-12 | 交通运输部水运科学研究所 | 一种船舶异常行为的识别方法、装置、终端和存储介质 |
| CN115456217A (zh) * | 2022-09-14 | 2022-12-09 | 中远海运科技股份有限公司 | 一种智能船物联网数据资产管理方法与系统 |
-
2023
- 2023-01-18 CN CN202310085718.4A patent/CN116126926B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040009126A (ko) * | 2002-07-22 | 2004-01-31 | 엘지전자 주식회사 | 데이터 베이스 시스템의 저부하 통계처리 장치 및 방법 |
| KR20170034158A (ko) * | 2015-09-18 | 2017-03-28 | (주)일우인터내셔날 | 다중매체 통신 기반 선박 상태모니터링과 최적 및 안전 운항 지원을 수행하는 선박 운항 지원 시스템 및 그 방법 |
| CN114037230A (zh) * | 2021-10-28 | 2022-02-11 | 中远海运科技股份有限公司 | 一种快速精准识别预计空载船舶信息的方法及系统 |
| CN114742128A (zh) * | 2022-03-10 | 2022-07-12 | 交通运输部水运科学研究所 | 一种船舶异常行为的识别方法、装置、终端和存储介质 |
| CN115456217A (zh) * | 2022-09-14 | 2022-12-09 | 中远海运科技股份有限公司 | 一种智能船物联网数据资产管理方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116126926A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101694743B (zh) | 预测路况的方法和装置 | |
| CN111291076B (zh) | 基于大数据的异常用水监测报警系统及其构建方法 | |
| CN116126926B (zh) | 一种船舶全生命周期动态数据智能管理方法及系统 | |
| CN104239437A (zh) | 一种面向电网调度的智能告警分析方法 | |
| CN113886596A (zh) | 基于城市要素和多灾害融合的韧性城市知识图谱构建方法 | |
| CN108460516A (zh) | 一种气象预警预报业务智能管理系统及方法 | |
| CN102867235A (zh) | 一种基于gis的电动汽车充电站监测方法 | |
| CN113793505A (zh) | 一种知识驱动的云边协同交通数据采集方法及系统 | |
| CN114661839A (zh) | 一种基于瓦片的轨迹地图的展示方法、装置、介质和设备 | |
| CN115456217A (zh) | 一种智能船物联网数据资产管理方法与系统 | |
| CN101894151A (zh) | 事件信息的获取方法和装置 | |
| CN111581927A (zh) | 海洋经济运行监测与预警系统及计算机设备 | |
| CN114020535A (zh) | 一种基于航运数据快照的回溯分析系统 | |
| CN113326339B (zh) | 一种基于gis的精细化电力气象预报数据展示方法及系统 | |
| CN109447339A (zh) | 作业窗口期的预测方法、装置及电子设备 | |
| CN113435721A (zh) | 一种智能变电站二次数据中台的构建方法 | |
| CN115100551A (zh) | 一种基于遥感影像技术的土地利用属性的监测方法 | |
| CN114005302B (zh) | 沿海船舶空船指数生成方法及系统 | |
| CN115983524A (zh) | 智慧环保平台水环境管理系统的黑臭水管理模块及方法 | |
| CN114564521A (zh) | 一种基于聚类算法确定农机工作时间段的方法及系统 | |
| CN112241428A (zh) | 一种数字化决策方法及系统 | |
| CN114020534B (zh) | 一种航运数据快照生成方法 | |
| CN111917565A (zh) | 一种实时告警统计方法及系统 | |
| CN116702068B (zh) | 面向多地形场站的风速预报极值提取方法及相关装置 | |
| CN112766146B (zh) | 一种基于多源数据的水库动态监控系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |