CN116578628A - 一种长江航道大数据业务分析方法及装置 - Google Patents
一种长江航道大数据业务分析方法及装置 Download PDFInfo
- Publication number
- CN116578628A CN116578628A CN202310546224.1A CN202310546224A CN116578628A CN 116578628 A CN116578628 A CN 116578628A CN 202310546224 A CN202310546224 A CN 202310546224A CN 116578628 A CN116578628 A CN 116578628A
- Authority
- CN
- China
- Prior art keywords
- data
- channel
- yangtze river
- related monitoring
- monitoring data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 32
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 17
- 238000013480 data collection Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 5
- 238000007726 management method Methods 0.000 abstract description 38
- 238000013523 data management Methods 0.000 abstract description 7
- 239000010410 layer Substances 0.000 description 35
- 238000007405 data analysis Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000011161 development Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013433 optimization analysis Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种长江航道大数据业务分析方法及装置，涉及航道监管技术领域，该方法包括以下步骤：基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理；基于与所述数据分层管理对应的数据资源目录，进行数据共享。本申请根据航道数据管理需求对数据进行整理，提取有效信息，并进行分层管理，旨在对数据进行有效管理，以便后续对数据信息进行提取。
Description
技术领域
本申请涉及航道监管技术领域，具体涉及一种长江航道大数据业务分析方法及装置。
背景技术
近些年来，长江航道信息化得到快速发展，长江航道相关数据的体量逐渐增大，然而现阶段，并未对数据资源进行整合也缺少数据分析能力，在数据价值挖掘方面也需要进一步地深化。
现阶段的数据处理方式存在多源大数据融合程度不足、数据规范标准不够完善、数据挖掘存在瓶颈以及大数据应用利用不够的技术问题，已无法满足日常的数据分析工作。现阶段的数据业务分析技术无法支撑长江航道的数字化管理，进而无法支撑对外系的数据共享服务。
因此，现提供一种长江航道大数据业务分析技术，以满足当前长江航道信息的业务数据分析需求。
发明内容
本申请提供一种长江航道大数据业务分析方法及装置，根据航道数据管理需求对数据进行整理，提取有效信息，并进行分层管理，旨在对数据进行有效管理，以便后续对数据信息进行提取。
为实现上述目的，本申请提供以下方案。
第一方面，本申请提供了一种长江航道大数据业务分析方法，所述方法包括以下步骤：
基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理；
基于与所述数据分层管理对应的数据资源目录，进行数据共享。
具体的，所述航道相关监测数据包括航标监测数据、水位监测数据、航道监测数据、潮位历史数据、天气监测数据、事故险情数据以及安全预警数据。
具体的，所述基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据中，包括以下步骤：
基于预设的数据标准规范中的格式和规则，对所述航道相关监测数据进行信息提取，获得所述基础地理信息数据以及所述动态运行信息数据。
具体的，所述动态运行信息数据包括航道动态数据、水位动态数据、控制河段相关数据以及航道船舶相关数据。
具体的，所述对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理中，包括以下步骤：
构建一源数据层，其用于管理所述航道相关监测数据；
构建一明细数据层，其用于筛除所述航道相关监测数据内的无用数据；
构建一服务数据层，其用于对所述航道相关监测数据进行数据整理；
构建一数据维度信息，其用于对所述航道相关监测数据进行数据统计分析。
第二方面，本申请提供了一种长江航道大数据业务分析装置，所述装置包括：
数据收集模块，其用于基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
数据分层模块，其用于对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理；
数据共享模块，其用于基于与所述数据分层管理对应的数据资源目录，进行数据共享。
具体的，所述航道相关监测数据包括航标监测数据、水位监测数据、航道监测数据、潮位历史数据、天气监测数据、事故险情数据以及安全预警数据。
具体的，所述数据收集模块还用于基于预设的数据标准规范中的格式和规则，对所述航道相关监测数据进行信息提取，获得所述基础地理信息数据以及所述动态运行信息数据。
具体的，所述动态运行信息数据包括航道动态数据、水位动态数据、控制河段相关数据以及航道船舶相关数据。
具体的，所述数据分层模块还用于构建一源数据层，其用于管理所述航道相关监测数据；
所述数据分层模块还用于构建一明细数据层，其用于筛除所述航道相关监测数据内的无用数据；
所述数据分层模块还用于构建一服务数据层，其用于对所述航道相关监测数据进行数据整理；
所述数据分层模块还用于构建一数据维度信息，其用于对所述航道相关监测数据进行数据统计分析。
本申请提供的技术方案带来的有益效果包括：
本申请根据航道数据管理需求对数据进行整理，提取有效信息，并进行分层管理，旨在对数据进行有效管理，以便后续对数据信息进行提取。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中提供的长江航道大数据业务分析方法的步骤流程图；
图2为本申请实施例中提供的长江航道大数据业务分析方法的数据采集流程图；
图3为本申请实施例中提供的长江航道大数据业务分析方法的数据入库流程图；
图4为本申请实施例中提供的长江航道大数据业务分析方法的数据资源分析图；
图5为本申请实施例中提供的长江航道大数据业务分析方法的数据分层规划图；
图6为本申请实施例中提供的长江航道大数据业务分析方法的数据共享流程图；
图7为本申请实施例中提供的长江航道大数据业务分析装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图对本申请的实施例作进一步详细说明。
本申请实施例提供一种长江航道大数据业务分析方法及装置，根据航道数据管理需求对数据进行整理，提取有效信息，并进行分层管理，旨在对数据进行有效管理，以便后续对数据信息进行提取。
为达到上述技术效果，本申请的总体思路如下：
一种长江航道大数据业务分析方法，该方法包括以下步骤：
S1、基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
S2、对航道相关监测数据、基础地理信息数据以及动态运行信息数据进行数据分层管理；
S3、基于与数据分层管理对应的数据资源目录，进行数据共享。
以下结合附图对本申请的实施例作进一步详细说明。
参见图1～6所示，本申请实施例提供一种长江航道大数据业务分析方法，该方法包括以下步骤：
S1、基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
S2、对航道相关监测数据、基础地理信息数据以及动态运行信息数据进行数据分层管理；
S3、基于与数据分层管理对应的数据资源目录，进行数据共享。
需要说明的是，现阶段针对长江航道的数据处理方式存在以下技术缺陷：
多源大数据融合程度不足，数据资源较为分散，不同来源数据资源缺乏关联和整合。当前长江航道信息化拓展的过程中逐步积累的数据资源来源广泛，既有业务系统自身产生的数据资源也有通过外部渠道交换共享获取的数据资源，内容丰富，有动态监测数据，也有基本属性数据。这些数据目前都存储在各自所属业务系统的数据库中，有针对性地服务各自所属的业务系统。但是如果这些不同的数据资源没有经过抽取、转换、加载到一个统一数据仓库中，那么这些数据的关联分析是难以开展的。通过电子航道图、数字航道、互联网能获取大量基础数据和动态监测数据，但这些数据未完全整合空间地理信息之外的数据，尚未对全流域的共享数据资源进行全面汇聚和有效治理，缺少稳定、统一的基础数据服务获取渠道。
数据规范标准不够完善，数据分析广度和深度不足。目前长江干线数字航道生产业务系统和长江电子航道图系统，都是利用现有数据资源，对长江航道相关的关键指标进行统计分析并可视化展现，但是上述分析应用主要停留在利用单一的有限的几类数据进行统计分析，一方面缺乏将不同类型数据进行关联分析，另一方面开展分析应用的数据资源类型有限，例如目前针对AIS数据的利用主要是停留在轨迹点在地图上的实时展现，还没有利用AIS数据的时空特性挖掘更多有价值的信息；
电子航道图、数字航道的应用系统基于各自业务需求而建，数据存储结构、技术标准不统一，系统之间无法兼容和对接，普遍存在数据不能互连互通的问题，客观上造成了“数据孤岛”。
数据挖掘存在瓶颈，在航标碰撞、流量统计等开展的预测预报分析研究不够，对于航道演变的预警报警，以及运行调度辅助决策支持能力尚需进一步加强，港航企业对航道信息的开发利用需求尚未得到充分满足，航道数据的价值没有得到有效发挥。
大数据应用利用不够，数据分析和实际业务关系不紧密，利用数据分析成果来支持长江航道内部精细化管理、对外个性化人性化服务的应用较少，制约了长江航道高质量的发展。不能快速响应各部门大数据分析需求，无法将大数据应用分析结果分享给电子航道图、数字航道系统通过数据分析达到降本增效的目的。
本申请实施例中，根据航道数据管理需求对数据进行整理，提取有效信息，并进行分层管理，旨在对数据进行有效管理，以便后续对数据信息进行提取。
基于本申请实施例，技术方案至少存在以下优势：
研发数据中台：将已有数据源、分析模块、服务接口迁移到数据中台进行统一管理，为长江航道大数据提供统一的数据接入、数据分析、数据分享服务。
航道应用升级：持续深化航道业务分析应用功能的开发完善，为电子航道图和数据航道系统提供更丰富的数据分析服务，开发便于扩展和维护的大数据应用示范。
建立数据规范：结合已有的数据资源和相关标准，对现在数据进行分层管理，制定长江航道大数据元数据标准及大数据指标体系。
赋能行业数据分析：依托数据中台进行大数据应用功能分析，使系统具备智能分析、智能可视化、智能推荐、智能预警等功能，提高数据应用的便捷性，提升决策的效率和准确性。
具体的，所述航道相关监测数据包括航标监测数据、水位监测数据、航道监测数据、潮位历史数据、天气监测数据、事故险情数据以及安全预警数据。
具体的，所述基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据中，包括以下步骤：
基于预设的数据标准规范中的格式和规则，对所述航道相关监测数据进行信息提取，获得所述基础地理信息数据以及所述动态运行信息数据。
具体的，所述动态运行信息数据包括航道动态数据、水位动态数据、控制河段相关数据以及航道船舶相关数据。
具体的，所述对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理中，包括以下步骤：
构建一源数据层，其用于管理所述航道相关监测数据；
构建一明细数据层，其用于筛除所述航道相关监测数据内的无用数据；
构建一服务数据层，其用于对所述航道相关监测数据进行数据整理；
构建一数据维度信息，其用于对所述航道相关监测数据进行数据统计分析。
基于本申请实施例的技术方案，具体实施时的情况如下：
第一，对数据采集进行改进：
首先，数据采集时，具体操作如下：
将现有的航标、水位、航道、尺度、潮位历史数据接入预设的数据中台，并且每日定时抽取昨日产生数据；
通过网络爬虫或人工手段每日定时采集天气、航行通告、事故险情、安全预警数据，将数据导入到数据中台。
其次，数据入库时，具体操作如下：
对于采集到的AIS数据、电子航道、数字航道以及互联网的数据，依照数据中台和数据仓库数据标准规范，对结构化信息进行比对；对于命中规则的数据，支持按照输出描述进行数据和比对信息的输出；数据比对规则支持完全匹配、模糊匹配、范围匹配规则；将对接入数据的完整性、规范性、一致性、准确性、唯一性、关联性进行核验，并支持对接入的数据量等进行监测，对核验不合格的数据进行人工干预；
按统一规定的格式和规则，对数据的定义、组织、监督和保护的过程，数据依据统一的元数据描述，贯穿于数据的接入、预处理、数据服务过程，采用ETL工具进行数据同步接入、根据数据仓库规范进行建仓管理。
需要说明的是，事先需要进行预先配置，具体对应以下技术点：
本申请实施例的技术方案，具体可以是构建一个数据中台，其支持多源数据接入、同步、加工及质量分析；
支持对接入数据进行SQL查询；支持用户在中台已有数据分析模型之外，采用Python语言进行自定义数据分析模型开发；支持数据分析任务的管理调度，支持数据共享访问权限控制；支持数据报表生成；支持大数据看板可视化；
具备较为完备的用户、角色、日志等系统管理功能；
进行数据资源治理，制定数据加工方案和数据资源质量评价指标，利用数据中台的多源数据管理工具和ETL工具，完成相关数据资源治理并形成不少于10个专题数据资产存入数据仓库；
通过深化航道业务分析应用功能开发，基于数据中台、数据仓库资源及分析建模环境，开发航标位移报警阈值优化分析、航标碰撞风险因子分析、船舶交通流量实时热力图分析、不同水道的船舶交通流量预测分析、基于航线的信息聚合分析等航道业务分析应用功能，开发基于航道图的交互式配置界面，开发针对分析结果的图文报表、大数据看板、数据服务接口等功能供数字航道系统、电子航道图及其他业务系统使用，并完成已有大数据应用开发成果的迁移和完善；
通过系统运维，确保大数据相关平台运行稳定，持续提供大数据分析服务。
第二，对数据整理进行改进：
针对基础地理信息数据，即航道建设、养护所获得的测绘数据，包括电子航道图和空间数据库以及航道(工程)测图、遥感影像、扫描图纸等纸质文件数据；
前两种数据是经过精加工后规范程度很高的地理信息数据库，按照统一的要素编码规范将航道各地理信息要素分层存储在Oracle中，同时含有历史和现势数据，各水道依据变化情况不同每月至每年更新一次，可通过数据库接口、网络服务等方式访问。
针对，动态运行信息数据，具体情况如下：
1)航标监测数据，其数据内容主要是经纬度、灯质、电池情况、工作状态、(浮标)位移漂移及被撞击情况等；
2)水位监测数据，其数据内容是沿江布设的自动水位值定时观测到的水位和过程线等；
3)控制河段相关数据，其数据内容是人工管理的交替单向通行河段的信号和船舶数据，在控制河段全面推广应用信号台系统，为探索航道智能化发展出关键的一步。
4)内部船舶数据，其数据内容是使用出勤、维修保养、轮机状态等数据。
5)社会船舶AIS数据，其数据内容是由长江海事局提供，是经过解析后的AIS数据流，目前存储在oracle表中，包含船舶编号、时间、位置、航向、吃水、货物等信息。
第三，对数据分层进行改进，通过数据分层让我们的数据体系更有序，可以有效的进行数据组织和管理，具体情况如下：
源数据层，ODS，Operational Data Store：此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。
明细数据层，DWD，Data Warehouse Detail：是业务层与数据仓库的隔离层，此层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗(去除了杂质)、转换等操作后的数据；
该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联；
另外，在该层也会做一部分的数据聚合，将相同主题的数据汇集到一张表中，提高数据的可用性。
服务数据层，DWS，Data Warehouse Service：又称数据集市层或宽表层；
按照业务划分，如流量、订单、用户等，生成字段比较多的宽表，用于提供后续的业务查询，OLAP分析，数据分发等；
一般来讲，该层的数据表会相对比较少，一张表会涵盖比较多的业务内容，由于其字段较多，因此一般也会称该层的表为宽表。
数据维度层，DIM，Dimension Data Layer：存放企业公共维度数据。高基数维度数据：一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级；低基数维度数据：
一般是配置表，比如枚举值对应的中文含义，或者日期维表，数据量可能是个位数或者几千几万。
数据应用层，ADS，Application Data Service：数据应用层，同业务强相关的定制化报表层。
需要说明的是，数据分层的好处：
1)数据结构清晰：每一个数据分层都有它的作用域和职责，在使用表的时候能更方便地定位和理解。
2)避免重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
3)统一数据口径：提供统一的数据出口，统一对外输出的数据口径。
4)复杂问题简单化：将一个复杂的任务分解成多个步骤来完成，每一层解决特定的问题。
5)数据隔离：不必改一次业务就需要重新接入数据。另外，随着业务的变化，只需要调整底层的数据，对应用层对业务的调整零感知。
第四，对数据共享进行改进：
本申请实施例中，共享数据主要以专题库和数据应用输出为主，对外统一发布专题库资源目录，各级用户和各个第三方应用系统进行订阅申请，授权访问后，以数据共享接口服务方式对外共享数据。
基于本申请实施例的技术方案，能够构建长江航道大数据生态圈，依托长江干线数字航道系统整合航道数据资源，同时建设数据交换平台，与海事部门、气象部门、水上公安、航运公司等开展战略合作，通过共享交换获取集成各类数据；
实现了内强管理，提升了航道监测维护能力；外强服务，提升了公共信息服务能力。
本申请实施例的技术方案还能够实现长江航道精细化养护管理与科学决策分析，实现长江航道的数字化智能化转型，进一步拓展广度和深度，升级打造成为长江航运业的科学大数据。
参见图7所示，基于与方法实时例相同的发明构思，本申请实施例提供一种长江航道大数据业务分析装置，该装置包括：
数据收集模块，其用于基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
数据分层模块，其用于对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理；
数据共享模块，其用于基于与所述数据分层管理对应的数据资源目录，进行数据共享。
本申请实施例中，根据航道数据管理需求对数据进行整理，提取有效信息，并进行分层管理，旨在对数据进行有效管理，以便后续对数据信息进行提取。
基于本申请实施例，技术方案至少存在以下优势：
研发数据中台：将已有数据源、分析模块、服务接口迁移到数据中台进行统一管理，为长江航道大数据提供统一的数据接入、数据分析、数据分享服务。
航道应用升级：持续深化航道业务分析应用功能的开发完善，为电子航道图和数据航道系统提供更丰富的数据分析服务，开发便于扩展和维护的大数据应用示范。
建立数据规范：结合已有的数据资源和相关标准，对现在数据进行分层管理，制定长江航道大数据元数据标准及大数据指标体系。
赋能行业数据分析：依托数据中台进行大数据应用功能分析，使系统具备智能分析、智能可视化、智能推荐、智能预警等功能，提高数据应用的便捷性，提升决策的效率和准确性。
具体的，所述航道相关监测数据包括航标监测数据、水位监测数据、航道监测数据、潮位历史数据、天气监测数据、事故险情数据以及安全预警数据。
具体的，所述数据收集模块还用于基于预设的数据标准规范中的格式和规则，对所述航道相关监测数据进行信息提取，获得所述基础地理信息数据以及所述动态运行信息数据。
具体的，所述动态运行信息数据包括航道动态数据、水位动态数据、控制河段相关数据以及航道船舶相关数据。
具体的，所述数据分层模块还用于构建一源数据层，其用于管理所述航道相关监测数据；
所述数据分层模块还用于构建一明细数据层，其用于筛除所述航道相关监测数据内的无用数据；
所述数据分层模块还用于构建一服务数据层，其用于对所述航道相关监测数据进行数据整理；
所述数据分层模块还用于构建一数据维度信息，其用于对所述航道相关监测数据进行数据统计分析。
需要说明的是，本申请实施例提供的长江航道大数据业务分析装置，其对应的技术问题、技术手段以及技术效果，从原理层面与长江航道大数据业务分析方法的原理类似。
需要说明的是，在本申请中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种长江航道大数据业务分析方法，其特征在于，所述方法包括以下步骤：
基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理；
基于与所述数据分层管理对应的数据资源目录，进行数据共享。
2.如权利要求1所述的长江航道大数据业务分析方法，其特征在于：
所述航道相关监测数据包括航标监测数据、水位监测数据、航道监测数据、潮位历史数据、天气监测数据、事故险情数据以及安全预警数据。
3.如权利要求1所述的长江航道大数据业务分析方法，其特征在于，所述基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据中，包括以下步骤：
基于预设的数据标准规范中的格式和规则，对所述航道相关监测数据进行信息提取，获得所述基础地理信息数据以及所述动态运行信息数据。
4.如权利要求1所述的长江航道大数据业务分析方法，其特征在于：
所述动态运行信息数据包括航道动态数据、水位动态数据、控制河段相关数据以及航道船舶相关数据。
5.如权利要求1所述的长江航道大数据业务分析方法，其特征在于，所述对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理中，包括以下步骤：
构建一源数据层，其用于管理所述航道相关监测数据；
构建一明细数据层，其用于筛除所述航道相关监测数据内的无用数据；
构建一服务数据层，其用于对所述航道相关监测数据进行数据整理；
构建一数据维度信息，其用于对所述航道相关监测数据进行数据统计分析。
6.一种长江航道大数据业务分析装置，其特征在于，所述装置包括：
数据收集模块，其用于基于航道相关监测数据，获得基础地理信息数据以及动态运行信息数据；
数据分层模块，其用于对所述航道相关监测数据、所述基础地理信息数据以及所述动态运行信息数据进行数据分层管理；
数据共享模块，其用于基于与所述数据分层管理对应的数据资源目录，进行数据共享。
7.如权利要求6所述的长江航道大数据业务分析装置，其特征在于：
所述航道相关监测数据包括航标监测数据、水位监测数据、航道监测数据、潮位历史数据、天气监测数据、事故险情数据以及安全预警数据。
8.如权利要求6所述的长江航道大数据业务分析装置，其特征在于：
所述数据收集模块还用于基于预设的数据标准规范中的格式和规则，对所述航道相关监测数据进行信息提取，获得所述基础地理信息数据以及所述动态运行信息数据。
9.如权利要求6所述的长江航道大数据业务分析装置，其特征在于：
所述动态运行信息数据包括航道动态数据、水位动态数据、控制河段相关数据以及航道船舶相关数据。
10.如权利要求6所述的长江航道大数据业务分析装置，其特征在于：
所述数据分层模块还用于构建一源数据层，其用于管理所述航道相关监测数据；
所述数据分层模块还用于构建一明细数据层，其用于筛除所述航道相关监测数据内的无用数据；
所述数据分层模块还用于构建一服务数据层，其用于对所述航道相关监测数据进行数据整理；
所述数据分层模块还用于构建一数据维度信息，其用于对所述航道相关监测数据进行数据统计分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310546224.1A CN116578628A (zh) | 2023-05-15 | 2023-05-15 | 一种长江航道大数据业务分析方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310546224.1A CN116578628A (zh) | 2023-05-15 | 2023-05-15 | 一种长江航道大数据业务分析方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116578628A true CN116578628A (zh) | 2023-08-11 |
Family
ID=87542741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310546224.1A Pending CN116578628A (zh) | 2023-05-15 | 2023-05-15 | 一种长江航道大数据业务分析方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116578628A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591502A (zh) * | 2023-11-22 | 2024-02-23 | 广州国测规划信息技术有限公司 | 一种航道控制网数据管理方法及系统 |
-
2023
- 2023-05-15 CN CN202310546224.1A patent/CN116578628A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117591502A (zh) * | 2023-11-22 | 2024-02-23 | 广州国测规划信息技术有限公司 | 一种航道控制网数据管理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022012285A1 (zh) | 一种多源融合的多平台能源信息管理系统 | |
| CN113778967B (zh) | 长江流域数据采集处理与资源共享系统 | |
| CN112149027A (zh) | 一种城市运行数据可视化管理系统 | |
| CN101908165A (zh) | 一种基于gis的产业集群信息集成服务系统及方法 | |
| CN114996247A (zh) | 一种大型流域水电企业数据治理方法 | |
| US20200334314A1 (en) | Emergency disposal support system | |
| CN116578628A (zh) | 一种长江航道大数据业务分析方法及装置 | |
| CN109190984B (zh) | 基于数据立方体模型的数据处理系统及方法 | |
| CN103942266A (zh) | 一种基于olap能自定义复杂业务计算逻辑的数据分析方法 | |
| CN106407468A (zh) | 一种描述事物空间属性并基于所述描述进行查找的方法 | |
| CN117455379A (zh) | 一种基层智慧治理管理系统及方法 | |
| CN109710713A (zh) | 交通运输能源消耗大数据信息处理系统 | |
| Min et al. | Data mining and economic forecasting in DW-based economical decision support system | |
| CN109284314A (zh) | 一种基于电网可视化的高压客户接入系统及方法 | |
| CN115147086A (zh) | 一种农民工工资支付监控预警平台系统及方法 | |
| Ma et al. | The design of meteorological data warehouse and multidimensional data report | |
| Yao | Application of GIS remote sensing information integration in eco-environmental quality monitoring | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| Shao et al. | Research of data resource management platform in smart city | |
| Jia | Marine integrated database management system based on improved object-relational mapping technology | |
| CN117217412B (zh) | 一种基于资源化利用的无废城市建设管理系统 | |
| Xiao et al. | Management of air quality monitor data with data warehouse and GIS | |
| Bai et al. | Database Design in the Infrastructure Information Management System | |
| Li et al. | Practice and Key Technologies of Integration and Sharing of Water Resources and Data Resources Based on Cloud Computing | |
| Zhang et al. | Framework design research and practice of digital water spatial database system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |