CN114358642A - 基于云架构的自动化集装箱码头数据湖系统 - Google Patents

Abstract

本发明提出一种基于云架构的自动化集装箱码头数据湖系统，包括自动化集装箱码头数据通信、自动化集装箱码头云架构、自动化集装箱码头数据湖；采用多通讯协议混合通信策略，分别将生产作业、运输装卸设备、楼宇资源以及视频监控等数据传输至自动化集装箱码头云架构，由自动化集装箱码头云架构进行传输整合，根据数据类型存储于不同数据库管理；自动化集装箱码头数据湖，与自动化集装箱码头云架构的云端服务器通信，将云端服务器集成数据作为数据底座，对码头整体运营相关数据进行管理，保障码头数据资产，提升自动化集装箱码头整体运营能力。

Description

基于云架构的自动化集装箱码头数据湖系统

技术领域

本发明涉及大数据存储及应用技术领域，具体涉及一种基于云架构的自动化集装箱码头数据湖系统。

背景技术

近年来，集装箱码头吞吐量逐年增加，大规模、高强度的进出口量对码头整体运营能力提出了新的要求。随着新兴技术在码头自动化建设中的不断应用，码头数据来源及结构的复杂程度也逐渐提高。如何协调调度高复杂程度的码头系统及设备，使自动化集装箱码头能够满足生产作业需求，成为当前研究热点。

由于数据处理能力的不足，码头数据在之前研究中并未作为重点研究对象，但随着数据智能化的发展，越来越多的集装箱码头开始通过大数据或数据挖掘等技术，凭借其自身的数据资产对码头作业进行生产指导，有效提升了码头运营能力。

因此，合理利用自动化集装箱码头数据资产，通过数据智能化技术，提升自动化集装箱码头数据可视化程度，优化码头作业能力，提升码头管理水平成为了新的研究方向。

发明内容

本发明的目的是要解决自动化集装箱码头运营数据混乱、可视化程度低等问题，提供了一种基于云架构的自动化集装箱码头数据湖系统，实现码头数据资产管理，通过码头数据管理、可视化分析、数据挖掘等，提升自动化集装箱码头运营能力，提升集装箱码头整体的管理水平与生产作业效率。

一种基于云架构的自动化集装箱码头数据湖系统，包括自动化集装箱码头数据通信模块、自动化集装箱码头云架构、自动化集装箱码头数据湖；所述自动化集装箱码头数据通信模块，采用多通讯协议混合通信策略，分别将生产作业、运输装卸设备、楼宇资源以及视频监控数据传输到自动化集装箱码头云架构，由所述自动化集装箱码头云架构进行传输整合，根据数据类型存储于不同数据库管理；所述自动化集装箱码头数据湖，与所述自动化集装箱码头云架构的云端服务器通信，将云端服务器集成数据作为数据底座，对码头整体运营相关数据进行管理，保障码头数据资产。

优选的，所述多通讯协议协同通信策略的实现方式是，在数据信息采集后，判断数据来源与数据类型，根据数据通信表，选择对应的通讯协议与数据库。

进一步地，所述多协议通信策略中，自动化集装箱码头水平运输系统数据经Kafka传输至ES数据库中存储；码头生产作业系统数据与生产辅助系统数据经API通讯在Oracle或MySQL数据库中存储；码头机械设备数据经Kafka传输在HBase数据库中存储；码头楼宇数据经Kafka通讯在Oracle或MySQL数据库中存储；码头视频图像数据经Rtsp传输在文件系统中存储。

优选的，所述自动化集装箱码头云架构，其自动化码头云端服务器通过模块间协调配合，能够实现自动化集装箱码头数据信息与自动化码头云端服务器快速通讯，所述自动化码头云端服务器能够实现自动化集装箱码头整体运维管理，包括码头项目管理、资源服务治理、软件测试与应用、作业智能监控以及服务日志分析功能。

进一步地，所述自动化码头云端服务器，包括以下功能模块：

数据集成模块：用于将自动化码头运营过程中不同类型、不同来源、不同大小的数据灵活、快速地集成，且能够根据码头实际运营情况变更数据源，实现自动化集装箱码头的数据智能运维；

服务集成模块：用于将集成数据向自动化码头运营维护人员以数据接入端口的形式开放，简化人工与数据智能交互流程；

消息集成模块：用于提供标准的消息通道，为自动化集装箱码头商业运维提供低成本、高效率的消息流通渠道，保障码头外部商业交互能力；

设备集成模块：用于提供标准协议与码头各设备进行通信，能够实时传输前端设备采集的数据信息，保障设备数据通信时效性。

进一步地，所述自动化码头云端服务器模块，用于实现码头作业任务全生命周期管理，同时提供快速部署功能，能够使服务器与码头其它管理系统、控制系统等按码头作业需求高效配载，提升快速作业能力。

优选的，所述自动化集装箱码头数据湖，提供自动化集装箱码头各类型数据云端数据库、码头作业调度管理和资源调度管理功能，以物联网与云端服务器数据通讯为基础，通过大数据、数据挖掘、数据管理和AI分析技术分析整合数据，实现数据资产管理，提升码头智能化运维。

进一步地，所述自动化集装箱码头数据湖构成，包括以下模块：

云端数据库模块：存储由云端服务器通信传输来的自动化集装箱码头运营数据，包括岸桥、无人集卡、船舶停靠的数据信息，并通过不定时清洗非实时作业数据、冗余数据，对数据进行智能化管理；

码头作业调度模块：以码头数据为基础，通过分析各类数据信息，实现大数据分析下的的各类作业调度，包括水平运输任务、装卸任务等；

资源调度管理模块：依托码头数据，以全局调度视角对各资源管控调整，包括对生产作业所需资源以及水电能耗、楼宇管控、设备维修资源。

优选地，所述自动化集装箱码头数据湖，具体实现以下功能：

数据管理：对自动化集装箱码头元数据进行管理，保证数据湖中的数据质量，为后续数据存储与分析提供便利；

数据开发：自动化码头数据湖在数据有效管理的基础上，提供高效、便捷、快速的数据分析与开发方法，能够使码头营运人员针对码头作业情况进行相关需求的数据开发，优化码头作业流程。

进一步地，所述自动化集装箱码头数据湖的数据管理功能，包括数据入湖、数据连接、采集任务和任务监控四个子模块，具体如下：

数据入湖：由用户根据不同的数据源选择相应的入湖模板，然后填写相关参数信息，即可完成入湖模板创建，并交给入湖引擎运行；数据湖引擎能够使用户高效地访问数据并保护数据，为数据分析提供支持；支持多种文件格式，包括Delta Lake、Parquet、json，同时支持模式合并功能，以解决数据源实时变更问题；数据湖提供海量的数据存储能力，数据统一存放；

数据连接：实现对数据连接的创建、编辑、连通性测试以及删除，通过配置数据源信息，建立数据连接，数据连接可被采集任务使用；

采集任务：通过新建采集任务可以配置元数据采集策略，不同类型数据源的采集策略不尽相同，包括整个数据库、单库或者单表；依据采集任务的配置策略，采集对应的技术元数据信息；采集任务支持手动和周期性调度，调度周期可以配置分钟、小时、天、周；

任务监控：用以监控元数据采集任务运行情况，支持查看采集日志，支持重跑采集任务。

优选地，所述数据开发，主要包括数据清洗和规范化、数据资产管理可视化；数据清洗是指对原始数据进行清洗，包括缺失数据处理、无效数据处理和重复性数据处理，并基于清洗后的数据进行标准化处理，形成标准化环境数据，存储至数据湖；数据资产管理可视化可以对自动化集装箱码头元数据进行管理，实现码头运营数据资产管理，使数据资产管理可视；同时，数据智能使生产作业数据传输状态和数据全景可视，从而对码头运营进行数据层面监控。

进一步地，所述数据清洗，具体包括：

预处理：选择用于记录匹配的属性以及给属性分配权值，清洗的过程中，对权重进行调整，以便找出更多的重复记录；

重复记录检测：根据数据关系依赖图计算关键属性，并根据关键属性值将数据归属为记录集，在记录集中进行重复记录检测，提高算法运行效率，该阶段解决的问题主要包括字段匹配问题和记录匹配问题；

重复记录聚类：应用检测重复记录的算法以减少记录比较的范围，对整个数据集中的重复记录进行聚类；

冲突处理：根据一定的规则合并或删除检测出的同一重复记录聚类的数据信息，只保留其中正确的那条记录。

进一步地，所述数据资产管理可视化，利用集成多维度钻取数据、联动分析数据、全屏展示数据、图表导出数据的数据可视化技术，实现用户与可视化界面的交互；包括以下内容：

整合异构数据源，接入自动化集装箱码头管理系统、业务数据系统平台；

整合以岗位为开发单位的数据报表，梳理、提炼碎片化报表中的重要数据；

通过图形化展示方法和下钻、切片分析手段将上述数据整合到同一页面，从而以数据联结生产岗位，打破信息隔阂，消除信息孤岛。

本发明中，所述自动化集装箱码头数据通信，采用多通讯协议协同通信策略，对码头运营中各类大规模数据与云端服务器数据库进行通信，能够有效保障各数据与云端服务器快速通信。所述自动化集装箱码头云架构，以数据通信为基础，结合云端模块对数据进行有效传输整合，为码头整体运营提供相应分析与决策。所述自动化集装箱码头数据湖，将云端服务器集成数据作为数据底座，通过大数据、数据挖掘、数据管理和智能分析等技术分析整合数据，实现数据资产有效管理，提升码头智能化运维。

与现有技术相比，本发明能够实现自动化集装箱码头大规模数据与云端服务器数据库进行通信，有效保障各数据与云端服务器的快速通信。以云服务器为服务框架，以数据通信为基础，结合云端模块对数据进行有效传输整合，能够为码头整体运营提供所需的分析与决策。

自动化集装箱数据湖，将云端服务器集成数据作为数据底座，通过大数据、数据挖掘、数据管理和AI分析等技术分析整合数据，实现数据资产有效管理，提升码头智能化运维。因此该基于云架构的数据湖非常适合自动化集装箱码头的水平作业体系。

附图说明

图1为本发明的基于云架构的自动化集装箱码头数据湖系统整体框架图。

图2为本发明的一种基于多通讯协议通信策略数据通信流程图。

图3为本发明的基于多通讯协议协同通信策略自动化码头数据流向图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，本发明提供的一种基于云架构的自动化集装箱码头数据湖系统，包括：

自动化集装箱码头数据通信、自动化集装箱码头云架构、自动化集装箱码头数据湖；

所述自动化集装箱码头数据通信采用多通讯协议协同通信策略，对码头运营中各类大规模数据与云端服务器数据库进行通信，能够有效保障各数据与云端服务器的快速通信；

所述自动化集装箱码头云架构包括自动化码头云端服务器模块、云端服务器，码头云架构以数据通信为基础，结合云端模块对数据进行有效传输整合，为码头整体运营提供相应分析与决策。

所述自动化集装箱码头数据湖包括数据湖构成、数据湖功能，自集装箱码头数据湖将云端服务器集成数据作为数据底座，通过大数据、数据挖掘、数据管理和AI分析等技术分析整合数据，对码头整体运营相关数据进行有效管理，保障码头数据资产，提升码头智能化运维。

上述技术方案中，所述自动化集装箱码头数据通信包括生产作业流程数据通讯、运输装卸设备数据通讯、资源调配数据通讯以及数据传输协议和数据库；所述自动化集装箱码头数据通信，采用多通讯协议混合通信的策略，分别对生产作业、运输装卸设备、楼宇资源以及视频监控等数据进行数据通讯，实现数据的批量采集，实时采集，上传下载，可以通过消息队列展示数据传输情况。

上述技术方案中，所述多通讯协议协同通信策略，如图2所示，首先进行数据信息采集并判断数据来源与数据类型，根据数据通信表，选择对应的通讯协议与数据库。数据流向如图3所示，内容如下：

多协议通信策略中，自动化集装箱码头水平运输系统数据(包括车队管理系统，智慧交通系统、解锁岛、单车智能的数据)经Kafka传输至ES数据库中存储；码头生产作业系统数据(如智慧生产操作系统，包括路运协同、泊位计划、单证平台、场地计划、专家给位模块、自动配载模块、自动化堆场模块的数据)与生产辅助系统数据(包括智能闸口系统、激光靠泊系统、AI智能泊位系统、AI智能岸桥工作、智能调度广播系统、冷藏信息监控系统的数据)经API通讯在Oracle或MySQL数据库中存储；码头机械设备数据(属于设施管理数据，包括设备状态，维修管理，成本管控，设备维修分析以及设备备件分析的数据)经Kafka传输在HBase数据库中存储；码头楼宇数据(包括设备接入、综合安防、能源管理、智能会议室、智能停车场、智慧访客系统的数据)经Kafka通讯在Oracle或MySQL数据库中存储；码头视频图像数据(包括室外智能监控、室内视频监控、AI智能场景检测海边\边检\海事所构成的智能安防系统的数据)经Rtsp传输在文件系统中存储。

多通讯协议协同通信具有大规模、高时效的数据通信能力，能够有效保障各数据与云端服务器的快速通信。在调试和运营过程中，可根据实际情况对通信协议进行调整，提升数据通信效率。

上述技术方案中，所述自动化集装箱码头云架构，包括自动化码头云端服务器模块、云端服务器功能，自动化集装箱码头云端服务器通过模块间协调配合，能够实现自动化集装箱码头数据信息与云端服务器快速通讯，保障数据信息的时效性。自动化码头云端服务器能够实现自动化集装箱码头整体运维管理，包括码头项目管理、资源服务治理、软件测试与应用、作业智能监控、服务日志分析等功能。

上述技术方案中，所述自动化码头云端服务器主要有四个模块，如图1中云端架构，分别为：

数据集成模块：将自动化码头运营过程中不同类型、不同来源、不同大小的数据灵活、快速的集成，且能够根据码头实际运营情况变更数据源，实现自动化集装箱码头的数据智能运维。

服务集成模块：将集成数据向自动化码头运营维护人员以数据接入端口的形式开放，简化人工与数据智能交互流程，提升码头运作效率。

消息集成模块：提供标准的消息通道，为自动化集装箱码头商业运维提供低成本、高效率的消息流通渠道，保障码头外部商业交互能力。

设备集成模块：提供标准协议与码头各设备进行通信，能够实时传输前端设备采集的数据信息，保障设备数据通信时效性。

上述技术方案中，所述自动化码头云端服务器模块功能，如图1中自动集装箱码头云端服务器，包括自动化码头各软件应用的开发、部署、监控运维和治理，其中云端服务器可以实现码头作业任务全生命周期管理。同时，云端服务器提供快速部署功能，能够使服务器与码头其他管理系统、控制系统等按码头作业需求高效配载，提升快速作业能力。

上述技术方案中，所述自动化集装箱码头数据湖，其构成包括自动化集装箱码头各类型数据云端数据库模块、码头作业调度管理模块和资源调度管理模块等。自动化码头数据湖以物联网与云端服务器数据通讯为基础，通过大数据、数据挖掘、数据管理和AI分析等技术分析整合数据，实现数据资产有效管理，提升码头智能化运维。

上述技术方案中，所述自动化集装箱码头数据湖构成包括以下三个模块：

云端数据库模块：将自动化集装箱码头运营数据如岸桥、无人集卡、船舶停靠等数据信息，经过云端服务器通信，汇入数据湖，且自动化集装箱码头数据湖能够不定时清洗非实时码头作业数据、冗余数据等，能够对数据进行智能化管理。

码头作业调度模块：自动化码头数据湖以码头数据为基础，通过分析各类数据信息，实现大数据分析下的各类作业调度(水平运输任务、装卸任务等)，提升自动化集装箱码头整体运营能力。

资源调度管理模块：自动化集装箱码头资源不局限于生产作业所需资源，还包括水电能耗、楼宇管控、设备维修等等。自动化集装箱码头数据湖依托整体码头数据，以全视角合理对各资源进行管控调整，降低码头运营成本。

上述技术方案中，所述自动化集装箱码头数据湖功能(如图1)包括：

数据资产管理：对自动化集装箱码头元数据进行管理，实现码头运营数据资产管理，使数据资产管理可视。同时，数据智能使生产作业数据传输状态和数据全景可视，从而对码头运营进行数据层面监控。

数据规范管理：码头数据湖依托数据治理方法论，实现数据治理可视化，通过不同的建模方式实现数据标准化，为集装箱码头多异构数据提供一种数据标准，实现数据的规范化、标准化。

数据集成管理：数据湖可以将码头整体运营产生的各类同构或异构数据源进行批量数据迁移，实现数据流向自由。采用多数据混合交互存储方式，增强数据存储能力且各数据库之间可进行数据交互。

数据质量管理：高质量的数据能够为高效运营提供有效保障，码头运营过程中，实时数据的准确性、偏差等直接影响码头调度方案，间接影响作业能力。通过一定规则，从不同方面判断数据质量，可以优化码头数据资产配置，保障码头运营能力。

数据开发：自动化码头数据湖在数据有效管理的基础上，提供高效、便捷、快速的数据开发方法，能够使码头营运人员针对码头作业情况进行相关需求的数据开发，优化码头作业流程。

进一步地，所述自动化集装箱码头数据湖的数据管理功能，包括数据入湖、数据连接、采集任务和任务监控四个子模块，具体如下：

数据入湖：根据不同的数据源选择相应的入湖模板，然后填写相关参数信息，即可完成入湖模板创建，并交给入湖引擎运行；数据湖引擎能够使用户高效地访问数据并保护数据，为数据分析提供支持；支持多种文件格式，包括Delta Lake、Parquet、json，同时支持模式合并功能，以解决数据源实时变更问题；数据湖提供海量的数据存储能力，数据统一存放；

数据连接：实现对数据连接的创建、编辑、连通性测试以及删除，通过配置数据源信息，建立数据连接，数据连接可被采集任务使用；

采集任务：通过新建采集任务可以配置元数据采集策略，不同类型数据源的采集策略不尽相同，包括整个数据库、单库或者单表；依据采集任务的配置策略，采集对应的技术元数据信息；采集任务支持手动和周期性调度，调度周期可以配置分钟、小时、天、周；

任务监控：用以监控元数据采集任务运行情况，支持查看采集日志，支持重跑采集任务。

优选地，所述数据开发，主要包括数据清洗和规范化、数据资产管理可视化；数据清洗是指对原始数据进行清洗，包括缺失数据处理、无效数据处理和重复性数据处理，并基于清洗后的数据进行标准化处理，形成标准化环境数据，存储至数据湖；数据资产管理可视化可以对自动化集装箱码头元数据进行管理，实现码头运营数据资产管理，使数据资产管理可视；同时，数据智能使生产作业数据传输状态和数据全景可视，从而对码头运营进行数据层面监控。

进一步地，所述数据清洗的具体过程包括：

预处理：选择用于记录匹配的属性以及给属性分配权值，清洗的过程中，对权重进行调整，以便找出更多的重复记录；

重复记录检测：根据数据关系依赖图计算关键属性，并根据关键属性值将数据归属为记录集，在记录集中进行重复记录检测，提高算法运行效率，该阶段解决的问题主要包括字段匹配问题和记录匹配问题；；

重复记录聚类：应用检测重复记录的算法以减少记录比较的范围，对整个数据集中的重复记录进行聚类；

冲突处理：根据一定的规则合并或删除检测出的同一重复记录聚类的数据信息，只保留其中正确的那条记录。

进一步地，所述数据资产管理可视化，利用集成多维度钻取数据、联动分析数据、全屏展示数据、图表导出数据的数据可视化技术，实现用户与可视化界面的交互；包括以下内容：

整合异构数据源，接入自动化集装箱码头管理系统、业务数据系统平台；

整合以岗位为开发单位的数据报表，梳理、提炼碎片化报表中的重要数据；

通过图形化展示方法和下钻、切片分析手段将上述数据整合到同一页面，从而以数据联结生产岗位，打破信息隔阂，消除信息孤岛。

本发明的所述自动化集装箱码头数据湖，将云端服务器集成数据作为数据底座，通过大数据、数据挖掘、数据管理和AI分析等技术分析整合数据，实现数据资产有效管理，提升码头智能化运维。

最后应当说明的是，上述实施例只是用于对本发明的举例和说明，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明不局限于上述实施例，根据本发明教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围内。

Claims (13)

1.一种基于云架构的自动化集装箱码头数据湖系统，其特征在于，包括自动化集装箱码头数据通信模块、自动化集装箱码头云架构、自动化集装箱码头数据湖；所述自动化集装箱码头数据通信模块，采用多通讯协议混合通信策略，分别将生产作业、运输装卸设备、楼宇资源以及视频监控数据传输至自动化集装箱码头云架构，由所述自动化集装箱码头云架构进行传输整合，根据数据类型存储于不同数据库管理；所述自动化集装箱码头数据湖，与所述自动化集装箱码头云架构的云端服务器通信，将云端服务器集成数据作为数据底座，对码头整体运营相关数据进行管理，保障码头数据资产。

2.根据权利要求书2所述基于云架构的自动化集装箱数据湖系统，其特征在于，所述多通讯协议协同通信策略的实现方式是，在数据信息采集后，判断数据来源与数据类型，根据数据通信表，选择对应的通讯协议与数据库。

3.根据权利要求书2所述基于云架构的自动化集装箱数据湖系统，其特征在于，所述多协议通信策略中，自动化集装箱码头水平运输系统数据经Kafka传输至ES数据库中存储；码头生产作业系统数据与生产辅助系统数据经API通讯在Oracle或MySQL数据库中存储；码头机械设备数据经Kafka传输至HBase数据库中存储；码头楼宇数据经Kafka通讯在Oracle或MySQL数据库中存储；码头视频图像数据经Rtsp传输至文件系统中存储。

4.根据权利要求1所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述自动化集装箱码头云架构，其自动化码头云端服务器通过协调配合，实现自动化集装箱码头数据湖与自动化码头云端服务器通讯；所述自动化码头云端服务器能实现自动化集装箱码头整体运维管理，包括码头项目管理、资源服务治理、作业智能监控以及服务日志分析功能。

5.根据权利要求书4所述基于云构架的自动化码头数据湖系统，其特征在于，所述自动化码头云端服务器，具有以下功能模块：

数据集成模块：用于将自动化码头运营过程中不同类型、不同来源、不同大小的数据集成，根据码头实际运营情况变更数据源，实现自动化集装箱码头的数据智能运维；

服务集成模块：用于将集成数据向自动化码头运营维护人员以数据接入端口的形式开放，简化人工与数据智能交互流程；

消息集成模块：用于提供标准消息通道，为自动化集装箱码头商业运维提供消息流通渠道，保障码头外部商业交互能力；

设备集成模块：用于提供标准协议与码头各设备进行通信，实时传输前端设备采集的数据信息，保障设备数据通信时效性。

6.根据权利要求书4所述基于云构架的自动化码头数据湖系统，其特征在于，所述自动化码头云端服务器，用于实现码头作业任务全生命周期管理，同时提供快速部署功能，能够使服务器与码头其它管理系统、控制系统按码头作业需求配载，提升快速作业能力。

7.根据权利要求1所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述自动化集装箱码头数据湖，提供自动化集装箱码头各类型数据云端数据库、码头作业调度管理和资源调度管理功能，以物联网与云端服务器数据通讯为基础，通过大数据、数据挖掘、数据管理和AI分析技术分析整合数据，实现数据资产管理，提升码头智能化运维。

8.根据权利要求7所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述自动化集装箱码头数据湖包括以下模块：

云端数据库：存储由云端服务器通信传输来的自动化集装箱码头运营数据，包括岸桥、无人集卡、船舶停靠的数据信息，并通过不定时清洗非实时作业数据、冗余数据，对数据进行智能化管理；

码头作业调度模块：以码头数据为基础，通过分析各类数据信息，实现大数据分析下的各类作业调度；

资源调度管理模块：依托码头数据，以全局调度视角对各资源管控调整，包括对生产作业所需资源以及水电能耗、楼宇管控、设备维修资源。

9.根据权利要求7所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述自动化集装箱码头数据湖，具体实现以下功能：

数据管理：对自动化集装箱码头元数据进行管理，使数据规范，保证数据湖中的数据质量，形成数据资产，为后续数据存储与分析提供便利；

数据开发：在数据管理基础上，提供数据分析与开发方法，以使码头营运人员针对码头作业情况进行相关需求的数据开发，优化码头作业流程。

10.根据权利要求9所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述自动化集装箱码头数据湖的数据管理功能，包括数据入湖、数据连接、采集任务和任务监控：

数据入湖：由用户根据不同数据源选择入湖模板，填写参数信息，创建入湖模板，存入数据湖中，交入湖引擎运行；入湖引擎能够使用户访问数据并保护数据，为数据分析提供支持；入湖文件支持多种格式，包括Delta Lake、Parquet、json，同时支持模式合并，以解决数据源实时变更问题，数据湖提供海量的数据存储能力，数据统一存放；

数据连接：实现数据连接的创建、编辑、连通性测试以及删除，通过配置数据源信息，建立数据连接，数据连接可被采集任务使用；

采集任务：通过新建采集任务配置元数据采集策略，不同类型数据源采集策略不同，包括整个数据库、单库或者单表，依据采集任务的配置策略，采集对应的技术元数据信息；采集任务支持手动和周期性调度，调度周期可配置分钟、小时、天、周；

任务监控：用以监控元数据采集任务运行情况，支持查看采集日志，支持重跑采集任务。

11.根据根据权利要求9所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述数据开发，包括数据清洗和规范化、数据资产管理可视化；数据清洗和规范化是指对原始数据清洗，包括缺失数据处理、无效数据处理和重复性数据处理，基于清洗后的数据标准化处理，形成标准化环境数据，存储至数据湖；数据资产管理可视化是指对自动化集装箱码头元数据管理，实现码头运营数据资产管理，使数据资产管理可视；通过数据智能使生产作业数据传输状态和数据全景可视，从而对码头运营进行数据层面监控。

12.根据权利要求11所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述数据清洗的具体过程包括：

预处理：选择用于记录匹配的属性以及给属性分配权值；清洗过程中，对权重进行调整，以便找出更多的重复记录；

重复记录检测：根据数据关系依赖图计算关键属性，并根据关键属性值将数据归属为记录集，在记录集中进行重复记录检测，提高算法运行效率，该阶段解决的问题主要包括字段匹配问题和记录匹配问题；

重复记录聚类：应用检测重复记录的算法减少记录比较的范围，对整个数据集中的重复记录进行聚类；

冲突处理：根据预定规则合并或删除检测出的同一重复记录聚类的数据信息，保留其中正确的记录。

13.根据权利要求11所述基于云架构的自动化集装箱码头数据湖系统，其特征在于，所述数据资产管理可视化，利用集成多维度钻取数据、联动分析数据、全屏展示数据、图表导出数据的数据可视化技术，实现用户与可视化界面的交互；包括以下内容：

整合异构数据源，接入自动化集装箱码头管理系统、业务数据系统平台；

整合以岗位为开发单位的数据报表，梳理、提炼碎片化报表中的重要数据；

通过图形化展示方法和下钻、切片分析手段将上述数据整合到同一页面，从而以数据联结生产岗位，打破信息隔阂，消除信息孤岛。

Images