CN114189516A - 一种边云数据协同方法及系统 - Google Patents

Abstract

本发明公开了一种边云数据协同方法及系统，包括：集团侧云平台发布包含全域统一数据资产的数据资产目录；针对来自厂站侧边云平台数据需求方的数据资产申请，基于数据资产目录生成数据协同任务；执行且全程监视所述数据协同任务，并对执行数据协同任务中出现的异常情况进行处理，恢复数据协同任务的执行，以使数据拥有方将数据资产发送至数据需求方。本发明通过数据资产目录实现数据统一管理，对数据协同任务进行全程追踪，对典型异常情况提供完善的异常处理机制、故障恢复策略配置，并可让使用者自行任务的执行顺序。

Description

一种边云数据协同方法及系统

技术领域

本发明属于计算机软件技术领域，尤其涉及一种边云数据协同方法及系统。

背景技术

在传统运营管理过程中，工业数据分散在各业务系统，形成数据孤岛。集团侧及厂站侧数据获取不及时、不全面、不准确、不对称，基于数据的辅助决策支持严重不足。

同时，企业缺乏边云协同数据存储与管理手段，涉及的数据对象类型繁多且复杂，生产过程控制系统供应商较多，包括传感器数据、图像、文本、日志等时间序列数据和对象文件数据，以及全生命周期内客户、设备安装、维修服务、备品备件等数据，缺乏分级分类存储的统一规划及解决方案。

数据协同作为工业互联网平台的重要组成部分，可以全面打通不同单位的生产数据和经营数据，使数据利用价值最大化，也可以全面协同各级单位的运营能力，合理配置资源，使资源利用的效率最大化，从而助力企业降本增效。

因此，有必要建立边云协同的数据协同管控架构，提供数据协同管控服务，为工业互联网平台统提供统一的基础支撑及数据协同能力。

发明内容

本发明的目的是提供一种边云数据协同方法及系统，通过数据协同管控实现全面打通不同单位的生产数据和经营数据，使数据利用价值最大化。

为了实现本发明目的，本发明的技术方案包括：

一种边云数据协同方法，适用于一集团侧云平台与若干厂站侧边云平台构成的系统，其步骤包括：

集团侧云平台发布包含全域统一数据资产的数据资产目录；

针对来自厂站侧边云平台数据需求方的数据资产申请，基于数据资产目录生成数据协同任务；

执行且全程监视所述数据协同任务，并对执行数据协同任务中出现的异常情况进行处理，恢复数据协同任务的执行，以使数据拥有方将数据资产发送至数据需求方。

进一步地，通过以下步骤生成数据资产目录：

1)各厂站侧边云平台根据数据资产的描述维度，建立不同的数据资产目录；

2)集团侧云平台汇总包含时序数据的数据资产目录，以生成数据资产目录，其中时序数据包括：厂站基本信息、厂站设备信息和厂站测点信息。

进一步地，所述数据资产目录的顶级目录结构包括：按照集团侧云平台与厂站侧边云平台的组织关系，形成的具有上下级层次的平台树，其中平台树中每一个节点的数据资产目录结构，与相应的集团侧云平台或厂站侧边云平台的本地资产目录结构一致。

进一步地，数据需求方通过以下步骤发起数据资产申请：

1)基于所述数据需求方的权限，浏览数据资产目录；

2)对数据资产目录上挑选所需要的数据资产；

3)对所需要的数据资产发起数据资产申请，其中数据资产申请的模式包括：在线访问模式、下载模式或API模式。

进一步地，通过以下步骤获取所述权限：

1)集团侧云平台的管理员对各厂站侧边云平台的管理员进行授权；

2)厂站侧边云平台的管理员对相应厂站侧边云平台的用户进行授权，以使数据需求方获取权限。

进一步地，生成数据协同任务之前，集团侧云平台的管理员对数据资产申请进行审批。

进一步地，恢复数据协同任务执行的方法包括：基于错误重传的自动恢复、基于断点续传的自动恢复和基于服务故障的自动恢复。

进一步地，通过以下步骤将数据资产发送至数据需求方：

1)数据协同任务或数据拥有方对数据资产进行手动或打包，所述数据资产包括：数据模型、历史数据集、实时数据和/或算法模型；

2)将数据包分发至数据需求方在数据资产目录中的节点；

3)数据需求方解析数据包，获取该数据资产。

进一步地，数据需求方接收到所述数据资产后，集团侧云平台对该数据资产进行纳管，并展示该数据资产的纳管状态，及将相应厂站侧边云平台的数据库中的数据准实时同步进集团侧云平台的数据库。

进一步地，根据数据协同任务之间的关联情况，数据需求方对该数据需求方发起的数据协同任务，或者其他用户发起但需要该数据需求者执行的数据协同任务，进行数据协同任务执行顺序的设置及调整。

一种边云数据协同系统，包括：

一集团侧云平台，用以发布包含全域统一数据资产的数据资产目录；针对来自厂站侧边云平台数据需求方的数据资产申请，基于数据资产目录生成数据协同任务；执行且全程监视所述数据协同任务，并对执行数据协同任务中出现的异常情况进行处理；

若干厂站侧边云平台，用以一数据需求方通过相应的厂站侧边云平台向集团侧云平台发起数据申请；基于相应的厂站侧边云平台，所述数据需求方获取数据拥有方发来的数据资产。

与现有技术相比，本发明具有以下优势：

1.现有技术缺乏有效手段以保证厂站侧集团侧信息的一致性，本发明则通过数据资产目录确保集团侧与各个厂站侧之间、不同部门之间、不同业务系统之间得数据资源描述信息一致，实现数据统一管理。

2.现有技术只对单一过程进行监测，如负载、或数据处理，而对数据协同调度过程全程无跟踪手段，本发明则所有审批通过的协同调度过程进行全程跟踪，可以跟踪协同的调度时间，调度状态，协同明细。

3.现有技术通过对处理过程进行分配协调，确保分配信息高准确率传递，虽对协同过程进行优化，但未对出现异常情况设置处理机制。本发明则在协同任务执行过程，提供对典型异常情况提供完善的异常处理机制、故障恢复策略配置。

提供错误重传、断点续传、服务故障自动恢复等异常处理功能

提供各种设置策略，错误重传策略，故障自动恢复策略等，可设置故障通知方式(消息或邮件)，故障通知人员。

4.现有技术缺少对数据协同过程中产生的协同任务调度管理功能。本发明则让使用者可以对于自己发起的协同任务，或者由其他用户发起需要自己执行的任务，可以根据任务之间的关联情况，进行任务执行顺序的设置和调整，并能确保任务的执行顺序。

支持一个任务有多个前置任务和多个后置任务，对没有前置任务的任务，提供手动执行、定时周期调度等调度执行方式。

附图说明

图1为数据协同示意框图。

图2为集团侧与厂站侧数据流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的边云数据协同方法，如图1所示，包括数据申请、权限管理、申请审批、数据协同任务执行、数据接受与同步等流程，以实现集团侧与厂站侧之间质量控制和数据传输安全稳定。

参考图2所示，本实施例提供了一种边云数据协同方法，包括集团侧云平台数据协同管控、厂站侧边缘云平台数据协同数据申请、申请审批(集团侧云平台)、数据协同任务执行、数据接收流程。

一、数据申请包括构建数据资产目录、数据申请服务、权限管理。

1、构建数据资产目录。

首先厂站侧按照不同的维度进行组织，根据数据资产的描述维度，可以建立不同的数据资产目录，并对这些不同的维度对应的目录进行标准化；然后各个厂站侧将各自的数据资产目录上报给集团侧；最后集团侧生成全域数据资产目录，由集团侧进行汇总发布。

厂站侧上报目录中包含的各种资产类型中，包含时序数据。时序数据对应的实体类型是“厂站”，其包含信息有：厂站基本信息、厂站设备信息、厂站测点信息。

数据资产目录通过统一的页面链接进行访问，包含全域统一数据资产目录的展示和检索，数据的申请等。

数据资产目录支持目录的增加、删除、基本信息修改、目录浏览、目录内容维护、目录导入和导出等。

数据资产目录标准体系支持用户定义多个目录标准，例如组织机构维度目录、业务领域维度目录等。

数据资产目录的顶级目录为按照集团各平台的组织关系形成的有上下级层次的平台树，对平台树中的每一个节点的数据资产目录结构，和该平台本地资产目录结构一致。对每一个具体的数据资产，展示从平台汇聚过来的信息。

集团侧平台对各下级平台的目录汇聚情况进行监视，识别目录上报中的异常并提醒，如某节点跨多个周期未汇聚目录、元数据稽核失败、目录长期未更新等情况。

2、数据申请服务

各边平台用户访问统一的数据资产目录，通过浏览集团数据资产目录，查看公司范围内最新的数据资产情况，并根据所需要的数据资产在数据资产目录上发起数据协同申请。

数据申请服务模式分为在线访问，下载和API，具体为：

在线访问：是申请审批通过后，允许需求方可以在线查询该数据资产的数据记录。

下载：是申请审批通过后，数据资产及代表的数据记录进行交换，下载到需求方的本地。

API：是申请审批通过后，允许需求方通过接口方式，在线访问该数据资产的数据记录。

用户基于任务管理功能对于自己发起的协同任务，或者由其他用户发起需要自己执行的任务，可以根据任务之间的关联情况，进行任务执行顺序的设置和调整，并能确保任务的执行顺序。为支持申请调度顺序，建立通过申请进度消息驱动任务执行的机制。

进一步地，任务管理功能支持设置一个任务的前置任务和后置任务，支持一个任务有多个前置任务和多个后置任务。对没有前置任务的任务，提供手动执行、定时周期调度等调度执行方式。

进一步地，支持前置任务超时设置。设置有关联顺序的任务，其执行过程由任务关联的流程驱动。可以设置当前置任务超时的时候，按照设定的定时周期调度计划执行。

进一步地，为支持任务调度顺序，建立通过任务进度消息驱动任务执行的机制。对协同发起方，消息驱动任务执行需要能够跨越不同平台节点

3、权限管理包括授权对象管理、授权内容管理

授权对象公司只对边平台管理员授权，边平台内部的用户、角色授权由对应边平台管理员进行授权，即两级授权体系；

授权内容管理员可按照标准目录分类的内容进行相关授权，授权的时候可以指定某个节点或全部节点在此目录中聚合的条目，方便对节点范围内的数据进行权限控制，且边缘端用户只有同时具有相关服务访问权限和数据权限才能访问具体的业务数据。

二、申请审批：可以查看申请的具体详情，并可对具体申请进行审批通过或驳回。

申请审批：厂站侧申请者浏览数据资产目录，并选定需要协同的数据资产，发起协同申请；协同申请发送到集团侧审批负责人处，集团侧云平台的审批负责人进行审批；公司审批通过后，触发通知发起节点和目标节点的协同任务管理进行协同任务执行。

三、数据协同任务执行：协同任务上传下载为定时上传和定时下载，其通过作业调度框架来实现。对调用方提供upload和download的api接口。

资源分发功能将本地工具的数据模型、历史数据集、实时数据、算法模型等打包至协同模块，用于分发至指定节点，其中数据打包过程，除了手动执行之外，支持能自定义策略进行自动分包，并与管理协同任务创建功能关联，分发至不同的目标节点。

数据包解析后成为数据资源，数据资源类型包括企业标准、数据模型、历史数据集、实时数据、数据资产目录、算法模型等。

数据协同任务执行，协同任务执行完毕后，由目标节点的协同任务管理发送协同结果给公司的协同任务管理和发起节点的协同任务管理。

集团侧对所有审批通过的协同调度过程进行全程监视，可以监视协同的调度时间，调度状态，协同明细等。针对每一个资源关联的协同，可以对该资源进行纳管(同数据接收方的协同调度部分)，经过本地化的工作，纳入本地的数据资产目录，并展示该资源的纳管状态。并记录完备的数据溯源信息。

在协同任务执行过程，提供对典型异常情况提供完善的异常处理机制，包括协同执行过程的断点故障、断网故障等。同时支持故障恢复策略配置，使用者可以根据故障恢复策略，包括最大恢复次数、最晚恢复时间和重试时间间隔等，对执行过程协同的任务，进行自动恢复运行，自动检测恢复结果状态，并记录故障过程的完整信息。

四、数据接收与同步：数据需求方通过资源接收接口，接收来自数据拥有方传输过来的打包的数据。

资源接收接口接收到打包的数据后，以数据包的形式存在并提供API访问。

如果后续需要本地工具进行管理，那么就需要本地资源同步，本地资源同步首先要解包数据，然后同步至本地工具。同步模式包含即时同步、手动触发、定时触发等。

数据同步的数据资源类型包括企业标准、数据模型、历史数据集、实时数据、数据资产目录、算法模型等。

数据资源信息包括标识信息、基本信息、数据结构、同步历史。标识信息包括：数据类型、数据名称、数据英文名称。其中基本信息包括：基本属性、位置属性、安全属性、生产属性、版本属性、利用属性等各类属性。数据结构包括：每个数据对象所定义的字段结构。同步历史包括：该资源相关的协同调度历史记录。

数据同步：将边缘端数据库中的数据准实时同步进云端数据库，可设置数据同步任务的执行时间,如周期执行、定时执行等，同时可以查看所有配置的数据同步任务。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种边云数据协同方法，适用于一集团侧云平台与若干厂站侧边云平台构成的系统，其步骤包括：

集团侧云平台发布包含全域统一数据资产的数据资产目录；

针对来自厂站侧边云平台数据需求方的数据资产申请，基于数据资产目录生成数据协同任务；

执行且全程监视所述数据协同任务，并对执行数据协同任务中出现的异常情况进行处理，恢复数据协同任务的执行，以使数据拥有方将数据资产发送至数据需求方。

2.如权利要求1所述的方法，其特征在于，通过以下步骤生成数据资产目录：

1)各厂站侧边云平台根据数据资产的描述维度，建立不同的数据资产目录；

2)集团侧云平台汇总包含时序数据的数据资产目录，以生成数据资产目录，其中时序数据包括：厂站基本信息、厂站设备信息和厂站测点信息。

3.如权利要求1所述的方法，其特征在于，所述数据资产目录的顶级目录结构包括：按照集团侧云平台与厂站侧边云平台的组织关系，形成的具有上下级层次的平台树，其中平台树中每一个节点的数据资产目录结构，与相应的集团侧云平台或厂站侧边云平台的本地资产目录结构一致。

4.如权利要求1所述的方法，其特征在于，数据需求方通过以下步骤发起数据资产申请：

1)基于所述数据需求方的权限，浏览数据资产目录；

2)对数据资产目录上挑选所需要的数据资产；

3)对所需要的数据资产发起数据资产申请，其中数据资产申请的模式包括：在线访问模式、下载模式或API模式。

5.如权利要求4所述的方法，其特征在于，通过以下步骤获取所述权限：

1)集团侧云平台的管理员对各厂站侧边云平台的管理员进行授权；

2)厂站侧边云平台的管理员对相应厂站侧边云平台的用户进行授权，以使数据需求方获取权限。

6.如权利要求1所述的方法，其特征在于，生成数据协同任务之前，集团侧云平台的管理员对数据资产申请进行审批。

7.如权利要求1所述的方法，其特征在于，恢复数据协同任务执行的方法包括：基于错误重传的自动恢复、基于断点续传的自动恢复和基于服务故障的自动恢复。

8.如权利要求1所述的方法，其特征在于，通过以下步骤将数据资产发送至数据需求方：

1)数据协同任务或数据拥有方对数据资产进行手动或打包，所述数据资产包括：数据模型、历史数据集、实时数据和/或算法模型；

2)将数据包分发至数据需求方在数据资产目录中的节点；

3)数据需求方解析数据包，获取该数据资产。

9.如权利要求1所述的方法，其特征在于，数据需求方接收到所述数据资产后，集团侧云平台对该数据资产进行纳管，并展示该数据资产的纳管状态，及将相应厂站侧边云平台的数据库中的数据准实时同步进集团侧云平台的数据库。

10.如权利要求1所述的方法，其特征在于，根据数据协同任务之间的关联情况，数据需求方对该数据需求方发起的数据协同任务，或者其他用户发起但需要该数据需求者执行的数据协同任务，进行数据协同任务执行顺序的设置及调整。

11.一种边云数据协同系统，包括：

一集团侧云平台，用以发布包含全域统一数据资产的数据资产目录；针对来自厂站侧边云平台数据需求方的数据资产申请，基于数据资产目录生成数据协同任务；执行且全程监视所述数据协同任务，并对执行数据协同任务中出现的异常情况进行处理；

若干厂站侧边云平台，用以一数据需求方通过相应的厂站侧边云平台向集团侧云平台发起数据申请；基于相应的厂站侧边云平台，所述数据需求方获取数据拥有方发来的数据资产。

Images