CN114036141A - 共享数据资源整合分析方法电子设备以及计算机可读介质 - Google Patents

Abstract

本申请提供了共享数据资源整合分析方法、电子设备以及计算机可读介质，属于数据资源整合技术领域。该共享数据资源整合分析方法，包括如下步骤，S1：数据清洗整合，结合场景建设需求，完成基于SG‑CIM物理模型数据的取数逻辑设计、表脚本及数据开发、加工聚合工作，S2：数据存储计算，数据存储，沿用数据中台建设指导意见中的贴源层、共享层及分析层的分层思路，使用分布式数据库作为数据中台贴源层。实现报表统一管理服务，搭建企业级报表中心，推进报表统一服务建设，提升公司报表管理应用水平，实现数据探索应用需求，提升公司报表管理应用水平，提供探索分析工具，赋能基层，助力提质增效。

Description

共享数据资源整合分析方法电子设备以及计算机可读介质

技术领域

本申请涉及数据资源整合领域，具体而言，涉及共享数据资源整合分析方法、电子设备以及计算机可读介质。

背景技术

坚持创新发展、高质量发展的理念，遵循“统筹规划，高效推进；因地制宜，分步实施；创新驱动，开放共享；”的基本原则，充分应用大数据、云计算、物联网、移动互联、人工智能、区块链等新技术，构建报表应用的共享共用机制，突破关键核心技术，引领数据共享管理与技术标准水平。

对于大型企业中业务数据统计、跨单位部门统计的工作量繁重问题，提出基于数据中台，应用统一数据模型，借助市场上成熟软件开展数据共享创新，通过构建报表统一管理系统，统一集中实施工作，全面探索报表统一管理新模式，推动数据资产共享应用，提升企业精益化管理水平，实现部门减负，如何发明一种共享数据资源整合分析方法来改善这些问题，成为了本领域技术人员亟待解决的问题。

发明内容

为了弥补以上不足，本申请提供了共享数据资源整合分析方法，旨在改善基层减负的问题。

本申请实施例提供了共享数据资源整合分析方法，其特征在于，包括如下步骤：

S1：数据清洗整合，结合场景建设需求，完成基于SG-CIM物理模型数据的取数逻辑设计、表脚本及数据开发、加工聚合工作。

S2：数据存储计算，数据存储，沿用数据中台建设指导意见中的贴源层、共享层及分析层的分层思路，使用分布式数据库作为数据中台贴源层。

使用分布式数据仓库，以逻辑分层的方式实现共享层和分析层，贴源层存储的表结构和源端系统保持1:1对应，共享层存储的表结构与总部下发的统一数据模型SG-CIM进行对应。

数据计算，所述数据计算逻辑采用数据中台提供的存储过程实现，存储过程的调度统一使用数据中台提供的ETL工具实现计算逻辑的调度。

S3：服务封装发布，基于数据中台APIG实现共性数据服务，进行数据服务发布，为前端应用提供敏捷的统一数据服务。

S4：报表产品开发，企业报表中心基于成熟报表工具二次开发而成，基于云平台部署的企业级报表中心，利用帆软报表设计工具开展报表设计开发工作。

在一种具体的实施方案中，所述步骤一，数据清洗整合的具体步骤为：

构建数据库：依托数据分析服务能力，构建业务数据库和报表源数据库。

数据流转：遵循数据清洗转换、编码映射原则，参考源端表与模型表的映射关系，依据数据整合设计成果，通过华为DAYU工具，开展数据清洗转换、配置、测试工作，实现数据从贴源层到共享层的数据流转。

在一种具体的实施方案中，所述业务数据库包括人员组织结构数据、权限数据、流程定义数据、流程审批记录数据、报表基础属性数据、数据源、数据集定义数据、报表设计定义数据、报表模型定义数据。

在一种具体的实施方案中，所述报表源数据库包括支撑企业报表中心系统中开发的各类报表应用所需的源数据。

在一种具体的实施方案中，所述步骤二，数据存储计算的具体步骤为：完成数据清洗整合后，通过在分析层单独创建schema的方式实现与其他应用场景的逻辑隔离，根据报表场景的业务逻辑对共享层数据开展取数逻辑设计、表脚本及转换程序开发、加工聚合工作，最终实现前端应用数据在分析层的落地。

在一种具体的实施方案中，所述数据中台的计算能力可通过存储过程和SQL语句来调用，统一报表场景在数据中台提供的DataStudio组件中直接编制SQL语句，根据场景业务的分析需要，开展取数逻辑设计并编制对应的存储过程，利用数据中台的算力实现数据的批量计算。

在一种具体的实施方案中，所述前端应用通过订阅方式对数据服务进行访问，发布数据服务必须通过审批后才能被订阅者发现，订阅数据服务则可选择无审批订阅。

在一种具体的实施方案中，所述报表设计器采用APIG接口调用数据的方式，对数据进行获取。

本申请提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如所述的方法。

本申请提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如所述的方法。

本申请的优点：实现报表统一管理服务，搭建企业级报表中心，推进报表统一服务建设，提升企业报表管理应用水平，实现数据探索应用需求，提升企业报表管理应用水平，提供探索分析工具，赋能基层部门，助力提质增效；实现报表移动端应用，进一步降低企业基层单位业务数据统计、跨单位部门统计的工作量，对企业现有统计报表进行梳理，支撑基层部门减负，提升数据应用效率；提供数据应用分析工具，解决基层单位数据自主分析的需求，赋能基层，提供多维度、多场景数据服务，实现数据价值共享共创。

附图说明

为了更清楚地说明本申请实施方式的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本申请实施方式提供的共享数据资源整合分析方法的步骤框图；

图2为本申请实施方式提供的共享数据资源整合分析方法数据汇集框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

为使本申请实施方式的目的、技术方案和优点更加清楚，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

请参阅图1-2，本申请提供共享数据资源整合分析方法，包括如下步骤：

S1：数据清洗整合，结合场景建设需求，完成基于SG-CIM物理模型数据的取数逻辑设计、表脚本及数据开发、加工聚合工作。

步骤一，数据清洗整合的具体步骤为：

构建数据库：依托数据分析服务能力，构建业务数据库和报表源数据库。

数据流转：遵循数据清洗转换、编码映射原则，参考源端表与模型表的映射关系，依据数据整合设计成果，通过华为DAYU工具，开展数据清洗转换、配置、测试工作，实现数据从贴源层到共享层的数据流转。

业务数据库包括人员组织结构数据、权限数据、流程定义数据、流程审批记录数据、报表基础属性数据、数据源、数据集定义数据、报表设计定义数据、报表模型定义数据。

报表源数据库包括支撑企业报表中心系统中开发的各类报表应用所需的源数据。

利用数据中台汇集数据，搭建企业级报表中心，实现报表在线统计、分析，展板动态展示。

实现报表的统计分析、展示功能，基于数据中台汇集数据，按照报表业务规则，形成数据逻辑，开发定时存储，形成报表数据周期性推送，满足业务人员的报表需求。

形成流程化管理，对于填报类报表，满足线上流转功能，支撑报表编报认责管理。

实现报表的全寿命化管控，集中对报表的发布、运行、退役进行管理，自动维护。

对提供系统后台管理功能集合，满足系统管理员完成系统用户、组织、权限、菜单、报表结构的管理需求。

系统管理中包含：用户组织机构管理、角色管理、权限管理、菜单管理、报表树结构管理。

S2：数据存储计算，数据存储，沿用数据中台建设指导意见中的贴源层、共享层及分析层的分层思路，使用分布式数据库作为数据中台贴源层。

使用分布式数据仓库，以逻辑分层的方式实现共享层和分析层，贴源层存储的表结构和源端系统保持1:1对应，共享层存储的表结构与总部下发的统一数据模型SG-CIM进行对应。

数据计算，数据计算逻辑采用数据中台提供的存储过程实现，存储过程的调度统一使用数据中台提供的ETL工具实现计算逻辑的调度。

步骤二，数据存储计算的具体步骤为：完成数据清洗整合后，通过在分析层单独创建schema的方式实现与其他应用场景的逻辑隔离，根据报表场景的业务逻辑对共享层数据开展取数逻辑设计、表脚本及转换程序开发、加工聚合工作，最终实现前端应用数据在分析层的落地。

数据中台的计算能力可通过存储过程和SQL语句来调用，统一报表场景在数据中台提供的DataStudio组件中直接编制SQL语句，根据场景业务的分析需要，开展取数逻辑设计并编制对应的存储过程，利用数据中台的算力实现数据的批量计算。

S3：服务封装发布，基于数据中台APIG实现共性数据服务，进行数据服务发布，为前端应用提供敏捷的统一数据服务。

前端应用通过订阅方式对数据服务进行访问，发布数据服务必须通过审批后才能被订阅者发现，订阅数据服务则可选择无审批订阅。

为满足基层单位数据分析应用需求，企业级报表中心为用户提供数据探索工具，基于数据中台提供数据，支撑用户进行报表产品、数据应用类产品的开发。

S4：报表产品开发，企业报表中心基于成熟报表工具二次开发而成，基于云平台部署的企业级报表中心，利用帆软报表设计工具开展报表设计开发工作。

报表设计器采用APIG接口调用数据的方式，对数据进行获取。

数据层：包含数据中台和手工填报数据库，数据中台为制作报表提供业务系统明细数据以及报表数据集，其中报表数据集为遵照报表逻辑对明细数据加工所得的结果数据，支撑报表设计器设计开发报表，录入数据库为填报类报表提供数据存储支持。

功能层：包括报表的设计开发、报表发布、查看应用和管理维护(报表审批流程、权限控制、报表标签维护)功能。

展现层：以表格、图形、报告形式，在报表中心前台进行展示，包括在PDA端查看的报表。

业务架构：企业级报表中心根据实施需求，基于目前架构，不断完善自身功能，满足用户数据应用基础、开发环境、发布应用及移动端功能，支撑统计类、分析类、任务管理类、监测类及展示指标类的一系列报表。

应用架构：企业级报表中心在应用功能上，包括报表查看、报表填报、报表发布以及用户权限管理功能，依托数据中心汇集数据，对外输出统计分析报表、专项工作报表、明细数据表、内网PDA移动端报表。

数据架构：企业报表中心形成以数据中台为底座的数据架构路线，主要涉及到数据存储与分析、数据服务和数据展示三部分内容，数据存储部分包括结构化数据、采集量测数据与线下数据的接入。

贴源层从各业务系统实现线上数据采集，经共享层进行模型转换后，形成基于SG-CIM模型的模型表，在分析层中，运行模型表进行逻辑加工计算，形成各类中间表，以数据接口的形式形成服务，支撑报表、看板数据产品的展示。

报表业务数据库主要存储企业级报表中心的用户及权限管理功能的非业务数据，和填报类报表的导入数据，支撑企业级报表中心的常态化运行。

技术架构：在技术架构方面，建设开放、柔性、灵活、可扩展的体系架构，基于成熟报表工具FineReport进行构建，基于云平台部署构建。

报表设计器采用APIG接口调用数据的方式，对数据进行获取。

在现场检修工作中，往往会涉及数据录入、图片上传等工作流程，常规做法需进行手机拍摄，然后返回办公地点导入业务系统，需利用企业移动端能力，打通传输通道，实现移动端与报表中心的数据联通，服务各部门人员提质增效。

本申请其示出了适于用来实现本公开实施例的电子设备。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

本申请另提供一种计算机可读介质，可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行共享数据资源整合分析方法。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.共享数据资源整合分析方法，其特征在于，包括如下步骤：

S1：数据清洗整合，结合场景建设需求，完成基于SG-CIM物理模型数据的取数逻辑设计、表脚本及数据开发、加工聚合工作；

S2：数据存储计算，数据存储，沿用数据中台建设指导意见中的贴源层、共享层及分析层的分层思路，使用分布式数据库作为数据中台贴源层；

使用分布式数据库，以逻辑分层的方式实现共享层和分析层，贴源层存储的表结构和源端系统保持1:1对应，共享层存储的表结构与总部下发的统一数据模型SG-CIM进行对应；

数据计算，所述数据计算逻辑采用数据中台提供的存储过程实现，存储过程的调度统一使用数据中台提供的工具实现计算逻辑的调度；

S3：服务封装发布，基于数据中台APIG实现共性数据服务，进行数据服务发布，为前端应用提供敏捷的统一数据服务；

S4：报表产品开发，企业报表中心基于成熟报表工具二次开发而成，基于云平台部署的企业级报表中心，利用帆软报表设计工具开展报表设计开发工作。

2.根据权利要求1所述的共享数据资源整合分析方法，其特征在于，所述步骤一，数据清洗整合的具体步骤为：

构建数据库：依托数据分析服务能力，构建业务数据库和报表源数据库；

数据流转：遵循数据清洗转换、编码映射原则，参考源端表与模型表的映射关系，依据数据整合设计成果，通过华为DAYU工具，开展数据清洗转换、配置、测试工作，实现数据从贴源层到共享层的数据流转。

3.根据权利要求2所述的共享数据资源整合分析方法，其特征在于，所述业务数据库包括人员组织结构数据、权限数据、流程定义数据、流程审批记录数据、报表基础属性数据、数据源、数据集定义数据、报表设计定义数据、报表模型定义数据。

4.根据权利要求2所述的共享数据资源整合分析方法，其特征在于，所述报表源数据库包括支撑企业报表中心系统中开发的各类报表应用所需的源数据。

5.根据权利要求1所述的共享数据资源整合分析方法，其特征在于，所述步骤二，数据存储计算的具体步骤为：完成数据清洗整合后，通过在分析层单独创建schema的方式实现与其他应用场景的逻辑隔离，根据报表场景的业务逻辑对共享层数据开展取数逻辑设计、表脚本及转换程序开发、加工聚合工作，最终实现前端应用数据在分析层的落地。

6.根据权利要求1所述的共享数据资源整合分析方法，其特征在于，所述数据中台的计算能力可通过存储过程和SQL语句来调用，统一报表场景在数据中台提供的DataStudio组件中直接编制SQL语句，根据场景业务的分析需要，开展取数逻辑设计并编制对应的存储过程，利用数据中台的算力实现数据的批量计算。

7.根据权利要求1所述的共享数据资源整合分析方法，其特征在于，所述前端应用通过订阅方式对数据服务进行访问，发布数据服务必须通过审批后才能被订阅者发现，订阅数据服务则可选择无审批订阅。

8.根据权利要求1所述的共享数据资源整合分析方法，其特征在于，所述报表设计器采用APIG接口调用数据的方式，对数据进行获取。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。

Images