CN115496337A - 一种支撑企业大脑的数据系统 - Google Patents

Abstract

本发明提供一种支撑企业大脑的数据系统。该系统包括依次连接的数据采集交换中心、数据资源中心、数据服务中心和数据管理中心。通过上述四个中心能够以数据驱动为核心统筹构建通用化、标准化、可扩展的全面感知、自动辨识、智能分析和准确预测能力，实现基于大数据和模型的经营管控可视化展示、自动化预警和智慧化决策支持功能，有效提升企业各级次单位科学决策管理、高效运营管理和风险管控的水平。

Description

一种支撑企业大脑的数据系统

技术领域

本发明涉及数据管理领域，特别是涉及一种支撑企业大脑的数据系统。

背景技术

当今世界正处于从工业经济向数字经济转型的大变革时代，要顺应数字化、网络化、智能化发展趋势，促进产业数字化转型升级，促进数字经济和实体经济融合发展。要以企业数字化、智能化升级转型为主线，将数字化转型作为改造提升传统动能、培育发展新动能的主要手段。

企业大脑是企业数字化转型和智能化升级的核心应用，是以云计算、大数据分析及可视化技术为核心，通过整合企业内外部不同来源、不同类型的数据，提供的一系列大数据分析类应用的集合，形成对企业级科研生产与经营管理的全面、透彻、及时的智能感知能力，辅助高层管理者智能决策。企业大脑以数据驱动为核心统筹构建通用化、标准化、可扩展的全面感知、自动辨识、智能分析和准确预测能力，实现基于大数据和模型的经营管控可视化展示、自动化预警和智慧化决策支持功能，有效提升企业各级次单位科学决策管理、高效运营管理和风险管控的水平。而现有技术中并不存在这样一种支撑企业大脑的数据系统，因此，目前的数据系统不能实现基于大数据和模型的经营管控可视化展示、自动化预警和智慧化决策支持功能。

发明内容

针对上述问题，本发明的目的是提供一种支撑企业大脑的数据系统。

为实现上述目的，本发明提供了如下方案：

一种支撑企业大脑的数据系统包括依次连接的数据采集交换中心、数据资源中心、数据服务中心和数据管理中心；所述数据采集交换中心用于通过采集工具获取数据源；所述数据资源中心对所述数据源进行处理，得到数据主题库；所述数据服务中心根据所述数据主题库提供各种数据服务功能，所述数据管理中心用于根据所述数据主题库对数据进行管理。

可选地，所述采集工具包括ETL采集工具、接口采集工具、文件接入工具和数据填报采集工具；

其中，所述ETL采集工具执行数据采集工作，数据采集的方式为数据库直采或跨域采集中的任意一种；

所述接口采集工具通过restful、webserivice接口执行数据采集工作；

所述文件接入工具通过SFTP、SMB、FTP、OSS和Local文件传输协议采集结构化文件、非结构化文件和特定日志文件，所述结构化文件包括明确的字段定义的CSV/EXCEL文件，所述非结构化文件包括文本、图片和音视频，所述特定日志文件包括文本文件和Excel文件；

所述填报采集工具以类excel的方式采集数据，所述填报采集工具适应无系统支撑的数据采集。

可选地，所述数据资源中心包括大数据基础平台、数据资源目录和数据主题库；

其中，所述大数据基础平台对采集的数据源进行加工整合和规范模型处理，建立统一数据存储视图得到数据存储视图，对所述数据存储视图进行转换得到数据资源目录，将所述数据源、所述数据资源目录和所述主数据开展主题库建设形成数据主题库，将所述数据主题库以数据服务的形式为数据服务中心提供数据支撑。

可选地，所述数据资源中心还包括数据集成开发工具；所述数据集成开发工具包括可视化开发单元、统一调度配置单元、运维监控单元、表管理单元、数据处理语言单元和完全托管单元；

所述可视化开发单元用于提供可视化的代码开发、工作流设计器页面，以实现复杂的数据处理分析任务；

所述统一调度配置单元用于根据数据集成工具提供强大调度管理能力，配置定时调度，让作业任务自动按照固定频次完成数据计算，所述数据集成开发工具具备条件调度和循环调度能力；

所述运维监控单元用于监视流程的周期配置、流程具体工作流，对正在执行的流程进行冻结，对已经冻结的流程进行解冻操作，提供可视化的任务监控管理工具，支持以DAG 图的形式展示任务运行时的全局情况；

所述表管理单元用于提供在线设计表、检索和修改功能，用户根据业务需要在线设计表的基础信息、表结构。

所述数据处理语言单元用于支持多种处理语言开发，所述处理语言包括HiveSQL、标准SQL、Spark JAVA、Spark Scala和Spark Python；

所述完全托管单元用于在开发完成后，利用数据集成工具提供的强大调度管理能力，通过配置化把作业托管在集成平台中，让作业任务自动按照固定频次完成数据计算，无需关心调度的服务器资源问题。

可选地，所述数据服务中心包括统一数据服务门户单元、主数据共享单元、基础数据查询单元、统计指标查询单元、数据模型服务单元和数据上报单元；

所述统一数据服务门户单元用于整合数据系统相关管理功能，面向前端用户提供应用和展现的界面，所述数据服务门户单元作为数据生产者、数据消费者使用数据的桥梁，提供数据资源注册、编目、检索、发布和审核功能，实现数据的共享与服务；

所述主数据共享单元用于将企业不同类别的主数据封装成数据服务接口，通过数据服务的形式对企业内各业务系统进行开放使用，注册到数据系统，供应用系统调用，提升企业主数据的贯标应用程度，保证数据一致性；

所述基础数据查询单元用于提供基础数据查询服务，提供对基础信息的最细粒度的快速检索，通过输入简单的数据信息检索项，输出用户所需的各类完整查询数据；所述基础数据查询服务包括提供标准件、材料和电子元器件3项型号设计资源基础数据查询服务；

统计指标查询单元用于提供统计指标查询服务，提供针对单位需求的简单加工、汇总求和数据检索，同时相关信息保留历史版本，满足服务历史追溯需求；

所述数据模型服务单元用于综合查询及数据模型服务基于基础数据和统计指标数据，按照业务管理需求进行重新组合，提供单一数据源无法满足的多维度的数据分析，构建数据分析模型，对现有数据进行更深层次的价值挖掘工作，并将结果以数据接口的形式对外服务，为各层面的数据应用用户提供更为丰富的数据决策支持；

所述数据上报单元用于按照数据采集和对接要求，完成数据系统建设及网络改造完善工作，完成网络通道、数据接口的联调测试，实现与国资监管系统的互联互通，具备与监管系统统一数据采集交换平台对接的条件。

可选地，所述数据管理中心包括数据标准管理单元、数据需求管理单元、数据模型管理单元、数据资产管理单元、数据质量管理单元、数据安全管理单元、数据运维监控单元、元数据管理单元和数据知识管理单元；

所述数据标准管理单元用于数据标准的制定、修订和修正，标准库管理与维护等电子化管理；还用于查询代码标准、数据元标准、表证单书标准以及数据标准文档；

所述数据需求管理单元用于提出数据资源需求和对数据需求进行审批，确定数据采集和交换方案，所述数据资源需求包括企业内部需求和企业外部需求；

所述数据模型管理单元用于可视化数据模型加工并集中管理数据加工脚本，实现脚本在线运行、在线编写、版本控制、脚本检索和脚本共享，提高数据加工处理效率和脚本的复用率；

所述数据资产管理单元用于盘点数据家底，对数据资产目录、数据资产清册、数据资产报告进行管理，全面分析数据资产构成、数据活跃度情况；还用于查看数据表、数据模型、表证单书、数据标签和质量检测指标，辅助开展数据分析应用；

所述数据质量管理单元用于构建数据质量指标库、开展数据质量检查、推送数据质量问题和跟踪问题整改进度；还用于接收数据质量问题、组织进行调查核实和整改；

所述数据安全管理单元用于实施数据分类分级管理、数据安全审计、数据安全评估、数据加解密和脱敏，监控数据流转，强化数据安全；

所述数据运维监控单元用于进行大数据组件运行监控、数据运维监控，通过全面监控数据流转情况，及时预警数据运行异常，防范风险；

所述元数据管理单元用于元数据采集、元数据管理，查看数据分布地图，进行数据血统分析、影响分析，快速掌握数据仓库中数据，进而提升数据分析与应用的效率；

所述数据知识管理单元用于合理划分数据知识类型，建设知识资源库，实现知识资源共享；还用于整理归集日常工作中形成的数据分析方法、数据分析模型和数据挖掘案例，并共享到知识资源库。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种支撑企业大脑的数据系统，包括依次连接的数据采集交换中心、数据资源中心、数据服务中心和数据管理中心，通过上述四个中心能够以数据驱动为核心统筹构建通用化、标准化、可扩展的全面感知、自动辨识、智能分析和准确预测能力，实现基于大数据和模型的经营管控可视化展示、自动化预警和智慧化决策支持功能，有效提升企业各级次单位科学决策管理、高效运营管理和风险管控的水平。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明支撑企业大脑的数据系统组成结构图；

图2为本发明支撑企业大脑的数据系统总体架构图；

图3为本发明支撑企业大脑的数据系统数据架构图；

图4为本发明数据采集交换中心功能框架图；

图5为本发明数据资源中心功能框架图；

图6为本发明不同源数据存储方式示意图；

图7为本发明数据资产目录全景视图；

图8为本发明主题库整体建设流程示意图；

图9为本发明主题库构建过程示意图；

图10为本发明维度表设计示意图；

图11为本发明数据服务门户处理流程示意图；

图12为本发明数据管理中心功能框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种支撑企业大脑的数据系统，能够实现基于大数据和模型的经营管控可视化展示、自动化预警和智慧化决策支持功能，有效提升企业各级次单位科学决策管理、高效运营管理和风险管控的水平。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提供一种支撑企业大脑的数据系统，主要解决企业当前数据管理和应用中的问题。图1为本发明支撑企业大脑的数据系统组成结构图，如图1所示，该系统包括依次连接的数据采集交换中心、数据资源中心、数据服务中心和数据管理中心。所述数据采集交换中心用于通过采集工具获取数据源；所述数据资源中心对所述数据源进行处理，得到数据主题库；所述数据服务中心根据所述数据主题库提供各种数据服务功能，所述数据管理中心用于根据所述数据主题库对数据进行管理。图2为本发明支撑企业大脑的数据系统总体架构图。图3为本发明支撑企业大脑的数据系统数据架构图。

所述数据采集交换中心用于通过采集工具获取数据源。所述采集工具包括ETL采集工具、接口采集工具、文件接入工具和数据填报采集工具。图4为本发明数据采集交换中心功能框架图。

ETL采集工具：主要基于航天智云提供DATAECHO DXP等采集工具进行数据采集工作，主要支持数据库直采、跨域采集等方式，采集实施效率高。

接口采集工具：主要支持restful、webserivice等接口采集，采集过程对实施方有一定的技术开发要求，适用于数据量不大、内容较稳定、时效性高的采集业务场景。

文件接入工具：系统提供文件搬移与文件解析功能，支持SFTP、SMB、FTP、OSS和Local (本地文件存储)等文件传输协议，文件解析支持诸如xml、txt、csv和excel等格式，支持压缩文件。提供文件采集组件，支持结构化(如明确的字段定义的CSV/EXCEL等结构化文件)、非结构化文件(文本、图片、音视频等)和特定日志文件(文本文件、Excel文件等)的数据进行采集，将数据整理或导出为固定格式，然后通过数据传输组件接入系统。

填报采集工具：主要适应无系统支撑的数据采集，系统提供多级填报工具，以类excel 的方式支持实施方定义采集需求，同时可以支持用户定义个性化数据内容、采集填报流程。

所述数据资源中心是数据资源汇聚层，以业务需求为牵引进行建设，对采集的数据进行统一存储、清洗和转换，结合高质量的主数据开展主题库建设，形成数据产品，完善数据资源目录，最终以数据服务的形式为各类应用提供相应的数据支撑。所述数据资源中心包括大数据基础平台、数据资源目录和数据主题库。所述大数据基础平台对采集的数据源进行加工整合和规范模型处理，建立统一数据存储视图得到数据存储视图，对所述数据存储视图进行转换得到数据资源目录，将所述数据源、所述数据资源目录和所述主数据开展主题库建设形成数据主题库，将所述数据主题库以数据服务的形式为数据服务中心提供数据支撑。所述数据资源中心还包括数据集成开发工具。图5为本发明数据资源中心功能框架图。

所述大数据基础平台提供基于大数据的融合存储及计算能力，通过大数据基础平台的建设，将各应用系统数据进行加工整合、规范模型，建立统一数据存储视图，实现数据的可管、可控、可用，为业务提升与创新奠定基础，以达到减少重复投资和运维的复杂程度，极大的提高应用系统开发的效率的目的。所述大数据基础平台具有下列功能：

1、统一数据存储

大数据基础平台提供统一的数据存储。主题服务需要的数据经过采集，结合设计好的数据标准存储在大数据基础平台中，考虑不同源数据形态差异性，存储方式也不一样，ERP 数据、主数据等结构化数据存在oracle中，同时支持无缝扩充mysql、PostgreSQL等关系数据库的能力；MPM中的工艺设计文件等非结构化数据存储在分布式文件系统HDFS中。图6为本发明不同源数据存储方式示意图。

2、数据分析计算

根据需求，设计数据治理标准，数据质量规则及数据集成层(DW层)模型，数据应用层(DM)模型，待ERP数据，OA，MPM等数据采集完成后，对各业务系统数据进行治理，融合，为应用建设提供计算能力。大数据基础平台，充分挥发关系数据库(oracle)，hadoop 文件系统各自优势，高效支撑批量，复杂的计算任务。经治理，融合计算后，形成例如整合管理类，计划管理类，完成进度类等数据。

3、统一数据服务

提供对数据应用和数据服务全生命周期进行统一管理(开发、测试和部署过程等)，简化开发过程，降低运维难度。通过列表方式，展示出各个主题域开发的数据服务，并可查询服务接口详情，描述，入参，出参等详细信息；通过服务接口名等关键字段，查看权限范围内的接口服务，并可看到服务被调用次数等指标,HBASE上的数据对外提供上网日志查询接口，数据表开发成restful接口后注册到数据服务网关上，并对外提供服务。图 11为本发明数据服务门户处理流程示意图。

4、统一运维管理

从平台向上，为运维人员提供快速上线、快速部署、快速扩容，维护的支撑平台。支持集群设备、平台、服务的部署、配置、升级管理能力。

5、统一监控管理

系统提供业务、应用、平台、设备层面全方位的监控能力，提供故障的及时发现、及时告警能力及优化诊断能力，通过对告警、性能数据的集中采集、处理和展现，实现对基础设施的综合监视。

所述数据集成开发工具是一款数据集成及工作流可视化开发工具，面向的对象是数据的集成开发人员。数据开发者使用数据集成开发提供的数据开发功能创建数据处理流程，对数据系统的数据进行处理计算挖掘迁移，可对已开发完的流程进行保存或者周期执行，开发过程中，可通过任务监控等模块进行查看运行日志或者上传数据处理资源，可通过数据集成开发权限管理模块对已开发的流程进行授权管理。例如对于数据质量不符合质量标准规范要求的这类数据进行数据治理和开发，包括类型强制转换、数据执行方式优化等手段，提升数据质量。所述数据资源中心还包括数据集成开发工具；所述数据集成开发工具包括可视化开发单元、统一调度配置单元、运维监控单元、表管理单元、数据处理语言单元和完全托管单元。以下对所述数据集成开发工具各单元的具体功能进行说明：

1、可视化开发单元

提供可视化的代码开发、工作流设计器页面，无需搭配任何开发工具，简单拖拽和开发，即可完成复杂的数据处理分析任务。

2、统一调度配置单元

开发好作业任务后，依托数据集成工具提供的强大调度管理能力，配置定时调度，让作业任务自动按照固定频次完成数据计算，期间可以手工调度测试。数据集成开发工具还可提供条件调度、循环调度的能力。

3、运维监控单元

随着主题域作业任务越来越多，如何才能监控每个作业任务健康情况，并对问题作业进行追踪，数据集成平台的监控功能可查看所有配置了周期调度的数据处理流程，在这里可以看到流程的周期配置、流程具体工作流，可对正在执行的流程进行冻结，对已经冻结的流程进行解冻操作，提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行时的全局情况。

4、表管理单元

提供表设计、检索、修改功能，在线设计表，用户可根据业务需要在线设计表的基础信息、表结构。

5、数据处理语言单元

数据集成开发环境可支持多种语言开发，如Hive SQL、标准SQL、Spark JAVA、Spark Scala、Spark Python等处理语言，用户可直接在在线SQL组件中输入编辑SQL，可直接运行也可保存下来作为数据处理流程的一个节点，在线SQL组件提供输入SQL提示、SQL美化等功能。

6、完全托管单元

开发完成后，利用数据集成工具提供的强大调度管理能力，通过配置化把作业托管在集成平台中，让作业任务自动按照固定频次完成数据计算，无需关心调度的服务器资源问题。

数据资源目录是数据管理中心的管理人员维护的一张资源目录信息表，主要使用人员是数据管理人员，负责维护数据资产目录信息，关联物理数据源信息，查询数据资产当前状态。数据资源目录的主要作用是，根据资产目录快速定位各业务主题数据资产信息。定位到数据资产后，提出访问需求，通过数据资产采集交换通道获取数据。本次数据资产目录建设项目主要分为三个阶段进行规划实施。

1、数据资源梳理，完成对各组织单位的相关业务系统、多级填报、人工表格等涉及的核心业务数据的盘点形成数据资源目录。图7为本发明数据资产目录全景视图。

2、数据资源体系规划，结合实际业务情况，对现有的数据资源进行体系规划。

3、支持数据系统的数据资源门户展示，数据共享与交换。

所述数据主题库依照“总体规划、分步实施”的建设思路以及数据调研、业务分类、数据域定义和总线矩阵的四大核心建设步骤进行建设。

所述数据调研主要包括业务调研和数据调研两部分内容，确定业务范围和数据质量情况，具体描述如下所示：

1)业务调研

确定项目范围内相关业务范围，通过跟业务专家访谈或资料文档收集形式，梳理主要业务流程、业务边界以及专业术语等。

2)数据调研

调研全部数据域信息情况，梳理数据流与业务过程的关联关系，理解数据流转规则。

所述业务分类主要包含业务过程抽取、业务过程拆分和业务过程分类三部分内容，具体描述如下所示：

1)业务过程抽取

根据调研结果抽取出全部业务过程，形成业务过程调研表。

2)业务过程拆分

将组合型的业务过程拆分成一个个不可分割的行为事件。

3)业务过程分类

按照业务分类规则，将相似特征的业务过程分为一类，且每一个业务过程只能唯一归属于一类。

所述数据域定义包含业务分类确认、数据域定义和数据域命名三部分内容，具体描述如下所示：

1)业务分类确认

对业务分类结果再次确认，避免分类范围中出现业务特征明显与其它业务过程无关的情况。

2)数据域定义

根据业务分类的规律总结出划分业务范围的标准定义。

3)数据域命名

为每个数据域起一个专属名称，并附上英文全称和简称。

所述总线矩阵包含关系梳理和矩阵构建两部分内容，具体描述如下所示：

1)关系梳理

明确每个数据域下有哪些业务过程，并梳理出业务过程与哪些维度相关。

2)矩阵构建

定义一张二维矩阵，将数据域下的业务过程与维度信息如实记录下来。

图8为本发明主题库整体建设流程示意图。如图8所示，所述数据主题库的整体建设流程包括数据调研、业务过程梳理、数据域划分、明确指标、规范定义、模型设计、代码开发和部署运维8个部分。图9为本发明主题库构建过程示意图，如图9所示，主题库构建过程以维度建模为理论基础，构建总线矩阵，划分业务板块、定义数据域、业务过程、维度、度量、修饰类型、修饰词、时间周期、派生指标，进而确定维表、明细事实表、汇总事实表模型设计。维度是维度建模的基础和灵魂，维度的好坏直接决定模型设计的成败；维度设计的核心是确定维度属性，维度属性尽可能丰富。维度属性设计中会有一些反规范化设计，把相关维度的属性也合并到主维度属性中，达到易用减少关联的效果。图10 为本发明维度表设计示意图，如图10所示，维度表设计通常包含四部分内容，即选择维度、确定主维度、梳理关联维度和定义维度属性。通过合理设计事实表使其有效地组织和保存业务数据，沉淀为集团核心数据资产。事实表是维度建模的核心，一切数据应用和分析都是围绕来它展开的，稳定的数据模型能大幅提高数据复用性；根据集团业务特性，适当冗余的事实表能提高数据易用性并降低系统计算成本。

所述数据服务中心包括统一数据服务门户单元、主数据共享单元、基础数据查询单元、统计指标查询单元、数据模型服务单元和数据上报单元。

统一数据服务门户单元整合了数据系统相关管理功能，面向前端用户提供应用和展现的界面。主要功能包括：数据资源地图、数据资源目录、数据服务管理、系统运维管理等功能。数据服务门户作为数据生产者、数据消费者使用数据的桥梁，提供数据资源注册、编目、检索、发布、审核等功能，实现数据的共享与服务。图11为本发明数据服务门户处理流程示意图。

数据开发者进行数据项收集，生成数据服务后交由主管部门审核，通过后与数系统分类体系匹配，注册并发布形成数据资源目录。数据消费者提出数据、服务使用需求，在资源目录中检索，发现已公开授权的数据资源直接调用，推送至消费者；发现未公开授权的数据资源后，经主管部门审批后向数据生产主管部门申请，若已有可用未授权数据资源，授权后通过平台推送使用，若数据资源不存在，需数据开发者重新生成数据服务，注册、发布至资源目录，通知数据消费者使用。

主数据共享单元，将企业不同类别的主数据封装成数据服务接口，注册到数据系统，供应用系统调用。本系统中的数据资源基础，按照SOA架构思想，实现数据资产微服务化管理，通过制定一系列技术规范、接口规范等，实现数据的轻量级调用，贯标各类基础数据管理规范，形成数据管控闭环。通过数据服务的形式对企业内各业务系统进行开放使用，提升企业主数据的贯标应用程度，保证系统间的数据一致性。主数据需要共享的共14 类，如表1主数据共享列表所示：

表1主数据共享列表

现阶段主数据系统数据分发通过TIBCO进行，后续在保留现有分发模型的基础上增加主数据共享服务。

基础数据查询单元用于提供基础数据查询服务，具体地，提供对基础信息的最细粒度的快速检索，通过输入简单的数据信息检索项，输出用户所需的各类完整查询数据。包括：

1、人力资源基础数据查询：

基础数据查询：基础人力资源数据查询、政治面貌查询、智慧党建系统数据查询等3 项服务；

统计指标查询：单位职工总数、人员学历学位分布、各级单位新增/离职员工数量、专业技术人员数量、人员年龄结构、高层次人才密度、党工团组织数、党员数、工会会员数、共青团员数、全年发展党员数、全年减少党员数等12项服务。

2、财务基础数据查询：

基础数据查询：财务三大报表数据查询、财务共享监管数据查询等共2项服务；

统计指标查询：财务共享监管数据、财务月报数据、年度预算数据、年度决算数据、财政资金数据、经济考核信息、对外业务、综合规划等服务。

3、审计风控基础数据查询：

基础数据查询：法律纠纷、法律案件、风险预警、机构信用等12项基础数据查询；

统计指标查询：经营决策风险统计、审计问题整改统计、信用等级情况统计、重大案件统计等4项统计指标查询；

数据模型服务：组织机构信息校对核验模型、内外部规章制度条款比对模型，内外部供应商信用信息审核模型等3项数据模型服务。

4、科技保障基础数据查询：

提供中外标准、西文学术论文、中文学术论文、中外专利、电子书、内部知识成果等6项知识服务连接。

基础数据查询：标准件、材料和电子元器件等3项型号设计资源基础数据查询。

统计指标查询：1)基础资源在型号中的应用统计分析功能；2)基础资源在型号中某个周期内或某指定的时间段内新增的统计分析功能等2项型号基础资源数据统计查询。

统计指标查询单元用于提供统计指标查询服务，具体地，提供针对单位需求的简单加工、汇总求和数据检索，同时相关信息保留历史版本，满足服务历史追溯需求。

1、人力资源统计指标查询：

以单位名称及日期为输入，返回包括某年度某类职工总数、培训人次、学时总数、等维度的统计指标。具体包括：单位职工总数、人员学历学位分布、各级单位新增/离职员工数量、专业技术人员数量、人员年龄结构、高层次人才密度、党工团组织数、党员数、工会会员数、共青团员数、全年发展党员数、全年减少党员数。

2、财务统计指标查询：

财务统计查询服务提供对数据的加工汇总、统计分析等，以图表方式输入，满足数据的上卷下钻、切片切块等数据可视化要求，例如基于应收应付情况的客户、供方、项目情况统计分析，客户信誉度统计分析等。

数据计算服务，提供数据指标的计算服务，如同比、环比等维度计算，满足模型数据的计算统计服务要求，例如基于收入指标的同比、环比；费用执行率环比比较等。具体包括：财务共享监管数据、财务月报数据、年度预算数据、年度决算数据、财政资金数据、经济考核信息、对外业务、综合规划指标。

3、审计风控统计指标查询：

审计风控统计指标查询包括：重大案件数量、一般案件数量、当期新发生案件数量、法律纠纷案件年度结案率、当期新增案件标的金额、诉讼案件数量、涉诉金额、法律纠纷案件处理完成率、法律案件类型统计、当期避免或挽回经济损失金额、审计发现问题数量、完成审计整改数量、重大经营决策事项风险评估情况统计。

所述数据模型服务单元用于综合查询及数据模型服务基于基础数据和统计指标数据，按照业务管理需求进行重新组合，提供单一数据源无法满足的多维度的数据分析，构建数据分析模型，对现有数据进行更深层次的价值挖掘工作，并将结果以数据接口的形式对外服务，为各层面的数据应用用户提供更为丰富的数据决策支持。本期项目选择审计风控领域的机构校对、制度比对、信用信息审核等模型作为试点。

(1)审计风控数据模型：组织机构信息校对核验模型，内、外部规章制度条款比对模型，内、外部供应商信用信息审核模型；

(2)物资数据模型服务：汇聚合同签约、物资供应、合同结算等物资供应链条的内外部数据，形成全流程数据链路，发挥采购数据价值；实现3个管理目标，即物资供应链指标管控，基于履约数据的供应商管理、元器件采购数据管控，进而推进供应链价值创造。

所述数据上报单元按照数据采集和对接要求，完成数据系统建设及网络改造完善工作，完成网络通道、数据接口的联调测试，实现与国资监管系统的互联互通，具备与监管系统统一数据采集交换平台对接的条件。

所述数据管理中心包括数据包括数据标准管理单元、数据需求管理单元、数据模型管理单元、数据资产管理单元、数据质量管理单元、数据安全管理单元、数据运维监控单元、元数据管理单元和数据知识管理单元。

图12为本发明数据管理中心功能框架示意图。数据管理中心提供全方位数据资源管控能力，将数据治理过程流程化、可视化和体系化，固化数据治理的工作流程和岗责体系，实现数据全生命周期的管理，为数据管理人员提供一体化的工作平台。以下对数据管理中心各单元的具体功能进行介绍：

1)数据标准管理单元：企业数据管理部门可应用该功能进行数据标准的制定、修订、修正，标准库管理与维护等电子化管理；各级数据应用部门可应用该功能查询代码标准、数据元标准、表证单书标准以及数据标准文档等。

2)数据需求管理单元：各级数据应用部门可通过该功能提出数据资源需求，包括企业内部和企业外部的；各级数据管理部门可应用该功能对数据需求进行审批，确定数据采集和交换方案。

3)数据模型管理单元：数据管理部门可应用该功能进行可视化数据模型加工并集中管理数据加工脚本，实现脚本在线运行、在线编写、版本控制、脚本检索、脚本共享等，提高数据加工处理效率和脚本的复用率。

4)数据资产管理单元：各级数据管理部门可应用该功能盘点数据家底，对数据资产目录、数据资产清册、数据资产报告进行管理，全面分析数据资产构成、数据活跃度情况；各级数据应用部门可应用该功能查看数据表、数据模型、表证单书、数据标签、质量检测指标等，辅助开展数据分析应用。

5)数据质量管理单元：数据管理部门可应用该功能构建数据质量指标库、开展数据质量检查、推送数据质量问题、跟踪问题整改进度；业务管理部门可应用该功能接收数据质量问题、组织进行调查核实和整改。

6)数据安全管理单元：数据管理部门可应用该功能实施数据分类分级管理、数据安全审计、数据安全评估、数据加解密和脱敏等，监控数据流转，强化数据安全。

7)数据运维监控单元：数据管理部门应用该功能进行大数据组件运行监控、数据运维监控，通过数据治理一张图全面监控数据流转情况，及时预警数据运行异常，防范风险。

8)元数据管理单元：各级数据管理部门可应用该功能完成元数据采集、元数据管理，查看数据分布地图，进行数据血统分析、影响分析，快速掌握数据仓库中数据的来龙去脉，进而提升数据分析与应用的效率。

9)数据知识管理单元：各级大数据和风险管理部门应用该功能合理划分数据知识类型，建设知识资源库，实现知识资源共享；各级数据应用部门应用该功能整理归集日常工作中形成的数据分析方法、数据分析模型、数据挖掘案例等知识资源，并共享到知识资源库。

本发明提供的一种支撑企业大脑的数据系统主要解决企业当前数据管理和应用中的问题。该系统给用户提供了丰富的数据服务和应用，完善的共享机制，增强的数据安全防护力，数据按需接入，应用按需共享，实现数据资产的可视、可查、可管、可用。快速响应前台应用分析和应用需求，增强平台扩展性、数据服务架构灵活性，建立持续的数据共享和数据运营环境，全面支撑智慧企业建设。

通过打通企业数据产生、分析和利用全链路，提高企业运营态势感知能力，推动数据向信息、信息向知识有效转化。同时通过可视化平台，展示专题数据分析，将关键业务信息展示给各层级管理人员,将企业经营状况控制在指标的安全区域，同时增加面向各业务部门的管理应用，实现业务的线上运行管控，为管理层提供辅助决策。

通过在外网和内网的应用系统部署区域内各部署一台数据管理系统服务器，完成数据单向、双向交换导入，面向集团公司互联网、商密网、国密网三网混合、多组织层级的复杂环境，打造了系统一体化数据管控能力。在完成数据接入与共享基础上，实现三重一大、大额资金数据接入，为集团公司营业收入与现金流监控、合同监管、大数据风控等应用场景提供各类数据服务支撑。

一种支撑企业大脑的数据系统以企业公司内部科研、生产、经营等各类数据为基础，聚合集成政府和互联网相关数据，打通数据壁垒、盘活数据资产、提高协作效率，形成统一高效、共享开放、安全可控的数据资产管理和应用服务平台，作为企业公司统一的数据基础设施，为各级单位的管理、决策、服务提供有力的信息支撑，提升企业公司的竞争力、创新力、控制力、影响力、抗风险能力。主要创新点主要体现在：

1.建立数据的资源化管理模式。整合全企业的数据资源，充分利用政府、互联网等外部数据资源，形成一个全覆盖、高质量的数据大集中环境，将数据作为一种资源进行集中的管控，为深度的数据分析、利用、监管提供基础支撑。

2.强化数据治理能力。建立完整的数据治理体系，形成相应的治理组织机构、流程制度以及配套支撑工具，对于数据的标准、模型、采集、集成、安全等方面进行统一管控，确保整体数据环境可靠、高效、安全。

3.有机整合大数据、人工智能技术，提升数据分析挖掘能力。根据目前数据现状，有机整合大数据技术和传统数据分析技术，建立多模式混合的数据分析支撑环境，提供包括传统OLAP分析环境、大数据分析环境、模型算法环境、指标体系、查询等多种机制，满足不同类型用户的分析需求。

4.以用户为核心提供差异化的数据服务。围绕企业总部、各级部门、政府监管部门等不同类型用户的数据服务需求，基于全企业数据建立多层次、多类型、多渠道的数据服务体系，满足各类用户在决策、管理、科研、生产等不同性质的工作要求。

5.在全企业内形成开放协作的数据应用创新生态环境。依托建设完成的大数据中心，为企业各级单位提供统一的数据服务云，建立一个开放协作式的数据生态环境，有效吸纳企业总部和二三级单位在数据分析利用方面的先进经验，聚集专业人才，逐步形成一种相互促进学习的良性互动格局，有效推动全企业在数据分析利用方面的能力提升。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种支撑企业大脑的数据系统，其特征在于，包括依次连接的数据采集交换中心、数据资源中心、数据服务中心和数据管理中心；所述数据采集交换中心用于通过采集工具获取数据源；所述数据资源中心对所述数据源进行处理，得到数据主题库；所述数据服务中心根据所述数据主题库提供各种数据服务功能，所述数据管理中心用于根据所述数据主题库对数据进行管理。

2.根据权利要求1所述的支撑企业大脑的数据系统，其特征在于，所述采集工具包括ETL采集工具、接口采集工具、文件接入工具和数据填报采集工具；

其中，所述ETL采集工具执行数据采集工作，数据采集的方式为数据库直采或跨域采集中的任意一种；

所述接口采集工具通过restful、webserivice接口执行数据采集工作；

所述文件接入工具通过SFTP、SMB、FTP、OSS和Local文件传输协议采集结构化文件、非结构化文件和特定日志文件，所述结构化文件包括明确的字段定义的CSV/EXCEL文件，所述非结构化文件包括文本、图片和音视频，所述特定日志文件包括文本文件和Excel文件；

所述填报采集工具以类excel的方式采集数据，所述填报采集工具适应无系统支撑的数据采集。

3.根据权利要求1所述的支撑企业大脑的数据系统，其特征在于，所述数据资源中心包括大数据基础平台、数据资源目录和数据主题库；

其中，所述大数据基础平台对采集的数据源进行加工整合和规范模型处理，建立统一数据存储视图得到数据存储视图，对所述数据存储视图进行转换得到数据资源目录，将所述数据源、所述数据资源目录和所述主数据开展主题库建设形成数据主题库，将所述数据主题库以数据服务的形式为数据服务中心提供数据支撑。

4.根据权利要求1所述的支撑企业大脑的数据系统，其特征在于，所述数据资源中心还包括数据集成开发工具；所述数据集成开发工具包括可视化开发单元、统一调度配置单元、运维监控单元、表管理单元、数据处理语言单元和完全托管单元；

所述可视化开发单元用于提供可视化的代码开发、工作流设计器页面，以实现复杂的数据处理分析任务；

所述统一调度配置单元用于根据数据集成工具提供强大调度管理能力，配置定时调度，让作业任务自动按照固定频次完成数据计算，所述数据集成开发工具具备条件调度和循环调度能力；

所述运维监控单元用于监视流程的周期配置、流程具体工作流，对正在执行的流程进行冻结，对已经冻结的流程进行解冻操作，提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行时的全局情况；

所述表管理单元用于提供在线设计表、检索和修改功能，用户根据业务需要在线设计表的基础信息、表结构。

所述数据处理语言单元用于支持多种处理语言开发，所述处理语言包括Hive SQL、标准SQL、Spark JAVA、Spark Scala和Spark Python；

所述完全托管单元用于在开发完成后，利用数据集成工具提供的强大调度管理能力，通过配置化把作业托管在集成平台中，让作业任务自动按照固定频次完成数据计算，无需关心调度的服务器资源问题。

5.根据权利要求1所述的支撑企业大脑的数据系统，其特征在于，所述数据服务中心包括统一数据服务门户单元、主数据共享单元、基础数据查询单元、统计指标查询单元、数据模型服务单元和数据上报单元；

所述统一数据服务门户单元用于整合数据系统相关管理功能，面向前端用户提供应用和展现的界面，所述数据服务门户单元作为数据生产者、数据消费者使用数据的桥梁，提供数据资源注册、编目、检索、发布和审核功能，实现数据的共享与服务；

所述主数据共享单元用于将企业不同类别的主数据封装成数据服务接口，通过数据服务的形式对企业内各业务系统进行开放使用，注册到数据系统，供应用系统调用，提升企业主数据的贯标应用程度，保证数据一致性；

所述基础数据查询单元用于提供基础数据查询服务，提供对基础信息的最细粒度的快速检索，通过输入简单的数据信息检索项，输出用户所需的各类完整查询数据；所述基础数据查询服务包括提供标准件、材料和电子元器件3项型号设计资源基础数据查询服务；

统计指标查询单元用于提供统计指标查询服务，提供针对单位需求的简单加工、汇总求和数据检索，同时相关信息保留历史版本，满足服务历史追溯需求；

所述数据模型服务单元用于综合查询及数据模型服务基于基础数据和统计指标数据，按照业务管理需求进行重新组合，提供单一数据源无法满足的多维度的数据分析，构建数据分析模型，对现有数据进行更深层次的价值挖掘工作，并将结果以数据接口的形式对外服务，为各层面的数据应用用户提供更为丰富的数据决策支持；

所述数据上报单元用于按照数据采集和对接要求，完成数据系统建设及网络改造完善工作，完成网络通道、数据接口的联调测试，实现与国资监管系统的互联互通，具备与监管系统统一数据采集交换平台对接的条件。

6.根据权利要求1所述的支撑企业大脑的数据系统，其特征在于，所述数据管理中心包括数据标准管理单元、数据需求管理单元、数据模型管理单元、数据资产管理单元、数据质量管理单元、数据安全管理单元、数据运维监控单元、元数据管理单元和数据知识管理单元；

所述数据标准管理单元用于数据标准的制定、修订和修正，标准库管理与维护等电子化管理；还用于查询代码标准、数据元标准、表证单书标准以及数据标准文档；

所述数据需求管理单元用于提出数据资源需求和对数据需求进行审批，确定数据采集和交换方案，所述数据资源需求包括企业内部需求和企业外部需求；

所述数据模型管理单元用于可视化数据模型加工并集中管理数据加工脚本，实现脚本在线运行、在线编写、版本控制、脚本检索和脚本共享，提高数据加工处理效率和脚本的复用率；

所述数据资产管理单元用于盘点数据家底，对数据资产目录、数据资产清册、数据资产报告进行管理，全面分析数据资产构成、数据活跃度情况；还用于查看数据表、数据模型、表证单书、数据标签和质量检测指标，辅助开展数据分析应用；

所述数据质量管理单元用于构建数据质量指标库、开展数据质量检查、推送数据质量问题和跟踪问题整改进度；还用于接收数据质量问题、组织进行调查核实和整改；

所述数据安全管理单元用于实施数据分类分级管理、数据安全审计、数据安全评估、数据加解密和脱敏，监控数据流转，强化数据安全；

所述数据运维监控单元用于进行大数据组件运行监控、数据运维监控，通过全面监控数据流转情况，及时预警数据运行异常，防范风险；

所述元数据管理单元用于元数据采集、元数据管理，查看数据分布地图，进行数据血统分析、影响分析，快速掌握数据仓库中数据，进而提升数据分析与应用的效率；

所述数据知识管理单元用于合理划分数据知识类型，建设知识资源库，实现知识资源共享；还用于整理归集日常工作中形成的数据分析方法、数据分析模型和数据挖掘案例，并共享到知识资源库。

Images