CN116701358B - 一种数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种数据处理方法和系统，所述方法包括步骤：S1，建立企业模型，建立企业模型是用数据刻画企业业务活动的基础；S2，完成业务梳理、全口径采集元数据，完成数据标识；S3，建立模型化的数据标准；S4，提供数据服务；S5，建立闭环的处理机制；S6，全生命周期跟踪数据变化；S7，实现数据编织，深入支撑数据应用；S8，全方位支撑企业的数据处理活动。所述系统包括各功能模块，以实现各项功能。本发明在战略层面，可以帮助企业加快数据治理的落地实现。在操作层面，可实现数据处理过程可查、结果可依，对辅助决策及审计有重要意义。同时，面对海量数据，可消除数据残骸，打通数据断点、消除数据暗点，提高数据使用效能和效率。

Description

一种数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法及系统。

背景技术

定义

数据，广义的看，是任何形式的以自然或人工方式产生的对事物的映射和记录。其状态包含多种类型，有实物状态(如树木的年轮、结绳记事的结、实验室的标准量块，纸上的文字和符号、烽火、岩画等)，电子化状态(Exce l电子文件、多媒体文件、传感器信号记录文件包等)，信息化状态(可被信息系统加工和管理的信息)，数字化状态(以数字化方式存储、加工、传输，且可被分析的信息)。

数据处理，是为了交付、控制、保护并提升数据和信息资产的价值，在其整个生命周期中开展制定计划、制度规程和实践活动，并执行和监督的过程。

数据治理，是管理数据资产过程中行使权利和管控的活动(包括计划、监控和实施)。

当前状态

对数据和数据处理，当前存在以下三个方面的情况。

1.全社会信息化和数字化的不断深入使得数据的产生和应用越来越广泛，人类社会已进入数据时代。

2.之前孤岛式信息系统的建设使得目前沉淀下来的数据中包含了大量的数据问题。在之前的企业信息化建设中，存在着相当数量的以‘烟囱’式方式建设的I T系统(系统关联性差、集成度低、数据统一规范性差)。进入数据时代后，当从这些系统中大量的抽取数据并整合在一起进行数据分析的时候，常常会产生数据整合度不高、质量差(俗称“数据太脏”)，难于整合、清洗和分析利用的问题。

3.对数据进行处理和治理的需求越来越强烈。当原来没有预计到的数据问题极大地阻碍了数据的分析与数据价值变现后，数据处理迅速成为了热点问题。在此情况下，找到正确、有效的数据处理方法和恰当的数据处理系统就成为了迫切需要解决的问题。

现有技术存在问题

1.对数据的定义比较狭隘

数据是对事物的映射和记录。不论数据的形态如何、以何种介质和载体存储和传输，凡是符合这一定义的都应该被称之为数据。但由于目前大多数的数据都是以电子化和系统化的方式存在，所以很多的数据处理的系统都把目标聚焦在了信息系统中存在的数据、尤其是数据库系统中的数据的治理。往往都是以I T系统中、电子化的数据为对象来讨论和实现对数据的处理。但是实际的业务中有很多重要的数据并不在I T系统中，所以仅把I T系统中的数据作为处理对象，就会忽视和遗漏系统外的、非电子化的、业务所需的重要数据的处理。

2.缺乏具有广泛适应性的业务-数据模型架构

数据是描述业务的，而业务是变化的。所以要想以业务的视角稳定地标识和处理数据，就必须建立系统化的、具有普适性的企业业务-数据模型架构，如此方才可以方便地、数量化地描述企业的业务。而目前业界缺乏能够系统、普适地描述不同类型企业所有业务活动的业务-数据模型架构。

3.对数据的处理重于对模型的处理

数据模型是从数据中抽象出来，又高于实际数据的、反映业务结构和处理诉求的数据结构，它可以先于或独立于实际系统的数据而存在。目前很多的数据处理/治理系统往往注重现有的信息系统数据间关系，将其视作模型来处理，而忽略了数据模型具有的处理和业务的独立性，故出现了将现有数据间的关系作为数据模型来处理，而忽视独立的数据模型处理的现象。

4.重数据处理轻数据服务

由于数据中存在着较多的问题，所以就把工作的重点放在了对数据的“治理”上，而忽视了提供数据服务，减少了为更多的业务用户创造数据价值变现的机会。

5.数据处理仅服务于技术开发

由于工作中I T人员是接触系统中数据最多的人员，所以之前很多关于数据处理的方法都是从方便技术处理和系统开发的角度、以服务I T人员的视角开展的，而不是从数据是“企业资产”的高度、以管理人员和业务人员的视角和逻辑为优先关注点建立的。因此关注的也常常是如何从技术上处理好当前数据，对于组织应该如何通过综合的处理机制和手段提升数据资产的质量、关注数据的全生命周期，如何快速找到有潜在业务价值的数据、用好所有的数据、充分发挥数据的价值等方面关注不够。

发明内容

本发明的目的在于提供一种数据处理方法及系统，克服目前业界所存在的问题，以实现企业数据战略，支撑企业数据治理，实现数据标准化，发掘企业数据价值为目标。所述系统在传统元数据处理、元数据分析和数据资产目录功能的基础上，扩展出数据战略与数据处理体系、数据标准、数据质量、数据安全、数据生存周期、数据应用等功能模块。在全面支撑国家关于数据管理能力成熟度标准各能力项要求的同时，引入了创新的企业模型、全口径数据、模型化的数据标准、全面的数据闭环处理、数据资产化基础上的数据编织利用等方法和技术，从而可以更好地使数据为业务和管理服务，帮助企业发掘数据价值，实现数字化转型。从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

本发明公开了一种数据处理方法，包括以下步骤：

S1，建立企业模型，建立企业模型是用数据刻画企业业务活动的基础；

S2，完成业务梳理、全口径采集元数据，完成数据标识；

S3，建立模型化的数据标准；

S4，提供数据服务；

S5，建立闭环的处理机制；

S6，全生命周期跟踪数据变化；

S7，实现数据编织，深入支撑数据应用；

S8，全方位支撑企业的数据处理活动。

优选的，步骤S1中所述的企业模型共包括四个相互联系的模型，分别是业务域模型、管理主题模型、作业过程模型、对象-实体模型；采用“域+作业过程”、“域+分析主题”、“对象-实体”方式对数据进行标识，以实现业务视角下的企业数据资产化标识；综合使用所述四个模型完整描述出企业中不同领域、管理人员和作业人员所从事的各种活动，以及在具体活动中涉及的各类要素。

优选的，步骤S2具体包括：

A.梳理作业过程和管理主题:A1.以工作者、工作内容、工作所需信息和工作产出信息为核心内容，梳理作业过程的各项相关信息；A2.以管理者、分析主题、业务要素、决策结果为核心内容，梳理各管理主题所包含的分析主题、报表、相关成因要素、报表项/字段，以及相关主题的决策结果信息；

B.采集元数据，标记引用关系:对管理和作业活动中梳理出来的每一个信息项及其子项，进行元数据采集，将其元数据采集到数据系统中；采集内容包含任何状态的数据源对象及其数据元；进而根据数据元之间的数据值来源关系标记数据元之间的引用关系；

C.完成业务标识:对管理和作业活动中梳理出来的每一个数据源对象，依据企业模型进行标识；对作业过程中涉及的数据源对象标识为“域+作业过程”，对管理主题涉及的数据源对象标识为“域+分析主题”，进而，对数据源对象中的每一个数据元进行“对象+实体”标识。

优选的，步骤S3具体包括：

A.模型-应用-引用：建立数据标准模型，令这些模型和实际的数据源系统建立应用和引用的关系；

B.确定标准内容，建立模型：对于数据标准中的主数据、关键业务数据、参考数据、业务术语、指标，确定其内容、结构、逻辑和值，建立模型；

C.系统内应用，系统间集成：对于在同一个系统内、不同数据源对象中相同的数据元，通过统一应用数据标准模型中相同的数据元，并在数据赋值时，引用该数据元的权威数据源中的值，以实现各数据元定义和逻辑的统一；

对于在不同系统间、不同数据源对象中、相同的数据元，则通过系统间数据集成的方式，实现权威数据源系统的数据向其他数据源系统数据值的强制统一。

优选的，步骤S4具体包括：

A.制定并维护数据资产目录：将数据资产分类列出以供查询；

B.提供订阅服务：提供订阅的内容包括：数据资产内容的变更信息、数据规则和制度的发布与更新、数据相关的重要活动与事件；

C.提供应用程序编程接口，为其他系统提供有关数据资产的信息。

优选的，步骤S5具体包括：

A.元数据动态监控：根据预设的规则，持续采集数据库表中的元数据，并与标识后的初始状态元数据进行对比，自动发现元数据状态的变化，给出报告和预警提示；

B.数据质量动态监控：根据预设的频率和预设的数据质量监控规则，对目标数据源中的数据自动进行数据质量检查，并生成检查结果；

C.数据质量持续检查与改进：基于对数据质量的检查结果，通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据质量改善；

D.数据安全持续检查与改进：基于设定的企业数据安全策略，通过数据安全检查、审计，发现数据安全问题，针对发现的问题通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据安全改善；

E.数据标准检核：基于企业制定的各项数据标准，通过数据检核的方式对新建应用系统和改造应用系统在方案设计审查、系统上线审核的阶段查证应用系统对于企业数据标准的遵从性，从而实现企业数据标准的闭环处理。

优选的，步骤S6具体包括：

从数据需求、数据平台与处理系统设计和开发、数据运维、数据退役的全生命周期记录数据履历，支撑数据全生存周期处理；以全生命周期各阶段的数据源对象为识别索引，结合系统的动态元数据处理功能，以追溯任一数据源对象从需求到设计、开发、上线、直到退役的全部过程信息，从而实现数据全生命周期履历的追溯。

优选的，步骤S7具体包括：

基于经过标识的企业数据资产，通过数据源对象筛查，对象数据元筛查、数据元分析、数据编配、数据编织案例库功能，根据企业数据分析挖掘的要求，发掘可用的数据资源，支撑分析人员通过数据编织完成复杂的数据分析任务。

优选的，步骤S8具体包括：

A.支撑数据战略，从企业数据战略的规划、实施、评价，企业数据治理体系的职责、制度、活动、沟通各个方面，记录相关重要信息，支撑企业数据处理体系的全过程运行；其中，以数据战略实施主体、实施时间、愿景、数据管理目标、责任单位为核心，记录企业数据战略；

B.支撑数据处理体系，记录企业数据处理机构的单位与职责、数据处理工作涉及的所有组织和人员的具体职责、数据处理相关的制度文档、处理活动、沟通记录，以支撑企业数据管理体系的运行。

本发明还公开了一种数据处理系统，包括：

企业模型建立模块，用于建立用数据刻画企业业务活动的基础；

业务梳理与全口径元数据采集模块，用于业务梳理和采集全口径元数据，以完成数据标识；

数据标准模型建立模块，用于建立模型化的数据标准；

数据服务提供模块，用于提供数据服务；

数据处理机制建立模块，用于建立闭环的数据处理机制；

数据变化跟踪模块，用于全生命周期跟踪数据变化；

数据编织模块，用于实现数据编织，深入支撑数据应用

全方位数据支撑模块，用于全方位支撑企业的数据处理活动。

本发明的有益效果是：

在战略层面，可以帮助企业加快数据治理的落地实现。在操作层面，可实现数据处理过程可查、结果可依，对辅助决策及审计有重要意义。同时，面对海量数据，可消除数据残骸，打通数据断点、消除数据暗点，提高数据使用效能和效率。具体如下：

1)实现组织对任何类型数据的全口径数据处理；

2)实现基于作业过程、管理主题的全业务视角数据标识，以业务视角处理数据，提升业务人员了解和利用数据的能力；

3)实现快速数据编织，充分发掘数据价值；

4)实现数据全生命周期处理；

5)通过元数据自动采集、变动影响分析功能，跟踪数据状态的动态变化；

6)通过数据战略、数据质量、数据安全等功能，提升组织数据处理能力；

7)可与其他数据处理平台一起，协同应用，提升企业对数据的处理能力。

附图说明

图1是本发明的系统方案架构示意图；

图2是本发明中的“元数据”类型示意图；

图3是本发明中的企业业务域模型示意图；

图4是本发明中的管理主题和作业过程之间的关系示意图；

图5是本发明具体实施例中供应链管理域的示意图；

图6是本发明具体实施例中对象-实体模型示意图；

图7是本发明具体实施例中梳理作业过程的示意图；

图8是本发明具体实施例中引用关系标识示意图；

图9是本发明具体实施例中“域+分析主题”、“域+作业过程”示意图；

图10是本发明具体实施例中数据元的“对象+实体”标识结果示意图；

图11是本发明具体实施例中客户主数据的模型应用和各系统数据库表数据值引用的示意图；

图12是本发明具体实施例中数据类资产可供查询的内容示意图；

图13是本发明具体实施例中元数据动态监控功能示意图；

图14是本发明具体实施例中数据质量动态监控示意图；

图15是本发明具体实施例中质量检查规则示意图表；

图16是本发明具体实施例中质量检查规则示意图表(续表)；

图17是本发明具体实施例中数据质量持续检查与改进示意图；

图18是本发明具体实施例中数据安全持续检查与改进示意图；

图19是本发明具体实施例中数据标准检核示意图；

图20是本发明具体实施例中不同阶段可以处理的数据颗粒度示意图；

图21是本发明具体实施例中实现数据编织的示意图；

图22是本发明的系统核心功能示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

本发明系统方案架构如附图1所示，其中“元数据”模块所能够处理的元数据共包括业务元数据、技术元数据、操作元数据三类，具体内容如附图2所示。其中：业务元数据包括：主题域分组，主题域，业务对象，逻辑实体，数据标准，属性，I T系统数据字典，数据服务，数据分析模型。

技术元数据包括OLTP和OLAP两类。

OLTP包括：应用系统，数据库，数据库Schema，物理表，数据流集成关系，视图，表与视图关系，字段。

OLAP包括：CUBE，CUBE属性，报表，报表项，指标。

操作元数据包括：用户访问日志和数据库日志。

本发明共包括以下8项要点，分述如下：

1)建立企业模型

建立企业模型，是用数据刻画企业业务活动的基础。本发明认为，企业的经营活动可以被分为不同的业务领域，每个领域中的业务活动可以分为管理和作业两类，而其中具体的每一项活动的组成要素又可以区分为不同的对象以及对象下的实体。由此本发明构建的企业模型共包括四个相互联系的部分，分别是业务域模型、管理主题模型、作业过程模型、对象-实体模型。采用“域+作业过程”、“域+分析主题”、“对象-实体”方式对数据进行标识，可实现业务视角下的企业数据资产化标识。这些模型是通用的，即可以适用于任何行业、任何类型、任何形态的企业。

企业业务域模型共包含36个领域，如附图3所示。其中，每个业务域中的管理人员会分别围绕若干个管理主题开展工作，该域中的作业人员则会按不同的作业过程开展业务活动。管理主题和作业过程之间的关系如附图4所示。附图4中，每个管理主题覆盖一定的作业过程，各管理主题则共同形成了该领域绩效结果的驱动因素。以供应链管理域为例，示例如附图5所示。分别将36个域进行最佳业务实践的总结，即可构建每个域的管理主题和作业过程模型。对于具体的业务活动，则可建立对象-实体模型来表征作业活动中的各类要素，具体示例如附图6所示。其中的对象、实体关系如下：

在某业务流程下，操作者按照设定的工作目标，遵循一定的业务规则，采用适当的技术，组织所需的资源，遵守相关契约，按照安排的计划和指令执行工作任务，最后将产出物交付给用户。在此过程中，干系人对操作者的产出产生影响、同时也受操作者的产出的影响。计量则用于描述业务流程中涉及到的时间、地点，以及相关的数量和计量单位。

综合使用上述4个模型则可以完整描述出企业中不同领域、管理人员和作业人员所从事的各种数据处理活动，以及在具体数据处理活动中涉及的各类数据要素。

2)完成业务梳理、全口径采集元数据，完成数据标识

A.梳理作业过程和管理主题

基于上述的观点，企业的经营活动可以分为管理和作业两类。本发明设计了以下业务梳理的方法。

①以工作者、工作内容、工作所需信息和工作产出信息为核心内容，梳理作业过程的各项相关信息。示例如附图7所示。②以管理者、分析主题、业务要素、决策结果为核心内容，梳理各管理主题所包含的分析主题、报表、相关成因要素、报表项/字段，以及相关主题的决策结果信息。

B.采集元数据，标记引用关系

对管理和作业活动中梳理出来的每一个信息项(即数据源对象，如一个屏幕页面、一张数据库表、一个电子表格、一个多媒体文件等)及其子项(即数据元，如一张数据库表内所包含的各个字段)，进行元数据采集，将其元数据采集到数据处理系统中。采集内容包含了任何状态(实物状态、电子化状态、信息化状态、数字化状态等)的数据源对象及其数据元。进而根据数据元之间的数据值来源关系标记数据元之间的引用关系。引用关系标识示意图如附图8所示。

C.完成业务标识

对管理和作业活动中梳理出来的每一个数据源对象，依据企业模型进行标识。对作业过程中涉及的数据源对象标识为“域+作业过程”，对管理主题涉及的数据源对象标识为“域+分析主题”，示例如附图9所示。进而，对数据源对象中的每一个数据元进行“对象+实体”标识。以生产计划完成统计表为例，标识的结果示例如附图10所示。

至此，便将业务活动涉及到的任何类型信息的元数据(包括数据源对象和数据元)的业务属性进行了标识。这使得我们对任何一张数据表都能快速得知其所发生的业务领域、所代表的业务活动，对任何一个字段都能够知晓其反映的业务活动要素和对应的属性。这样，就对所有数据完成了业务视角的资产化标识，使数据从一堆单纯的代码转变成为了能够刻画业务变化的、具有“业务属性”的企业资产。

3)建立模型化的数据标准

对于采集到的企业元数据，按其特点不同，可进一步识别出其中需要特殊处理的5种类型：主数据、关键业务数据、参考数据、业务术语、指标，这5类元数据都需要企业对其数据结构或值进行规范，故将其统称为数据标准。

其中，主数据的特征为：同一数据元分布在不同的数据源系统中，需要采用系统集成的措施使其在各数据源系统的数据源对象中的值及其变化保持一致，则一系列按照特定规则组合起来的这些数据元称之为主数据；关键业务数据的特征为：对于作业过程中的特定业务场景，总有些特定的数据元组合能够反映该业务场景的关键特征，这些数据元的组合称之为该业务场景的关键业务数据；参考数据的特征为；某些数据元在向系统录入其值时，不能采用自由录入的方式，只能以选择既定枚举值的方式进行录入，则这些数据元称之为参考数据；业务术语的特征为：由于某些数据元的值、属性及其表达方式在业务中常见且重要，因此企业需要给出统一的定义以规范其使用，则这些数据元被称之为业务术语；指标的特征为：为衡量特定目标的状态，需要构造特定的参数，这些参数由数据元以及数据元之间的逻辑和计算公式组成，则这些特定的参数称之为指标。上述数据标准中主数据、关键业务数据、指标需要对其数据元的组成结构乃至逻辑进行定义和规定，在此将这些结构及逻辑称之为结构模型。参考数据、业务术语则需要对其结构尤其是值的定义和分布进行规定，在此称之为值模型。这些模型的建立体现了企业通过数据标准对业务活动进行规范和设计的意图，因此不论这些模型是否有对应的实际数据源系统，企业都可以先行建立数据标准模型，而这些模型都可以通过数据处理系统进行处理。在本发明中这些模型化的处理包含了以下三个方面的内容：

A.模型-应用-引用

当在数据处理系统建立起数据标准的模型后，这些模型就可以和实际的数据源系统建立应用和引用的关系。一个客户主数据的模型应用和各系统数据库表数据值引用的示例如附图11所示。

针对附图11说明如下：

1.综合考虑CRM、ERP、物流、主数据系统中关于客户相关的数据需求，在数据处理系统中建立客户主数据模型。

2.在主数据系统中应用该客户主数据模型，落地建立客户主数据表，记录所有客户主数据的值。同时，将CRM系统中的客户数据表作为权威数据源，引用其“客户名称、客户编码、地址、开户银行”数据元的数据，实现一旦权威数据源的数据值发生变动，即将数据值强制同步到主数据系统的客户主数据表。

3.在CRM系统的客户数据表、物流系统的产品装车发运表、ERP系统的客户收款表、CRM系统的客户服务表中，统一应用客户主数据模型中“客户名称、客户编码”数据元的模型定义，建立“客户名称、客户编码”数据元，同时其数据值则引用主数据系统中客户主数据表中“客户名称、客户编码”的相应数据值。

B.确定标准内容，建立模型

对于数据标准中的主数据、关键业务数据、参考数据、业务术语、指标，确定其内容、结构、逻辑和值，建立模型。例如，确定主数据包括：客户主数据、供应商主数据、产品主数据、组织主数据、员工主数据、财务科目主数据；确定关键业务数据包括：预算数据、销售成交数据、产品发运数据、客户收款数据、采购签约数据、供应商到货接收数据、供应商付款数据，等等。

C.系统内应用，系统间集成

对于在一个系统内、不同数据源对象(如数据表)中相同的数据元(如字段)，通过统一应用数据标准模型中相同的数据元，并在数据赋值时，引用该数据元的权威数据源中的值，从而实现各数据元定义和逻辑的统一。

对于在不同系统间、不同数据源对象(如数据表)中、相同的数据元(如字段)，则通过系统间数据集成的方式，实现权威数据源系统的数据向其他数据源系统数据值的强制统一，如主数据系统对主数据的强制统一，等等。

4)提供数据服务，

A.数据资产目录

将数据处理系统中的数据资产(包含数据和处理加工数据涉及的工具和资源)分类列出以供查询。其中数据类资产可供查询的内容示例如附图12所示。

B.订阅

系统提供订阅服务，订阅的内容包括：数据资产内容的变更信息、数据处理规则和制度的发布与更新、数据处理相关的重要活动与事件等。用户选择订阅方式(包括邮件、短信、微信等)，系统提供订阅服务。

C.AP I

系统提供应用程序编程接口，为其他系统提供有关数据资产的信息。如，为主数据集成系统提供主数据模型，从而使主数据集成系统可及时接收主数据模型的最新信息等。

5)建立闭环的处理机制

A.元数据动态监控

根据预设的条件，持续采集数据库表中的元数据，并与标识后的初始状态元数据进行对比，自动发现元数据状态的变化，给出报告和预警提示。系统功能示例如附图13所示。

B.数据质量动态监控

根据预设的频率和预设的数据质量监控条件，对目标数据源系统中的数据自动进行数据质量检查，并生成检查结果。系统功能及使用过程如附图14所示。

质量检查条件示例如附图15、16所示，其中业务对象即上文所指“数据元”，亦即数据表中的字段。

C.数据质量持续检查与改进

基于对数据质量的检查结果，通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据质量改善。总结检查、改善过程中的经验教训形成知识文档并纳入数据质量知识库，则可以不断积累组织在数据质量方面的经验，以利数据质量水平的不断提升。系统功能及使用过程如附图17所示，虚线部分为前述“数据质量动态监控”的内容，其中主要的检查过程由系统自动进行，故其检查结果可以在系统中自动生成，少量的人工检查的结果则需要在系统中录入。

D.数据安全持续检查与改进

基于设定的企业数据安全策略，通过数据安全检查、审计等方式，发现数据安全问题，针对发现的问题通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据安全改善。系统功能及使用过程如附图18所示。

附图18中虚线的含义为：数据安全检查/审计通常在线下、现场进行，故检查的结果需要由人工录入数据处理系统。

其中，数据安全策略指的是人员或系统在处理数据时为保证数据安全所需要遵循的规则，数据安全策略分配指的是当某种数据安全类型和级别的人员在处理某种类型和级别的数据时，为其分配所需要遵循的具体的安全策略。

E.数据标准检核

基于企业制定的各项数据标准(包括主数据、关键业务数据、参考数据、业务术语、指标)，通过数据检核的方式对新建系统和改造系统在方案设计审查、系统上线审核的阶段查证应用系统对于企业数据标准的遵从性，从而实现企业数据标准的闭环处理。系统功能及使用过程如附图19所示。

6)全生命周期跟踪数据变化

从数据需求、数据平台与处理系统设计和开发、数据运维、数据退役的全生命周期记录数据履历，支撑数据生存周期处理。在不同数据生存周期阶段数据处理系统能够进行处理的内容以及不同阶段可以处理的数据颗粒度如附图20所示。

在附图20的数据运维阶段，系统运维方案、系统运维绩效评价两项功能以数据源系统为最小颗粒度进行处理，数据服务方案、数据服务结果评价以数据源对象为最小颗粒度进行处理。

以全生命周期各阶段的数据源对象为识别索引，结合系统的动态元数据处理功能，则可以追溯任一数据源对象从需求到设计、开发、上线、直到退役的全部过程信息，从而实现数据全生命周期履历的追溯。

7)实现数据编织，深入支撑数据应用

基于数据处理系统所处理的经过标识的企业数据资产，通过数据源对象(如数据库表)筛查，对象数据元(如数据库表中的字段)筛查、数据元分析、数据编配、数据编织案例库等功能，根据企业数据分析挖掘的要求，发掘可用的数据资源，支撑分析人员通过数据编织完成复杂的数据分析任务。具体的系统功能及应用过程示意如附图21所示。

针对附图21的说明：

数据源对象筛查：根据数据源对象的特征和标识，跨系统查询、选择分析可能需要的数据源对象。

对象数据元筛查：对于选定的数据源对象，进一步查询、分析其数据元的构成、属性与标识，选择可能用于分析的数据元。

对象数据元分析：了解选定数据元的数据质量情况、数据安全策略的要求、样例数据情况，从而最终确定合适的数据元。

数据编配：将选定的数据源对象和对象数据元命名为特定的数据编配方案，保存以供后续的数据分析所使用。

在此基础上，分析人员可根据数据编配方案所确定的数据源对象及对象数据元开展数据分析。如分析过程中发现编配方案中确定的某些数据源对象或对象数据元不适合，或者在分析过程中发现了新的更加合适的数据源对象/对象数据元乃至不属于数据处理系统的数据，都将其记录在原数据编配方案中，在此基础上补充对分析使用的方法、过程、效果的描述后，将其作为对实际分析过程中所使用数据和效果的记载而存入数据编织案例库，供后续的分析人员对其进行查询检索，以便能够使后来的分析人员快速借鉴前人进行特定数据分析所使用数据的经验，加快数据分析的进程。

8)全方位支撑企业的数据处理活动

A.支撑数据战略

从企业数据战略的规划、实施、评价，企业数据治理体系的职责、制度、活动、沟通各个方面，记录相关重要信息，支撑企业数据处理体系的全过程运行与处理。

其中，以数据战略实施主体、实施时间、愿景、数据处理目标、责任单位为核心，记录企业数据战略。同时，辅之以对企业数据处理需要遵从的法规、企业数据建设应用过程中利益相关者的记录和管理，共同形成对数据战略规划的支撑。以战略回顾所包含的数据战略目标达成情况、问题分析、改善措施为内容，支撑企业数据战略实施过程。以具体的企业数字化投资项目计划、进展、评价、审计/总结回顾结果为内容，支撑数据战略评价。

B.支撑数据处理体系

系统记录并处理企业数据处理机构的单位与职责、数据处理工作涉及的所有组织和人员的具体职责、数据处理相关的制度文档、活动、沟通记录，以支撑企业数据处理体系的运行。

C.支撑贯标

为改变以往数据处理工具主要服务于I T技术和开发人员的状况，本发明以全面满足企业数据处理的各项要求为目标进行了系统设计。系统功能全面支撑了数据管理能力成熟度国家标准中所有能力域中各能力项审视的核心要求，并结合多年数据处理与应用的研究和实践结果对标准中的元数据类型和数据标准等内容进行了补充和增强。因此，应用该数据处理系统可以全面支撑国家标准的贯彻实施。作为一款企业级综合数据处理的系统，系统全面设计了从数据资产到企业数据治理在内的各项功能。系统核心功能如附图22所示。

应用过程

本发明的数据处理系统的具体的应用过程及过程中每一步所包含的工作内容如下。

1)建立数据战略与体系

维护企业数据战略的相关信息，包括数据战略规划、数据战略实施、数据战略评价等内容；维护企业数据治理体系运行信息，包括数据治理组织体系、数据治理组织与人员责任、数据治理制度文档、数据治理活动、数据治理沟通记录，以支撑企业数据战略工作的开展和数据治理体系的运行。

2)建立企业模型

在开展数据处理与治理的起始阶段，全面梳理企业内外部业务流程及运营所涉及的业务和领域，确立本组织所适用的运营模型，其包含但不限于企业内外部业务域、业务过程、管理主题、对象实体，并将梳理出的模型置入数据处理系统。为方便用户使用，数据处理系统内置了4个模型，分别是：企业经营域、企业标准业务过程、企业管理主题、数据对象和实体。在此基础上，企业也可以在系统中建立自己的相应企业模型，以方便后续使用。

3)梳理业务过程

全面梳理企业所涉及的每一项业务活动，以及每一项业务活动所涉及的部门、岗位、所需数据、所产生数据等信息，在利用企业模型进行标识之后，将梳理的结果置入数据处理系统进行处理和后续分析利用。

4)采集并处理元数据

全面梳理企业内部所有业务和过程中涉及的数据，其中包括并不限于I T系统数据库数据、业务系统操作界面、报表类数据分析系统、电子文档、任何类型的业务沟通记录、纸质数据报告等各种数据，并依照企业模型对其进行划分和标识；根据各数据对象间的上下游关系，刻画并还原数据间的引用关系；将前述所有梳理结果置入数据处理系统；将数据处理系统与所有I T数据源系统数据库建立联接，定期采集并比较元数据信息与数据处理系统所记录元数据的变化并进行差异监控、告警。

5)建立数据标准

组织企业相关部门结合业务需要，共同确定本组织模型化的数据标准，包括主数据模型、关键业务数据模型、参考数据模型、业务术语、指标模型等内容；梳理系统中数据标准的模型应用与引用关系，确立权威数据源及数据上下游流转关系；在数据处理系统中置入数据标准及相应的关系信息以进行后续的持续处理。

6)数据集成

根据数据标准内容和权威数据源，数据部门在系统间实施数据标准集成与引用项目，实现组织数据标准中主数据、关键业务数据、参考数据等权威数据源强制同步至各相关业务系统；基于实施的结果在数据处理系统中补充并完善模型应用及数据间引用关系信息。

7)数据资产目录

利用数据处理系统数据资产目录模块，分类处理并查看企业元数据、主数据、关键业务、参考数据、业务术语、指标等数据资源信息，以全面掌握企业数据资产状况，支撑对数据的全面深入利用。

8)数据标准检核

企业按照审定发布后的数据处理流程，对所有新I T系统的开发、原有系统的升级改造等活动，从方案设计或开发阶段开始，开展数据标准的审核查验，促使新系统能适应并完全遵循现有数据标准要求。

9)数据质量监控与处理

结合业务实际和数据质量需求，选定待监控数据，明确其相应数据质量规则、相关责任人、数据提供者、质量要求以及质量监控计划，并置入数据处理系统中，数据处理系统按照监控计划自动开启数据质量检查任务并得到数据质量检查结果。

进一步，企业可以按需定期开展数据质量检查，将数据处理系统按照既定数据质量条件检查得到的结果反馈至相应数据质量责任人，由相应数据质量责任人认领数据质量问题并限期改善后，反馈数据质量改善结果，由数据处理部门审核评价相应改善成效，按此闭环数据质量监控的机制实现企业数据质量的持续改善。

10)数据安全

结合业务实际和数据安全需求，选定数据范围，明确其相应数据安全条件、相关责任人、安全要求，相关检查组查验数据安全状况并得到数据安全检查结果，将检查结果置入数据处理系统中，由相应数据安全责任人认领数据安全问题并限期改善后，反馈改善结果，由上级部门审核评价相应改善成效，按此闭环数据安全监控的机制实现企业数据安全的持续改善。

11)数据生命周期处理

将企业所有应用系统从提出数据需求到形成具体数据方案文档，再到系统开发、测试、上线、运行、退役等各周期内涉及到的数据源对象名称、负责人等信息维护至数据处理系统中，从而形成对企业所有应用系统数据全生命周期的追溯与处理。

12)数据应用

数据分析人员或数据处理人员，基于在数据处理系统中经过资产化的数据，利用数据编织功能，快速搜索、查找为特定数据分析和处理需求所需要的数据，快速发现能够支撑特定数据分析应用所需的、具有实际应用价值的数据；同时数据处理系统可以根据实际的数据挖掘分析对数据的使用情况，将分析使用的数据源对象、分析模型打包形成分析过程记录，存入案例知识库供后续人员借鉴利用，并利用案例知识库来完成企业数据挖掘分析知识和经验的不断积累，提升企业数据分析应用和价值变现能力。

13)贯标协同

数据处理系统能够全面支撑国家数据管理能力成熟度标准中关于数据处理的各项核心要求，因此可以作为贯标的相关支撑软件工具，来帮助企业全面开展数据处理与治理工作。按照上述过程，企业可以通过使用数据处理系统不断完善数据处理与治理水平、提高数据处理能力成熟度，促进业务数字化、促进企业数据处理智能化水平提升和经营模式升级，加快数字化转型。

数据处理系统的主要工作步骤

系统的工作步骤整体分为两个阶段：初始数据录入与采集阶段，后期系统运行阶段，各阶段的工作内容与步骤如下。

1)初始数据接收与采集阶段

a)接收企业模型信息；

b)接收特定的数据字典内容，如人员安全级别定义、数据安全级别定义等；

c)接收部门信息和数据库连接信息；

d)接收用户信息；

e)接收数据源系统和工具资源信息，接收分类标签信息和主题分类信息；

f)接收数据标准(包括主数据、关键业务数据、参考数据、业务术语和指标)的模型和值；

g)采集/接收数据源对象(如数据库表等)的信息，包括数据元(字段)、标签、责任人、数据标准类型及引用关系；

h)接收数据标准模型的应用关系；

i)接收业务过程、系统操作界面、报表的信息；

j)接收系统界面、报表对数据源对象和数据元的引用关系；

k)接收数据战略中的数据战略规划信息和数据治理体系中的组织体系、职责、制度文档信息；

l)接收数据质量关于质量条件定义、分配、质量检查频度的信息；

m)接收数据安全关于数据安全策略、数据分类定级、人员分类定级、安全策略分配信息。

2)后期系统运行阶段

a)根据查询指令反馈数据资产目录，提供订阅和API服务；

b)根据查询指令反馈数据模型信息；

c)根据查询指令反馈数据分布；

d)进行元数据分析，进行数据血缘和影响分析；

e)动态采集监测元数据状态变化；

f)动态进行数据质量检查；

g)根据检查结果完成数据质量分析改善，维护使用数据质量知识库；

h)根据检查结果完成数据安全状况分析与改善，维护使用数据安全知识库；

i)按需维护和处理数据生存周期变化相关的信息；

j)按需维护和处理数据战略实施的进展，并对数据相关投资项目的进展和结果进行评价；

k)按需维护和处理数据治理体系运行相关的活动和沟通记录；

l)利用数据发现、编配和知识库功能，为数据分析利用提供有效的数据；

m)利用数据标准检核功能，对新建和改造的I T/数据系统进行方案审查和上线进行数据标准遵从性查验。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

在战略层面，可以帮助企业加快数据治理的落地实现。在操作层面，可实现数据处理过程可查、结果可依，对辅助决策及审计有重要意义。同时，面对海量数据，可消除数据残骸，打通数据断点、消除数据暗点，提高数据使用效能和效率。具体如下：

1)实现组织对任何类型、任何地方数据的全口径数据处理；

2)实现基于作业过程、管理主题的全业务视角数据标识，以业务视角处理数据，提升业务人员了解和利用数据的能力；

3)实现快速数据编织，充分发掘数据价值；

4)实现数据全生命周期处理；

5)通过元数据自动采集、变动影响分析功能，跟踪数据状态的动态变化；

6)通过数据战略、数据质量、数据安全等功能，提升组织数据处理能力；

7)可与其他数据处理平台一起，协同应用，提升企业对数据的处理能力。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (2)

1.一种数据处理方法，其特征在于，包括以下步骤：

S1，建立企业模型，建立企业模型是用数据刻画企业业务活动的基础；

企业的经营活动被分为不同的业务领域，每个业务领域中的业务活动分为管理和作业两类，其中具体的每一项业务活动的组成要素区分为不同的对象以及对象下的实体；所述的企业模型共包括四个相互联系的模型，分别是业务域模型、管理主题模型、作业过程模型、对象-实体模型；采用“域+作业过程”、“域+分析主题”、“对象-实体”方式对数据进行标识，以实现业务视角下的企业数据资产化标识；综合使用四个模型完整描述出企业中不同领域、管理人员和作业人员所从事的各种业务活动，以及在具体业务活动中涉及的各类要素；这些模型是通用模型；

S2，完成业务梳理、全口径采集元数据，完成数据标识；

全面梳理企业内部所有业务和过程中涉及的数据，其中包括IT系统数据库数据、业务系统操作界面、报表类数据分析系统、电子文档、任何类型的业务沟通记录、纸质数据报告，并依照企业模型对其进行划分和标识；根据各数据对象间的上下游关系，刻画并还原数据间的引用关系；将前述所有梳理结果置入数据处理系统；将数据处理系统与所有IT数据源系统数据库建立联接，定期采集并比较数据源系统的元数据信息与数据处理系统所记录元数据的变化并进行差异监控、告警；步骤S2具体包括：S21.梳理作业过程和管理主题:S211.以工作者、工作内容、工作所需信息和工作产出信息为核心内容，梳理作业过程的各项相关信息;S212.以管理者、分析主题、业务要素、决策结果为核心内容，梳理各管理主题所包含的分析主题、报表、相关成因要素、报表项或字段，以及相关主题的决策结果信息;S22．采集元数据，标记引用关系:对管理和作业活动中梳理出来的每一个信息项及其子项，进行元数据采集，将其元数据采集到数据处理系统中；采集内容包含任何状态的数据源对象及其数据元；进而根据数据元之间的数据值来源关系标记数据元之间的引用关系；S23. 完成业务标识:对管理和作业活动中梳理出来的每一个数据源对象，依据企业模型进行标识；对作业过程中涉及的数据源对象标识为“域+作业过程”，对管理主题涉及的数据源对象标识为“域+分析主题”，进而，对数据源对象中的每一个数据元进行“对象+实体”标识；

S3，建立模型化的数据标准;

对于采集到的企业元数据，按其特点不同，进一步识别出其中需要处理的5种类型：主数据、关键业务数据、参考数据、业务术语、指标，这5类元数据都需要企业对其数据结构或值进行规范，故将其统一定义为数据标准；步骤S3具体包括：S31. 模型-应用-引用：建立数据标准模型，令这些数据标准模型和实际的数据源系统建立应用和引用的关系；S32. 确定标准内容，建立数据标准模型：对于数据标准中的主数据、关键业务数据、参考数据、业务术语、指标，确定其内容、结构、逻辑和值，建立数据标准模型；S33. 系统内应用，系统间集成：对于在同一个系统内、不同数据源对象中相同的数据元，通过统一应用数据标准模型中相同的数据元，并在数据赋值时，引用该数据元的权威数据源中的值，以实现各数据元定义和逻辑的统一；对于在不同系统间、不同数据源对象中、相同的数据元，则通过系统间数据集成的方式，实现权威数据源系统的数据向其他数据源系统数据值的强制统一；

S4，提供数据服务；步骤S4具体包括：S41．制定并维护数据资产目录：将数据资产分类列出以供查询；S42．提供订阅服务：提供订阅的内容包括：数据资产内容的变更信息、数据规则和制度的发布与更新、数据相关的重要活动与事件；S43．提供应用程序编程接口，为其他系统提供有关数据资产的信息；

S5，建立闭环的处理机制；步骤S5具体包括：S51．元数据动态监控：根据预设的规则，持续采集数据库表中的元数据，并与标识后的初始状态元数据进行对比，自动发现元数据状态的变化，给出报告和预警提示；S52．数据质量动态监控：根据预设的频率和预设的数据质量监控规则，对目标数据源中的数据自动进行数据质量检查，并生成检查结果；S53．数据质量持续检查与改进：基于对数据质量的检查结果，通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据质量改善；S54．数据安全持续检查与改进：基于设定的企业数据安全策略，通过数据安全检查、审计，发现数据安全问题，针对发现的问题通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据安全改善；S55. 数据标准检核：基于企业制定的各项数据标准，通过数据检核的方式对新建应用系统和改造应用系统在方案设计审查、系统上线审核的阶段查证应用系统对于企业数据标准的遵从性，从而实现企业数据标准的闭环处理；

S6，全生命周期跟踪数据变化；步骤S6具体包括：从数据需求、数据平台与处理系统设计和开发、数据运维、数据退役的全生命周期记录数据履历，支撑数据全生存周期处理；以全生命周期各阶段的数据源对象为识别索引，结合系统的动态元数据处理功能，以追溯任一数据源对象从需求到设计、开发、上线、直到退役的全部过程信息，从而实现数据全生命周期履历的追溯；

S7，实现数据编织，深入支撑数据应用；步骤S7具体包括：基于经过标识的企业数据资产，通过数据源对象筛查，对象数据元筛查、数据元分析、数据编配、数据编织案例库功能，根据企业数据分析挖掘的要求，发掘可用的数据资源，支撑分析人员通过数据编织完成复杂的数据分析任务；

S8，全方位支撑企业的数据处理活动；步骤S8具体包括：S81．支撑数据战略，从企业数据战略的规划、实施、评价，企业数据治理体系的职责、制度、活动、沟通各个方面，记录相关重要信息，支撑企业数据处理体系的全过程运行；其中，以数据战略实施主体、实施时间、愿景、数据管理目标、责任单位为核心，记录企业数据战略；S82．支撑数据处理体系，记录企业数据处理机构的单位与职责、数据处理工作涉及的所有组织和人员的具体职责、数据处理相关的制度文档、处理活动、沟通记录，以支撑企业数据管理体系的运行。

2.一种数据处理系统，其特征在于包括：

企业模型建立模块，用于建立用数据刻画企业业务活动的基础；具体用于：确定企业的经营活动分为不同的业务领域，每个业务领域包括管理和作业两个部分，其中管理部分涉及的主要工作内容为管理相关分析主题，作业部分涉及的主要工作内容为与该业务相关的具体作业过程，每个作业过程和分析主题都会涉及各种对象以及对象下的实体；所述的企业模型包括四个相互关联的模型，分别是业务域模型、管理主题模型、作业过程模型、对象-实体模型；

业务梳理与全口径元数据采集模块，用于业务梳理和采集全口径元数据，以完成数据标识；具体用于：全面梳理企业内部所有业务和过程中涉及的数据，包括IT系统数据库数据、业务系统操作界面、报表类数据分析系统、电子文档、任何类型的业务沟通记录和纸质数据报告；并依照企业模型对其进行划分和标识；其中：S21.梳理作业过程和管理主题：S211.以工作者、工作内容、工作所需信息和工作产出信息为核心内容，梳理作业过程的各项相关信息；S212.以管理者、分析主题、业务要素、决策结果为核心内容，梳理各管理主题所包含的分析主题、报表、相关成因要素、报表项或字段，以及相关主题的决策结果信息；S22.采集元数据，标记引用关系:对管理和作业活动中梳理出来的每一个信息项及其子项，进行元数据采集，将其元数据采集到数据处理系统中；采集内容包含任何状态的数据源对象及其数据元；进而根据数据元之间的数据值来源关系标记数据元之间的引用关系；S23.完成业务标识:对管理和作业活动中梳理出来的每一个数据源对象，依据企业模型进行标识；对作业过程中涉及的数据源对象标识为"域+作业过程"，对管理主题涉及的数据源对象标识为"域+分析主题"，对数据源对象中的每一个数据元进行"对象+实体"标识；

数据标准模型建立模块，用于建立模型化的数据标准;具体用于：对采集到的企业元数据，按其特点分为主数据、关键业务数据、参考数据、业务术语、指标五类，将上述五类定义为数据标准，并建立相应的数据标准模型；其中：S31.模型-应用-引用：建立数据标准模型，令这些数据标准模型和实际的数据源系统建立应用和引用的关系；S32.确定标准内容，建立数据标准模型：对于数据标准中的主数据、关键业务数据、参考数据、业务术语、指标，确定其内容、结构、逻辑和值，建立数据标准模型；S33.系统内应用，系统间集成：对于在同一个系统内、不同数据源对象中相同的数据元，通过统一应用数据标准模型中相同的数据元，引用该数据元的权威数据源中的值，以实现各数据元定义和逻辑的统一；对于在不同系统间、不同数据源对象中、相同的数据元，通过系统间数据集成的方式，实现权威数据源系统的数据向其他数据源系统数据值的强制统一；

数据服务提供模块，用于提供数据资产管理服务；具体用于：将数据资产分类列出供查询；提供订阅的内容包括：数据资产内容的变更信息、数据规则和制度的发布与更新、数据相关的重要活动与事件；提供应用程序编程接口，为其他系统提供有关数据资产的信息；

数据处理机制建立模块，用于建立闭环的数据处理机制；具体用于持续提升数据质量：S51.元数据动态监控：根据预设的规则，持续采集数据库表中的元数据，并与标识后的初始状态元数据进行对比，自动发现元数据状态的变化，给出报告和预警提示；S52.数据质量动态监控：根据预设的频率和预设的数据质量监控规则，对目标数据源中的数据自动进行数据质量检查，并生成检查结果；S53.数据质量持续检查与改进：基于对数据质量的检查结果，通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据质量改善；S54.数据安全持续检查与改进：基于设定的企业数据安全策略，通过数据安全检查、审计，发现数据安全问题，针对发现的问题通过问题认领、分析、制定改善措施、改善责任落实、改善效果验证的方式实现闭环的数据安全改善；S55.数据标准检核：基于企业制定的各项数据标准，通过数据检核的方式对新建应用系统和改造应用系统在方案设计审查、系统上线审核的阶段查证应用系统对于企业数据标准的遵从性，从而实现企业数据标准的闭环处理；

数据变化跟踪模块，用于全生命周期跟踪数据变化；具体用于：从数据需求、数据平台与处理系统设计和开发、数据运维、数据退役的全生命周期记录数据履历，支撑数据全生存周期处理；以全生命周期各阶段的数据源对象为识别索引，结合系统的动态元数据处理功能，以追溯任一数据源对象从需求到设计、开发、上线、直到退役的全部过程信息，从而实现数据全生命周期履历的追溯；

数据编织模块，用于实现数据编织，深入支撑数据应用；具体用于：基于经过标识的企业数据资产，通过数据源对象筛查、对象数据元筛查、数据元分析、数据编配、数据编织案例库功能，根据企业数据分析挖掘的要求，发掘可用的数据资源，支撑分析人员通过数据编织完成复杂的数据分析任务；

全方位数据支撑模块，用于全方位支撑企业的数据处理活动；具体用于：S81.支撑数据战略，从企业数据战略的规划、实施、评价，企业数据治理体系的职责、制度、活动、沟通各个方面，记录相关重要信息，支撑企业数据处理体系的全过程运行；其中，以数据战略实施主体、实施时间、愿景、数据管理目标、责任单位为核心，记录企业数据战略；S82.支撑数据处理体系，记录企业数据处理机构的单位与职责、数据处理工作涉及的所有组织和人员的具体职责、数据处理相关的制度文档、处理活动、沟通记录，以支撑企业数据管理体系的运行。