CN117573671A - 基于大数据的企业数据资产分类管理方法和系统 - Google Patents

Abstract

本发明揭露一种基于大数据的企业数据资产分类管理方法和系统，方法包括如下步骤：获取数据资产清单；对所述数据资产清单中的数据资产进行加工形成主题数据；采集所述主题数据的元数据信息；根据所述元数据信息构建数据资产地图。本发明不仅可以通过各个部门快速、高效收集信息，而且提高和统一对部门及IT系统沉淀的数据资产识别方法和意识。通过数据集成把原始业务系统数据集成到数据平台，根据预设数据标记分类建立数据类目体系，更好的识别、查看和分类管理数据资产，帮助企业合理高效评估、规范治理企业数据资产信息，以便更好的开展企业数据价值挖掘。

Description

基于大数据的企业数据资产分类管理方法和系统

技术领域

本发明涉及资产管理技术领域，尤其涉及一种基于大数据的企业数据资产分类管理方法和系统。

背景技术

在当前数字化转型的时代，企业需要更好地利用其数据资源来提高其数字化创新能力和竞争力。随着信息技术和互联网技术的飞速发展，大数据技术已经成为企业数字化转型的重要手段。然而，在数字化转型过程中，通常管理者对公司资产认识依然停留在传统资产定义的基础上，对公司无形的数据资产价值认知缺乏，企业数据资产管理和利用的问题仍然存在。

当今企业生态系统中，数据已成为最重要的战略资源之一，而数据的规模、种类、复杂度和价值也不断增长。但是，企业缺乏对数据资产的细致分类和管理，导致数据流通效率低下，数据价值难以挖掘。传统的数据管理方式已经无法满足企业日益增长的数据管理需求，因此需要一种基于大数据技术的企业数据资产分类管理方法，以帮助企业更好地管理和利用其数据资产。

发明内容

因此，为了克服现有技术的不足之处，本发明提供一种基于大数据的企业数据资产分类管理方法和系统，可以满足企业日益增长的数据管理需求，帮助企业更好地管理和利用其数据资产。

本发明的一种技术方案是，提供一种基于大数据的企业数据资产分类管理方法，包括如下步骤：

获取数据资产清单；

对所述数据资产清单中的数据资产进行加工形成主题数据；

采集所述主题数据的元数据信息；

根据所述元数据信息构建数据资产地图。

进一步，在上述步骤获取数据资产清单中，还包括如下内容：数据资产清单包括应用系统清单、应用系统功能模块清单、数据实体清单。

进一步，在上述步骤对所述数据资产清单中的数据资产进行加工形成主题数据中，还包括如下内容：所述主题数据按照主题分类存储到数据集市。

进一步，在上述步骤对采集所述主题数据的元数据信息中，还包括如下内容：对应用系统、数据模型、关系型数据库、标签、数据服务、Hive元数据信息进行周期性采集。

进一步，还包括如下内容：采集信息包括计划名称、适配器类型、元模型、采集策略、调度信息、计划描述。

本发明的另一种技术方案是，提供一种基于大数据的企业数据资产分类管理系统，包括：

清单模块，用于获取数据资产清单；

数据加工模块，用于对所述数据资产清单中的数据资产进行加工形成主题数据；

元数据管理模块，用于采集所述主题数据的元数据信息；

数据资产地图模块，根据所述元数据信息构建数据资产地图。

进一步，所述清单模块包括：数据资产清单包括应用系统清单、应用系统功能模块清单、数据实体清单。

进一步，所述数据加工模块包括：所述主题数据按照主题分类存储到数据集市。

进一步，所述元数据管理模块包括：对应用系统、数据模型、关系型数据库、标签、数据服务、Hive元数据信息进行周期性采集。

进一步，采集信息包括计划名称、适配器类型、元模型、采集策略、调度信息、计划描述。

本发明不仅可以通过各个部门快速、高效收集信息，而且提高和统一对部门及IT系统沉淀的数据资产识别方法和意识。通过数据集成把原始业务系统数据集成到数据平台，根据预设数据标记分类建立数据类目体系，更好的识别、查看和分类管理数据资产，帮助企业合理高效评估、规范治理企业数据资产信息，以便更好的开展企业数据价值挖掘。

附图说明

图1是本发明中基于大数据的企业数据资产分类管理方法的流程图。

图2是本发明中基于大数据的企业数据资产分类管理系统的原理方框示意图。

具体实施方式

为充分了解本发明之目的、特征及功效，兹藉由下述具体之试验例，并配合所附之图式，对本发明做一详细说明，说明如后。

一、本发明提供一种基于大数据的企业数据资产分类管理方法，请参见图1所示，具体包括如下步骤。

100.获取数据资产清单；

200.对所述数据资产清单中的数据资产进行加工形成主题数据；

300.采集所述主题数据的元数据信息；

400.根据所述元数据信息构建数据资产地图。

本发明中，在上述步骤100中，获取数据资产清单。还包括如下内容：通过企业内部线下或线上发起数据盘点问卷形式收集数据资产信息，分别进行应用系统、应用系统功能模块、应用系统数据实体等信息盘点，获取应用系统清单、应用系统功能模块清单、数据实体清单，形成数据资产清单。

这种方法不仅可以通过各个部门快速、高效收集信息，而且提高和统一对部门及IT系统沉淀的数据资产识别方法和意识。

例如，定制应用系统盘点问卷包括的内容可以是：盘点部门、应用系统名称、用户名称、为用户解决什么问题、为用户创造什么价值、目前使用中存在什么问题等。定制功能模块盘点问卷包括的内容可以是：盘点部门、应用系统名称、一级模块、二级模块、模块功能介绍、该模块为用户解决什么问题、依赖其他系统名称等。定制数据实体盘点问卷包括的内容可以是：盘点部门、应用系统名称、数据实体名称、创建、查询、编辑、删除等。

通过以上模板可以收集到业务交易或事项产生数据的人或组织，包括生产者、使用者、维护者等关键角色，可通过这些数据确认数据的拥有者或控制者。

本发明中，在上述步骤200中，对所述数据资产清单中的数据资产进行加工形成主题数据。通过对资产清单的梳理分析，采集对应业务系统相关原始数据。通过数据同步、数据清洗等数据加工过程得到相应主题数据，将这类主题数据同步至数据集市中形成主题库。包括以下流程：

通过大数据平台的数据集成能力，根据收集、分析、整理的治理数据资产清单，把对应业务系统相应的数据库、表数据采集同步至大数据平台。

通过大数据平台的数据开发能力，对同步过来的原始数据资产进行加载、清洗、转换等处理，初步按主题进行分类，把相应整理好的主题数据推送至数据集市中，以便进一步的分析使用。

本发明中，在上述步骤300中，采集所述主题数据的元数据信息。通过元数据管理实现数据血缘追溯、数据生命周期分析；元数据管理包括元数据采集、元数据目录和元数据维护。对数据加工过程涉及的系统应用信息、数据库信息、表信息、字段信息以及自定义采集元信息，通过这些信息关联可以实现数据血缘追溯、数据生命周期分析。

作为步骤300的具体实施，包括以下流程：

301.元数据采集，添加元数据采集计划，采集S300步骤中数据资产清单对应的数据库表元信息。采集计划信息包括计划名称、适配器类型、元模型、采集策略、调度信息、计划描述等信息。

可根据数据库元信息查询，通过自定义SQL的API服务收集数据库元信息SQL如下：

302.元数据目录，通过周期性的执行元数据采集计划，得到对应元数据目录信息，既数据资产目录，在此可以看到所有资产信息，包括元模型信息、基本信息和应用系统信息等。基本信息包括数据库类型、版本、schema、表、触发器、视图、存储过程等。

303.元数据维护，通过元数据维护功能，将数据资产信息作为元数据，对元数据进行维护管理，在元数据目录下进行查询、管理元模型与其明细资产信息的关联关系。资产列表信息包括名称、类名称、类别、采集计划、创建时间等。可进行添加关系，解除关系操作。

304.数据血缘关系分析，通过点击元数据详情可查看数据血缘关系，数据全生命周期的分析。

本发明中，在上述步骤400中，根据所述元数据信息构建数据资产地图。构建数据资产地图，通过数据集成把原始业务系统数据集成到数据平台，根据预设数据标记分类建立数据类目体系，更好的识别、查看和分类管理数据资产，帮助企业合理高效评估、规范治理企业数据资产信息，以便更好的开展企业数据价值挖掘。包括以下流程：

401.通过建立数据标签类目体系，借助大数据平台的数据资产地图以及数据资产服务的能力，对数据进行标签化处理，以便更好的对数据资产进行分类管理。数据表签体系包括数据分类、数据安全、存储方式、数据场景、数据格式、数据规模。数据分类包括主数据、基础数据、事务数据、报告数据、规则数据、观测数据、元数据、其他实体数据。数据安全包括绝密数据、机密数据、核心数据、敏感数据、受控数据、一般数据。存储方式包括关系型数据库、NOSQL、大数据、文件系统、OSS、NAS、FTP、SVN。数据场景包括一方场景、二方场景、三方场景。数据格式包括结构化数据、半结构化数据、非结构化数据。数据规模包括数据行数、数据存量、数据更新频率，数据行数包括1-10000，1万-10万，10万-100万，100万-1000万，1000万-1亿，1亿以上。数据存储包括KB、MB、GB、PB、MB。数据更新频率包括日活、月活、周活、年活、静态数据。

402.通过大数据平台的数据标签服务能力，根据建立标签类目体系对数据进行打标签。对应用系统数据库信息评估打上对应数据规模类型标签，例如，所属部门、应用系统名称、数据库类型、数据库实例名、数据行数、数据规模、数据量级。对应用系统数据库表信息评估打上对应数据规模类型标签，例如，所属部门、应用系统名称、数据库类型、数据库实例名、表名、数据行数、数据规模、数据量级。对应用数据实体信息评估打上对应数据规模类型标签，例如，所属部门、应用系统名称、实体表名、数据类型、安全分级、数据Owner、数据格式、数据场景。

403.通过大数据平台的数据地图、数据概览能力，汇总企业各类元数据，以资产目录方式来组织和管理数据，可以快速找到自己想要的数据。让找数据、看数据、用数据更方便高效。

在本发明中，还包括步骤500，数据资产应用，根据数据主题分类，通过数据服务提供相关主题的API服务，方便企业内部应用更好的集成和使用数据资产数据。通过数据服务共享能力对外提供开放API接口服务，以便数据资产信息更好的在企业内部流通共享，实现数据资产管理的可信、可用的价值。

本发明通过企业内部线下或线上发起数据盘点问卷形式收集数据资产信息，包括应用系统清单、功能模块清单、数据实体清单等，最终形成数据资产清单，这种方法不仅可以通过各个部门快速、高效收集信息，而且提高和统一对部门及IT系统沉淀的数据资产识别方法和意识。通过数据集成把原始业务系统数据集成到数据平台，根据预设数据标记分类建立数据类目体系，更好的识别、查看和分类管理数据资产，帮助企业合理高效评估、规范治理企业数据资产信息，以便更好的开展企业数据价值挖掘。通过数据服务共享能力对外提供开放API接口服务，以便数据资产信息更好的在企业内部流通共享，实现数据资产管理的可信、可用的价值。

二、本发明提供一种基于大数据的企业数据资产分类管理系统，请参见图2所示，包括清单模块21、数据加工模块22、元数据管理模块23、数据资产地图模块24。

清单模块21，用于获取数据资产清单；

数据加工模块22，用于对数据资产清单中的数据资产进行加工形成主题数据；

元数据管理模块23，用于采集主题数据的元数据信息；

数据资产地图模块24，根据元数据信息构建数据资产地图。

本实施例中，清单模块21包括：数据资产清单包括应用系统清单、应用系统功能模块清单、数据实体清单。

通过企业内部线下或线上发起数据盘点问卷形式收集数据资产信息，分别进行应用系统、应用系统功能模块、应用系统数据实体等信息盘点，获取应用系统清单、应用系统功能模块清单、数据实体清单，形成数据资产清单。

这种方法不仅可以通过各个部门快速、高效收集信息，而且提高和统一对部门及IT系统沉淀的数据资产识别方法和意识。

例如，定制应用系统盘点问卷包括的内容可以是：盘点部门、应用系统名称、用户名称、为用户解决什么问题、为用户创造什么价值、目前使用中存在什么问题等。定制功能模块盘点问卷包括的内容可以是：盘点部门、应用系统名称、一级模块、二级模块、模块功能介绍、该模块为用户解决什么问题、依赖其他系统名称等。定制数据实体盘点问卷包括的内容可以是：盘点部门、应用系统名称、数据实体名称、创建、查询、编辑、删除等。

通过以上模板可以收集到业务交易或事项产生数据的人或组织，包括生产者、使用者、维护者等关键角色，可通过这些数据确认数据的拥有者或控制者。

本实施例中，数据加工模块22包括：主题数据按照主题分类存储到数据集市。对数据资产清单中的数据资产进行加工形成主题数据。通过对资产清单的梳理分析，采集对应业务系统相关原始数据。通过数据同步、数据清洗等数据加工过程得到相应主题数据，将这类主题数据同步至数据集市中形成主题库。包括以下流程：

通过大数据平台的数据集成能力，根据收集、分析、整理的治理数据资产清单，把对应业务系统相应的数据库、表数据采集同步至大数据平台。

通过大数据平台的数据开发能力，对同步过来的原始数据资产进行加载、清洗、转换等处理，初步按主题进行分类，把相应整理好的主题数据推送至数据集市中，以便进一步的分析使用。

本实施例中，元数据管理模块23包括：对应用系统、数据模型、关系型数据库、标签、数据服务、Hive元数据信息进行周期性采集。通过元数据管理实现数据血缘追溯、数据生命周期分析；元数据管理包括元数据采集、元数据目录和元数据维护。对数据加工过程涉及的系统应用信息、数据库信息、表信息、字段信息以及自定义采集元信息，通过这些信息关联可以实现数据血缘追溯、数据生命周期分析。包括以下流程：

元数据采集，添加元数据采集计划，采集S300步骤中数据资产清单对应的数据库表元信息。采集计划信息包括计划名称、适配器类型、元模型、采集策略、调度信息、计划描述等信息。

元数据目录，通过周期性的执行元数据采集计划，得到对应元数据目录信息，既数据资产目录，在此可以看到所有资产信息，包括元模型信息、基本信息和应用系统信息等。基本信息包括数据库类型、版本、schema、表、触发器、视图、存储过程等。

元数据维护，通过元数据维护功能，将数据资产信息作为元数据，对元数据进行维护管理，在元数据目录下进行查询、管理元模型与其明细资产信息的关联关系。资产列表信息包括名称、类名称、类别、采集计划、创建时间等。可进行添加关系，解除关系操作。

数据血缘关系分析，通过点击元数据详情可查看数据血缘关系，数据全生命周期的分析。

本实施例中，数据资产地图模块24构建数据资产地图，通过数据集成把原始业务系统数据集成到数据平台，根据预设数据标记分类建立数据类目体系，更好的识别、查看和分类管理数据资产，帮助企业合理高效评估、规范治理企业数据资产信息，以便更好的开展企业数据价值挖掘。包括以下流程：

通过建立数据标签类目体系，借助大数据平台的数据资产地图以及数据资产服务的能力，对数据进行标签化处理，以便更好的对数据资产进行分类管理。数据表签体系包括数据分类、数据安全、存储方式、数据场景、数据格式、数据规模。数据分类包括主数据、基础数据、事务数据、报告数据、规则数据、观测数据、元数据、其他实体数据。数据安全包括绝密数据、机密数据、核心数据、敏感数据、受控数据、一般数据。存储方式包括关系型数据库、NOSQL、大数据、文件系统、OSS、NAS、FTP、SVN。数据场景包括一方场景、二方场景、三方场景。数据格式包括结构化数据、半结构化数据、非结构化数据。数据规模包括数据行数、数据存量、数据更新频率，数据行数包括1-10000，1万-10万，10万-100万，100万-1000万，1000万-1亿，1亿以上。数据存储包括KB、MB、GB、PB、MB。数据更新频率包括日活、月活、周活、年活、静态数据。

通过大数据平台的数据标签服务能力，根据建立标签类目体系对数据进行打标签。对应用系统数据库信息评估打上对应数据规模类型标签，例如，所属部门、应用系统名称、数据库类型、数据库实例名、数据行数、数据规模、数据量级。对应用系统数据库表信息评估打上对应数据规模类型标签，例如，所属部门、应用系统名称、数据库类型、数据库实例名、表名、数据行数、数据规模、数据量级。对应用数据实体信息评估打上对应数据规模类型标签，例如，所属部门、应用系统名称、实体表名、数据类型、安全分级、数据Owner、数据格式、数据场景。

通过大数据平台的数据地图、数据概览能力，汇总企业各类元数据，以资产目录方式来组织和管理数据，可以快速找到自己想要的数据。让找数据、看数据、用数据更方便高效。

本实施例中，数据资产应用，根据数据主题分类，通过数据服务提供相关主题的API服务，方便企业内部应用更好的集成和使用数据资产数据。通过数据服务共享能力对外提供开放API接口服务，以便数据资产信息更好的在企业内部流通共享，实现数据资产管理的可信、可用的价值。

以上通过附图和优选实施例对本发明进行了详细的说明和展示，使本领域专业技术人员能够实现或使用本申请，可以在不脱离本发明的原理和精神的情况下进行对这些实施例进行多种变化、修改、替换和变种，可以结合上述不同实施例中的方法和技术得到本发明更多的实施例，这些实施例也在本发明的保护范围之内。

Claims (10)

1.一种基于大数据的企业数据资产分类管理方法，其特征在于，包括如下步骤：

获取数据资产清单；

对所述数据资产清单中的数据资产进行加工形成主题数据；

采集所述主题数据的元数据信息；

根据所述元数据信息构建数据资产地图。

2.根据权利要求1所述的方法，其特征在于，在上述步骤获取数据资产清单中，还包括如下内容：数据资产清单包括应用系统清单、应用系统功能模块清单、数据实体清单。

3.根据权利要求1所述的方法，其特征在于，在上述步骤对所述数据资产清单中的数据资产进行加工形成主题数据中，还包括如下内容：所述主题数据按照主题分类存储到数据集市。

4.根据权利要求1所述的方法，其特征在于，在上述步骤对采集所述主题数据的元数据信息中，还包括如下内容：对应用系统、数据模型、关系型数据库、标签、数据服务、Hive元数据信息进行周期性采集。

5.根据权利要求4所述的方法，其特征在于，还包括如下内容：采集信息包括计划名称、适配器类型、元模型、采集策略、调度信息、计划描述。

6.一种基于大数据的企业数据资产分类管理系统，其特征在于，包括：

清单模块，用于获取数据资产清单；

数据加工模块，用于对所述数据资产清单中的数据资产进行加工形成主题数据；

元数据管理模块，用于采集所述主题数据的元数据信息；

数据资产地图模块，根据所述元数据信息构建数据资产地图。

7.根据权利要求6所述的系统，其特征在于，所述清单模块包括：数据资产清单包括应用系统清单、应用系统功能模块清单、数据实体清单。

8.根据权利要求6所述的系统，其特征在于，所述数据加工模块包括：所述主题数据按照主题分类存储到数据集市。

9.根据权利要求6所述的系统，其特征在于，所述元数据管理模块包括：对应用系统、数据模型、关系型数据库、标签、数据服务、Hive元数据信息进行周期性采集。

10.根据权利要求9所述的系统，其特征在于，还包括：采集信息包括计划名称、适配器类型、元模型、采集策略、调度信息、计划描述。