CN116932632A - 一种数据资产管理和可视化的方法和系统 - Google Patents

Abstract

本发明公开一种数据资产管理和可视化的方法和系统，自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包括数据基础信息、数据动态信息、数据安全信息和数据价值信息；然后依次进行数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息。本发明收集到全面的数据资产相关信息，对数据资产和数据资产的相关信息进行全面的可视化分析和展示，方便地估算数据资产的价值。

Description

一种数据资产管理和可视化的方法和系统

技术领域

本发明涉及数据管理技术，具体涉及一种数据资产管理和可视化的方法和系统。

背景技术

目前，大数据存储技术、ETL和调度、数据质量管理、数据安全管理、即席分析和查询、数据API服务等大数据技术都发展的相对成熟，行业中已有成熟的解决方案、平台和系统。各行各业都已经认知到数据的价值。许多的企业和政府机构都已经建立起了自己的大数据平台，大数据平台集成了前述大数据相关技术和管理功能，实现了大数据的存储、计算和分析，使得数据能够准确、安全、方便的被使用，这一步实现了数据的系统化管理、分析和应用。在数据系统化的基础上，进一步地，随着海量数据的汇聚和使用，我们又开始思考，我们拥有哪些数据，这些数据除了目前的应用，还能扩展到其它应用吗？这个问题的核心其实是数据的价值，数据资产管理的本质就是为了解决数据价值化的问题。

当前，常见数据资产管理主要实现了数据资产收集、数据资产分类、可按照分类查看相关数据资产、可根据关键字检索数据资产。

当前存在的问题有：1)资产信息收集不全：当前数据资产管理系统中主要收集的是数据资产的基本信息，如：数据表、字段、所属系统、创建日期、创建人等，而数据在不断地产生和变化，数据的数据质量、更新状态等信息也是随之而不断变化的，且这些信息影响着数据资产能否被使用或应用，影响着数据资产的价值。较完整的数据资产信息应包括：数据基本信息、数据安全信息、数据动态信息(如：数据质量、数据更新频率或速度、数据血缘、数据使用量等)、资产价值信息(价值、成本)。2)由于资产信息收集不全，因此在资产展示时也未能一目了然的将数据资产的相关信息都展示给用户；另外目前数据资产展示方式较为单一，使用者只能按照分类或关键词检索，相当于只提供了一个数据查询功能，不能让使用者更加直观、便捷地查看到资产概况，了解资产详细情况。3)缺乏资产价值管理功能。价值是数据作为资产进行管理的核心，数据资产价值管理是数据资产管理的核心功能。

因此，需要设计一种更加完善的数据资产管理的技术方案和可视化方法，能够为用户提供完善的数据资产信息，让客户能够直观了解数据资产的基本情况和动态信息，解决资产信息收集不全、缺乏资产价值管理和数据资产展示不直观等问题。

发明内容

发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种数据资产管理和可视化的方法和系统，不仅能够对数据进行归档、目录管理，更重在评估数据真实价值，充分考虑了数据的基础信息、动态信息(含数据规模、数据质量、数据应用等情况)、安全信息、价值信息；同时提供方便直观的数据资产展示方法以及相应的系统。

技术方案：本发明的一种数据资产管理和可视化的方法，其特征在于，包括以下步骤：

步骤S1、自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包括数据基础信息、数据动态信息、数据安全信息和数据价值信息；

所述数据基础信息是指数据和数据本身的属性信息；所述数据动态信息是指数据在产生、存储、使用中的会动态变化的信息；所述数据安全信息是指与数据安全相关的信息；所述数据价值信息是指描述数据成本和价值的相关信息；

步骤S2、数据资产管理，依次包括数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；

所述数据资产信息管理：为保证数据资产信息的准确信，收集到的所有信息进行人工审核和确认，如果有遗漏、缺失或者错误，要进行人工处理；数据资产目录管理是指收集到的数据资产要进行按目录分类；所述数据资产标签管理是指将数据资产标签分为公共标签和用户标签，公共标签可以作为一个数据资产的唯一身份标识，公共标签的建立、修改和删除需要由数据资产标签管理员进行审核，审核通过后方能执行相应的操作；所述数据资产价值管理是指对数据资产的成本和价值相关的信息进行管理，分为成本管理和价值管理；

步骤S3、数据资产可视化，包括使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息；

站在应用的角度将数据资产及其相关信息直观地展示在用户面前，让用户能够一目了然地、便捷地了解和掌握数据资产情况；；

进一步地，所述步骤S1的数据资产信息具体如下：

所述数据基础信息包括数据表和字段、所属系统、创建日期、创建者、数据血缘信息，数据基础信息存储于数据库，其可自动从元数据中获取；

所述数据动态信息包括数据规模、数据更新速度、数据质量情况(数据质量级别)、数据应用情况；从大数据存储平台、调度平台、数据质量平台中自动获取数据动态信息；

所述数据安全信息包括数据安全分级、数据脱敏情况、数据审批情况、数据使用监测信息；从数据安全管理平台中自动获取数据安全信息；

所述数据价值信息包括采集成本、开发成本、存储成本、维护成本信息。

进一步地，所述步骤S2中数据资产目录管理时，首先建立目录体系，目录体系的建立根据具体应用要求进行建立；目录体系建立好之后，将所有的数据资产进行梳理，对应到相应的目录之下。

进一步地，所述步骤S2中数据资产标签管理过程中，用户标签由用户根据自己的使用需求自行定义，用户标签只有用户自己看得到，用户标签便于用户根据自己的需要对资产进行分类和标识。

进一步地，所述步骤S2数据资产价值管理中的数据资产成本管理是对数据资产的采集成本、开发成本、存储成本、维护成本进行管理；采集成本、开发成本和维护成本都可以用数据在采集、开发或维护时所投入的人力和物力进行估算。存储成本则可以按照占用的存储空间和存储介质的价格进行估算；数据资产成本＝采集成本+开发成本+存储成本+维护成本；

另外，数据资产价值管理时，首先对数据资产的价值进行评估，把价值数字化后才能便于应用。数据资产的价值可以用数据资产成本和数据资产的附加价值进行衡量。数据资产的附加价值是指数据资产能给拥有者带来的价值的大小。数据资产的附加价值使用专家打分法进行估算。影响数据资产附加价值的因素多而复杂，比如数据量、数据质量等，而且各因素的重要性也在实时变化，使用数学模型或算法进行定价，可能会得到一个很复杂的模型而且而且最终模型估算出来的价格可能会无法解释，不能投入使用。为了便捷定价和实际应用，使用专家打分法估算数据资产的附加价值是一种较为合适的方法。

进一步地，所述步骤S3数据资产可视化具体包括以下内容：

1)数据资产总览：使用仪表盘的形式，全面展示数据资产的概况。包括：数据资产总量(数据表数量、标签数量、总数据量、存储空间使用量)、数据资产使用率(被使用的数据资产数量在数据资产总量中的占比)、各目录下的数据资产数量(数据表数量、标签数量、总数据量、存储空间使用量)、数据质量情况(数据质量优的数据资产在数据资产总量中的占比)、使用较多的数据资产排名、每月新增的数据资产数量、数据资产成本总量、数据资产价值总量、高成本低使用率的数据资产排名、高价值低使用率的数据资产排名等。

2)全链路数据地图：图表和动画结合展示全链路数据资产动态信息，直观地呈现数据资产的动态信息以及数据资产的前后血缘关系。数据资产的动态信息指数据规模、数据更新速度、数据质量情况和数据使用率。数据资产的前后血缘关系指数据资产的前一步来源和后一步去向。

3)数据资产检索：可以按照目录检索，或按照关键词检索到具体的数据资产，并查看数据资产详情。

4)数据资产详情：可查看某一具体数据资产的详细信息，包括数据基础信息、数据动态信息、数据安全信息、数据价值信息。

本发明还公开一种用于实现数据资产管理和可视化的方法的系统，包括数据资产信息收集模块、数据资产管理模块和数据资产可视化模块；

所述数据资产信息收集模块用于实现数据资产的数据基础信息、数据动态信息、数据安全信息和数据价值信息的收集和存储。经过配置后，数据资产信息收集模块自动与数据资产的存储系统、数据调度平台、数据质量平台、数据安全平台等系统进行连接，可以通过接口、读取元数据文件等形式获取到相关的数据资产信息；所述数据资产管理模块，用于实现数据资产的信息管理、数据资产标签管理、资产目录管理、资产价值管理；数据资产可视化模块支持对数据资产及其相关信息进行可视化展示。

进一步地，所述数据资产管理模块包括：

数据资产信息管理，对数据资产信息收集模块收集到的数据资产的全部信息进行审核和确认，支持对错误信息进行修改，对确实信息进行补充，对无效或无用信息进行删除；

数据资产目录管理，首先支持用户按照自己的业务需求建立数据资产目录，支持创建多级目录，并进行目录的修改和删除；其次，支持将数据资产归集到相应的目录下，遵循“应归尽归”的原则，所有的数据资产应该根据业务和应用进行分类，归属到相应的数据资产目录下；

数据资产标签管理，用于管理资产的公共标签和用户标签。优选地，数据资产公共标签用于公共标签的建立、修改和删除，但所有操作需要由数据资产标签管理员进行审核，审核通过后相应的操作才能完成；数据资产用户标签管理，支持用户定义属于用户自己的数据资产用户标签，并进行修改和删除；

数据资产价值管理，支持对数据资产进行成本管理和价值管理。优选地，数据资产成本管理，用于配置和维护数据资产的采集成本、开发成本、存储成本和维护成本，支持人工填写或者批量导入；数据资产价值管理，包括数据资产附加价值配置、数据资产价值规则管理；其中，数据资产附加价值配置功能用于配置数据资产的附加价值，数据资产的附加价值可以由专家打分法进行估算；数据资产价值规则管理，提供数据资产价值计算规则的权重配置功能，数据资产价值管理提供数据资产价值计算的默认规则：数据资产价值＝(采集成本+开发成本+存储成本+维护成本)×数据资产成本权重+数据资产附加价值×数据质量权重×数据量权重，用户可以配置和修改默认规则中的数据资产成本权重、数据质量权重、数据量权重，每一个数据资产的上述三个权重可以不同。

进一步地，数据资产可视化模块包括数据资产总览仪表盘、全链路数据地图、数据资产目录和检索、数据资产详情列表。

有益效果：与现有技术相比，本发明具有以下优点：

1)收集到全面的数据资产相关信息，包括数据资产的数据基础信息、数据动态信息、数据安全信息和数据价值信息。

2)对数据资产和数据资产的相关信息进行全面的可视化分析和展示，用户可以直观地了解数据资产的宏观情况、数据资产的详细信息、数据资产的动态信息以及数据资产的血缘关系。

3)提供了一种实用的易于操作的数据资产价值管理的方法和系统，可以方便地估算数据资产的价值。

附图说明

图1为本发明的整体流程示意图；

图2为本发明的系统框架示意图。

具体实施方式

下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。

如图1所示，本发明的一种数据资产管理和可视化的方法，包括以下步骤：

步骤S1、自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包括数据基础信息、数据动态信息、数据安全信息和数据价值信息；

所述数据基础信息是指数据和数据本身的属性信息；所述数据动态信息是指数据在产生、存储、使用中的会动态变化的信息；所述数据安全信息是指与数据安全相关的信息；所述数据价值信息是指描述数据成本和价值的相关信息；

步骤S2、数据资产管理，依次包括数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；

所述数据资产信息管理是指收集到的所有信息进行人工审核和确认，如果有误则进行人工处理；数据资产目录管理是指收集到的数据资产要进行按目录分类；所述数据资产标签管理是指将数据资产标签分为公共标签和用户标签，公共标签可以作为一个数据资产的唯一身份标识，公共标签的建立、修改和删除需要由数据资产标签管理员进行审核，审核通过后方能执行相应的操作；所述数据资产价值管理是指对数据资产的成本和价值相关的信息进行管理，分为成本管理和价值管理；

步骤S3、数据资产可视化，包括使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息。

如图2所示，本实施例数据资产管理和可视化的方法的系统，包括数据资产信息收集模块、数据资产管理模块和数据资产可视化模块；所述数据资产信息收集模块用于实现数据资产的数据基础信息、数据动态信息、数据安全信息和数据价值信息的收集和存储；经过配置后，数据资产信息收集模块自动与数据资产的存储系统、数据调度平台、数据质量平台、数据安全平台等系统进行连接，可以通过接口、读取元数据文件等形式获取到相关的数据资产信息；所述数据资产管理模块用于实现数据资产的信息管理、数据资产标签管理、资产目录管理、资产价值管理；数据资产可视化模块实现对数据资产及其相关信息进行可视化展示。

Claims (9)

1.一种数据资产管理和可视化的方法，其特征在于，包括以下步骤：

步骤S1、自动收集数据资产信息以便进而对数据资产进行管理，数据资产信息包括数据基础信息、数据动态信息、数据安全信息和数据价值信息；

所述数据基础信息是指数据和数据本身的属性信息；所述数据动态信息是指数据在产生、存储、使用中的会动态变化的信息；所述数据安全信息是指与数据安全相关的信息；所述数据价值信息是指描述数据成本和价值的相关信息；

步骤S2、数据资产管理，依次包括数据资产信息管理、数据资产目录管理、数据资产标签管理、数据资产价值管理；

所述数据资产信息管理是指收集到的所有信息进行人工审核和确认，如果有误则进行人工处理；数据资产目录管理是指收集到的数据资产要进行按目录分类；所述数据资产标签管理是指将数据资产标签分为公共标签和用户标签，公共标签可以作为一个数据资产的唯一身份标识，公共标签的建立、修改和删除需要由数据资产标签管理员进行审核，审核通过后方能执行相应的操作；所述数据资产价值管理是指对数据资产的成本和价值相关的信息进行管理，分为成本管理和价值管理；

步骤S3、数据资产可视化，包括使用仪表盘形式将数据资产总览，使用图表和动画结合展示全链路数据资产动态信息，按照目录检索数据资产，以及查看某一具体数据资产的详细信息。

2.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S1的数据资产信息具体如下：

所述数据基础信息包括数据表和字段、所属系统、创建日期、创建者、数据血缘信息，数据基础信息存储于数据库，其可自动从元数据中获取；

所述数据动态信息包括数据规模、数据更新速度、数据质量情况、数据应用情况；从大数据存储平台、调度平台、数据质量平台中自动获取数据动态信息；

所述数据安全信息包括数据安全分级、数据脱敏情况、数据审批情况、数据使用监测信息；从数据安全管理平台中自动获取数据安全信息；

所述数据价值信息包括采集成本、开发成本、存储成本、维护成本信息。

3.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S2中数据资产目录管理时，首先建立目录体系，目录体系的建立根据具体应用要求进行建立；目录体系建立好之后，将所有的数据资产进行梳理，对应到相应的目录之下。

4.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S2中数据资产标签管理过程中，用户标签由用户根据自己的使用需求自行定义，用户标签只有用户自己看得到，用户标签便于用户根据自己的需要对资产进行分类和标识。

5.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S2数据资产价值管理中的数据资产成本管理是对数据资产的采集成本、开发成本、存储成本、维护成本进行管理；数据资产成本=采集成本+开发成本+存储成本+维护成本；

另外，数据资产价值管理时，首先对数据资产的价值进行评估，然后对数据资产附加价值进行配置以及对数据资产价值规则进行管理。

6.根据权利要求书1所述的数据资产管理和可视化的方法，其特征在于，所述步骤S3数据资产可视化具体包括以下内容：

数据资产总览包括数据资产总量、数据资产使用率、各目录下的数据资产数量、数据质量情况、使用较多的数据资产排名、每月新增的数据资产数量、数据资产成本总量、数据资产价值总量、高成本低使用率的数据资产排名、高价值低使用率的数据资产排名；

而全链路数据地图中的数据资产的动态信息指数据规模、数据更新速度、数据质量情况和数据使用率；所述数据资产的前后血缘关系指数据资产的前一步来源和后一步去向。

7.一种用于实现权利要求1至6任意一项所述数据资产管理和可视化的方法的系统，其特征在于，包括数据资产信息收集模块、数据资产管理模块和数据资产可视化模块；

所述数据资产信息收集模块用于实现数据资产的数据基础信息、数据动态信息、数据安全信息和数据价值信息的收集和存储；经过配置后，数据资产信息收集模块自动与数据资产的存储系统、数据调度平台、数据质量平台、数据安全平台等系统进行连接，可以通过接口、读取元数据文件等形式获取到相关的数据资产信息；

所述数据资产管理模块用于实现数据资产的信息管理、数据资产标签管理、资产目录管理、资产价值管理；

数据资产可视化模块实现对数据资产及其相关信息进行可视化展示。

8.根据权利要求7所述的数据资产管理和可视化系统，其特征在于，所述数据资产管理模块具体包括以下过程：

（1）、数据资产信息管理是指对数据资产信息收集模块收集到的数据资产的全部信息进行审核和确认，支持对错误信息进行修改，对确实信息进行补充，对无效或无用信息进行删除；

（2）、数据资产目录管理，首先支持用户按照自己的业务需求建立数据资产目录，支持创建多级目录，并进行目录的修改和删除；其次，支持将数据资产归集到相应的目录下；

（3）、数据资产标签管理，用于管理资产的公共标签和用户标签；

（4）、数据资产价值管理支持对数据资产进行成本管理和价值管理。

9.根据权利要求7所述的数据资产管理和可视化系统，其特征在于，数据资产可视化模块包括数据资产总览仪表盘、全链路数据地图、数据资产目录和检索以及数据资产详情列表。