CN116186640B - 企业数据治理的迭代优化方法及系统 - Google Patents

Abstract

本发明属于数据治理技术领域，具体涉及企业数据治理的迭代优化方法及系统。所述方法包括：步骤1：进行数据治理的过程记录，具体包括：记录每一次数据治理过程中每一步操作，及其对应的数据特征和数据结构特征，得到操作、数据特征和数据结构特征的映射集合；步骤2：对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合，得到同一操作对应的多数据特征和多数据结构特征的多映射集合；步骤3：进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值。本发明通过对每次数据治理过程中的操作、数据特征和数据结构特征的记录和映射，实现了数据治理迭代优化，提升了数据治理的效率。

Description

企业数据治理的迭代优化方法及系统

技术领域

本发明属于数据治理技术领域，具体涉及企业数据治理的迭代优化方法及系统。

背景技术

数据治理(Data Governance)是组织中涉及数据使用的一整套管理行为。由企业数据治理部门发起并推行，关于如何制定和实施针对整个企业内部数据的商业应用和技术管理的一系列政策和流程。

国际数据管理协会(DAMA)给出的定义：数据治理是对数据资产管理行使权力和控制的活动集合。

国际数据治理研究所(DGI)给出的定义：数据治理是一个通过一系列信息相关的过程来实现决策权和职责分工的系统，这些过程按照达成共识的模型来执行，该模型描述了谁(Who)能根据什么信息，在什么时间(When)和情况(Where)下，用什么方法(How)，采取什么行动(What)。

数据治理的最终目标是提升数据的价值，数据治理非常必要，是企业实现数字战略的基础，它是一个管理体系，包括组织、制度、流程、工具。

在数据治理的过程中，往往会因为企业数据量巨大，而需要耗费大量的数据资源进行数据处理。而同一企业的数据资源在不同时期可能存在数据信息本身的不同，但在数据格式，数据特征上，保留着一定的相似性。

而在不同企业的数据中，虽然企业的数据格式，数据特征和数据本身均存在较大的差异，但数据治理中的数据处理的过程也存在部分的操作相似性。

现有技术中，针对每一次数据治理，均需要重复进行处理，不仅造成系统资源的浪费，更使得数据治理的效率降低。因此，如若能够针对企业数据治理过程知识的留存和转移，通过平台实现数据治理过程中的思路的采集和加工，转化成未来延续数据治理的相关思路，辅助企业自主继续开展数据治理工作，则能够以较高效率持续性解决数据质量问题。

发明内容

本发明的主要目的在于提供企业数据治理的迭代优化方法及系统，本发明通过对每次数据治理过程中的操作、数据特征和数据结构特征的记录和映射，实现了数据治理迭代优化，提升了数据治理的效率。

为达到上述目的，本发明的技术方案是这样实现的：

一方面，提供了一种企业数据治理的迭代优化方法，所述方法包括：

步骤1：进行数据治理的过程记录，具体包括：记录每一次数据治理过程中每一步操作，及其对应的数据特征和数据结构特征，得到操作、数据特征和数据结构特征的映射集合；

步骤2：对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合，得到同一操作对应的多数据特征和多数据结构特征的多映射集合；

步骤3：进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值；

步骤4：基于得到的多映射集合的矩阵特征值，计算每一次数据治理过程对应的矩阵特征值的集合，并基于每一次数据治理过程中开始前，其数据整体特征和数据整体结构特征，得到矩阵特征值的集合，数据整体特征和数据整体结构特征的整体映射集合；

步骤5：对待执行的数据治理进行数据整体特征和数据整体结构特征进行提取，基于提取到的数据整体特征和数据整体结构特征，找到契合度最高的矩阵特征值的集合，进而依次得到对应的多映射集合和映射集合，使用映射集合对应的操作，对待执行的数据治理进行操作，完成本次数据治理。

进一步的，所述步骤1中得到操作、数据特征和数据结构特征的映射集合的方法包括：将单次数据处理过程按照执行的操作，拆解成多个步骤，记录每个步骤对应下的操作、数据特征和数据结构特征；为每个不同的操作赋予不同的编码值作为该操作的主键；为每个数据特征赋予不同的编码值作为该数据特征的主键；为每个数据结构特征赋予不同的编码值作为该数据结构特征的主键；将每个相对应的操作的编码值、每个数据特征编码值和每个数据结构特征的编码值进行关联，构成映射集合。

进一步的，所述操作的编码值、数据特征的编码值和数据结构特征的编码值为十进制数值，且满足以下约束关系：其中，OP为操作的编码值；DA为数据特征的编码值；OB为数据结特征的编码值。

进一步的，所述步骤2中对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合的方法包括：将操作相同而数据特征或数据结构特征不同的记录进行关联，得到以下结构的多映射集合：

进一步的，所述步骤3中进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值的方法包括：将多映射结合中数据特征和数据结构特征组成的映射视为一个嵌套矩阵，从内到外依次求取嵌套矩阵的行列式的值：在求取嵌套矩阵中的最外层矩阵的秩/>在求取嵌套矩阵的行列式的值和最外层矩阵的秩时，对于其中矩阵行列值不匹配时，使用零值进行补齐；将行列式的值和矩阵的秩作为多映射集合的矩阵特征值。

进一步的，所述矩阵特征值的契合度的计算方法为：计算每个矩阵特征值的行列式值得差值和最外层矩阵的秩的差值；基于计算出的行列式的差值与最外层矩阵的秩的差值来计算契合度。

进一步的，所述基于计算出的行列式的差值与最外层矩阵的秩的差值来计算契合度的方法包括：使用如下公式计算得到契合度：Simi＝-(diff-lg(|diff(rank)|))；其中，diff为行列式的差值，diff(rank)为最外层矩阵的秩的差值；Simi为契合度。

进一步的，所述方法还包括：当计算出的最高的契合度低于设定的阈值，则对待执行的数据治理执行标准数据治理过程，并在完成标准数据治理过程中执行步骤1到步骤4。

进一步的，所述标准数据治理过程为针对企业数据治理的标准流程；所述数据特征为数据的数值特征；所述数据结构特征为数据的存储结构特征。

另一方面，提供了执行上述任一方法的企业数据治理的迭代优化系统。

本发明的企业数据治理的迭代优化方法及系统，具有如下有益效果：

1.实现了数据治理的迭代优化：本发明能够针对每一次数据治理过程中的经验，对数据治理过程进行迭代优化；针对企业数据治理过程知识的留存和转移，通过平台实现数据治理过程中的思路的采集和加工，转化成未来延续数据治理的相关思路，辅助企业自主继续开展数据治理工作，能够以较高效率持续性解决数据质量问题。

2.效率更高：本发明通过将每一次数据治理中的操作、数据特征和数据结构特征进行了记录，根据记录的结果，对后续的每一次数据处理过程中进行判断，若数据特征或数据结构特征满足判断结果，则可以直接调用操作，大幅度提升了数据治理的效率，实现了数据治理的自动化。

附图说明

图1为本发明实施例提供的企业数据治理的迭代优化方法的方法流程示意图；

图2为本发明实施例提供的企业数据治理的迭代优化方法中在步骤1中操作、数据特征和数据结构特征的映射结构示意图；

图3为本发明实施例提供的企业数据治理的迭代优化方法中在步骤2中同一操作对应的多数据特征和多数据结构特征的多映射结构示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

实施例1

如图1、图2和图3所示，企业数据治理的迭代优化方法，所述方法包括：

步骤1：进行数据治理的过程记录，具体包括：记录每一次数据治理过程中每一步操作，及其对应的数据特征和数据结构特征，得到操作、数据特征和数据结构特征的映射集合；

步骤2：对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合，得到同一操作对应的多数据特征和多数据结构特征的多映射集合；

步骤3：进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值；

步骤4：基于得到的多映射集合的矩阵特征值，计算每一次数据治理过程对应的矩阵特征值的集合，并基于每一次数据治理过程中开始前，其数据整体特征和数据整体结构特征，得到矩阵特征值的集合，数据整体特征和数据整体结构特征的整体映射集合；

步骤5：对待执行的数据治理进行数据整体特征和数据整体结构特征进行提取，基于提取到的数据整体特征和数据整体结构特征，找到契合度最高的矩阵特征值的集合，进而依次得到对应的多映射集合和映射集合，使用映射集合对应的操作，对待执行的数据治理进行操作，完成本次数据治理。

具体的，当在本发明中，首先通过将每一次数据治理中的操作、数据特征和数据结构特征进行了记录，然后根据记录的结果，对后续的每一次数据处理过程中进行判断，若数据特征或数据结构特征满足判断结果，则可以直接调用操作。

在执行过程中，进行数据治理的过程记录，具体包括：记录每一次数据治理过程中每一步操作，及其对应的数据特征和数据结构特征，得到操作、数据特征和数据结构特征的映射集合。

数据特征反映了数据的本身特征，这种特征是由数据的数值和数据类型决定的。

数据结构特征是数据的存储特征，由于数据存储的结构不同，将导致其数据结构特征的不同。网状结构存储的数据在数据结构特征上，就不同于树状存储的数据的数据结构。

实施例2

在上一实施例的基础上，所述步骤1中得到操作、数据特征和数据结构特征的映射集合的方法包括：将单次数据处理过程按照执行的操作，拆解成多个步骤，记录每个步骤对应下的操作、数据特征和数据结构特征；为每个不同的操作赋予不同的编码值作为该操作的主键；为每个数据特征赋予不同的编码值作为该数据特征的主键；为每个数据结构特征赋予不同的编码值作为该数据结构特征的主键；将每个相对应的操作的编码值、每个数据特征编码值和每个数据结构特征的编码值进行关联，构成映射集合。

具体的，不同的编码值作为每个数据特征的主键，可以为后续的映射集合的关联提供支撑，主键是每个编码值的唯一标识，可以完全区分不同的编码值。

编码值的关联可以是通过添加数据包头进行关联，数据包头中存储有关联的其他编码值的地址信息。

在本发明中，采用如下方式进行编码值的关联。

首先需要确定两个编码值的数据量的大小。确定需要关联的两个编码值；将所有编码值根据预设的判断阈值分成大编码值和小编码值；

将两个编码值中数据量较小的编码值以(key，value)方式放入内存的类哈希表结构中，对另一编码值中的每条记录生成对应的key值，通过对key值进行哈希Hash确定每条记录是否与内存中的key值关联；

当需要关联的两个编码值中有一个是大编码值时，将需要关联的大编码值加载到分布式文件系统HDFS上，将小编码值通过分布式缓存DistributedCache机制在Map开始前传至内存中，在Map执行过程中将大编码值与内存中的小编码值进行关联；

当需要关联的两个编码值均为大编码值时，将其中一个大编码值通过哈希函数分解为多个小编码值，将Hash后的小编码值和需要关联的大编码值写入HDFS上，以大编码值与每个小编码值之间的关联方式进行关联，每个关联的结果所产生在HDFS上的输出的组合对应于二级分区目录；

当存在关联时，将所有存在关联的记录作为关联后的新编码值输出。

实施例3

在上一实施例的基础上，所述操作的编码值、数据特征的编码值和数据结构特征的编码值为十进制数值，且满足以下约束关系：其中，OP为操作的编码值；DA为数据特征的编码值；OB为数据结特征的编码值。

具体的，本发明中的编码值作为主键，并非完全随机生成的数字，而是与数据特征的编码值和数据结构特征的编码值有关联，使得主键在一定程度上反映了数据特征或数据结构特征。

实施例4

在上一实施例的基础上，所述步骤2中对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合的方法包括：将操作相同而数据特征或数据结构特征不同的记录进行关联，得到以下结构的多映射集合：

具体的，多映射集合本质上是通过相似融合得到的。将操作相同而数据特征或数据结构特征不同的记录进行关联后，数据整体上进行了一次相当于降冗余的操作，降低了数据的复杂度，提升了后续处理的效率。

在实践中，对于数据简化处理，一般采用降维的方式，但这样的结果很容易导致后续的数据匹配或者数据传输的负担更大，在本发明中，创造性使用了数据关联构建多映射集合的方式来进行，虽然在第一次数据处理的过程中，需要付出额外的时间，但可以为后来的处理大幅度提升效率。

实施例5

在上一实施例的基础上，所述步骤3中进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值的方法包括：将多映射结合中数据特征和数据结构特征组成的映射视为一个嵌套矩阵，从内到外依次求取嵌套矩阵的行列式的值：在求取嵌套矩阵中的最外层矩阵的秩/>在求取嵌套矩阵的行列式的值和最外层矩阵的秩时，对于其中矩阵行列值不匹配时，使用零值进行补齐；将行列式的值和矩阵的秩作为多映射集合的矩阵特征值。

具体的，基于得到的多映射集合的矩阵特征值，计算每一次数据治理过程对应的矩阵特征值的集合，并基于每一次数据治理过程中开始前，其数据整体特征和数据整体结构特征，得到矩阵特征值的集合，数据整体特征和数据整体结构特征的整体映射集合。

这样做，得到的整体映射集合从整体上反映了数据特征或数据结构特征，使得后续的数据治理不需要从每个最小的数据进行处理，而是从整体上进行比对，以提升效率。

实施例6

在上一实施例的基础上，所述矩阵特征值的契合度的计算方法为：计算每个矩阵特征值的行列式值得差值和最外层矩阵的秩的差值；基于计算出的行列式的差值与最外层矩阵的秩的差值来计算契合度。

在判断矩阵特征值时，假设A是n阶方阵，如果数λ和n维非零列向量x使关系式Ax＝λx成立，那么这样的数λ称为矩阵A特征值，非零向量x称为A的对应于特征值λ的特征向量。式Ax＝λx也可写成(A-λE)X＝0。这是n个未知数n个方程的齐次线性方程组，它有非零解的充分必要条件是系数行列式|A-λE|＝0。

具体的，契合度的本质是两者数据的相似度。

实施例7

在上一实施例的基础上，所述基于计算出的行列式的差值与最外层矩阵的秩的差值来计算契合度的方法包括：使用如下公式计算得到契合度：Simi＝-(diff-lg(|diff(rank)|))；其中，diff为行列式的差值，diff(rank)为最外层矩阵的秩的差值；Simi为契合度。

具体的，数据契合度越高则表示操作的契合度越高，则使用该操作就可以直接完成数据处理过程中的某一步过程。

实施例8

在上一实施例的基础上，所述方法还包括：当计算出的最高的契合度低于设定的阈值，则对待执行的数据治理执行标准数据治理过程，并在完成标准数据治理过程中执行步骤1到步骤4。

实施例9

在上一实施例的基础上，所述标准数据治理过程为针对企业数据治理的标准流程；所述数据特征为数据的数值特征；所述数据结构特征为数据的存储结构特征。

具体的，数据存储结构特征与数据存储时的数据结构有直接关系。例如在实践中，用户信息一般通过关系数据库进行存储，其数据结构特征则为关系结构特征，而有的为了安全性，数据库则采用非关系数据库。在关系数据库中，数据也可能通过网状结构、区块链结构或者树状结构进行存储。

实施例10

企业数据治理的迭代优化系统。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

Claims (5)

1.企业数据治理的迭代优化方法，其特征在于，所述方法包括：

步骤1：进行数据治理的过程记录，具体包括：记录每一次数据治理过程中每一步操作，及其对应的数据特征和数据结构特征，得到操作、数据特征和数据结构特征的映射集合；

步骤2：对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合，得到同一操作对应的多数据特征和多数据结构特征的多映射集合；

步骤3：进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值；

步骤4：基于得到的多映射集合的矩阵特征值，计算每一次数据治理过程对应的矩阵特征值的集合，并基于每一次数据治理过程中开始前，其数据整体特征和数据整体结构特征，得到矩阵特征值的集合，数据整体特征和数据整体结构特征的整体映射集合；

步骤5：对待执行的数据治理进行数据整体特征和数据整体结构特征进行提取，基于提取到的数据整体特征和数据整体结构特征，找到契合度最高的矩阵特征值的集合，进而依次得到对应的多映射集合和映射集合，使用映射集合对应的操作，对待执行的数据治理进行操作，完成本次数据治理；所述步骤1中得到操作、数据特征和数据结构特征的映射集合的方法包括：将单次数据处理过程按照执行的操作，拆解成多个步骤，记录每个步骤对应下的操作、数据特征和数据结构特征；为每个不同的操作赋予不同的编码值作为该操作的主键；为每个数据特征赋予不同的编码值作为该数据特征的主键；为每个数据结构特征赋予不同的编码值作为该数据结构特征的主键；将每个相对应的操作的编码值、每个数据特征编码值和每个数据结构特征的编码值进行关联，构成映射集合；所述操作的编码值、数据特征的编码值和数据结构特征的编码值为十进制数值，且满足以下约束关系：

；

其中，为操作的编码值；/>为数据特征的编码值；/>为数据结特征的编码值；所述步骤2中对所有的记录的映射集合进行相似融合，将操作相同而数据特征或数据结构特征不同的记录进行融合的方法包括：将操作相同而数据特征或数据结构特征不同的记录进行关联，得到以下结构的多映射集合：

；所述步骤3中进行多映射集合矩阵特征值计算，得到每个多映射集合的矩阵特征值的方法包括：将多映射结合中数据特征和数据结构特征组成的映射视为一个嵌套矩阵，从内到外依次求取嵌套矩阵的行列式的值：

，

在求取嵌套矩阵中的最外层矩阵的秩；

在求取嵌套矩阵的行列式的值和最外层矩阵的秩时，对于其中矩阵行列值不匹配时，使用零值进行补齐；将行列式的值和矩阵的秩作为多映射集合的矩阵特征值。

2.如权利要求1所述的方法，其特征在于，所述矩阵特征值的契合度的计算方法为：计算每个矩阵特征值的行列式值得差值和最外层矩阵的秩的差值；基于计算出的行列式的差值与最外层矩阵的秩的差值来计算契合度。

3.如权利要求2所述的方法，其特征在于，所述基于计算出的行列式的差值与最外层矩阵的秩的差值来计算契合度的方法包括：使用如下公式计算得到契合度：

；

其中，为行列式的差值，/>为最外层矩阵的秩的差值；/>为契合度。

4.如权利要求3所述的方法，其特征在于，所述方法还包括：当计算出的最高的契合度低于设定的阈值，则对待执行的数据治理执行标准数据治理过程，并在完成标准数据治理过程中执行步骤1到步骤4。

5.如权利要求4所述的方法，其特征在于，所述标准数据治理过程为针对企业数据治理的标准流程；所述数据特征为数据的数值特征；所述数据结构特征为数据的存储结构特征。