CN114911777B - 基于区块链的数据质量管理模型构建方法及相关设备 - Google Patents

Abstract

本发明涉及数据质量管理管理技术领域，解决现有的数据质量管理模型构建方法不具备结合数据存储的及时性、完整性对数据存储区块进行质量评级的功能的问题，具体为基于区块链的数据质量管理模型构建方法及相关设备，包括以下步骤：对区块数据的调用价值进行分析并得到存储区块的调用系数与调用表现值，通过调用系数与调用表现值的数值大小对存储区块的调用价值与数据布局是否满足要求进行判定；本发明对存储区块的数据质量进行等级评定可以直观反馈存储区块中数据的存储状态，结合数据的存储价值、整体完整性以及调用及时性构建质量评价模型，通过质量评价模型可以从多角度对存储模块的数据存储状态进行监控与评价。

Description

基于区块链的数据质量管理模型构建方法及相关设备

技术领域

本发明涉及数据质量管理管理技术领域，具体为基于区块链的数据质量管理模型构建方法及相关设备。

背景技术

随着互联网络的迅速发展，网络上的数据量越来越多，海量数据形成的大数据的存储和分析是各企业的宝贵财富。其中，大数据的数据质量管理成为企业必须面对的问题，是数据存储和分析的前提，在进行数据质量管理时，需要保障数据的及时性与完整性，从而确保企业各种业务数据的质量。

现有的数据质量管理模型构建方法不具备结合数据存储的及时性、完整性对数据存储区块进行质量评级的功能，同时无法根据数据的调用数据对数据的存储价值进行分析。

针对上述技术问题，本申请提出一种解决方案。

发明内容

本发明的目的就在于为了解决现有的数据质量管理模型构建方法不具备结合数据存储的及时性、完整性对数据存储区块进行质量评级的功能的问题，而提出基于区块链的数据质量管理模型构建方法及相关设备。

本发明的目的可以通过以下技术方案实现：基于区块链的数据质量管理模型构建方法，包括以下步骤：

步骤一：对区块数据的调用价值进行分析并得到存储区块的调用系数与调用表现值，通过调用系数与调用表现值的数值大小对存储区块的调用价值与数据布局是否满足要求进行判定；

步骤二：对区块数据的完整性进行分析并得到偏离系数，通过偏离系数的数值大小对存储区块的整体完整性是否满足要求进行判定；

步骤三：对区块数据的调用及时性进行监测分析并得到及时系数，通过及时系数的数值大小对存储区块的数据调用及时性是否满足要求进行判定；

步骤四：通过对调用系数、调用表现值、偏离系数以及及时系数进行数值计算得到评级系数，通过评级系数的数值大小将存储区块的数据质量等级标记为一等级、二等级或三等级。

作为本发明的一种优选实施方式，步骤一中调用系数的获取过程包括：将存储区块标记为分析对象i，i=1，2，…，n，n为正整数，获取分析对象i在L1个月之内被调用的次数超过调用阈值的数据的数量标记为常用数据，将分析对象i中常用数据的数量标记为CYi，将分析对象i中常用数据的数量CYi与常用阈值CYmin进行比较：若常用数据的数量CYi大于等于常用阈值CYmin，则将对应的分析对象标记为常用对象；若常用数据的数量CYi小于常用阈值CYmin，则将对应的分析对象标记为不常用对象；将常用对象的数量与n的比值标记为调用系数；

步骤一中调用表现值的获取过程包括：将分析对象的常用对象的数量建立常用集合，对常用集合进行方差计算得到调用表现值。

作为本发明的一种优选实施方式，步骤一中对存储区块的调用价值是否满足要求进行判定的具体过程包括：将调用系数与调用阈值进行比较：若调用系数大于等于调用阈值，则判定存储区块的调用价值满足要求，调用分析模块将调用合格信号与调用系数发送至数据管理平台；若调用系数小于调用阈值，则判定存储模块的调用价值不满足要求，调用分析模块将调用不合格信号与调用系数发送至数据管理平台；

步骤一中对存储区块的数据布局是否满足要求进行判定的具体过程包括：将调用表现值与调用表现阈值进行比较：若调用表现值大于调用表现阈值，则判定存储区块的数据布局不满足要求，调用分析模块将布局不合格信号与调用表现值发送至数据管理平台；若调用表现值小于等于调用表现阈值，则判定存储区块的数据布局满足要求，调用分析模块将布局合格信号与调用表现值发送至数据管理平台。

作为本发明的一种优选实施方式，步骤二中偏离系数的获取过程包括：获取存储区块的完整系数：获取到分析对象i的存储数据数量并标记为ZSi，获取到分析对象i内存储数据的总内存值并标记为NCi，通过对ZSi与NCi进行数值计算得到完整系数；

在分析对象中存入新的数据时，将新存入的数据的数量与内存值分别标记为ZSx与NCx，通过对ZSx与NCx进行数值计算得到增加系数，将完整系数与增加系数的和值标记为预期值，在数据存入之后，通过完整系数的获取过程再次获取分析对象的完整系数并标记为实际值，将实际值与预期值进行比较：若实际值等于预期值，则判定存储区块的数据存入完整性满足要求，偏离值取值为零；否则，判定存储区块的数据存入完整性不满足要求，偏离值的取值为预期值与实际值的差值；对分析对象在L2次进行数据存入时产生的偏离值进行求和取平均值得到偏离系数。

作为本发明的一种优选实施方式，步骤二中对存储区块的整体完整性是否满足要求进行判定的具体过程包括：将偏离系数与偏离阈值进行比较：若偏离系数大于等于偏离阈值，则判定存储区块的整体完整性不满足要求，将完整不合格信号与偏离系数发送至数据管理平台；若偏离系数小于偏离阈值，则判定存储区块的整体完整性满足要求，将完整合格信号与偏离系数发送至数据管理平台。

作为本发明的一种优选实施方式，步骤三中存储区块的及时系数的获取过程包括：将分析对象接收到调用请求的时间标记为请求时间，将数据成功调取的时间标记为成功时间，将成功时间与请求时间的差值标记为调用时长，获取存储区块最近L3次进行数据调取时的调用时长，以时间为X轴、调用时长为Y轴建立直角坐标系，以数据调取的请求时间为横坐标、数据调取的调用时长为纵坐标在直角坐标系中标出L3个标记点，在直角坐标系的第一象限设定衡量射线，衡量射线与X轴平行，且衡量射线的起点的坐标值为（0，HL），HL的获取过程包括：将数据调取的最大调用时长标记为DS，通过公式HL=t1*DS，其中t1为比例系数，且1.15≤t1≤1.25，将衡量射线向下进行偏移，直至衡量射线的起点的坐标值为（0，JZ），JZ的获取过程包括：将数据调取的调用时长进行求和取平均值得到JZ；将衡量射线向下偏移的距离分割为若干个偏移路径，每个偏移路径的长度均相同，获取偏移路径内的标记点的数量并标记为偏移路径的标记值，将偏移路径的标记值建立标记集合，对标记集合进行方差计算得到标记表现值，对所有偏移路径内的标记值进行求和取平均值得到标记系数，将标记系数与标记表现值的乘积标记为及时系数。

作为本发明的一种优选实施方式，步骤三中对存储区块的数据调用及时性是否满足要求进行判定的具体过程包括：将及时系数与及时阈值进行比较：若及时系数大于等于及时阈值，则判定存储区块的数据调用及时性不满足要求，及时分析模块将及时不合格信号和及时系数发送至数据管理平台；若及时系数小于及时阈值，则判定存储区块的数据调用及时性满足要求，及时分析模块将即使合格信号以及和及时系数发送至数据管理平台。

基于区块链的数据质量管理模型构建系统，包括数据管理平台，所述数据管理平台通信连接有调用分析模块、完整分析模块、及时分析模块以及质量评级模块；

所述调用分析模块用于对区块数据的调用价值进行分析；

所述完整分析模块用于对区块数据的完整性进行分析；

所述及时分析模块用于对区块数据的调用及时性进行监测分析；

所述质量评级模块用于对存储区块的数据质量进行等级评定。

一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被执行时实现基于区块链的数据质量管理模型构建方法的步骤。

与现有技术相比，本发明的有益效果是：

1、通过对区块数据的调用数据进行分析得到调用系数与调用表现值，进而通过调用系数与调用表现值对存储区块的数据存储价值和数据布局是否满足要求进行判定，通过对区块数据进行完整性分析，可以对每一次数据存入时的数据完整性进行监控，通过偏离系数对数据存入时导致的存储区块完整性偏差进行反馈。

2、对存储区块的数据质量进行等级评定可以直观反馈存储区块中数据的存储状态，结合数据的存储价值、整体完整性以及调用及时性构建质量评价模型，通过质量评价模型可以从多角度对存储模块的数据存储状态进行监控与评价。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明实施例一的原理框图；

图2为本发明实施例二的方法流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

请参阅图1所示，基于区块链的数据质量管理模型构建系统，包括数据管理平台，数据管理平台通信连接有调用分析模块、完整分析模块、及时分析模块以及质量评级模块。

调用分析模块用于对区块数据的调用价值进行分析：将存储区块标记为分析对象i，i=1，2，…，n，n为正整数，获取分析对象i在L1个月之内被调用的次数超过调用阈值的数据的数量标记为常用数据，L1为数量常量，L1的数值由管理人员自行设置；将分析对象i中常用数据的数量标记为CYi，将分析对象i中常用数据的数量CYi与常用阈值CYmin进行比较：若常用数据的数量CYi大于等于常用阈值CYmin，则将对应的分析对象标记为常用对象；若常用数据的数量CYi小于常用阈值CYmin，则将对应的分析对象标记为不常用对象；将常用对象的数量与n的比值标记为调用系数DY，将调用系数DY与调用阈值进行比较：若调用系数大于等于调用阈值，则判定存储区块的调用价值满足要求，调用分析模块将调用合格信号与调用系数DY发送至数据管理平台；若调用DY系数小于调用阈值，则判定存储模块的调用价值不满足要求，调用分析模块将调用不合格信号与调用系数DY发送至数据管理平台；将分析对象的常用对象的数量建立常用集合，对常用集合进行方差计算得到调用表现值DB，将调用表现值DB与调用表现阈值进行比较：若调用表现值DB大于调用表现阈值，则判定存储区块的数据布局不满足要求，调用分析模块将布局不合格信号与调用表现值DB发送至数据管理平台；若调用表现值DB小于等于调用表现阈值，则判定存储区块的数据布局满足要求，调用分析模块将布局合格信号与调用表现值DB发送至数据管理平台；对区块数据的调用数据进行分析得到调用系数与调用表现值，进而通过调用系数与调用表现值对存储区块的数据存储价值和数据布局是否满足要求进行判定。

完整分析模块用于对区块数据的完整性进行分析：获取存储区块的完整系数：获取到分析对象i的存储数据数量并标记为ZSi，获取到分析对象i内存储数据的总内存值并标记为NCi，通过公式WZi=α1*ZSi+α2*NCi得到完整系数WZi，其中α1与α2均为比例系数，且α1＞α2＞1；在分析对象中存入新的数据时，将新存入的数据的数量与内存值分别标记为ZSx与NCx，通过公式ZJx=α1*ZSx+α2*NCx得到增加系数，将完整系数WZi与增加系数ZJx的和值标记为预期值，在数据存入之后，通过完整系数的获取过程再次获取分析对象的完整系数并标记为实际值，将实际值与预期值进行比较：若实际值等于预期值，则判定存储区块的数据存入完整性满足要求，偏离值取值为零；否则，判定存储区块的数据存入完整性不满足要求，偏离值的取值为预期值与实际值的差值；对分析对象在L2次进行数据存入时产生的偏离值进行求和取平均值得到偏离系数PL，L2为数量常量，L2的数值由管理人员自行设置；将偏离系数PL与偏离阈值进行比较：若偏离系数PL大于等于偏离阈值，则判定存储区块的整体完整性不满足要求，将完整不合格信号与偏离系数PL发送至数据管理平台；若偏离系数PL小于偏离阈值，则判定存储区块的整体完整性满足要求，将完整合格信号与偏离系数PL发送至数据管理平台；通过对区块数据进行完整性分析，可以对每一次数据存入时的数据完整性进行监控，通过偏离系数对数据存入时导致的存储区块完整性偏差进行反馈。

及时分析模块用于对区块数据的调用及时性进行监测分析：将分析对象接收到调用请求的时间标记为请求时间，将数据成功调取的时间标记为成功时间，将成功时间与请求时间的差值标记为调用时长，获取存储区块最近L3次进行数据调取时的调用时长，以时间为X轴、调用时长为Y轴建立直角坐标系，以数据调取的请求时间为横坐标、数据调取的调用时长为纵坐标在直角坐标系中标出L3个标记点，L3为数量常量，L3的数值由管理人员自行设置；在直角坐标系的第一象限设定衡量射线，衡量射线与X轴平行，且衡量射线的起点的坐标值为（0，HL），HL的获取过程包括：将数据调取的最大调用时长标记为DS，通过公式HL=t1*DS，其中t1为比例系数，且1.15≤t1≤1.25，将衡量射线向下进行偏移，直至衡量射线的起点的坐标值为（0，JZ），JZ的获取过程包括：将数据调取的调用时长进行求和取平均值得到JZ；将衡量射线向下偏移的距离分割为若干个偏移路径，每个偏移路径的长度均相同，获取偏移路径内的标记点的数量并标记为偏移路径的标记值，将偏移路径的标记值建立标记集合，对标记集合进行方差计算得到标记表现值，对所有偏移路径内的标记值进行求和取平均值得到标记系数，将标记系数与标记表现值的乘积标记为及时系数JS，将及时系数JS与及时阈值进行比较：若及时系数JS大于等于及时阈值，则判定存储区块的数据调用及时性不满足要求，及时分析模块将及时不合格信号和及时系数JS发送至数据管理平台；若及时系数JS小于及时阈值，则判定存储区块的数据调用及时性满足要求，及时分析模块将即使合格信号以及和及时系数JS发送至数据管理平台。

质量评级模块用于对存储区块的数据质量进行等级评定：通过公式

得到评级系数PJ，其中β1、β2以及β3均为比例系数，且β1＞β2＞β3＞1；将评级系数PJ与评级阈值PJmin、PJmax进行比较：若PJ≤PJmin，则判定存储区块的数据质量等级为一等级；若PJmin＜PJ＜PJmax，则判定存储区块的数据质量等级为二等级；若PJ≥PJmax，则判定存储区块的数据质量等级为三等级；对存储区块的数据质量进行等级评定可以直观反馈存储区块中数据的存储状态，结合数据的存储价值、整体完整性以及调用及时性构建质量评价模型，通过质量评价模型可以从多角度对存储模块的数据存储状态进行监控与评价。

实施例二

请参阅图2所示，基于区块链的数据质量管理模型构建方法，包括以下步骤：

步骤一：对区块数据的调用价值进行分析并得到存储区块的调用系数与调用表现值，通过调用系数与调用表现值的数值大小对存储区块的调用价值与数据布局是否满足要求进行判定；

步骤二：对区块数据的完整性进行分析并得到偏离系数，通过偏离系数的数值大小对存储区块的整体完整性是否满足要求进行判定；

步骤三：对区块数据的调用及时性进行监测分析并得到及时系数，通过及时系数的数值大小对存储区块的数据调用及时性是否满足要求进行判定；

步骤四：通过对调用系数、调用表现值、偏离系数以及及时系数进行数值计算得到评级系数，通过评级系数的数值大小将存储区块的数据质量等级标记为一等级、二等级或三等级，结合数据的存储价值、整体完整性以及调用及时性构建质量评价模型，通过质量评价模型可以从多角度对存储模块的数据存储状态进行监控与评价。

上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置；如：公式

；由本领域技术人员采集多组样本数据并对每一组样本数据设定对应的评级系数；将设定的评级系数和采集的样本数据代入公式，任意三个公式构成三元一次方程组，将计算得到的系数进行筛选并取均值，得到β1、β2以及β3的取值分别为5.47、3.85和2.61；

系数的大小是为了将各个参数进行量化得到的一个具体的数值，便于后续比较，关于系数的大小，取决于样本数据的多少及本领域技术人员对每一组样本数据初步设定对应的评级系数；只要不影响参数与量化后数值的比例关系即可，如评级系数与偏离系数的数值成反比；

本发明在使用时，对区块数据的调用价值进行分析并得到存储区块的调用系数与调用表现值，通过调用系数与调用表现值的数值大小对存储区块的调用价值与数据布局是否满足要求进行判定；对区块数据的完整性进行分析并得到偏离系数，通过偏离系数的数值大小对存储区块的整体完整性是否满足要求进行判定；对区块数据的调用及时性进行监测分析并得到及时系数，通过及时系数的数值大小对存储区块的数据调用及时性是否满足要求进行判定；通过对调用系数、调用表现值、偏离系数以及及时系数进行数值计算得到评级系数，通过评级系数的数值大小将存储区块的数据质量等级标记为一等级、二等级或三等级。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本 发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (2)

1.基于区块链的数据质量管理模型构建方法，其特征在于，包括以下步骤：

步骤一：对区块数据的调用价值进行分析并得到存储区块的调用系数与调用表现值，通过调用系数与调用表现值的数值大小对存储区块的调用价值与数据布局是否满足要求进行判定；

步骤二：对区块数据的完整性进行分析并得到偏离系数，通过偏离系数的数值大小对存储区块的整体完整性是否满足要求进行判定；

步骤三：对区块数据的调用及时性进行监测分析并得到及时系数，通过及时系数的数值大小对存储区块的数据调用及时性是否满足要求进行判定；

步骤四：通过对调用系数、调用表现值、偏离系数以及及时系数进行数值计算得到评级系数，通过评级系数的数值大小将存储区块的数据质量等级标记为一等级、二等级或三等级；

步骤一中调用系数的获取过程包括：将存储区块标记为分析对象i，i=1，2，…，n，n为正整数，获取分析对象i在L1个月之内被调用的次数超过调用阈值的数据的数量标记为常用数据，将分析对象i中常用数据的数量标记为CYi，将分析对象i中常用数据的数量CYi与常用阈值CYmin进行比较：若常用数据的数量CYi大于等于常用阈值CYmin，则将对应的分析对象标记为常用对象；若常用数据的数量CYi小于常用阈值CYmin，则将对应的分析对象标记为不常用对象；将常用对象的数量与n的比值标记为调用系数；

步骤一中调用表现值的获取过程包括：将分析对象的常用对象的数量建立常用集合，对常用集合进行方差计算得到调用表现值；

步骤二中偏离系数的获取过程包括：获取存储区块的完整系数：获取到分析对象i的存储数据数量并标记为ZSi，获取到分析对象i内存储数据的总内存值并标记为NCi，通过公式WZi=α1*ZSi+α2*NCi得到完整系数WZi；

在分析对象中存入新的数据时，将新存入的数据的数量与内存值分别标记为ZSx与NCx，通过公式ZJx=α1*ZSx+α2*NCx得到增加系数ZJx，其中α1与α2均为比例系数，且α1＞α2＞1；将完整系数与增加系数的和值标记为预期值，在数据存入之后，通过完整系数的获取过程再次获取分析对象的完整系数并标记为实际值，将实际值与预期值进行比较：若实际值等于预期值，则判定存储区块的数据存入完整性满足要求，偏离值取值为零；否则，判定存储区块的数据存入完整性不满足要求，偏离值的取值为预期值与实际值的差值；对分析对象在L2次进行数据存入时产生的偏离值进行求和取平均值得到偏离系数；

步骤三中存储区块的及时系数的获取过程包括：将分析对象接收到调用请求的时间标记为请求时间，将数据成功调取的时间标记为成功时间，将成功时间与请求时间的差值标记为调用时长，获取存储区块最近L3次进行数据调取时的调用时长，以时间为X轴、调用时长为Y轴建立直角坐标系，以数据调取的请求时间为横坐标、数据调取的调用时长为纵坐标在直角坐标系中标出L3个标记点，在直角坐标系的第一象限设定衡量射线，衡量射线与X轴平行，且衡量射线的起点的坐标值为（0，HL），HL的获取过程包括：将数据调取的最大调用时长标记为DS，通过公式HL=t1*DS，其中t1为比例系数，且1.15≤t1≤1.25，将衡量射线向下进行偏移，直至衡量射线的起点的坐标值为（0，JZ），JZ的获取过程包括：将数据调取的调用时长进行求和取平均值得到JZ；将衡量射线向下偏移的距离分割为若干个偏移路径，每个偏移路径的长度均相同，获取偏移路径内的标记点的数量并标记为偏移路径的标记值，将偏移路径的标记值建立标记集合，对标记集合进行方差计算得到标记表现值，对所有偏移路径内的标记值进行求和取平均值得到标记系数，将标记系数与标记表现值的乘积标记为及时系数；

步骤一中对存储区块的调用价值是否满足要求进行判定的具体过程包括：将调用系数与调用阈值进行比较：若调用系数大于等于调用阈值，则判定存储区块的调用价值满足要求，调用分析模块将调用合格信号与调用系数发送至数据管理平台；若调用系数小于调用阈值，则判定存储模块的调用价值不满足要求，调用分析模块将调用不合格信号与调用系数发送至数据管理平台；

步骤一中对存储区块的数据布局是否满足要求进行判定的具体过程包括：将调用表现值与调用表现阈值进行比较：若调用表现值大于调用表现阈值，则判定存储区块的数据布局不满足要求，调用分析模块将布局不合格信号与调用表现值发送至数据管理平台；若调用表现值小于等于调用表现阈值，则判定存储区块的数据布局满足要求，调用分析模块将布局合格信号与调用表现值发送至数据管理平台；

步骤二中对存储区块的整体完整性是否满足要求进行判定的具体过程包括：将偏离系数与偏离阈值进行比较：若偏离系数大于等于偏离阈值，则判定存储区块的整体完整性不满足要求，将完整不合格信号与偏离系数发送至数据管理平台；若偏离系数小于偏离阈值，则判定存储区块的整体完整性满足要求，将完整合格信号与偏离系数发送至数据管理平台；

步骤三中对存储区块的数据调用及时性是否满足要求进行判定的具体过程包括：将及时系数与及时阈值进行比较：若及时系数大于等于及时阈值，则判定存储区块的数据调用及时性不满足要求，及时分析模块将及时不合格信号和及时系数发送至数据管理平台；若及时系数小于及时阈值，则判定存储区块的数据调用及时性满足要求，及时分析模块将即使合格信号以及和及时系数发送至数据管理平台。

2.一种计算机可读存储介质，其存储有计算机程序，其特征在于，计算机程序被执行时实现如上权利要求1所述的基于区块链的数据质量管理模型构建方法的步骤。

Images