CN112702407A - 一种基于区块链的大数据的处理系统及处理方法 - Google Patents

Abstract

本发明公开了一种基于区块链的大数据的处理系统，利用数据采集模块采集待处理数据和区块链的内存数据；利用数据处理模块接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块；利用提取组合模块接收已处理加工数据并进行提取组合，得到提取加工信息；利用存储分配模块根据内存数据将提取加工信息分配存储至区块链的各个节点上；本发明还公开了一种基于区块链的大数据的处理方法；本发明用于解决不能根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的问题，以及不能根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的问题。

Description

一种基于区块链的大数据的处理系统及处理方法

技术领域

本发明涉及区块链技术领域，尤其涉及一种基于区块链的大数据的处理系统及处理方法。

背景技术

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式；大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响。

现有的大数据的处理系统和处理方法存在的缺陷是：不能根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的问题，以及不能根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的问题。

发明内容

本发明的目的在于提供一种基于区块链的大数据的处理系统及处理方法，本发明所要解决的技术问题为：

如何解决现有方案中不能根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的问题，以及不能根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的问题。

本发明的目的可以通过以下技术方案实现：一种基于区块链的大数据的处理系统，包括数据采集模块、数据处理模块、提取组合模块和存储分配模块；

所述数据采集模块用于采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存，并将待处理数据发送至数据处理模块；

所述数据处理模块用于接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块，具体的步骤包括：

步骤一：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；包括：

提取待处理数据中的各个数据项和数据标志，根据预设的坐标系获取各个数据项的坐标位置；

设定不同的数据项均对应一个不同的数项预设值，将各个数据项与所有的数据项进行匹配获取对应的数项预设值并标记为SXi,i＝1,2,..n；设定不同的数据标志对应一个不同的数标预设值，将待处理数据中的数据标志与所有的数据标志进行匹配获取对应的数标预设值并标记为SBi,i＝1,2,..n；

利用公式获取数据项的匹配值，该公式为：

其中，H_pp表示为数据项的匹配值，μ表示为预设的数据标志修正因子，β表示为预设的数据项修正因子；

将匹配值根据预设的标准匹配阈值进行匹配，若匹配值等于标准匹配阈值，则判定各个数据项完整并生成格式正常信号，将各个数据项以及对应的坐标位置组合，得到格式正常数据；

若匹配值不等于标准匹配阈值，则判定各个数据项不完整并生成格式不正常信号，将各个数据项以及对应的坐标位置组合，得到格式异常数据；

步骤二：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；

步骤三：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；

所述提取组合模块用于接收已处理加工数据并进行提取组合，得到提取加工信息，并将提取加工信息发送至存储分配模块；

所述存储分配模块用于根据内存数据将提取加工信息分配存储至区块链的各个节点上。

优选的，将格式正常数据进行完整验证，得到完整验证数据集，具体的步骤包括：

S21：获取格式正常数据中各个数据项以及对应的坐标位置并将其标记为待验证坐标；

S22：将待验证坐标与预设的数据验证坐标进行匹配并提取存储的数据值，若数据值不存在，则将标记为空白值，将数据值根据数据验证坐标进行排序；

S23：获取空白值对应的坐标位置并标记为空白坐标，根据空白坐标与预设的空白条件进行匹配，若该空白条件包含可存储空白数据，则将空白值标记为有效值，并将有效值的坐标位置标记为有效坐标；若该空白条件不包含可存储空白数据，则将空白值标记为无效值，并将无效值的坐标位置标记为无效坐标；

S24：利用公式获取数据项的无效系数，该公式为：

其中，H_wx表示为数据项的无效系数，η表示为预设的无效修正因子，SZ1表示为有效的数据项总个数，SZ2表示为无效的数据项总个数；

S25：将无效系数根据预设的无效阈值进行匹配，若无效系数大于预设的无效阈值，则判定格式正常数据为第一非完整数据；

S26：若无效系数不大于预设的无效阈值，获取有效坐标对应的数据项并将其组合，得到完整数据，获取无效坐标对应的数据项并组合，得到第二非完整数据，第一非完整数据、完整数据和第二非完整数据构成完整验证数据集。

优选的，所述提取组合模块用于接收已处理加工数据并进行提取组合，得到提取加工信息，具体的步骤包括：

S31：获取已处理加工数据中的完整数据的占用内存和已验证数据的占用内存，并将完整数据的占用内存标记为第一待分内存，将已验证数据的占用内存标记为第二待分内存；

S32：利用公式获取数据的占比值，该公式为：

其中，H_zb表示为数据的占比值，δ表示为预设的无效修正因子，ZN1表示为第一待分内存，ZN2表示为第二待分内存；

S33：将占比值进行降序排列，并将占比值对应的已验证数据进行降序排列和标号，得到已验证排列数据；

S34：将完整数据和已验证排列数据以及第一待分内存和第二待分内存组合，得到提取加工信息。

优选的，所述存储分配模块用于根据内存数据将提取加工信息分配存储至区块链的各个节点上，具体的步骤包括：

S41：获取内存数据中的已存储内存和未存储内存以及提取加工信息中的完整数据、已验证排列数据、第一待分内存和第二待分内存；

S42：利用公式K＝WN/(YN+WN)获取内存的可利用系数，其中，WN表示为未存储内存，YN表示为已存储内存；

S43：将可利用系数进行降序排列，并将可利用系数对应的各个子节点进行降序排列，将已验证排列数据和完整数据根据第一待分内存和第二待分内存与排序的各个子节点进行匹配；

S44：当第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存时，将已验证排列数据和完整数据存储至该未存储内存对应的子节点中；

S45：当第一待分内存和第二待分内存的累加值不小于可利用系数对应的未存储内存时，将第一待分内存和第二待分内存的累加值与下一个可利用系数对应的未存储内存进行对比，直至第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存并进行存储。

一种基于区块链的大数据的处理方法，包括：

步一：采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存；

步二：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；

步三：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；

步四：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；

步五：对已处理加工数据并进行提取组合，得到提取加工信息；

步六：根据内存数据将提取加工信息分配存储至区块链的各个节点上。

本发明的有益效果：

本发明公开的各个方面，利用数据采集模块采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存，并将待处理数据发送至数据处理模块；通过对待处理数据和区块链的内存数据进行分析和处理，使得待处理数据的分配存储达到最佳化，避免数据的存储对区块链的存储空间的使用情况造成影响；

利用数据处理模块接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块；通过对待处理数据进行处理，获取待处理数据并进行格式匹配，得到格式匹配数据集，将格式正常数据进行完整验证，得到完整验证数据集，将待处理数据的格式和数值完整进行分析和拆分归类，提高数据存储的效果；

利用提取组合模块接收已处理加工数据并进行提取组合，得到提取加工信息，并将提取加工信息发送至存储分配模块；通过将分析后的归类数据进行组合，达到根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的目的；

利用存储分配模块根据内存数据将提取加工信息分配存储至区块链的各个节点上；可以达到根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的目的。

附图说明

下面结合附图对本发明作进一步的说明。

图1是本发明一种基于区块链的大数据的处理系统的原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

请参阅图1所示，本发明为一种基于区块链的大数据的处理系统，包括数据采集模块、数据处理模块、提取组合模块和存储分配模块；

所述数据采集模块用于采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存，并将待处理数据发送至数据处理模块；本发明实施例中，通过对待处理数据和区块链的内存数据进行分析和处理，使得待处理数据的分配存储达到最佳化，避免数据的存储对区块链的存储空间的使用情况造成影响；

所述数据处理模块用于接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块，具体的步骤包括：

步骤一：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；包括：

提取待处理数据中的各个数据项和数据标志，根据预设的坐标系获取各个数据项的坐标位置；

设定不同的数据项均对应一个不同的数项预设值，将各个数据项与所有的数据项进行匹配获取对应的数项预设值并标记为SXi,i＝1,2,..n；设定不同的数据标志对应一个不同的数标预设值，将待处理数据中的数据标志与所有的数据标志进行匹配获取对应的数标预设值并标记为SBi,i＝1,2,..n；

利用公式获取数据项的匹配值，该公式为：

其中，H_pp表示为数据项的匹配值，μ表示为预设的数据标志修正因子，β表示为预设的数据项修正因子；

将匹配值根据预设的标准匹配阈值进行匹配，若匹配值等于标准匹配阈值，则判定各个数据项完整并生成格式正常信号，将各个数据项以及对应的坐标位置组合，得到格式正常数据；

若匹配值不等于标准匹配阈值，则判定各个数据项不完整并生成格式不正常信号，将各个数据项以及对应的坐标位置组合，得到格式异常数据；

步骤二：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；具体的步骤包括：

获取格式正常数据中各个数据项以及对应的坐标位置并将其标记为待验证坐标；

将待验证坐标与预设的数据验证坐标进行匹配并提取存储的数据值，若数据值不存在，则将标记为空白值，将数据值根据数据验证坐标进行排序；

获取空白值对应的坐标位置并标记为空白坐标，根据空白坐标与预设的空白条件进行匹配，若该空白条件包含可存储空白数据，则将空白值标记为有效值，并将有效值的坐标位置标记为有效坐标；若该空白条件不包含可存储空白数据，则将空白值标记为无效值，并将无效值的坐标位置标记为无效坐标；

利用公式获取数据项的无效系数，该公式为：

其中，H_wx表示为数据项的无效系数，η表示为预设的无效修正因子，SZ1表示为有效的数据项总个数，SZ2表示为无效的数据项总个数；

将无效系数根据预设的无效阈值进行匹配，若无效系数大于预设的无效阈值，则判定格式正常数据为第一非完整数据；

若无效系数不大于预设的无效阈值，获取有效坐标对应的数据项并将其组合，得到完整数据，获取无效坐标对应的数据项并组合，得到第二非完整数据，第一非完整数据、完整数据和第二非完整数据构成完整验证数据集；

步骤三：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；

所述提取组合模块用于接收已处理加工数据并进行提取组合，得到提取加工信息，具体的步骤包括：

获取已处理加工数据中的完整数据的占用内存和已验证数据的占用内存，并将完整数据的占用内存标记为第一待分内存，将已验证数据的占用内存标记为第二待分内存；

利用公式获取数据的占比值，该公式为：

其中，H_zb表示为数据的占比值，δ表示为预设的无效修正因子，ZN1表示为第一待分内存，ZN2表示为第二待分内存；

将占比值进行降序排列，并将占比值对应的已验证数据进行降序排列和标号，得到已验证排列数据；

将完整数据和已验证排列数据以及第一待分内存和第二待分内存组合，得到提取加工信息；

本发明实施例中，通过将分析后的归类数据进行组合，达到根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的目的；

所述存储分配模块用于根据内存数据将提取加工信息分配存储至区块链的各个节点上，具体的步骤包括：

获取内存数据中的已存储内存和未存储内存以及提取加工信息中的完整数据、已验证排列数据、第一待分内存和第二待分内存；

利用公式K＝WN/(YN+WN)获取内存的可利用系数，其中，WN表示为未存储内存，YN表示为已存储内存；

将可利用系数进行降序排列，并将可利用系数对应的各个子节点进行降序排列，将已验证排列数据和完整数据根据第一待分内存和第二待分内存与排序的各个子节点进行匹配；

当第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存时，将已验证排列数据和完整数据存储至该未存储内存对应的子节点中；

当第一待分内存和第二待分内存的累加值不小于可利用系数对应的未存储内存时，将第一待分内存和第二待分内存的累加值与下一个可利用系数对应的未存储内存进行对比，直至第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存并进行存储；

本发明实施例中，通过对已存储内存和未存储内存进行分析，可以达到根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的目的；

实施例2

一种基于区块链的大数据的处理方法，该处理方法包括：

步一：采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存；

步二：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；

步三：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；

步四：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；

步五：对已处理加工数据并进行提取组合，得到提取加工信息；

步六：根据内存数据将提取加工信息分配存储至区块链的各个节点上；

上述公式均是采集大量数据进行软件模拟得出且选取与真实值接近的一个公式，公式中的系数是由本领域技术人员根据实际情况进行设置。

本发明的工作原理：本发明实施例中，利用数据采集模块采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存，并将待处理数据发送至数据处理模块；通过对待处理数据和区块链的内存数据进行分析和处理，使得待处理数据的分配存储达到最佳化，避免数据的存储对区块链的存储空间的使用情况造成影响；

利用数据处理模块接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块；通过对待处理数据进行处理，获取待处理数据并进行格式匹配，得到格式匹配数据集，利用公式

获取数据项的匹配值，将格式正常数据进行完整验证，得到完整验证数据集，利用公式

获取数据的占比值，将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据，通过将待处理数据的格式和数值完整进行分析和拆分归类，提高数据存储的效果；

利用提取组合模块接收已处理加工数据并进行提取组合，得到提取加工信息，并将提取加工信息发送至存储分配模块；利用公式

获取数据的占比值；将占比值进行降序排列，并将占比值对应的已验证数据进行降序排列和标号，得到已验证排列数据；将完整数据和已验证排列数据以及第一待分内存和第二待分内存组合，得到提取加工信息；通过将分析后的归类数据进行组合，达到根据数据的格式完整性和数值完整性进行分析和拆分并分开存储的目的；

利用存储分配模块根据内存数据将提取加工信息分配存储至区块链的各个节点上；利用公式K＝WN/(YN+WN)获取内存的可利用系数，将可利用系数进行降序排列，并将可利用系数对应的各个子节点进行降序排列，将已验证排列数据和完整数据根据第一待分内存和第二待分内存与排序的各个子节点进行匹配；当第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存时，将已验证排列数据和完整数据存储至该未存储内存对应的子节点中；当第一待分内存和第二待分内存的累加值不小于可利用系数对应的未存储内存时，将第一待分内存和第二待分内存的累加值与下一个可利用系数对应的未存储内存进行对比，直至第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存并进行存储；可以达到根据拆分数据的内存以及区块链上的可存储内存进行动态分配避免区块链上存储空间分配不均的目的。

在本发明所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。

因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (5)

1.一种基于区块链的大数据的处理系统，其特征在于，包括数据采集模块、数据处理模块、提取组合模块和存储分配模块；

所述数据采集模块用于采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存，并将待处理数据发送至数据处理模块；

所述数据处理模块用于接收待处理数据并进行处理，得到已处理加工数据，并将已处理加工数据发送至提取组合模块，具体的步骤包括：

步骤一：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；包括：

提取待处理数据中的各个数据项和数据标志，根据预设的坐标系获取各个数据项的坐标位置；

设定不同的数据项均对应一个不同的数项预设值，将各个数据项与所有的数据项进行匹配获取对应的数项预设值并标记为SXi,i＝1,2,..n；设定不同的数据标志对应一个不同的数标预设值，将待处理数据中的数据标志与所有的数据标志进行匹配获取对应的数标预设值并标记为SBi,i＝1,2,..n；

利用公式获取数据项的匹配值，该公式为：

其中，H_pp表示为数据项的匹配值，μ表示为预设的数据标志修正因子，β表示为预设的数据项修正因子；

将匹配值根据预设的标准匹配阈值进行匹配，若匹配值等于标准匹配阈值，则判定各个数据项完整并生成格式正常信号，将各个数据项以及对应的坐标位置组合，得到格式正常数据；

若匹配值不等于标准匹配阈值，则判定各个数据项不完整并生成格式不正常信号，将各个数据项以及对应的坐标位置组合，得到格式异常数据；

步骤二：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；

步骤三：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；

所述提取组合模块用于接收已处理加工数据并进行提取组合，得到提取加工信息，并将提取加工信息发送至存储分配模块；

所述存储分配模块用于根据内存数据将提取加工信息分配存储至区块链的各个节点上。

2.根据权利要求1所述的一种基于区块链的大数据的处理系统，其特征在于，将格式正常数据进行完整验证，得到完整验证数据集，具体的步骤包括：

S21：获取格式正常数据中各个数据项以及对应的坐标位置并将其标记为待验证坐标；

S22：将待验证坐标与预设的数据验证坐标进行匹配并提取存储的数据值，若数据值不存在，则将标记为空白值，将数据值根据数据验证坐标进行排序；

S23：获取空白值对应的坐标位置并标记为空白坐标，根据空白坐标与预设的空白条件进行匹配，若该空白条件包含可存储空白数据，则将空白值标记为有效值，并将有效值的坐标位置标记为有效坐标；若该空白条件不包含可存储空白数据，则将空白值标记为无效值，并将无效值的坐标位置标记为无效坐标；

S24：利用公式获取数据项的无效系数，该公式为：

其中，H_wx表示为数据项的无效系数，η表示为预设的无效修正因子，SZ1表示为有效的数据项总个数，SZ2表示为无效的数据项总个数；

S25：将无效系数根据预设的无效阈值进行匹配，若无效系数大于预设的无效阈值，则判定格式正常数据为第一非完整数据；

S26：若无效系数不大于预设的无效阈值，获取有效坐标对应的数据项并将其组合，得到完整数据，获取无效坐标对应的数据项并组合，得到第二非完整数据，第一非完整数据、完整数据和第二非完整数据构成完整验证数据集。

3.根据权利要求1所述的一种基于区块链的大数据的处理系统，其特征在于，所述提取组合模块用于接收已处理加工数据并进行提取组合，得到提取加工信息，具体的步骤包括：

S31：获取已处理加工数据中的完整数据的占用内存和已验证数据的占用内存，并将完整数据的占用内存标记为第一待分内存，将已验证数据的占用内存标记为第二待分内存；

S32：利用公式获取数据的占比值，该公式为：

其中，H_zb表示为数据的占比值，δ表示为预设的无效修正因子，ZN1表示为第一待分内存，ZN2表示为第二待分内存；

S33：将占比值进行降序排列，并将占比值对应的已验证数据进行降序排列和标号，得到已验证排列数据；

S34：将完整数据和已验证排列数据以及第一待分内存和第二待分内存组合，得到提取加工信息。

4.根据权利要求1所述的一种基于区块链的大数据的处理系统，其特征在于，所述存储分配模块用于根据内存数据将提取加工信息分配存储至区块链的各个节点上，具体的步骤包括：

S41：获取内存数据中的已存储内存和未存储内存以及提取加工信息中的完整数据、已验证排列数据、第一待分内存和第二待分内存；

S42：利用公式K＝WN/(YN+WN)获取内存的可利用系数，其中，WN表示为未存储内存，YN表示为已存储内存；

S43：将可利用系数进行降序排列，并将可利用系数对应的各个子节点进行降序排列，将已验证排列数据和完整数据根据第一待分内存和第二待分内存与排序的各个子节点进行匹配；

S44：当第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存时，将已验证排列数据和完整数据存储至该未存储内存对应的子节点中；

S45：当第一待分内存和第二待分内存的累加值不小于可利用系数对应的未存储内存时，将第一待分内存和第二待分内存的累加值与下一个可利用系数对应的未存储内存进行对比，直至第一待分内存和第二待分内存的累加值小于可利用系数对应的未存储内存并进行存储。

5.一种基于区块链的大数据的处理方法，其特征在于，该处理方法包括：

步一：采集待处理数据和区块链的内存数据，该内存数据包含各个子节点的已存储内存和未存储内存；

步二：获取待处理数据并进行格式匹配，得到格式匹配数据集，格式匹配数据集包含格式正常数据和格式异常数据；

步三：将格式正常数据进行完整验证，得到完整验证数据集，完整验证数据集包含第一非完整数据、完整数据和第二非完整数据；

步四：将第一非完整数据、第二非完整数据和格式异常数据组合并标记，得到已验证数据，将完整数据和已验证数据组合，得到已处理加工数据；

步五：对已处理加工数据并进行提取组合，得到提取加工信息；

步六：根据内存数据将提取加工信息分配存储至区块链的各个节点上。

Images