CN117520345B - 基于云计算和区块链的数据处理方法、系统和介质 - Google Patents

基于云计算和区块链的数据处理方法、系统和介质 Download PDF

Info

Publication number
CN117520345B
CN117520345B CN202311522886.1A CN202311522886A CN117520345B CN 117520345 B CN117520345 B CN 117520345B CN 202311522886 A CN202311522886 A CN 202311522886A CN 117520345 B CN117520345 B CN 117520345B
Authority
CN
China
Prior art keywords
data
cloud
information
storage
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311522886.1A
Other languages
English (en)
Other versions
CN117520345A (zh
Inventor
席利宝
霍星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baolian Star Technology Co ltd
Original Assignee
Beijing Baolian Star Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baolian Star Technology Co ltd filed Critical Beijing Baolian Star Technology Co ltd
Priority to CN202311522886.1A priority Critical patent/CN117520345B/zh
Publication of CN117520345A publication Critical patent/CN117520345A/zh
Application granted granted Critical
Publication of CN117520345B publication Critical patent/CN117520345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了基于云计算和区块链的数据处理方法、系统和介质。该方法包括：通过设备终端获取待上传数据信息，上传至预处理服务器并处理后获得缓冲分类数据，获取云端信息和用户存储要求并对应获得当前用户的意向云端，将缓冲分类数据上传至意向云端的缓冲存储区，通过预处理后获得有效缓冲分类数据，在缓冲存储区对有效缓冲数据进行分割后获得分割上传数据，同时获得意向云端各服务器的资源情况，结合分割上传数据的属性情况，按照预设关联方式建立映射链接，并根据映射链接进行存储分配，通过区块链技术对整个过程进行监控生成监控日志，并获得存储分配情况，最后将监控日志信息和存储分配情况信息进行自动备份。

Description

基于云计算和区块链的数据处理方法、系统和介质
技术领域
本申请涉及云计算和区块链领域，具体而言，涉及基于云计算和区块链的数据处理方法、系统和介质。
背景技术
随着科技的进步和信息技术的普及，不论是生活还是工作中都产生了大量的数据，因此数据处理需求呈指数级增长，而传统的数据处理方法在处理海量数据时面临存储空间不足、处理效率低下以及数据安全性不高等问题。云计算技术的兴起为数据处理提供了新的解决方案，然而，传统的云计算平台在数据存储和处理的可靠性、安全性和完整性方面仍存在一定的问题。而且用户在使用云计算和云存储时，对数据上传完整情况、资源使用预估方面存在一定不足，同时，区块链技术作为一种去中心化的分布式账本技术，能够准确记录和安全备份所监控信息，但云计算和区块链数据处理和存储方面没有很好的结合，作用没有很好的发挥。
针对上述问题，目前亟待有效的技术解决方案。
发明内容
本申请的目的在于提供基于云计算和区块链的数据处理方法、系统和介质，可以实现通过设备终端获取待上传数据信息，上传至预处理服务器并处理后获得缓冲分类数据，获取云端信息和用户存储要求并对应获得当前用户的意向云端，将缓冲分类数据上传至意向云端的缓冲存储区，通过预处理后获得有效缓冲分类数据，在缓冲存储区对有效缓冲数据进行分割后获得分割上传数据，同时获得意向云端各服务器的资源情况，结合所述分割上传数据的属性情况，按照预设关联方式建立映射链接，并根据映射链接进行存储分配，通过区块链技术对整个过程进行监控生成监控日志，并获得存储分配情况，最后将监控日志信息和存储分配情况信息进行自动备份。
本申请还提供了基于云计算和区块链的数据处理方法，包括以下步骤：
设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据；
获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端；
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据；
将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据；
获取所述意向云端中各服务器的资源情况，结合所述分割上传数据的属性情况，进行相应的存储分配；
通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息；
将所述监控日志信息和所述存储分配情况信息进行自动备份。
可选地，在本申请所述的基于云计算和区块链的数据处理方法中，所述设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据，具体包括：
设备终端获取待上传数据信息，并上传至预处理服务器获得预处理数据；
将所述预处理数据输入预设格式分类模型中处理获得缓冲分类数据；
所述缓冲分类数据包括结构化数据、非结构数据和半结构数据。
可选地，在本申请所述的基于云计算和区块链的数据处理方法中，所述获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端，具体包括：
获取预设数量的云端信息，包括稳定性数据、传输速度以及价格数据；
获取当前用户的存储要求信息，包括稳定性要求、速度要求以及预算要求；
分别将所述云端信息与所述存储要求信息输入云端匹配指数公式，计算获得云端匹配指数；
预设数量的所述云端匹配指数构成云端匹配指数集；
选取所述云端匹配指数集中最小的云端匹配指数，其对应云端为意向云端；
所述云端匹配指数公式为：
其中，Pp为云端匹配指数，wx为稳定性要求，sd为速度要求，ys为预算要求，wd为稳定性数据，cs为传输速度，jg为价格数据，θ、ψ为预设特征系数。
可选地，在本申请所述的基于云计算和区块链的数据处理方法中，所述将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据，具体包括：
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，并输入预设的数据预处理模型处理获得有效缓冲分类数据；
所述数据预处理模型的处理过程，包括去除重复值、处理缺失值以及处理异常值；
将所述有效缓冲分类数据存储至缓冲待分割区。
可选地，在本申请所述的基于云计算和区块链的数据处理方法中，所述将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，具体包括：
获取所述有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求；
将所述有效缓冲分类数据输入预设分割标记模型；
所述预设分割标记模型将所述有效缓冲分类数据按照所述分割要求分割为预设数量的分割数据；
将所述分割数据进行编码并调整为要求的存储数据质量，获得分割上传数据；
所述编码包括预设分割数量、所述分割数据的序号、分割操作的流水码以及分割数据的格式分类信息；
所述格式分类信息包括分割结构化数据、分割非结构数据和分割半结构数据。
可选地，在本申请所述的基于云计算和区块链的数据处理方法中，所述获取所述意向云端中各服务器的资源情况，结合所述格式分类，进行相应的存储分配，具体包括：
获取所述意向云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量；
获取所述分割上传数据的存储空间大小需求信息，提取存储空间大小需求数据并进行正序排序；
将所述资源利用情况输入优先分配指数公式计算获得服务器的优先分配指数并进行倒序排序；
将所述存储空间大小需求数据的排序与所述优先分配指数的排序按照预设关联方式建立映射链接，并将所述分割上传数据存储至对应服务器；
所述优先分配指数公式为：
其中，Yx为优先分配指数，ky为可用容量，zr为存储总容量，dx为存储空间大小需求数据，β为预设特征系数。
可选地，在本申请所述的基于云计算和区块链的数据处理方法中，所述通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息，具体包括：
通过预设区块链技术对数据处理、存储过程进行监控，并生成监控日志信息；
所述监控日志信息包括数据处理日志数据、存储位置数据、分割上传数据的完整度数据；
根据所述完整度数据获得存储分配情况，包括完整存储和非完整存储。
第二方面，本申请提供了基于云计算和区块链的数据处理系统，该系统包括：存储器及处理器，所述存储器中包括基于云计算和区块链的数据处理方法的程序，所述基于云计算和区块链的数据处理方法的程序被所述处理器执行时实现以下步骤：
设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据；
获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端；
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据；
将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据；
获取所述意向云端中各服务器的资源情况，结合所述分割上传数据的属性情况，进行相应的存储分配；
通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息；
将所述监控日志信息和所述存储分配情况信息进行自动备份。
可选地，在本申请所述的基于云计算和区块链的数据处理系统中，所述设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据，具体包括：
设备终端获取待上传数据信息，并上传至预处理服务器获得预处理数据；
将所述预处理数据输入预设格式分类模型中处理获得缓冲分类数据；
所述缓冲分类数据包括结构化数据、非结构数据和半结构数据。
第三方面，本申请还提供了一种可读存储介质，所述可读存储介质中包括基于云计算和区块链的数据处理方法程序，所述基于云计算和区块链的数据处理方法程序被处理器执行时，实现如上述任一项所述的基于云计算和区块链的数据处理方法的步骤。
由上可知，本申请提供的基于云计算和区块链的数据处理方法、系统和介质。该方法通过设备终端获取待上传数据信息，上传至预处理服务器并处理后获得缓冲分类数据，获取云端信息和用户存储要求并对应获得当前用户的意向云端，将缓冲分类数据上传至意向云端的缓冲存储区，通过预处理后获得有效缓冲分类数据，在缓冲存储区对有效缓冲数据进行分割后获得分割上传数据，同时获得意向云端各服务器的资源情况，结合所述分割上传数据的属性情况，按照预设关联方式建立映射链接，并根据映射链接进行存储分配，通过区块链技术对整个过程进行监控生成监控日志，并获得存储分配情况，最后将监控日志信息和存储分配情况信息进行自动备份。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的基于云计算和区块链的数据处理方法的流程图；
图2为本申请实施例提供的基于云计算和区块链的数据处理方法的获得意向云端的流程图；
图3为本申请实施例提供的基于云计算和区块链的数据处理方法的获得有效缓冲分类数据的流程图；
图4为本申请实施例提供的基于云计算和区块链的数据处理方法的获得分割上传数据的流程图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的基于云计算和区块链的数据处理方法的流程图。该基于云计算和区块链的数据处理方法用于终端设备中，例如手机、电脑等。该基于云计算和区块链的数据处理方法，包括以下步骤：
S11、设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据；
S12、获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端；
S13、将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据；
S14、将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据；
S15、获取所述意向云端中各服务器的资源情况，结合所述分割上传数据的属性情况，进行相应的存储分配；
S16、通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息；
S17、将所述监控日志信息和所述存储分配情况信息进行自动备份。
其中，在进行云计算和云存储时，需要先在设备终端获取待上传数据信息，并将其上传至公共的预处理服务器中进行处理获得缓冲分类数据，分类处理后，可以根据数据分类的不同采用不同的分割或处理方式，获取数据后，同时获取可以提供服务的预设数量的云端信息和当前用户的存储要求信息，云端信息包括稳定性、传输速度以及价格数据，存储要求信息包括稳定性要求、速度要求以及预算要求，根据存储要求信息对应选择合适的意向云端，选定意向云端后，将缓冲分类数据上传至意向云端的缓冲存储区，缓冲存储区内预设数据预处理模型，通过模型可以实现对缓冲分类数据的处理，进而得到有效缓冲分类数据，在缓冲存储区内，将有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，在存储前，获取意向云端中各服务器的资源情况，结合分割上传数据的属性情况，进行相应的存储分配，将分割上传数据存储至合适的服务器，通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息和存储分配情况，最后将监控日志信息和存储分配情况信息进行自动备份。
根据本发明实施例，所述设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据，具体包括：
设备终端获取待上传数据信息，并上传至预处理服务器获得预处理数据；
将所述预处理数据输入预设格式分类模型中处理获得缓冲分类数据；
所述缓冲分类数据包括结构化数据、非结构数据和半结构数据。
其中，要想进行云计算，首先要通过设备终端获取待上传数据信息，待上传数据信息可以是文字、图像，也可以是视频，将获取的待上传信息发送至预处理服务器后，获得预处理数据，将预处理数据输入预处理服务器内预设的格式分类模型中处理获得缓冲分类数据，由于预处理数据有不同的格式，模型中以数据格式为分类依据，分类获得结构化数据、非结构数据和半结构数据；结构化数据是最为常见和熟悉的数据形态，它由明确定义的信息组成，并以高度组织化的表格或数据库进行存储和管理；非机构化数据是指没有固定组织原则的未经过滤的信息；半结构化数据位于结构化数据和非结构化数据之间，具有一定的结构化特征，但不符合表格数据模型或关系数据库的格式；预处理服务器是单独的预处理部分，能够对数据进行处理后得到缓冲分类数据再上传，缓冲分类数据是指分类后待上传至缓冲存储区的数据。
请参照图2，图2是本申请实施例提供的基于云计算和区块链的数据处理方法的获得意向云端的流程图。根据本发明实施例，所述获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端，具体包括：
S21、获取预设数量的云端信息，包括稳定性数据、传输速度以及价格数据；
S22、获取当前用户的存储要求信息，包括稳定性要求、速度要求以及预算要求；
S23、分别将所述云端信息与所述存储要求信息输入云端匹配指数公式，计算获得云端匹配指数；
S24、预设数量的所述云端匹配指数构成云端匹配指数集；
S25、选取所述云端匹配指数集中最小的云端匹配指数，其对应云端为意向云端；
所述云端匹配指数公式为：
其中，Pp为云端匹配指数，wx为稳定性要求，sd为速度要求，ys为预算要求，wd为稳定性数据，cs为传输速度，jg为价格数据，θ、ψ为预设特征系数(预设特征系数通过预设的云端匹配指数计算平台进行查询获得)。
其中，用户在进行云计算和云存储时，可以选择不同的云服务端，因此需要预设一定数量的云端，在本实施例中云端的预设数量为4，获取云端信息，包括稳定性数据，传输速度以及价格数据；获取云端信息后，同时再获取当前用户的存储要求信息，包括稳定性要求，速度要求以及预算要求，速度要求是指用户在向云端传输数据时上传速度的要求，预算要求是指用户对数据计算、存储所要花费费用的预算要求；分别将云端信息和存储要求信息输入云端匹配指数公式，计算获得云端匹配指数，云端匹配指数一定程度上反映了云端与用户存储要求的匹配程度，云端匹配指数越小，说明该云端越符合用户的存储要求；在本实施例中，分别计算出4个云端的云端匹配指数，并将4个云端匹配指数构成云端匹配指数集，在云端匹配指数集中选取最小的云端匹配指数，该指数所对应的云端就确定为用户的意向云端。
请参照图3，图3是本申请实施例提供的基于云计算和区块链的数据处理方法的获得有效缓冲分类数据的流程图。根据本发明实施例，所述将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据，具体包括：
S31、将所述缓冲分类数据上传至所述意向云端的缓冲存储区，并输入预设的数据预处理模型处理获得有效缓冲分类数据；
S32、所述数据预处理模型的处理过程，包括去除重复值、处理缺失值以及处理异常值；
S33、将所述有效缓冲分类数据存储至缓冲待分割区。
其中，确定意向云端后，将缓冲分类数据上传至意向云端的缓冲存储区，缓冲存储区是指云端中用来单独对数据进行处理、分析的区域，该部分只是临时缓冲存储、分析数据，将缓冲分类数据输入至预设的数据预处理模型中处理获得有效缓冲分类数据；数据预处理模型的处理过程包括去除重复值、处理缺失值以及处理异常值，经过处理后的数据为有效缓冲分类数据，将有效缓冲分类数据存储至缓冲待分割区；通过预处理模型的处理，使得大量复杂的数据变得清晰易懂，为后续的数据分析奠定基础，缓冲待分割区是指缓冲存储区中数据等待分割的区域。
请参照图4，图4是本申请实施例提供的基于云计算和区块链的数据处理方法的获得分割上传数据的流程图。根据本发明实施例，所述将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，具体包括：
S41、获取所述有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求；
S42、将所述有效缓冲分类数据输入预设分割标记模型；
S43、所述预设分割标记模型将所述有效缓冲分类数据按照所述分割要求分割为预设数量的分割数据；
S44、将所述分割数据进行编码并调整为要求的存储数据质量，获得分割上传数据；
S45、所述编码包括预设分割数量、所述分割数据的序号、分割操作的流水码以及分割数据的格式分类信息；
S46、所述格式分类信息包括分割结构化数据、分割非结构数据和分割半结构数据。
需要说明的是，要想完成对有效缓冲分类数据的分割，首先要获得有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求，分割要求可以是要求一份数据分割为预设数量，也可以是根据数据分类不同分割方式、大小不同，或者是二者同时兼有，在本实施例中，分割的预设数量为4；存储数据质量要求是对分割后数据存储像素、清晰度以及是否压缩等质量的要求信息，将有效缓冲分类数据输入预设分割标记模型，经过模型处理将有效缓冲分类数据分割为4份分割数据，得到分割数据后，将分割数据进行编码、调整，编码是为了增加数据分割的可溯性，编码中包括了一份文件共分割为的份数，本份分割数据在本次分割的所有分割文件中的序号数、本次分割操作的流水码以及分割数据的格式分类信息，本次分割操作的流水码是指在分割操作中，每次分割都会生成一个唯一的流水码，该流水码可以区分分割操作，格式分类信息是指分割数据根据格式分类后不同格式的数据，包括分割结构化数据、分割非结构数据和分割半结构数据，不同的分类有不同的编号，在编码过程中加入格式分类编号，便于分析、识别。
根据本发明实施例，所述获取所述意向云端中各服务器的资源情况，结合所述格式分类，进行相应的存储分配，具体包括：
获取所述意向云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量；
获取所述分割上传数据的存储空间大小需求信息，提取存储空间大小需求数据并进行正序排序；
将所述资源利用情况输入优先分配指数公式计算获得服务器的优先分配指数并进行倒序排序；
将所述存储空间大小需求数据的排序与所述优先分配指数的排序按照预设关联方式建立映射链接，并将所述分割上传数据存储至对应服务器；
所述优先分配指数公式为：
其中，Yx为优先分配指数，ky为可用容量，zr为存储总容量，dx为存储空间大小需求数据，β为预设特征系数(预设特征系数通过预设的优先分配指数计算平台进行查询获得)。
其中，云端服务是由众多服务器来进行支撑运行的，获取云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量，存储总容量是该服务器所能存储的最大容量，已用容量是指服务器已经使用的容量，可用容量是指服务器中剩余可以使用的容量，获取分割上传数据的存储空间大小需求信息，并提取存储空间大小需求数据，存储空间大小需求信息即存储该分割上传数据所需要的存储空间大小，将获得的存储空间大小需求数据按照由大到小的顺序进行正向排序；将资源利用情况输入优先分配指数公式，计算获得服务器的优先分配指数并按照由小到大的倒向顺序排序，获得存储空间大小需求数据的排序和优先分配指数的排序后，将两者按照预设方式建立映射链接，根据映射链接将分割上传数据存储至对应的服务器；在本实施例中，预设关联方式有两种情况：一是当分割上传数据的数量小于等于服务器数量时，将排名第一的存储空间大小需求数据与排名第一的优先分配指数建立映射链接，将排名第一的存储空间大小需求数据所对应的分割上传数据存储至排名第一的优先分配指数所对应的服务器，依次类推；当分割上传数据的数量大于服务器数量时，比如分割上传数据的数量为10，云端的服务器数量为5，将排名第一的存储空间大小需求数据对应排名第一的优先分配指数，按照此规律直至排名第5，排名第6的存储空间大小需求数据对应排名第1的优先分配指数，以此类推；将建立映射链接所对应的分割上传数据存储至对应的服务器。
根据本发明实施例，所述通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息，具体包括：
通过预设区块链技术对数据处理、存储过程进行监控，并生成监控日志信息；
所述监控日志信息包括数据处理日志数据、存储位置数据、分割上传数据的完整度数据；
根据所述完整度数据获得存储分配情况，包括完整存储和非完整存储。
需要说明的是，区块链技术的优势性能，通过区块链技术对数据处理、存储过程进行监控，并根据监控记录生成监控日志信息，监控日志信息中包括了数据处理日志数据、存储位置数据、分割上传数据的完整度数据，数据处理日志信息是指数据处理过程中各个步骤的日志记录，存储位置数据是指分割上传数据所存储位置的数据，分割上传数据的完整度数据即分割上传数据在数据传输、存储过程中，分割片段的完整性，用来确认数据没有丢失；根据完整度数据获得存储分配情况，存储分配情况包括完整存储和非完整存储，完整存储是所有分割上传数据均完整的完成了存储，非完整存储表示有部分数据丢失。
本发明还公开了基于云计算和区块链的数据处理系统，包括存储器和处理器，所述存储器中包括基于云计算和区块链的数据处理方法程序，所述基于云计算和区块链的数据处理方法程序被所述处理器执行时实现如下步骤：
设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据；
获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端；
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据；
将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据；
获取所述意向云端中各服务器的资源情况，结合所述分割上传数据的属性情况，进行相应的存储分配；
通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息；
将所述监控日志信息和所述存储分配情况信息进行自动备份。
其中，在进行云计算和云存储时，需要先在设备终端获取待上传数据信息，并将其上传至公共的预处理服务器中进行处理获得缓冲分类数据，分类处理后，可以根据数据分类的不同采用不同的分割或处理方式，获取数据后，同时获取可以提供服务的预设数量的云端信息和当前用户的存储要求信息，云端信息包括稳定性、传输速度以及价格数据，存储要求信息包括稳定性要求、速度要求以及预算要求，根据存储要求信息对应选择合适的意向云端，选定意向云端后，将缓冲分类数据上传至意向云端的缓冲存储区，缓冲存储区内预设数据预处理模型，通过模型可以实现对缓冲分类数据的处理，进而得到有效缓冲分类数据，在缓冲存储区内，将有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，在存储前，获取意向云端中各服务器的资源情况，结合分割上传数据的属性情况，进行相应的存储分配，将分割上传数据存储至合适的服务器，通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息和存储分配情况，最后将监控日志信息和存储分配情况信息进行自动备份。
根据本发明实施例，所述设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据，具体包括：
设备终端获取待上传数据信息，并上传至预处理服务器获得预处理数据；
将所述预处理数据输入预设格式分类模型中处理获得缓冲分类数据；
所述缓冲分类数据包括结构化数据、非结构数据和半结构数据。
其中，要想进行云计算，首先要通过设备终端获取待上传数据信息，待上传数据信息可以是文字、图像，也可以是视频，将获取的待上传信息发送至预处理服务器后，获得预处理数据，将预处理数据输入预处理服务器内预设的格式分类模型中处理获得缓冲分类数据，由于预处理数据有不同的格式，模型中以数据格式为分类依据，分类获得结构化数据、非结构数据和半结构数据；结构化数据是最为常见和熟悉的数据形态，它由明确定义的信息组成，并以高度组织化的表格或数据库进行存储和管理；非机构化数据是指没有固定组织原则的未经过滤的信息；半结构化数据位于结构化数据和非结构化数据之间，具有一定的结构化特征，但不符合表格数据模型或关系数据库的格式；预处理服务器是单独的预处理部分，能够对数据进行处理后得到缓冲分类数据再上传，缓冲分类数据是指分类后待上传至缓冲存储区的数据。
根据本发明实施例，所述获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端，具体包括：
获取预设数量的云端信息，包括稳定性数据、传输速度以及价格数据；
获取当前用户的存储要求信息，包括稳定性要求、速度要求以及预算要求；
分别将所述云端信息与所述存储要求信息输入云端匹配指数公式，计算获得云端匹配指数；
预设数量的所述云端匹配指数构成云端匹配指数集；
选取所述云端匹配指数集中最小的云端匹配指数，其对应云端为意向云端；
所述云端匹配指数公式为：
其中，Pp为云端匹配指数，wx为稳定性要求，sd为速度要求，ys为预算要求，wd为稳定性数据，cs为传输速度，jg为价格数据，θ、ψ为预设特征系数(预设特征系数通过预设的云端匹配指数计算平台进行查询获得)。
其中，用户在进行云计算和云存储时，可以选择不同的云服务端，因此需要预设一定数量的云端，在本实施例中云端的预设数量为4，获取云端信息，包括稳定性数据，传输速度以及价格数据；获取云端信息后，同时再获取当前用户的存储要求信息，包括稳定性要求，速度要求以及预算要求，速度要求是指用户在向云端传输数据时上传速度的要求，预算要求是指用户对数据计算、存储所要花费费用的预算要求；分别将云端信息和存储要求信息输入云端匹配指数公式，计算获得云端匹配指数，云端匹配指数一定程度上反映了云端与用户存储要求的匹配程度，云端匹配指数越小，说明该云端越符合用户的存储要求；在本实施例中，分别计算出4个云端的云端匹配指数，并将4个云端匹配指数构成云端匹配指数集，在云端匹配指数集中选取最小的云端匹配指数，该指数所对应的云端就确定为用户的意向云端。
根据本发明实施例，所述将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据，具体包括：
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，并输入预设的数据预处理模型处理获得有效缓冲分类数据；
所述数据预处理模型的处理过程，包括去除重复值、处理缺失值以及处理异常值；
将所述有效缓冲分类数据存储至缓冲待分割区。
其中，确定意向云端后，将缓冲分类数据上传至意向云端的缓冲存储区，缓冲存储区是指云端中用来单独对数据进行处理、分析的区域，该部分只是临时缓冲存储、分析数据，将缓冲分类数据输入至预设的数据预处理模型中处理获得有效缓冲分类数据；数据预处理模型的处理过程包括去除重复值、处理缺失值以及处理异常值，经过处理后的数据为有效缓冲分类数据，将有效缓冲分类数据存储至缓冲待分割区。通过预处理模型的处理，使得大量复杂的数据变得清晰易懂，为后续的数据分析奠定基础，缓冲待分割区是指缓冲存储区中数据等待分割的区域。
根据本发明实施例，所述将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，具体包括：
获取所述有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求；
将所述有效缓冲分类数据输入预设分割标记模型；
所述预设分割标记模型将所述有效缓冲分类数据按照所述分割要求分割为预设数量的分割数据；
将所述分割数据进行编码并调整为要求的存储数据质量，获得分割上传数据；
所述编码包括预设分割数量、所述分割数据的序号、分割操作的流水码以及分割数据的格式分类信息；
所述格式分类信息包括分割结构化数据、分割非结构数据和分割半结构数据。
需要说明的是，要想完成对有效缓冲分类数据的分割，首先要获得有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求，分割要求可以是要求一份数据分割为预设数量，也可以是根据数据分类不同分割方式、大小不同，或者是二者同时兼有，在本实施例中，分割的预设数量为4；存储数据质量要求是对分割后数据存储像素、清晰度以及是否压缩等质量的要求信息，将有效缓冲分类数据输入预设分割标记模型，经过模型处理将有效缓冲分类数据分割为4份分割数据，得到分割数据后，将分割数据进行编码、调整，编码是为了增加数据分割的可溯性，编码中包括了一份文件共分割为的份数，本份分割数据在本次分割的所有分割文件中的序号数、本次分割操作的流水码以及分割数据的格式分类信息，本次分割操作的流水码是指在分割操作中，每次分割都会生成一个唯一的流水码，该流水码可以区分分割操作，格式分类信息是指分割数据根据格式分类后不同格式的数据，包括分割结构化数据、分割非结构数据和分割半结构数据，不同的分类有不同的编号，在编码过程中加入格式分类编号，便于分析、识别。
根据本发明实施例，所述获取所述意向云端中各服务器的资源情况，结合所述格式分类，进行相应的存储分配，具体包括：
获取所述意向云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量；
获取所述分割上传数据的存储空间大小需求信息，提取存储空间大小需求数据并进行正序排序；
将所述资源利用情况输入优先分配指数公式计算获得服务器的优先分配指数并进行倒序排序；
将所述存储空间大小需求数据的排序与所述优先分配指数的排序按照预设关联方式建立映射链接，并将所述分割上传数据存储至对应服务器；
所述优先分配指数公式为：
其中，Yx为优先分配指数，ky为可用容量，zr为存储总容量，dx为存储空间大小需求数据，β为预设特征系数(预设特征系数通过预设的优先分配指数计算平台进行查询获得)。
其中，云端服务是由众多服务器来进行支撑运行的，获取云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量，存储总容量是该服务器所能存储的最大容量，已用容量是指服务器已经使用的容量，可用容量是指服务器中剩余可以使用的容量，获取分割上传数据的存储空间大小需求信息，并提取存储空间大小需求数据，存储空间大小需求信息即存储该分割上传数据所需要的存储空间大小，将获得的存储空间大小需求数据按照由大到小的顺序进行正向排序；将资源利用情况输入优先分配指数公式，计算获得服务器的优先分配指数并按照由小到大的倒向顺序排序，获得存储空间大小需求数据的排序和优先分配指数的排序后，将两者按照预设方式建立映射链接，根据映射链接将分割上传数据存储至对应的服务器；在本实施例中，预设关联方式有两种情况：一是当分割上传数据的数量小于等于服务器数量时，将排名第一的存储空间大小需求数据与排名第一的优先分配指数建立映射链接，将排名第一的存储空间大小需求数据所对应的分割上传数据存储至排名第一的优先分配指数所对应的服务器，依次类推；当分割上传数据的数量大于服务器数量时，比如分割上传数据的数量为10，云端的服务器数量为5，将排名第一的存储空间大小需求数据对应排名第一的优先分配指数，按照此规律直至排名第5，排名第6的存储空间大小需求数据对应排名第1的优先分配指数，以此类推；将建立映射链接所对应的分割上传数据存储至对应的服务器。
根据本发明实施例，所述通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息，具体包括：
通过预设区块链技术对数据处理、存储过程进行监控，并生成监控日志信息；
所述监控日志信息包括数据处理日志数据、存储位置数据、分割上传数据的完整度数据；
根据所述完整度数据获得存储分配情况，包括完整存储和非完整存储。
需要说明的是，区块链技术的优势性能，通过区块链技术对数据处理、存储过程进行监控，并根据监控记录生成监控日志信息，监控日志信息中包括了数据处理日志数据、存储位置数据、分割上传数据的完整度数据，数据处理日志信息是指数据处理过程中各个步骤的日志记录，存储位置数据是指分割上传数据所存储位置的数据，分割上传数据的完整度数据即分割上传数据在数据传输、存储过程中，分割片段的完整性，用来确认数据没有丢失；根据完整度数据获得存储分配情况，存储分配情况包括完整存储和非完整存储，完整存储是所有分割上传数据均完整的完成了存储，非完整存储表示有部分数据丢失。
本发明第三方面提供了一种可读存储介质，所述可读存储介质中包括基于云计算和区块链的数据处理方法程序，所述基于云计算和区块链的数据处理方法程序被处理器执行时，实现如上述任一项所述的基于云计算和区块链的数据处理方法的步骤。
本发明公开的基于云计算和区块链的数据处理方法、系统和介质，通过设备终端获取待上传数据信息，上传至预处理服务器并处理后获得缓冲分类数据，获取云端信息和用户存储要求并对应获得当前用户的意向云端，将缓冲分类数据上传至意向云端的缓冲存储区，通过预处理后获得有效缓冲分类数据，在缓冲存储区对有效缓冲数据进行分割后获得分割上传数据，同时获得意向云端各服务器的资源情况，结合所述分割上传数据的属性情况，按照预设关联方式建立映射链接，并根据映射链接进行存储分配，通过区块链技术对整个过程进行监控生成监控日志，并获得存储分配情况，最后将监控日志信息和存储分配情况信息进行自动备份。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (4)

1.基于云计算和区块链的数据处理方法，其特征在于，包括：
设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据；
获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端；
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据；
将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据；
获取所述意向云端中各服务器的资源情况，结合所述分割上传数据的属性情况，进行相应的存储分配；
通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息；
将所述监控日志信息和所述存储分配情况信息进行自动备份；
所述设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据，具体包括：
设备终端获取待上传数据信息，并上传至预处理服务器获得预处理数据；
将所述预处理数据输入预设格式分类模型中处理获得缓冲分类数据；
所述缓冲分类数据包括结构化数据、非结构数据和半结构数据；
所述获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端，具体包括：
获取预设数量的云端信息，包括稳定性数据、传输速度以及价格数据；
获取当前用户的存储要求信息，包括稳定性要求、速度要求以及预算要求；
分别将所述云端信息与所述存储要求信息输入云端匹配指数公式，计算获得云端匹配指数；
预设数量的所述云端匹配指数构成云端匹配指数集；
选取所述云端匹配指数集中最小的云端匹配指数，其对应云端为意向云端；
所述云端匹配指数公式为：
；
其中，为云端匹配指数，/>为稳定性要求，/>为速度要求，/>为预算要求，/>为稳定性数据，/>为传输速度，/>为价格数据，/>、/>、/>为预设特征系数；
所述将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据，具体包括：
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，并输入预设的数据预处理模型处理获得有效缓冲分类数据；
所述数据预处理模型的处理过程，包括去除重复值、处理缺失值以及处理异常值；
将所述有效缓冲分类数据存储至缓冲待分割区；
所述将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，具体包括：
获取所述有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求；
将所述有效缓冲分类数据输入预设分割标记模型；
所述预设分割标记模型将所述有效缓冲分类数据按照所述分割要求分割为预设数量的分割数据；
将所述分割数据进行编码并调整为要求的存储数据质量，获得分割上传数据；
所述编码包括预设分割数量、所述分割数据的序号、分割操作的流水码以及分割数据的格式分类信息；
所述格式分类信息包括分割结构化数据、分割非结构数据和分割半结构数据；
所述获取所述意向云端中各服务器的资源情况，结合所述格式分类，进行相应的存储分配，具体包括：
获取所述意向云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量；
获取所述分割上传数据的存储空间大小需求信息，提取存储空间大小需求数据并进行正序排序；
将所述资源利用情况输入优先分配指数公式计算获得服务器的优先分配指数并进行倒序排序；
将所述存储空间大小需求数据的排序与所述优先分配指数的排序按照预设关联方式建立映射链接，并将所述分割上传数据存储至对应服务器；
所述优先分配指数公式为：
；
其中，为优先分配指数，/>为可用容量，/>为存储总容量，/>为存储空间大小需求数据，/>、/>为预设特征系数。
2.根据权利要求1所述的基于云计算和区块链的数据处理方法，其特征在于，所述通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息，具体包括：
通过预设区块链技术对数据处理、存储过程进行监控，并生成监控日志信息；
所述监控日志信息包括数据处理日志数据、存储位置数据、分割上传数据的完整度数据；
根据所述完整度数据获得存储分配情况，包括完整存储和非完整存储。
3.基于云计算和区块链的数据处理系统，其特征在于，包括存储器和处理器，所述存储器中包括基于云计算和区块链的数据处理方法程序，所述基于云计算和区块链的数据处理方法程序被所述处理器执行时实现如下步骤：
设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据；
获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端；
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据；
将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据；
获取所述意向云端中各服务器的资源情况，结合所述分割上传数据的属性情况，进行相应的存储分配；
通过预设区块链技术对数据处理、存储过程进行监控，生成监控日志信息，并获得存储分配情况信息；
将所述监控日志信息和所述存储分配情况信息进行自动备份；
所述设备终端获取待上传数据信息，上传至预处理服务器后处理获得缓冲分类数据，具体包括：
设备终端获取待上传数据信息，并上传至预处理服务器获得预处理数据；
将所述预处理数据输入预设格式分类模型中处理获得缓冲分类数据；
所述缓冲分类数据包括结构化数据、非结构数据和半结构数据；
所述获取预设数量的云端信息和当前用户的存储要求信息，根据存储要求信息结合云端信息对应获得意向云端，具体包括：
获取预设数量的云端信息，包括稳定性数据、传输速度以及价格数据；
获取当前用户的存储要求信息，包括稳定性要求、速度要求以及预算要求；
分别将所述云端信息与所述存储要求信息输入云端匹配指数公式，计算获得云端匹配指数；
预设数量的所述云端匹配指数构成云端匹配指数集；
选取所述云端匹配指数集中最小的云端匹配指数，其对应云端为意向云端；
所述云端匹配指数公式为：
；
其中，为云端匹配指数，/>为稳定性要求，/>为速度要求，/>为预算要求，/>为稳定性数据，/>为传输速度，/>为价格数据，/>、/>、/>为预设特征系数；
所述将所述缓冲分类数据上传至所述意向云端的缓冲存储区，通过预设的数据预处理模型对所述缓冲分类数据进行处理获得有效缓冲分类数据，具体包括：
将所述缓冲分类数据上传至所述意向云端的缓冲存储区，并输入预设的数据预处理模型处理获得有效缓冲分类数据；
所述数据预处理模型的处理过程，包括去除重复值、处理缺失值以及处理异常值；
将所述有效缓冲分类数据存储至缓冲待分割区；
所述将所述有效缓冲分类数据通过预设分割标记模型处理后获得分割上传数据，具体包括：
获取所述有效缓冲分类数据的上传要求信息，包括分割要求和存储数据质量要求；
将所述有效缓冲分类数据输入预设分割标记模型；
所述预设分割标记模型将所述有效缓冲分类数据按照所述分割要求分割为预设数量的分割数据；
将所述分割数据进行编码并调整为要求的存储数据质量，获得分割上传数据；
所述编码包括预设分割数量、所述分割数据的序号、分割操作的流水码以及分割数据的格式分类信息；
所述格式分类信息包括分割结构化数据、分割非结构数据和分割半结构数据；
所述获取所述意向云端中各服务器的资源情况，结合所述格式分类，进行相应的存储分配，具体包括：
获取所述意向云端中各服务器的资源利用情况，包括存储总容量、已用容量以及可用容量；
获取所述分割上传数据的存储空间大小需求信息，提取存储空间大小需求数据并进行正序排序；
将所述资源利用情况输入优先分配指数公式计算获得服务器的优先分配指数并进行倒序排序；
将所述存储空间大小需求数据的排序与所述优先分配指数的排序按照预设关联方式建立映射链接，并将所述分割上传数据存储至对应服务器；
所述优先分配指数公式为：
；
其中，为优先分配指数，/>为可用容量，/>为存储总容量，/>为存储空间大小需求数据，/>、/>为预设特征系数。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中包括一种基于云计算和区块链的数据处理方法程序，所述一种基于云计算和区块链的数据处理方法程序被处理器执行时，实现如权利要求1至2中任一项所述的一种基于云计算和区块链的数据处理方法的步骤。
CN202311522886.1A 2023-11-15 2023-11-15 基于云计算和区块链的数据处理方法、系统和介质 Active CN117520345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311522886.1A CN117520345B (zh) 2023-11-15 2023-11-15 基于云计算和区块链的数据处理方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311522886.1A CN117520345B (zh) 2023-11-15 2023-11-15 基于云计算和区块链的数据处理方法、系统和介质

Publications (2)

Publication Number Publication Date
CN117520345A CN117520345A (zh) 2024-02-06
CN117520345B true CN117520345B (zh) 2024-04-23

Family

ID=89756313

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311522886.1A Active CN117520345B (zh) 2023-11-15 2023-11-15 基于云计算和区块链的数据处理方法、系统和介质

Country Status (1)

Country Link
CN (1) CN117520345B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018130162A1 (zh) * 2017-01-11 2018-07-19 杨立群 一种管控云计算终端和云服务器运作的方法和装置
CN115658282A (zh) * 2022-08-18 2023-01-31 江苏腾威云天科技有限公司 服务器算力管理分配方法、系统、网络设备和存储介质
CN115865518A (zh) * 2023-01-30 2023-03-28 天云融创数据科技（北京）有限公司 一种基于大数据的云平台数据处理方法及系统
CN116909751A (zh) * 2023-09-11 2023-10-20 北京蓝耘科技股份有限公司 一种云计算系统中的资源分配方法
CN116974490A (zh) * 2023-08-28 2023-10-31 北京宝联之星科技股份有限公司 一种基于多端云计算集群的大数据存储方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018130162A1 (zh) * 2017-01-11 2018-07-19 杨立群 一种管控云计算终端和云服务器运作的方法和装置
CN115658282A (zh) * 2022-08-18 2023-01-31 江苏腾威云天科技有限公司 服务器算力管理分配方法、系统、网络设备和存储介质
CN115865518A (zh) * 2023-01-30 2023-03-28 天云融创数据科技（北京）有限公司 一种基于大数据的云平台数据处理方法及系统
CN116974490A (zh) * 2023-08-28 2023-10-31 北京宝联之星科技股份有限公司 一种基于多端云计算集群的大数据存储方法及系统
CN116909751A (zh) * 2023-09-11 2023-10-20 北京蓝耘科技股份有限公司 一种云计算系统中的资源分配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于效益最大化的云虚拟机资源分配研究;罗杰;张之明;高志强;程川;;计算机应用研究;20161031(10);89-92 *

Also Published As

Publication number Publication date
CN117520345A (zh) 2024-02-06

Similar Documents

Publication Publication Date Title
US20090070415A1 (en) Architecture for mixed media reality retrieval of locations and registration of images
CN110727643B (zh) 一种基于机器学习的文件分类管理方法及系统
CN111651636A (zh) 视频相似片段搜索方法及装置
CN111464583A (zh) 计算资源分配方法、装置、服务器及存储介质
CN110442489B (zh) 数据处理的方法和存储介质
CN110610431A (zh) 基于大数据的智能理赔方法及智能理赔系统
CN109710792A (zh) 一种基于索引的快速人脸检索系统应用
CN105512300B (zh) 信息过滤方法及系统
CN117520345B (zh) 基于云计算和区块链的数据处理方法、系统和介质
CN110019193B (zh) 相似帐号识别方法、装置、设备、系统及可读介质
CN113609393A (zh) 一种基于数据服务和数据管理的数字化平台
CN116992350A (zh) 一种基于大数据的产业供应链优化方法及系统
CN113591511A (zh) 混凝土状态的识别方法、装置、电子设备及存储介质
CN113626466B (zh) 基于工业互联网的物料管理方法、系统及计算机存储介质
CN114330720A (zh) 用于云计算的知识图谱构建方法、设备及存储介质
CN112613396B (zh) 一种任务紧急程度处理方法及系统
CN113536020A (zh) 数据查询的方法、存储介质和计算机程序产品
CN117112846B (zh) 一种多信息源证照信息管理方法、系统及介质
CN111797921A (zh) 一种图像数据对比方法及装置
KR20130119781A (ko) 비디오 중복 검출 장치 및 방법
CN117555501B (zh) 基于边缘计算的云打印机运维数据处理方法以及相关装置
CN113449196A (zh) 信息生成方法及装置、电子设备和可读存储介质
CN118093315A (zh) 硬盘设备的监控控制方法及装置、存储介质和电子设备
CN116719888A (zh) 一种基于云计算的企业群体服务方法、系统及存储介质
CN116828190A (zh) 视频编码参数确定方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant