CN110855802A - 职教诊改系统的数据分片分发存储方法、装置及服务器 - Google Patents
职教诊改系统的数据分片分发存储方法、装置及服务器 Download PDFInfo
- Publication number
- CN110855802A CN110855802A CN202010002619.1A CN202010002619A CN110855802A CN 110855802 A CN110855802 A CN 110855802A CN 202010002619 A CN202010002619 A CN 202010002619A CN 110855802 A CN110855802 A CN 110855802A
- Authority
- CN
- China
- Prior art keywords
- distribution
- storage
- data
- fragment
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/30—Peripheral units, e.g. input or output ports
- H04L49/3072—Packet splitting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种职教诊改系统的数据分片分发存储方法、装置及服务器，通过将已分发存储的数据分片序列的数据散列存储特征作为输入特征，以存储标签作为输出特征，构建对应的分发存储控制模型，然后识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据分发存储控制模型对每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成每个目标分片数据所对应的存储标签，从而根据每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中。如此，可以将复制的数据分片按照模型学习分发到地理分散的数据存储分布节点中，以提高数据存储的安全性。
Description
技术领域
本申请涉及数据存储技术领域，具体而言，涉及一种职教诊改系统的数据分片分发存储方法、装置及服务器。
背景技术
目前，学分银行是现如今社会在职人员继续学习的一种新型学习模式。学员可以通过在线学习和在线测试生成学习记录和考试记录，并在考试通过时获得学分，该学分可以存储于学分银行服务器的学员账户中。学员可以使用该学分在认证的机构处兑换补贴或者学历证书。这种方式能够为社会在职人员提供灵活、方便且规范的自主在线学习。
由于学员的在线学习记录、测试记录以及学分等数据是学员的重要信息，因此学分银行服务器需要对这些重要信息进行数据分片存储，没有一个实体拥有所有存储资源或控制存储基础架构，只有内容所有者才能完全访问其所有数据，无论这些节点位于何处仅允许学员自己访问和获取这些数据。但是现有的对上述学员的数据信息进行分片存储的方法，存储策略相对固定，安全性远远不够。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供一种职教诊改系统的数据分片分发存储方法、装置及服务器，可以将复制的数据分片按照模型学习分发到地理分散的数据存储分布节点中，以提高数据存储的安全性。
第一方面，本申请提供一种职教诊改系统的数据分片分发存储方法，应用于服务器，所述服务器与至少一个分散的数据存储分布节点通信连接，所述方法包括：
获取已分发存储的数据分片序列，所述已分发存储的数据分片序列中包括多个已根据本次存储业务情况执行数据分片操作的分片数据，每个已执行数据分片操作的分片数据包括已识别出的数据散列存储特征以及该分片数据对应的存储标签，所述数据散列存储特征与至少一个数据存储分布节点的散列存储策略相对应，所述存储标签为加密标签或非加密标签；
以所述数据散列存储特征作为存储控制模型的输入特征，以所述存储标签作为所述存储控制模型的输出特征，构建对应的存储控制模型，将构建好的存储控制模型作为分发存储控制模型；
识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据所述分发存储控制模型对所述每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成所述每个目标分片数据所对应的存储标签；
根据所述每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中。
在第一方面的一种可能的设计中，所述存储标签为加密标签的分片数据通过以下方式获取得到：
获取高风险业务的分片数据以及标记风险业务的分片数据；
根据所述标记风险业务的分片数据的数据散列存储特征，生成第一比较特征，以及根据所述高风险业务的分片数据的数据散列存储特征，生成第二比较特征；
计算所述第一比较特征和所述第二比较特征之间的相似度；
根据所述第一比较特征和所述第二比较特征之间的相似度，从所述标记风险业务中，筛选出目标分片数据；
将筛选出的目标分片数据和所述高风险业务的分片数据作为所述存储标签为加密标签的分片数据。
在第一方面的一种可能的设计中，所述以所述数据散列存储特征作为存储控制模型的输入特征，以所述存储标签作为所述存储控制模型的输出特征，构建对应的存储控制模型的步骤，包括：
以所述数据散列存储特征作为存储控制模型的输入特征，将所述数据散列存储特征输入到所述存储控制模型中，通过所述存储控制模型解析所述数据散列存储特征在目标预设数据段内的目标存储特征，所述目标存储特征包括目标存储特征节点序列；
根据对所述目标存储特征节点序列进行散列处理，得到多个目标存储特征节点；
根据所述目标存储特征所对应的特征向量确定多个第一训练策略，所述多个第一训练策略分别为所述多个目标存储特征节点在所述存储控制模型中训练的训练策略，所述存储控制模型用于学习多个目标存储特征节点序列进行散列处理之后的目标存储特征节点，以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练策略，所述多个目标存储特征节点序列为在所述目标预设数据段内获取到的多个目标存储特征所包括的目标存储特征节点序列；
按照所述多个第一训练策略中的每个第一训练策略从高优先级到低优先级的顺序，对所述多个第一训练策略进行排序，得到训练策略序列；
基于预设相似比例阈值和所述训练策略序列，确定所述多个目标存储特征节点中的目标存储特征节点在所述存储控制模型中表达的训练策略，所述预设相似比例阈值用于指示所述目标存储特征节点序列与目标预设数据段内获取的目标存储特征节点序列相似部分在所述目标存储特征节点序列中所占的比例；
当所述目标存储特征节点在所述存储控制模型中表达的训练策略匹配预设训练策略时，确定所述目标存储特征为可学习目标存储特征；当确定该目标存储特征为可学习目标存储特征时，对于所述多个第一训练策略中的每个第一训练策略，根据所述第一训练策略控制所述存储控制模型学习在所述目标预设数据段内接收的多个目标存储特征节点序列进行散列处理之后的目标存储特征节点，以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练策略，并在训练之后生成预测标签；
根据所述预测标签和所述存储标签更新所述存储控制模型的模型参数。
在第一方面的一种可能的设计中，所述根据所述每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中的步骤，包括：
根据所述每个目标分片数据所对应的散列存储特征和存储标签，生成对应的第一分发存储分片序列；
针对所述第一分发存储分片序列中的每个分发存储分片，计算该分发存储分片与上一次第二分发存储分片序列中与该分发存储分片所对应的分发存储分片之间的分片分发偏移参数；
根据所述分片分发偏移参数和该分发存储分片在所述第一分发存储分片序列中所对应的分发向量确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列；
根据所述第一分发存储分片序列与其它第二分发存储分片序列在每个分发存储分片上的分发参考序列确定所述第一分发存储分片序列中需分发存储至至少一个数据存储分布节点的目标分片数据。
在第一方面的一种可能的设计中，所述根据所述分片分发偏移参数和该分发存储分片在所述第一分发存储分片序列中所对应的分发向量确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列的步骤，包括：
根据所述分片分发偏移参数中分片散列特征的特征频繁度和控制转换关系，确定所述分片分发偏移参数中的分发节点的分发协议特征信息及分发过程节点的分发过程特征信息；
根据所述分发协议特征信息确定在预设协议映射集中与所述分片分发偏移参数中的分发节点相对应的分发节点，以及根据所述分发过程特征信息确定在所述预设协议映射集中与所述分片分发偏移参数中的分发过程节点相对应的分发过程节点；
将所述预设协议映射集中的分发节点及分发过程节点进行融合确定该分发存储分片所对应的分发存储过程控制信息；
将所述分发存储过程控制信息划分为多个分发数据节点和多个分发控制存储节点；
针对任意一个分发数据节点，将所述分发数据节点在所述分发存储过程控制信息中表示分发节点的控制段进行划分得到多个子分发数据节点，并确定所述多个子分发数据节点的控制转换关系；
针对任意一个分发控制存储节点，将所述分发控制存储节点在所述分发存储过程控制信息中表示分发节点的控制段进行划分得到多个子分发控制存储节点，并确定所述多个子分发控制存储节点的控制特征；
根据该分发存储分片在所述第一分发存储分片序列中所对应的分发向量，对所述多个子分发数据节点的控制转换关系和所述多个子分发控制存储节点的控制特征进行向量融合处理，确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列。
在第一方面的一种可能的设计中，所述根据该分发存储分片在所述第一分发存储分片序列中所对应的分发向量，对所述多个子分发数据节点的控制转换关系和所述多个子分发控制存储节点的控制特征进行向量融合处理，确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列的步骤，包括：
从所述多个子分发数据节点的控制转换关系中选择至少部分控制转换关系对对应的多个子分发控制存储节点的控制特征进行特征转换，得到转换后的控制特征；
分别将转换后的控制特征进行融合，得到第一融合控制特征序列，并根据该分发存储分片在所述第一分发存储分片序列中所对应的分发向量对所述第一融合控制特征序列进行向量处理，得到第二融合控制特征序列；
调用融合程序，通过融合程序确定所述第一融合控制特征序列中包含的每种特征类型的第一融合控制特征值以及第二融合控制特征序列中包含的每种特征类型的第二融合控制特征值；
比对所述第一融合控制特征序列中包含的每种特征类型的第一融合控制特征值和第二融合控制特征序列中包含的每种特征类型的第二融合控制特征值，确定每种特征类型的分发控制度，并根据每种特征类型的分发控制度确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列。
在第一方面的一种可能的设计中，所述根据每种特征类型的分发控制度确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列的步骤，包括：
根据每种特征类型的分发控制度确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片的初始分发参考序列，并对所述初始分发参考序列中的各初始分发参考节点的节点位置和预设分发位置调整关系，生成所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列。
第二方面，本申请实施例还提供一种职教诊改系统的数据分片分发存储装置，
应用于服务器，所述服务器与至少一个数据存储分布节点通信连接，所述装置包括：
获取模块，用于获取已分发存储的数据分片序列，所述已分发存储的数据分片序列中包括多个已根据本次存储业务情况执行数据分片操作的分片数据，每个已执行数据分片操作的分片数据包括已识别出的数据散列存储特征以及该分片数据对应的存储标签，所述数据散列存储特征与至少一个数据存储分布节点的散列存储策略相对应，所述存储标签为加密标签或非加密标签；
构建模块，用于以所述数据散列存储特征作为存储控制模型的输入特征，以所述存储标签作为所述存储控制模型的输出特征，构建对应的存储控制模型，将构建好的存储控制模型作为分发存储控制模型；
识别生成模块，用于识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据所述分发存储控制模型对所述每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成所述每个目标分片数据所对应的存储标签；
分发存储模块，用于根据所述每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中。
第三方面，本申请实施例还提供一种服务器，所述服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个数据存储分布节点通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行第一方面或者第一方面中任意一个可能的设计中的职教诊改系统的数据分片分发存储方法。
第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上检测时，使得计算机执行上述第一方面或者第一方面中任意一个可能的设计中的职教诊改系统的数据分片分发存储方法。
基于上述任意一个方面，本申请通过将已分发存储的数据分片序列的数据散列存储特征作为输入特征，以存储标签作为输出特征，构建对应的分发存储控制模型，然后识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据分发存储控制模型对每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成每个目标分片数据所对应的存储标签，从而根据每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中。如此，可以将复制的数据分片按照模型学习分发到地理分散的数据存储分布节点中，以提高数据存储的安全性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的职教诊改系统的数据分片分发存储系统的应用场景示意图；
图2为本申请实施例提供的职教诊改系统的数据分片分发存储方法的流程示意图之一；
图3为本申请实施例提供的职教诊改系统的数据分片分发存储装置的功能模块示意图；
图4为本申请实施例提供的用于实现上述的职教诊改系统的数据分片分发存储方法的服务器的结构示意框图。
具体实施方式
下面结合说明书附图对本申请进行具体说明，方法实施例中的具体操作方法也可以应用于装置实施例或系统实施例中。在本申请的描述中，除非另有说明，“至少一个”包括一个或多个。“多个”是指两个或两个以上。例如，A、B和C中的至少一个，包括：单独存在A、单独存在B、同时存在A和B、同时存在A和C、同时存在B和C，以及同时存在A、B和C。在本申请中，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联设备的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
图1是本申请一种实施例提供的职教诊改系统的数据分片分发存储系统10的交互示意图。职教诊改系统的数据分片分发存储系统10可以包括服务器100以及与所述服务器100通信连接的数据存储分布节点200，服务器100中可以包括执行指令操作的处理器。图1所示的职教诊改系统的数据分片分发存储系统10仅为一种可行的示例，在其它可行的实施例中，该职教诊改系统的数据分片分发存储系统10也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
在一些实施例中，服务器100可以是单个服务器，也可以是一个服务器组。运营服务器组可以是集中式的，也可以是分布式的（例如，服务器100可以是分布式系统）。在一些实施例中，服务器100相对于数据存储分布节点200，可以是本地的、也可以是远程的。例如，服务器100可以经由网络访问存储在数据存储分布节点200以及数据库、或其任意组合中的信息。作为另一示例，服务器100可以直接连接到数据存储分布节点200和数据库中的至少一个，以访问其中存储的信息和/或数据。在一些实施例中，服务器100可以在云平台上实现；仅作为示例，云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云（inter-cloud）、多云(multi-cloud)等，或者它们的任意组合。
在一些实施例中，服务器100可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。处理器可以包括一个或多个处理核（例如，单核处理器（S）或多核处理器（S））。仅作为举例，处理器可以包括中央处理单元（Central Processing Unit, CPU）、专用集成电路（Application Specific IntegratedCircuit, ASIC）、专用指令集处理器（Application Specific Instruction-setProcessor, ASIP）、图形处理单元（Graphics Processing Unit, GPU）、物理处理单元（Physics Processing Unit, PPU）、数字信号处理器 (Digital Signal Processor,DSP)、现场可编程门阵列( Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device, PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing, RISC)、或微处理器等，或其任意组合。
网络可以用于信息和/或数据的交换。在一些实施例中，职教诊改系统的数据分片分发存储系统10中的一个或多个组件（例如，服务器100，数据存储分布节点200和数据库）可以向其他组件发送信息和/或数据。在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络130可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网（Local Area Network，LAN）、广域网（Wide AreaNetwork，WAN）、无线局域网（Wireless Local Area Networks，WLAN）、城域网（Metropolitan Area Network，MAN）、广域网（Wide Area Network，WAN）、公共电话交换网（Public Switched Telephone Network，PSTN）、蓝牙网络、ZigBee网络、或近场通信（NearField Communication, NFC）网络等，或其任意组合。在一些实施例中，网络可以包括一个或多个网络接入点。例如，网络可以包括有线或无线网络接入点，例如基站和/或网络交换节点，职教诊改系统的数据分片分发存储系统10的一个或多个组件可以通过该接入点连接到网络以交换数据和/或信息。
前述的数据库可以存储数据和/或指令。在一些实施例中，数据库可以存储向数据存储分布节点200分配的数据。在一些实施例中，数据库可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中，数据库可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器（Read-Only Memory, ROM）等，或其任意组合。作为举例，大容量存储器可以包括磁盘、光盘、固态驱动器等；可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等；易失性读写存储器可以包括随机存取存储器（Random AccessMemory, RAM）；RAM可以包括动态RAM（Dynamic Random Access Memory, DRAM），双倍数据速率同步动态RAM（Double Date-Rate Synchronous RAM, DDR SDRAM）；静态RAM（StaticRandom-Access Memory, SRAM），晶闸管RAM（Thyristor-Based Random Access Memory,T-RAM）和零电容器RAM（Zero-RAM）等。作为举例，ROM可以包括掩模ROM（Mask Read-OnlyMemory, MROM）、可编程ROM（ Programmable Read-Only Memory, PROM）、可擦除可编程ROM（Programmable Erasable Read-only Memory , PEROM）、电可擦除可编程ROM（Electrically Erasable Programmable read only memory, EEPROM）、光盘ROM（CD-ROM）、以及数字通用磁盘ROM等。在一些实施例中，数据库可以在云平台上实现。仅作为示例，云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等，或其任意组合。
在一些实施例中，数据库可以连接到网络以与职教诊改系统的数据分片分发存储系统10（例如，服务器100，数据存储分布节点200等）中的一个或多个组件通信。职教诊改系统的数据分片分发存储系统10中的一个或多个组件可以经由网络访问存储在数据库中的数据或指令。在一些实施例中，数据库可以直接连接到职教诊改系统的数据分片分发存储系统10中的一个或多个组件（例如，服务器100，数据存储分布节点200等；或者，在一些实施例中，数据库也可以是服务器100的一部分。
在本实施例中，该服务器100可以为学分银行服务器，该学分银行服务器与学员在线学习所使用的终端共同组成职教诊改系统。在本实施例中，职教诊改系统也可以理解为学分认证系统。
详细地，学分银行服务器具有以下功能：
（1）开设学分（标准学分）
学员获取学分的渠道是对相关课程在线学习，并经过考试合格后获得。不同课程对应的学分不同，学分的设定是由学校根据相关主管单位要求和规则制定。标准学分只针对课程与专业。
（2）虚拟学分（虚拟课时）
市民素质提升平台学员学分获取的渠道是对相关课程在线学习，并经过考试合格后获得。不同的课程根据课程学习时长来规定虚拟学分值。
（3）使用学分
根据不同机构学分使用特点，可设置不同转换系数，生成机构认定的使用学分，使用学分可在申领补贴、兑换证书使用，同时系统进行标记。
（4）互认原则
在平台主管部门认可的教育机构之间符合互认协议的前提下，相互承认学员在对方所报专业中完成课程在线学习结果，和在本校完成课程在线学习结果具有同等的效用。
可以理解，学分银行服务器还可以包括诸多在线学习和自主学习的功能，在此不作限定。进一步地，由于学员的在线学习记录、测试记录以及学分是学员的重要信息，因此学分银行服务器需要对这些重要信息进行数据分片和分发存储处理。
为了解决前述背景技术中的技术问题，图2为本申请实施例提供的职教诊改系统的数据分片分发存储方法的流程示意图，本实施例提供的职教诊改系统的数据分片分发存储方法可以由图1中所示的服务器100执行，下面对该职教诊改系统的数据分片分发存储方法进行详细介绍。
步骤S110，获取已分发存储的数据分片序列，已分发存储的数据分片序列中包括多个已根据本次存储业务情况执行数据分片操作的分片数据，每个已执行数据分片操作的分片数据包括已识别出的数据散列存储特征以及该分片数据对应的存储标签，数据散列存储特征与至少一个数据存储分布节点200的散列存储策略相对应，存储标签为加密标签或非加密标签。
步骤S120，以数据散列存储特征作为存储控制模型的输入特征，以存储标签作为存储控制模型的输出特征，构建对应的存储控制模型，将构建好的存储控制模型作为分发存储控制模型。
步骤S130，识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据分发存储控制模型对每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成每个目标分片数据所对应的存储标签。
步骤S140，根据每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点200中。
基于上述步骤，本实施例通过将已分发存储的数据分片序列的数据散列存储特征作为输入特征，以存储标签作为输出特征，构建对应的分发存储控制模型，然后识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据分发存储控制模型对每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成每个目标分片数据所对应的存储标签，从而根据每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点200中。如此，可以将复制的数据分片按照模型学习分发到地理分散的数据存储分布节点200中，以提高数据存储的安全性。
在一种可能的设计中，为了进一步提高数据存储的安全性，存储标签为加密标签的分片数据可以通过以下方式获取得到：
首先，可以获取高风险业务的分片数据以及标记风险业务的分片数据，并根据标记风险业务的分片数据的数据散列存储特征，生成第一比较特征，以及根据高风险业务的分片数据的数据散列存储特征，生成第二比较特征。在此基础上，可以计算第一比较特征和第二比较特征之间的相似度，并根据第一比较特征和第二比较特征之间的相似度，从标记风险业务中，筛选出目标分片数据。由此，可以将筛选出的目标分片数据和高风险业务的分片数据作为存储标签为加密标签的分片数据。
在一种可能的设计中，针对步骤S120，可以以数据散列存储特征作为存储控制模型的输入特征，将数据散列存储特征输入到存储控制模型中，通过存储控制模型解析数据散列存储特征在目标预设数据段内的目标存储特征，目标存储特征包括目标存储特征节点序列。
然后，根据对目标存储特征节点序列进行散列处理，得到多个目标存储特征节点。而后，根据目标存储特征所对应的特征向量确定多个第一训练策略，多个第一训练策略分别为多个目标存储特征节点在存储控制模型中训练的训练策略，存储控制模型用于学习多个目标存储特征节点序列进行散列处理之后的目标存储特征节点，以及散列处理后的各个目标存储特征节点在存储控制模型中表达的训练策略，多个目标存储特征节点序列为在目标预设数据段内获取到的多个目标存储特征所包括的目标存储特征节点序列。
在此基础上，可以按照多个第一训练策略中的每个第一训练策略从高优先级到低优先级的顺序，对多个第一训练策略进行排序，得到训练策略序列，并基于预设相似比例阈值和训练策略序列，确定多个目标存储特征节点中的目标存储特征节点在存储控制模型中表达的训练策略，预设相似比例阈值用于指示目标存储特征节点序列与目标预设数据段内获取的目标存储特征节点序列相似部分在目标存储特征节点序列中所占的比例。
由此，当目标存储特征节点在存储控制模型中表达的训练策略匹配预设训练策略时，确定目标存储特征为可学习目标存储特征。当确定该目标存储特征为可学习目标存储特征时，对于多个第一训练策略中的每个第一训练策略，根据第一训练策略控制存储控制模型学习在目标预设数据段内接收的多个目标存储特征节点序列进行散列处理之后的目标存储特征节点，以及散列处理后的各个目标存储特征节点在存储控制模型中表达的训练策略，并在训练之后生成预测标签，从而根据预测标签和存储标签更新存储控制模型的模型参数。
在一种可能的设计中，针对步骤S140，本实施例可以根据每个目标分片数据所对应的散列存储特征和存储标签，生成对应的第一分发存储分片序列。然后，可以针对第一分发存储分片序列中的每个分发存储分片，计算该分发存储分片与上一次第二分发存储分片序列中与该分发存储分片所对应的分发存储分片之间的分片分发偏移参数。
在此基础上，可以进一步根据分片分发偏移参数和该分发存储分片在第一分发存储分片序列中所对应的分发向量确定第一分发存储分片序列与第二分发存储分片序列在该分发存储分片上的分发参考序列。 由此，根据第一分发存储分片序列与其它第二分发存储分片序列在每个分发存储分片上的分发参考序列确定第一分发存储分片序列中需分发存储至至少一个数据存储分布节点200的目标分片数据。
例如，可以根据分片分发偏移参数中分片散列特征的特征频繁度和控制转换关系，确定分片分发偏移参数中的分发节点的分发协议特征信息及分发过程节点的分发过程特征信息。接着，根据分发协议特征信息确定在预设协议映射集中与分片分发偏移参数中的分发节点相对应的分发节点，以及根据分发过程特征信息确定在预设协议映射集中与分片分发偏移参数中的分发过程节点相对应的分发过程节点。然后，尅一和将预设协议映射集中的分发节点及分发过程节点进行融合确定该分发存储分片所对应的分发存储过程控制信息，并将分发存储过程控制信息划分为多个分发数据节点和多个分发控制存储节点。
在此基础上，针对任意一个分发数据节点，将分发数据节点在分发存储过程控制信息中表示分发节点的控制段进行划分得到多个子分发数据节点，并确定多个子分发数据节点的控制转换关系，同时针对任意一个分发控制存储节点，将分发控制存储节点在分发存储过程控制信息中表示分发节点的控制段进行划分得到多个子分发控制存储节点，并确定多个子分发控制存储节点的控制特征。
由此，可以根据该分发存储分片在第一分发存储分片序列中所对应的分发向量，对多个子分发数据节点的控制转换关系和多个子分发控制存储节点的控制特征进行向量融合处理，确定第一分发存储分片序列与第二分发存储分片序列在该分发存储分片上的分发参考序列。
例如在一种可能的设计中，可以从多个子分发数据节点的控制转换关系中选择至少部分控制转换关系对对应的多个子分发控制存储节点的控制特征进行特征转换，得到转换后的控制特征。然后，分别将转换后的控制特征进行融合，得到第一融合控制特征序列，并根据该分发存储分片在第一分发存储分片序列中所对应的分发向量对第一融合控制特征序列进行向量处理，得到第二融合控制特征序列。
在此基础上，可以调用融合程序，通过融合程序确定第一融合控制特征序列中包含的每种特征类型的第一融合控制特征值以及第二融合控制特征序列中包含的每种特征类型的第二融合控制特征值，接着比对第一融合控制特征序列中包含的每种特征类型的第一融合控制特征值和第二融合控制特征序列中包含的每种特征类型的第二融合控制特征值，确定每种特征类型的分发控制度，并根据每种特征类型的分发控制度确定第一分发存储分片序列与第二分发存储分片序列在该分发存储分片上的分发参考序列。
例如在一种可能的设计中，可以进一步根据每种特征类型的分发控制度确定第一分发存储分片序列与第二分发存储分片序列在该分发存储分片的初始分发参考序列，并对初始分发参考序列中的各初始分发参考节点的节点位置和预设分发位置调整关系，生成第一分发存储分片序列与第二分发存储分片序列在该分发存储分片上的分发参考序列。
图3为本申请实施例提供的职教诊改系统的数据分片分发存储装置300的功能模块示意图，本实施例可以根据上述服务器100执行的方法实施例对该职教诊改系统的数据分片分发存储装置300进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。比如，在采用对应各个功能划分各个功能模块的情况下，图3示出的职教诊改系统的数据分片分发存储装置300只是一种装置示意图。其中，职教诊改系统的数据分片分发存储装置300可以包括获取模块310、构建模块320、识别生成模块330以及分发存储模块340，下面分别对该职教诊改系统的数据分片分发存储装置300的各个功能模块的功能进行详细阐述。
获取模块310，用于获取已分发存储的数据分片序列，已分发存储的数据分片序列中包括多个已根据本次存储业务情况执行数据分片操作的分片数据，每个已执行数据分片操作的分片数据包括已识别出的数据散列存储特征以及该分片数据对应的存储标签，数据散列存储特征与至少一个数据存储分布节点200的散列存储策略相对应，存储标签为加密标签或非加密标签。
构建模块320，用于以数据散列存储特征作为存储控制模型的输入特征，以存储标签作为存储控制模型的输出特征，构建对应的存储控制模型，将构建好的存储控制模型作为分发存储控制模型。
识别生成模块330，用于识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据分发存储控制模型对每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成每个目标分片数据所对应的存储标签。
分发存储模块340，用于根据每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点200中。
进一步地，图4为本申请实施例提供的用于执行上述职教诊改系统的数据分片分发存储方法的服务器100的结构示意图。如图4所示，该服务器100可包括网络接口110、机器可读存储介质120、处理器130以及总线140。处理器130可以是一个或多个，图4中以一个处理器130为例。网络接口110、机器可读存储介质120以及处理器130可以通过总线140或其他方式连接，图4中以通过总线140连接为例。
机器可读存储介质120作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的职教诊改系统的数据分片分发存储方法对应的程序指令/模块（例如图3中所示的职教诊改系统的数据分片分发存储装置300的获取模块310、构建模块320、识别生成模块330以及分发存储模块340）。处理器130通过检测存储在机器可读存储介质120中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述的职教诊改系统的数据分片分发存储方法，在此不再赘述。
机器可读存储介质120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，机器可读存储介质120可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合发布节点的存储器。在一些实例中，机器可读存储介质120可进一步包括相对于处理器130远程设置的存储器，这些远程存储器可以通过网络连接至服务器100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器130可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器130中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器130可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。
服务器100可以通过通信接口110和其它设备（例如数据存储分布节点200）进行信息交互。通信接口110可以是电路、总线、收发器或者其它任意可以用于进行信息交互的装置。处理器130可以利用通信接口110收发信息。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种职教诊改系统的数据分片分发存储方法，其特征在于，应用于服务器，所述服务器与至少一个分散的数据存储分布节点通信连接，所述方法包括：
获取已分发存储的数据分片序列，所述已分发存储的数据分片序列中包括多个已根据本次存储业务情况执行数据分片操作的分片数据，每个已执行数据分片操作的分片数据包括已识别出的数据散列存储特征以及该分片数据对应的存储标签，所述数据散列存储特征与至少一个数据存储分布节点的散列存储策略相对应，所述存储标签为加密标签或非加密标签；
以所述数据散列存储特征作为存储控制模型的输入特征，以所述存储标签作为所述存储控制模型的输出特征，构建对应的存储控制模型，将构建好的存储控制模型作为分发存储控制模型；
识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据所述分发存储控制模型对所述每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成所述每个目标分片数据所对应的存储标签；
根据所述每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中。
2.根据权利要求1所述的职教诊改系统的数据分片分发存储方法，其特征在于，所述存储标签为加密标签的分片数据通过以下方式获取得到：
获取高风险业务的分片数据以及标记风险业务的分片数据；
根据所述标记风险业务的分片数据的数据散列存储特征，生成第一比较特征，以及根据所述高风险业务的分片数据的数据散列存储特征，生成第二比较特征；
计算所述第一比较特征和所述第二比较特征之间的相似度；
根据所述第一比较特征和所述第二比较特征之间的相似度，从所述标记风险业务中，筛选出目标分片数据；
将筛选出的目标分片数据和所述高风险业务的分片数据作为所述存储标签为加密标签的分片数据。
3.根据权利要求1所述的职教诊改系统的数据分片分发存储方法，其特征在于，所述以所述数据散列存储特征作为存储控制模型的输入特征，以所述存储标签作为所述存储控制模型的输出特征，构建对应的存储控制模型的步骤，包括：
以所述数据散列存储特征作为存储控制模型的输入特征，将所述数据散列存储特征输入到所述存储控制模型中，通过所述存储控制模型解析所述数据散列存储特征在目标预设数据段内的目标存储特征，所述目标存储特征包括目标存储特征节点序列；
根据对所述目标存储特征节点序列进行散列处理，得到多个目标存储特征节点；
根据所述目标存储特征所对应的特征向量确定多个第一训练策略，所述多个第一训练策略分别为所述多个目标存储特征节点在所述存储控制模型中训练的训练策略，所述存储控制模型用于学习多个目标存储特征节点序列进行散列处理之后的目标存储特征节点，以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练策略，所述多个目标存储特征节点序列为在所述目标预设数据段内获取到的多个目标存储特征所包括的目标存储特征节点序列；
按照所述多个第一训练策略中的每个第一训练策略从高优先级到低优先级的顺序，对所述多个第一训练策略进行排序，得到训练策略序列；
基于预设相似比例阈值和所述训练策略序列，确定所述多个目标存储特征节点中的目标存储特征节点在所述存储控制模型中表达的训练策略，所述预设相似比例阈值用于指示所述目标存储特征节点序列与目标预设数据段内获取的目标存储特征节点序列相似部分在所述目标存储特征节点序列中所占的比例；
当所述目标存储特征节点在所述存储控制模型中表达的训练策略匹配预设训练策略时，确定所述目标存储特征为可学习目标存储特征；当确定该目标存储特征为可学习目标存储特征时，对于所述多个第一训练策略中的每个第一训练策略，根据所述第一训练策略控制所述存储控制模型学习在所述目标预设数据段内接收的多个目标存储特征节点序列进行散列处理之后的目标存储特征节点，以及散列处理后的各个目标存储特征节点在所述存储控制模型中表达的训练策略，并在训练之后生成预测标签；
根据所述预测标签和所述存储标签更新所述存储控制模型的模型参数。
4.根据权利要求1所述的职教诊改系统的数据分片分发存储方法，其特征在于，所述根据所述每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中的步骤，包括：
根据所述每个目标分片数据所对应的散列存储特征和存储标签，生成对应的第一分发存储分片序列；
针对所述第一分发存储分片序列中的每个分发存储分片，计算该分发存储分片与上一次第二分发存储分片序列中与该分发存储分片所对应的分发存储分片之间的分片分发偏移参数；
根据所述分片分发偏移参数和该分发存储分片在所述第一分发存储分片序列中所对应的分发向量确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列；
根据所述第一分发存储分片序列与其它第二分发存储分片序列在每个分发存储分片上的分发参考序列确定所述第一分发存储分片序列中需分发存储至至少一个数据存储分布节点的目标分片数据。
5.根据权利要求4所述的职教诊改系统的数据分片分发存储方法，其特征在于，所述根据所述分片分发偏移参数和该分发存储分片在所述第一分发存储分片序列中所对应的分发向量确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列的步骤，包括：
根据所述分片分发偏移参数中分片散列特征的特征频繁度和控制转换关系，确定所述分片分发偏移参数中的分发节点的分发协议特征信息及分发过程节点的分发过程特征信息；
根据所述分发协议特征信息确定在预设协议映射集中与所述分片分发偏移参数中的分发节点相对应的分发节点，以及根据所述分发过程特征信息确定在所述预设协议映射集中与所述分片分发偏移参数中的分发过程节点相对应的分发过程节点；
将所述预设协议映射集中的分发节点及分发过程节点进行融合确定该分发存储分片所对应的分发存储过程控制信息；
将所述分发存储过程控制信息划分为多个分发数据节点和多个分发控制存储节点；
针对任意一个分发数据节点，将所述分发数据节点在所述分发存储过程控制信息中表示分发节点的控制段进行划分得到多个子分发数据节点，并确定所述多个子分发数据节点的控制转换关系；
针对任意一个分发控制存储节点，将所述分发控制存储节点在所述分发存储过程控制信息中表示分发节点的控制段进行划分得到多个子分发控制存储节点，并确定所述多个子分发控制存储节点的控制特征；
根据该分发存储分片在所述第一分发存储分片序列中所对应的分发向量，对所述多个子分发数据节点的控制转换关系和所述多个子分发控制存储节点的控制特征进行向量融合处理，确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列。
6.根据权利要求5所述的职教诊改系统的数据分片分发存储方法，其特征在于，所述根据该分发存储分片在所述第一分发存储分片序列中所对应的分发向量，对所述多个子分发数据节点的控制转换关系和所述多个子分发控制存储节点的控制特征进行向量融合处理，确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列的步骤，包括：
从所述多个子分发数据节点的控制转换关系中选择至少部分控制转换关系对对应的多个子分发控制存储节点的控制特征进行特征转换，得到转换后的控制特征；
分别将转换后的控制特征进行融合，得到第一融合控制特征序列，并根据该分发存储分片在所述第一分发存储分片序列中所对应的分发向量对所述第一融合控制特征序列进行向量处理，得到第二融合控制特征序列；
调用融合程序，通过融合程序确定所述第一融合控制特征序列中包含的每种特征类型的第一融合控制特征值以及第二融合控制特征序列中包含的每种特征类型的第二融合控制特征值；
比对所述第一融合控制特征序列中包含的每种特征类型的第一融合控制特征值和第二融合控制特征序列中包含的每种特征类型的第二融合控制特征值，确定每种特征类型的分发控制度，并根据每种特征类型的分发控制度确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列。
7.根据权利要求6所述的职教诊改系统的数据分片分发存储方法，其特征在于，所述根据每种特征类型的分发控制度确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列的步骤，包括：
根据每种特征类型的分发控制度确定所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片的初始分发参考序列，并对所述初始分发参考序列中的各初始分发参考节点的节点位置和预设分发位置调整关系，生成所述第一分发存储分片序列与所述第二分发存储分片序列在该分发存储分片上的分发参考序列。
8.一种职教诊改系统的数据分片分发存储装置，其特征在于，应用于服务器，所述服务器与至少一个数据存储分布节点通信连接，所述装置包括：
获取模块，用于获取已分发存储的数据分片序列，所述已分发存储的数据分片序列中包括多个已根据本次存储业务情况执行数据分片操作的分片数据，每个已执行数据分片操作的分片数据包括已识别出的数据散列存储特征以及该分片数据对应的存储标签，所述数据散列存储特征与至少一个数据存储分布节点的散列存储策略相对应，所述存储标签为加密标签或非加密标签；
构建模块，用于以所述数据散列存储特征作为存储控制模型的输入特征，以所述存储标签作为所述存储控制模型的输出特征，构建对应的存储控制模型，将构建好的存储控制模型作为分发存储控制模型；
识别生成模块，用于识别待分发存储的数据分片序列中每个目标分片数据所对应的散列存储特征，根据所述分发存储控制模型对所述每个目标分片数据所对应的散列存储特征进行特征识别与预测，生成所述每个目标分片数据所对应的存储标签；
分发存储模块，用于根据所述每个目标分片数据所对应的散列存储特征和存储标签，将每个目标分片数据分别分发存储至至少一个数据存储分布节点中。
9.一种服务器，其特征在于，所述服务器包括处理器、机器可读存储介质和网络接口，所述机器可读存储介质、所述网络接口以及所述处理器之间通过总线系统相连，所述网络接口用于与至少一个数据存储分布节点通信连接，所述机器可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述机器可读存储介质中的程序、指令或代码，以执行权利要求1-7中任意一项所述的职教诊改系统的数据分片分发存储方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有机器可执行指令，当所述机器可执行指令被执行时实现权利要求1-7中任意一项所述的职教诊改系统的数据分片分发存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002619.1A CN110855802B (zh) | 2020-01-15 | 2020-01-15 | 职教诊改系统的数据分片分发存储方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010002619.1A CN110855802B (zh) | 2020-01-15 | 2020-01-15 | 职教诊改系统的数据分片分发存储方法、装置及服务器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110855802A true CN110855802A (zh) | 2020-02-28 |
| CN110855802B CN110855802B (zh) | 2022-02-11 |
Family
ID=69610718
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010002619.1A Active CN110855802B (zh) | 2020-01-15 | 2020-01-15 | 职教诊改系统的数据分片分发存储方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110855802B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831662A (zh) * | 2020-07-24 | 2020-10-27 | 深圳市网通兴技术发展有限公司 | 一种医疗数据信息处理方法及系统 |
| CN112131284A (zh) * | 2020-09-30 | 2020-12-25 | 国网智能科技股份有限公司 | 一种变电站全息数据切片方法及系统 |
| CN113377780A (zh) * | 2021-07-07 | 2021-09-10 | 杭州网易云音乐科技有限公司 | 一种数据库分片方法、装置、电子设备和可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070064085A1 (en) * | 2005-09-21 | 2007-03-22 | Lipinski Greg J | Apparatus and methods for forming optically visible marks on a rotating media |
| CN102542029A (zh) * | 2011-12-22 | 2012-07-04 | 沈阳中科博微自动化技术有限公司 | 一种工业数据的分块压缩存储方法 |
| CN104794127A (zh) * | 2014-01-20 | 2015-07-22 | 曲立东 | 基于音频的数据标签发布系统及方法 |
| CN109657696A (zh) * | 2018-11-05 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 多任务监督学习模型训练、预测方法和装置 |
-
2020
- 2020-01-15 CN CN202010002619.1A patent/CN110855802B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070064085A1 (en) * | 2005-09-21 | 2007-03-22 | Lipinski Greg J | Apparatus and methods for forming optically visible marks on a rotating media |
| CN102542029A (zh) * | 2011-12-22 | 2012-07-04 | 沈阳中科博微自动化技术有限公司 | 一种工业数据的分块压缩存储方法 |
| CN104794127A (zh) * | 2014-01-20 | 2015-07-22 | 曲立东 | 基于音频的数据标签发布系统及方法 |
| CN109657696A (zh) * | 2018-11-05 | 2019-04-19 | 阿里巴巴集团控股有限公司 | 多任务监督学习模型训练、预测方法和装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831662A (zh) * | 2020-07-24 | 2020-10-27 | 深圳市网通兴技术发展有限公司 | 一种医疗数据信息处理方法及系统 |
| CN111831662B (zh) * | 2020-07-24 | 2021-01-12 | 深圳市网通兴技术发展有限公司 | 一种医疗数据信息处理方法及系统 |
| CN112131284A (zh) * | 2020-09-30 | 2020-12-25 | 国网智能科技股份有限公司 | 一种变电站全息数据切片方法及系统 |
| CN112131284B (zh) * | 2020-09-30 | 2024-05-24 | 国网智能科技股份有限公司 | 一种变电站全息数据切片方法及系统 |
| CN113377780A (zh) * | 2021-07-07 | 2021-09-10 | 杭州网易云音乐科技有限公司 | 一种数据库分片方法、装置、电子设备和可读存储介质 |
| CN113377780B (zh) * | 2021-07-07 | 2024-07-02 | 杭州网易云音乐科技有限公司 | 一种数据库分片方法、装置、电子设备和可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110855802B (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110855802B (zh) | 职教诊改系统的数据分片分发存储方法、装置及服务器 | |
| CN112906903B (zh) | 网络安全风险预测方法、装置、存储介质及计算机设备 | |
| CN111160749B (zh) | 一种情报质量评估和情报融合方法及装置 | |
| US10063562B1 (en) | Flexible access management framework based on measuring application usage behavior | |
| CN109478263A (zh) | 用于体系结构评估和策略执行的系统和设备 | |
| CN111125760B (zh) | 保护数据隐私的模型训练、预测方法及其系统 | |
| CN114819197B (zh) | 基于区块链联盟的联邦学习方法、系统、装置及存储介质 | |
| CN110969264A (zh) | 模型训练方法、分布式预测方法及其系统 | |
| CN114072820A (zh) | 执行机器学习模型 | |
| CN112488712A (zh) | 基于区块链大数据的安全识别方法及安全识别系统 | |
| CN110852648A (zh) | 一种数据处理方法、装置及计算机存储介质 | |
| CN112949868B (zh) | 一种基于区块链的异步联邦学习方法、装置及电子设备 | |
| CN112015272B (zh) | 虚拟现实系统及虚拟现实对象控制装置 | |
| CN112307331A (zh) | 一种基于区块链高校毕业生智能招聘信息推送方法、系统及终端设备 | |
| CN111191738B (zh) | 跨平台的数据处理方法、装置、设备及可读存储介质 | |
| EP3806012A1 (en) | Identity verification purogram, management apparatus, and method for identity verification | |
| CN111710153B (zh) | 交通流量的预测方法、装置、设备及计算机存储介质 | |
| CN111026569B (zh) | 一种在联盟链中修复指定区块数据的方法 | |
| US11528259B2 (en) | Systems and methods for providing a systemic error in artificial intelligence algorithms | |
| US20220101160A1 (en) | Model reuse-based model prediction | |
| CN115293423A (zh) | 基于自然灾害数据的处理方法、装置、设备及存储介质 | |
| CN114970495A (zh) | 人名消歧方法、装置、电子设备及存储介质 | |
| EP3806005A1 (en) | Identity verification program, control apparatus, and method for identity verification | |
| CN113222524A (zh) | 一种基于大数据的项目申报评估方法及系统 | |
| CN113435502A (zh) | 站点流量确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |