CN111444160B - 一种数据存储系统和上传、存储方法、装置、设备及介质 - Google Patents

一种数据存储系统和上传、存储方法、装置、设备及介质 Download PDF

Info

Publication number
CN111444160B
CN111444160B CN202010242220.0A CN202010242220A CN111444160B CN 111444160 B CN111444160 B CN 111444160B CN 202010242220 A CN202010242220 A CN 202010242220A CN 111444160 B CN111444160 B CN 111444160B
Authority
CN
China
Prior art keywords
data
uploading
partition server
partition
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010242220.0A
Other languages
English (en)
Other versions
CN111444160A (zh
Inventor
曾辉
孙清泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Leading Technology Co Ltd
Original Assignee
Nanjing Leading Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Leading Technology Co Ltd filed Critical Nanjing Leading Technology Co Ltd
Priority to CN202010242220.0A priority Critical patent/CN111444160B/zh
Publication of CN111444160A publication Critical patent/CN111444160A/zh
Application granted granted Critical
Publication of CN111444160B publication Critical patent/CN111444160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2107—File encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供一种数据存储系统和上传、存储方法、装置、设备及介质，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。该系统包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块；任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器；分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。

Description

一种数据存储系统和上传、存储方法、装置、设备及介质
技术领域
本发明涉及数据存储技术领域，尤其涉及一种数据存储系统和上传、存储方法、装置、设备及介质。
背景技术
随着网约车业务量的不断增加，除了固定的数据源，各种结构化和非结构化的数据在以指数级数量递增，随着数据存储的需求量快速加大，导致已有的存储单元和存储节点难以应对，由于部分业务数据为非结构化数据，存在着存储空间的无效占用，浪费存储空间，制约着网约车业务的发展。
发明内容
本发明实施例提供一种数据存储系统和上传、存储方法、装置、设备及介质，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。
根据本发明实施例的第一方面，提供一种数据存储系统，该系统包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，
业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块；
任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器；
分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。
本发明实施例提供的数据存储系统，通过任务分发管理模块，将数据包分割后的多个数据文件，基于自身所在位置选择分区服务器并上传，避免由于数据包过大，在同一时刻内存占用过大，甚至溢出，导致程序闪退的情况，从而提高上传速度，同时，通过分区服务器在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储，从而节约存储空间。
在一种可能的实施方式中，任务分发管理模块基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，具体用于：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，任务分发管理模块基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，具体用于：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
本发明实施例提供的数据存储系统，通过在任务分发管理模块的位置发生变化时，基于多个分区服务器的上传速度和已上传部分文件，选择合适的分区服务器进行上传，从而避免由于位置变更而出现数据文件上传失败或者在新的分区服务器重复上传的情况，提高上传效率。
在一种可能的实施方式中，若数据文件上传至两个及两个以上的分区服务器，则分区服务器将接收到的数据文件组合成数据包，具体用于：
在确定所有数据文件均上传完成时，将两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在目标分区服务器中将接收到的数据文件组合成数据包。
在一种可能的实施方式中，分区服务器，对数据包进行结构化存储，具体用于：
从数据包中提取用于描述数据包的描述数据，描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定数据包本身的第一评价数据以及数据包与中心服务器中其它数据之间的第二评价数据；
将描述数据、第一评价数据、以及第二评价数据以结构化的形式存储到数据库中。
在一种可能的实施方式中，任务分发管理模块将多个数据文件上传至分区服务器，具体用于：
以预设位数的密匙对多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，密匙经多轮位置变换操作生成、且密匙周期性更新。
本发明实施例提供的数据存储系统，通过使用预设位数的密匙对数据文件进行加密处理，避免通用加密算法因公用而增加破解风险，提升数据通信安全。
第二方面，本发明实施例提供一种数据上传方法，应用于本发明实施例第一方面提供的数据存储系统，该方法包括：
获取包含用户数据的数据包；
将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器。
本发明实施例提供的数据上传方法，通过将数据包分割后的多个数据文件基于自身所在位置选择分区服务器并上传，避免由于数据包过大，在同一时刻内存占用过大，甚至溢出，导致程序闪退的情况，从而提高上传速度。
在一种可能的实施方式中，基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
本发明实施例提供的数据上传方法，通过在任务分发管理模块的位置发生变化时，且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分，从而避免由于位置变更而出现数据文件上传失败或者在新的分区服务器重复上传的情况。
在一种可能的实施方式中，基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
本发明实施例提供的数据上传方法，在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，以及剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分，从而实现上传数据文件时的分区服务器选择优化，提高数据上传速度，避免无效的重复上传。
在一种可能的实施方式中，将多个数据文件上传至分区服务器，包括：
以预设位数的密匙对多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，密匙经多轮位置变换操作生成、且密匙周期性更新。
本发明实施例提供的数据上传方法，通过使用预设位数的密匙对数据文件进行加密处理，避免通用加密算法因公用而增加破解风险，提升数据通信安全。
第三方面，本发明实施例提供一种数据存储方法，应用于本发明实施例第一方面提供的数据存储系统，该方法包括：
接收任务分发管理模块上传的多个数据文件；
在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。
本发明实施例提供的数据存储方法，在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储，从而节约存储空间。
在一种可能的实施方式中，若数据文件上传至两个及两个以上的分区服务器，则将接收到的数据文件组合成数据包，包括：
在确定所有数据文件均上传完成时，将两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在目标分区服务器中将接收到的数据文件组合成数据包。
在一种可能的实施方式中，对数据包进行结构化存储，包括：
从数据包中提取用于描述数据包的描述数据，描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定数据包本身的第一评价数据以及数据包与中心服务器中其它数据之间的第二评价数据；
将描述数据、第一评价数据、以及第二评价数据以结构化的形式存储到数据库中。
第四方面，本发明实施例提供一种数据上传装置，该装置包括：
获取单元，被配置为执行获取包含用户数据的数据包；
第一处理单元，被配置为执行将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器。
在一种可能的实施方式中，第一处理单元，具体被配置为执行：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，第一处理单元，具体被配置为执行：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，第一处理单元，具体被配置为执行：
以预设位数的密匙对多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，密匙经多轮位置变换操作生成、且密匙周期性更新。
第五方面，本发明实施例提供一种数据存储装置，该装置包括：
接收单元，被配置为执行接收任务分发管理模块上传的多个数据文件；
第二处理单元，被配置为执行在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。
在一种可能的实施方式中，若数据文件上传至两个及两个以上的分区服务器，第二处理单元，具体被配置为执行：
在确定所有数据文件均上传完成时，将两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在目标分区服务器中将接收到的数据文件组合成数据包。
在一种可能的实施方式中，第二处理单元，具体被配置为执行：
从数据包中提取用于描述数据包的描述数据，描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定数据包本身的第一评价数据以及数据包与中心服务器中其它数据之间的第二评价数据；
将描述数据、第一评价数据、以及第二评价数据以结构化的形式存储到数据库中。
第六方面，本发明实施例提供一种数据上传设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本发明实施例第二方面提供的数据上传方法。
第七方面，本发明实施例提供一种数据存储设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本发明实施例第三方面提供的数据存储方法。
第八方面，本发明实施例还提供一种存储介质，当存储介质中的指令由数据上传设备的处理器执行时，使得数据上传设备能够执行本发明实施例第二方面提供的数据上传方法。
第九方面，本发明实施例还提供一种存储介质，当存储介质中的指令由数据存储设备的处理器执行时，使得数据存储设备能够执行本发明实施例第三方面提供的数据存储方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，显而易见地，下面所介绍的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种数据存储系统的结构示意图；
图2为本发明实施例提供的一种数据上传方法的示意流程图；
图3为本发明实施例提供的另一种数据上传方法的示意流程图；
图4为本发明实施例提供的一种数据存储方法的示意流程图；
图5为本发明实施例提供的一种数据上传装置的结构示意图；
图6为本发明实施例提供的一种数据存储装置的结构示意图；
图7为本发明实施例提供的一种数据上传设备的结构示意图；
图8为本发明实施例提供的一种数据存储设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
有鉴于现有技术中应用于网约车的数据存储系统，由于网约车业务量的不断增加，除了固定的数据源，各种结构化和非结构化的数据在以指数级数量递增，随着数据存储的需求量快速加大，导致已有的存储单元和存储节点难以应对，由于部分业务数据为非结构化数据，存在着存储空间的无效占用，浪费存储空间的问题，本发明实施例提供一种数据存储系统，用以将数据文件在选择的分区服务器上传，提升上传速度，以及实现数据的结构化存储，节约存储空间。
下面结合附图以及具体实施例，对本发明实施例提供的数据存储系统进行详细说明。
本发明实施例提供一种数据存储系统，如图1所示，该系统包括：业务模块1000、任务分发管理模块2000、以及多个分区服务器3001、3002、…、300N。
业务模块1000，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至任务分发管理模块。
具体实施中，业务模块1000，针对具有操作权限的用户提供多种特色和自定义的功能选项，具有操作权限的用户可以方便快捷地接入业务模块1000。其中，自定义的功能选项可以包括但不限于：
(1)指定下载时的文件类型。例如，用户通过终端上传一个SVG(Scalable VectorGraphics，可缩放矢量图形)图片文件，经过结构化处理，用户在下载时可以选择pgn(portable network graphics，便捷式网络图片)、jpg(joint photographic expertsgroup，使用JPEG格式压缩的图片文件)等图片文件格式。再例如，用户通过终端上传一个Markdown(一种轻量级标记语言)文件，经过结构化处理，用户在下载时可以选择PDF(Portable Document Format，便捷式文档格式)、HTML(HyperText Markup Language，超文本标记语言)、jpg等文件格式，通过可指定下载时的文件类型的功能选项，可以增加文件的多样性；
(2)管理文件元信息。例如，定义文件下载的过期时间、Object(对象)的大小和类型。
(3)多种调用方式。例如，可以通过Web(World Wide Web，全球广域网)应用程序、IOS(苹果公司的移动操作系统)、Android(Google公司开发的操作系统)的SDK(sdk-Simple-Develop-Key，简单的开发钥匙)、或者命令行工具等调用。
任务分发管理模块2000，用于将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器。
具体实施中，任务分发管理模块2000基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器3001，将数据文件上传至第一分区服务器3001，需要注意的是，第一分区服务器3001为多个分区服务器中距离任务分发管理模块最近的分区服务器，或者为多个分区服务器中距离任务分发管理模块的距离小于预设距离阈值中的分区服务器中的一个，其中，预设距离阈值可以根据经验值或者实际场景设定，此处并不限制此取值。
在将任一数据文件上传至第一分区服务器3001的过程中，若任务分发管理模块2000的位置发生变化、且确定将数据文件上传至第二分区服务器3002的上传速度大于将数据文件上传至第一分区服务器3001的上传速度，则将该数据文件已上传至第一分区服务器3001的部分同步至第二分区服务器3002，并将该数据文件未上传的部分继续上传至第二分区服务器3002，删除第一分区服务器3001中该数据文件已上传的部分。
在一种可能的实施方式中，在将任一数据文件上传至第一分区服务器3001的过程中，若任务分发管理模块2000的位置发生变化、确定将数据文件上传至第二分区服务器3002的上传速度大于将数据文件上传至第一分区服务器3001的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长。
若剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器3001，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器3002，删除第一分区服务器3001中该数据文件已上传的部分。
分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。
具体实施中，在确定所有数据文件均上传完成时，将两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在目标分区服务器中将接收到的数据文件组合成数据包。
从数据包中提取用于描述数据包的描述数据，描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定数据包本身的第一评价数据以及数据包与中心服务器中其它数据之间的第二评价数据；
将描述数据、第一评价数据、以及第二评价数据以结构化的形式存储到数据库中。
本发明实施例还提供一种数据上传方法，应用于本发明实施例提供的数据存储系统，如图2所示，本发明实施例提供的一种数据上传方法，其可以包括以下步骤：
步骤201，获取包含用户数据的数据包。
步骤202，将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器。
具体实施中，基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，基于自身所在位置选择分区服务器，将多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
一个示例中，分区服务器会根据省市的行政单位分配到各个省市中，实现各个地区处理各个地区所属数据，任务分发管理模块会根据地区使用压力，分配分区服务器，动态调拨临省、临市或者临区的服务区资源，动态处理数据，减轻当地分区服务器压力。另外，分区服务器还会根据不同地区、不同网络服务器的带宽能力，分配不同数量的服务器资源，协调各分区服务器的带宽压力，从而减少资源消耗，提升业务处理能力。
当车辆在行驶过程中，需要上传已生成的行驶记录的数据包，将接收到的行驶记录的数据包分割为多个数据文件，当车辆在A市时，通过就近的通信基站，将分割后的多个数据文件上传至A市的分区服务器，车辆在上传数据的过程中继续行驶，当车辆到达B市时，如果分割后的多个数据文件未上传完成，则通过就近的通信基站将为上传的数据文件上传至B市的分区服务器。
若数据文件在上传至A市分区服务器过程中，由于离A市分区服务器的距离越来越远，导致网速不佳，则将该数据文件已上传至A市分区服务器的部分同步至B市分区服务器，并将该数据文件未上传的部分继续上传至B市分区服务器，删除A市分区服务器中该数据文件已上传的部分。
若任一数据文件上传至A市分区服务器的过程中，任务分发管理模块的位置发生变化、确定将数据文件上传至B市分区服务器的上传速度大于将数据文件上传至A市分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，其中，预设比例阈值可以根据经验值或者实际场景设定，例如在通常情况下可以设置为75％，则获取该数据文件上传所需的剩余上传时长；
若剩余上传时长小于预设时长阈值，预设时长阈值可以根据经验值或者实际场景设定，例如，在通常情况下可以设置为30min(分钟)，则将该数据文件未上传的部分继续上传至A市分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至B市分区服务器，删除A市分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，将多个数据文件上传至分区服务器，包括：
以预设位数的密匙对多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，密匙经多轮位置变换操作生成、且密匙周期性更新。
具体实施中，密匙的预设位数可以根据经验值设定，例如在通常情况下设置为512位，密匙经多轮位置变换操作生成，其中，位置变换操作的次数可以设置为16轮，位置变换操作包括但不限于交换、移位、扩展置换、S盒和P盒的置换操作，并且，密匙每隔设定时间更新一次，设定时间根据经验值设定，例如设置为8天。
如图3所示，为本发明实施例提供的一种数据上传方法的流程示意图，其可以包括以下步骤：
步骤301，根据接收到的数据包，进行OSS(Operation Support System，运营支撑系统)预设编码，生成与数据包相对应的OSSID，并绑定在文件属性中，作为文件的唯一标识，基于OSSID查找数据包是否存在于上传任务队列中，若存在，则执行步骤303；若不存在，则执行步骤302。
步骤302，将接收到的数据包根据数据包内存大小进行合理的分割，生成多个数据文件，基于分割信息将多个数据文件读入分区服务器内存，其中，同一时间可读入的数据文件的数量小于预设阈值。
步骤303，对数据文件进行加密，获取数据文件上传凭证，将数据文件上传凭证和加密后的数据文件作为子任务加入到上传任务队列中，统一安排上传，并在上传完成后清除相应内存，继续将下一个数据文件加入到上传任务队列中，进行上传。
具体实施中，对数据文件进行加密，具体为：对数据文件进行16级的加密，16级加密采用512位密匙进行加密，经过16轮的交换、移位、扩展置换、S盒和P盒的置换等操作，进行明文数据的加密工作，其中，512位密匙每隔8天置换一次，并通过AVR非对称加密方式和服务器进行同步，AVR为非对称加密方式采用大质因数算法，提供1024位和2048位的公私匙加密机制，通过提供公匙给服务器，并且使用公匙加密数据，从而实现数据安全传输，防止对数据进行监听、窜改等操作。另外，密匙的强度和更新密匙的变换频率可以根据参数进行配置，提升加密的安全性。
步骤304，基于md5(消息摘要第五版算法)值和数据文件上传记录，查询所有的数据文件是否上传完成，若上传完成，则执行步骤305，若所有的数据文件未上传完成，则查找未上传完成的数据文件，进行二次上传，直至所有的数据文件均上传完成。
步骤305，将所有的数据文件进行解密，并组合成一个完整的数据包。
本发明实施例提供的数据上传方法，通过将数据包分割后的多个数据文件，基于自身所在位置选择分区服务器并上传，避免由于数据包过大，在同一时刻内存占用过大，甚至溢出，导致程序闪退的情况，从而提高上传速度，同时，对上传的数据文件进行加密，避免通用算法因公用而增加破解风险，从而提升数据通信安全。
本发明实施例还提供一种数据存储方法，应用于本发明实施例提供的数据存储系统，如图4所示，本发明实施例提供的一种数据存储方法，其可以包括以下步骤：
步骤401，接收任务分发管理模块上传的多个数据文件。
步骤402，在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。
具体实施时，在确定所有数据文件均上传完成时，将两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在目标分区服务器中将接收到的数据文件组合成数据包。
从数据包中提取用于描述数据包的描述数据，描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定数据包本身的第一评价数据以及数据包与中心服务器中其它数据之间的第二评价数据；
将描述数据、第一评价数据、以及第二评价数据以结构化的形式存储到数据库中。
其中，每个数据库都具备处理和存储能力，但是处理和存储单元的比例不同，为单一化能力，将每个数据库内部划分不同的处理单元和存储单元，同时，数据库的处理能力也是根据数据库的主要功能属性，进行合理分配。
如图5所示，基于相同的发明构思，本发明实施例还提供一种数据上传装置，该装置包括：
获取单元501，被配置为执行获取包含用户数据的数据包；
第一处理单元502，被配置为执行将接收到的数据包分割为多个数据文件，基于自身所在位置选择分区服务器，并将多个数据文件上传至分区服务器。
在一种可能的实施方式中，第一处理单元502，具体被配置为执行：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度，则将该数据文件已上传至第一分区服务器的部分同步至第二分区服务器，并将该数据文件未上传的部分继续上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，第一处理单元502，具体被配置为执行：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将数据文件上传至第一分区服务器；
在将任一数据文件上传至第一分区服务器的过程中，若任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至第一分区服务器，若剩余上传时长大于或等于预设时长阈值，则将该数据文件重新上传至第二分区服务器，删除第一分区服务器中该数据文件已上传的部分。
在一种可能的实施方式中，第一处理单元502，具体被配置为执行：
以预设位数的密匙对多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，密匙经多轮位置变换操作生成、且密匙周期性更新。
如图6所示，基于相同的发明构思，本发明实施例还提供一种数据存储装置，该装置包括：
接收单元601，被配置为执行接收任务分发管理模块上传的多个数据文件；
第二处理单元602，被配置为执行在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对数据包进行结构化存储。
在一种可能的实施方式中，若数据文件上传至两个及两个以上的分区服务器，第二处理单元602，具体被配置为执行：
在确定所有数据文件均上传完成时，将两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在目标分区服务器中将接收到的数据文件组合成数据包。
在一种可能的实施方式中，第二处理单元602，具体被配置为执行：
从数据包中提取用于描述数据包的描述数据，描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定数据包本身的第一评价数据以及数据包与中心服务器中其它数据之间的第二评价数据；
将描述数据、第一评价数据、以及第二评价数据以结构化的形式存储到数据库中。
基于上述本发明实施例相同构思，图7是根据一示例性实施例示出的数据上传设备的框图，如图7所示，本发明实施例提供的数据上传设备700，包括：
处理器710；
用于存储处理器710可执行指令的存储器720；
其中，处理器710被配置为执行指令，以实现本发明实施例中数据上传方法。
基于上述本发明实施例相同构思，图8是根据一示例性实施例示出的数据存储设备的框图，如图8所示，本发明实施例提供的数据存储设备800，包括：
处理器810；
用于存储处理器810可执行指令的存储器820；
其中，处理器810被配置为执行指令，以实现本发明实施例中数据存储方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器720，上述指令可由数据上传设备的处理器710执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外，在示例性实施例中，本发明实施例还提供了一种存储介质，当存储介质中的指令由上述数据上传设备的处理器执行时，使得上述数据上传装置能够实现本发明实施例中的数据上传方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器820，上述指令可由数据存储设备的处理器810执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
另外，在示例性实施例中，本发明实施例还提供了一种存储介质，当存储介质中的指令由上述数据存储设备的处理器执行时，使得上述数据存储装置能够实现本发明实施例中的数据存储方法。
本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (21)

1.一种数据存储系统，其特征在于，包括：业务模块、任务分发管理模块、以及多个分区服务器，其中，
所述业务模块，通过终端与用户交互，生成用户数据，并将生成的用户数据以数据包的形式发送至所述任务分发管理模块；
所述任务分发管理模块，用于将接收到的数据包分割为多个数据文件，并基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述第二分区服务器，并将该数据文件未上传的部分继续上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分；
所述分区服务器，用于在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对所述数据包进行结构化存储。
2.根据权利要求1所述的系统，其特征在于，所述任务分发管理模块基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，具体用于：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若所述剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至所述第一分区服务器，若剩余上传时长大于或等于所述预设时长阈值，则将该数据文件重新上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。
3.根据权利要求1或2所述的系统，其特征在于，若所述数据文件上传至两个及两个以上的分区服务器，则所述分区服务器将接收到的数据文件组合成数据包，具体用于：
在确定所有数据文件均上传完成时，将所述两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在所述目标分区服务器中将接收到的数据文件组合成数据包。
4.根据权利要求1所述的系统，其特征在于，所述分区服务器，对所述数据包进行结构化存储，具体用于：
从所述数据包中提取用于描述数据包的描述数据，所述描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与所述分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定所述数据包本身的第一评价数据以及所述数据包与所述中心服务器中其它数据之间的第二评价数据；
将所述描述数据、所述第一评价数据、以及所述第二评价数据以结构化的形式存储到数据库中。
5.根据权利要求1所述的系统，其特征在于，所述任务分发管理模块将所述多个数据文件上传至分区服务器，具体用于：
以预设位数的密匙对所述多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，所述密匙经多轮位置变换操作生成、且所述密匙周期性更新。
6.一种数据上传方法，应用于如权利要求1-5中任一项所述的数据存储系统中的任务分发管理模块，其特征在于，包括：
获取包含用户数据的数据包；
将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器；
所述基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述第二分区服务器，并将该数据文件未上传的部分继续上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。
7.根据权利要求6所述的方法，其特征在于，所述基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器，包括：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若所述剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至所述第一分区服务器，若剩余上传时长大于或等于所述预设时长阈值，则将该数据文件重新上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。
8.根据权利要求6所述的方法，其特征在于，所述将所述多个数据文件上传至分区服务器，包括：
以预设位数的密匙对所述多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，所述密匙经多轮位置变换操作生成、且所述密匙周期性更新。
9.一种数据存储方法，应用于如权利要求1-5中任一项所述的数据存储系统中的分区服务器，其特征在于，所述方法包括：
接收任务分发管理模块上传的多个数据文件；所述多个数据文件是所述任务分发管理模块将接收到的数据包分割得到，并基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、且确定将数据文件上传至所述分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述分区服务器，并将该数据文件未上传的部分继续上传至所述分区服务器的；
在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对所述数据包进行结构化存储。
10.根据权利要求9所述的方法，其特征在于，若所述数据文件上传至两个及两个以上的分区服务器，则所述将接收到的数据文件组合成数据包，包括：
在确定所有数据文件均上传完成时，将所述两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在所述目标分区服务器中将接收到的数据文件组合成数据包。
11.根据权利要求9所述的方法，其特征在于，所述对所述数据包进行结构化存储，包括：
从所述数据包中提取用于描述数据包的描述数据，所述描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与所述分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定所述数据包本身的第一评价数据以及所述数据包与所述中心服务器中其它数据之间的第二评价数据；
将所述描述数据、所述第一评价数据、以及所述第二评价数据以结构化的形式存储到数据库中。
12.一种数据上传装置，其特征在于，包括：
获取单元，被配置为执行获取包含用户数据的数据包；
第一处理单元，被配置为执行将接收到的数据包分割为多个数据文件，并基于自身所在位置选择分区服务器，将所述多个数据文件上传至分区服务器；
所述第一处理单元，具体被配置为执行：
基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若任务分发管理模块的位置发生变化、且确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述第二分区服务器，并将该数据文件未上传的部分继续上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。
13.根据权利要求12所述的装置，其特征在于，所述第一处理单元，具体被配置为执行：
基于自身所在的位置，在所述多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；
在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、确定将数据文件上传至第二分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度、且该数据文件已上传部分大于预设比例阈值，则获取该数据文件上传所需的剩余上传时长；
若所述剩余上传时长小于预设时长阈值，则将该数据文件未上传的部分继续上传至所述第一分区服务器，若剩余上传时长大于或等于所述预设时长阈值，则将该数据文件重新上传至所述第二分区服务器，删除所述第一分区服务器中该数据文件已上传的部分。
14.根据权利要求12所述的装置，其特征在于，所述第一处理单元，具体被配置为执行：
以预设位数的密匙对所述多个数据文件加密处理，将加密处理后的数据文件上传至分区服务器，其中，所述密匙经多轮位置变换操作生成、且所述密匙周期性更新。
15.一种数据存储装置，其特征在于，包括：
接收单元，被配置为执行接收任务分发管理模块上传的多个数据文件；所述多个数据文件是所述任务分发管理模块将接收到的数据包分割得到，并基于自身所在的位置，在多个分区服务器中确定用于接收数据包的第一分区服务器，将所述数据文件上传至所述第一分区服务器；在将任一数据文件上传至所述第一分区服务器的过程中，若所述任务分发管理模块的位置发生变化、且确定将数据文件上传至所述接收单元所属的分区服务器的上传速度大于将数据文件上传至所述第一分区服务器的上传速度，则将该数据文件已上传至所述第一分区服务器的部分同步至所述分区服务器，并将该数据文件未上传的部分继续上传至所述分区服务器的；
第二处理单元，被配置为执行在确定所有数据文件均上传完成时，将接收到的数据文件组合成数据包，并对所述数据包进行结构化存储。
16.根据权利要求15所述的装置，其特征在于，若所述数据文件上传至两个及两个以上的分区服务器，所述第二处理单元，具体被配置为执行：
在确定所有数据文件均上传完成时，将所述两个及两个以上的分区服务器中的数据文件同步至一个目标分区服务器中，并在所述目标分区服务器中将接收到的数据文件组合成数据包。
17.根据权利要求15所述的装置，其特征在于，所述第二处理单元，具体被配置为执行
从所述数据包中提取用于描述数据包的描述数据，所述描述数据包括以下一种或多种：标题、内容、数据所有者；
基于与所述分区服务器通信连接的中心服务器提供的用于表征多个数据文件索引关系的描点信息，确定所述数据包本身的第一评价数据以及所述数据包与所述中心服务器中其它数据之间的第二评价数据；
将所述描述数据、所述第一评价数据、以及所述第二评价数据以结构化的形式存储到数据库中。
18.一种数据上传设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求6至8中任一项所述的数据上传方法。
19.一种数据存储设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求9至11中任一项所述的数据存储方法。
20.一种存储介质，其特征在于，当所述存储介质中的指令由数据上传设备的处理器执行时，使得数据上传设备能够执行如权利要求6至8中任一所述的数据上传方法。
21.一种存储介质，其特征在于，当所述存储介质中的指令由数据存储设备的处理器执行时，使得数据存储设备能够执行如权利要求9至11中任一所述的数据存储方法。
CN202010242220.0A 2020-03-31 2020-03-31 一种数据存储系统和上传、存储方法、装置、设备及介质 Active CN111444160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010242220.0A CN111444160B (zh) 2020-03-31 2020-03-31 一种数据存储系统和上传、存储方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010242220.0A CN111444160B (zh) 2020-03-31 2020-03-31 一种数据存储系统和上传、存储方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN111444160A CN111444160A (zh) 2020-07-24
CN111444160B true CN111444160B (zh) 2022-06-07

Family

ID=71652591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010242220.0A Active CN111444160B (zh) 2020-03-31 2020-03-31 一种数据存储系统和上传、存储方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN111444160B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112445801B (zh) * 2020-11-27 2024-06-14 杭州海康威视数字技术股份有限公司 数据表的元信息管理方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861686A (zh) * 2017-09-26 2018-03-30 深圳前海微众银行股份有限公司 文件存储方法、服务端和计算机可读存储介质
CN109359099A (zh) * 2018-08-21 2019-02-19 中国平安人寿保险股份有限公司 分布式文件上传方法、装置、计算机设备及存储介质
CN109491797A (zh) * 2018-11-26 2019-03-19 深圳市斯博科技有限公司 数据存储方法、系统及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107861686A (zh) * 2017-09-26 2018-03-30 深圳前海微众银行股份有限公司 文件存储方法、服务端和计算机可读存储介质
CN109359099A (zh) * 2018-08-21 2019-02-19 中国平安人寿保险股份有限公司 分布式文件上传方法、装置、计算机设备及存储介质
CN109491797A (zh) * 2018-11-26 2019-03-19 深圳市斯博科技有限公司 数据存储方法、系统及计算机可读存储介质

Also Published As

Publication number Publication date
CN111444160A (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
WO2017186092A1 (zh) 网络切片的选择方法及装置
CN104052803A (zh) 一种去中心化的分布式渲染方法及渲染系统
CN101677325B (zh) 发布媒体描述信息和获取媒体的方法、装置、系统
JP2010273298A (ja) コンテンツ配信システム、配信制御装置及び配信制御プログラム
EP2852093B1 (en) Method, system, and device for sharing documents
CN103179438A (zh) 视频播放首次接入码率的确定方法及装置
WO2024104284A1 (zh) 一种基于nwdaf对计算资源的管理和决策的方法
CN111431813A (zh) 访问限流方法、设备及存储介质
CN111444160B (zh) 一种数据存储系统和上传、存储方法、装置、设备及介质
WO2016107197A1 (zh) 一种网络节目的录制方法、装置、系统以及录制节目的播放方法、装置
US20220166842A1 (en) Data distribution method and electronic device
CN104753870A (zh) 一种数据传输方法和系统
CN111193789A (zh) 订阅信息推送方法、装置、计算机设备和可读存储介质
CN114595167A (zh) 分布式缓存系统、方法以及装置
CN113301558B (zh) 一种消息传输方法、设备、系统及存储介质
US20110113099A1 (en) Method for transmitting buffer map and network thereof
CN109614345B (zh) 一种协议层之间通信的内存管理方法及装置
US20190089785A1 (en) Identification encoding device and identification decoding device for data distribution and networks, and network elements comprising such devices
US10462248B2 (en) Digital content sharing cloud service system, digital content sharing cloud service device, and method using the same
CN112925946B (zh) 一种业务数据存储方法、装置及电子设备
CN112653539B (zh) 一种待存储数据的存储方法、装置以及设备
CN114466031A (zh) 一种cdn系统节点配置方法、装置、设备及存储介质
CN113449042A (zh) 数据自动分库方法及装置
CN112464263A (zh) 一种数据加密方法、系统、设备及介质
US11818207B1 (en) Methods and systems for ledger based content delivery using a mobile edge computing (MEC) server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant