CN112307064A - 一种数据管理系统、方法及存储介质 - Google Patents

一种数据管理系统、方法及存储介质 Download PDF

Info

Publication number
CN112307064A
CN112307064A CN202011183846.5A CN202011183846A CN112307064A CN 112307064 A CN112307064 A CN 112307064A CN 202011183846 A CN202011183846 A CN 202011183846A CN 112307064 A CN112307064 A CN 112307064A
Authority
CN
China
Prior art keywords
data
target
user terminal
distributed database
site
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011183846.5A
Other languages
English (en)
Inventor
叶杰敏
韩朱忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dameng Database Co Ltd
Original Assignee
Shanghai Dameng Database Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dameng Database Co Ltd filed Critical Shanghai Dameng Database Co Ltd
Priority to CN202011183846.5A priority Critical patent/CN112307064A/zh
Publication of CN112307064A publication Critical patent/CN112307064A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24564—Applying rules; Deductive queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据管理系统、方法及存储介质，该系统包括：分布式数据库系统和用户终端；分布式数据库系统，用于向所述用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；用户终端，用于根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据，通过用户终端对原始数据进行处理，将处理后的目标数据发送给分布式数据库系统，解决了数据仅能通过主站点转发数据导致的主站点网络带宽占用率过高、负担过大的问题；原始数据在用户终端进行处理，降低了服务器的处理负担，在数据无效时，直接不进行传输，节省网络传输资源。

Description

一种数据管理系统、方法及存储介质
技术领域
本发明实施例涉及数据库技术领域，尤其涉及一种数据管理系统、方法及存储介质。
背景技术
数据库在备份还原、数据迁移的等场景下，常常会遇到大批量数据导入的需求。在分布式数据库系统中，用户会话实际连接的那个服务器站点对该用户会话来说称为主站点，其余的服务器站点都称为从站点。
现有的数据导入方法中，当数据导入时，先统一将待导入数据发送到分布式数据库系统的主站点上，再由主站点转发数据到各从站点。由于数据需要通过一个主站点转发数据到从站点，不仅使得主站点的网络带宽被集中占用，也使得数据因为中转缘故，网络传输效率下降，由此导致数据导入的效率低下。另一方面，传统导入方式直接将原始数据发送到服务器，由服务器来转换数据类型，以及校验数据的有效性，增加了服务器的处理负担，而且一旦出现了无效数据，还白白浪费了网络传输资源。
发明内容
本发明提供一种数据管理系统、方法及存储介质，以提高数据传输的效率，节省网络资源。
第一方面，本发明实施例提供了一种数据管理系统，所述数据管理系统包括：分布式数据库系统和用户终端；
所述分布式数据库系统，用于向所述用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；
所述用户终端，用于根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据。
第二方面，本发明实施例还提供了一种数据管理方法，该数据管理方法包括：
分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；
所述用户终端根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的一种数据管理方法。
本发明实施例提供了一种数据管理系统、方法及存储介质，该系统包括：分布式数据库系统和用户终端；所述分布式数据库系统，用于向所述用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；所述用户终端，用于根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据，通过用户终端对原始数据进行处理，将处理后的目标数据发送给分布式数据库系统，解决了现有技术中数据仅能通过主站点转发数据导致的主站点网络带宽占用率过高、负担过大的问题，并且原始数据在用户终端进行处理，降低了服务器的处理负担，在数据无效时，直接不进行传输，节省网络传输资源。
附图说明
图1是本发明实施例一中的一种数据管理系统的结构示意图；
图2是本发明实施例二中的一种数据管理系统的结构示意图；
图3是本发明实施例二中的一种数据管理的实现示例图；
图4是本发明实施例三中的一种数据管理方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据管理系统的结构示意图，本实施例可适用于对数据进行管理的情况，该系统包括：分布式数据库系统11和用户终端12；
分布式数据库系统11，用于向用户终端12发送目标表描述信息和表数据分布规则，并接收用户终端传输的目标数据；
用户终端12，用于根据目标表描述信息对待发送的原始数据进行处理，得到目标数据，并根据表数据分布规则向分布式数据库系统11传输目标数据。
在本实施例中，用户终端12可以是智能终端、PC端、平板电脑等具有数据处理能力的计算机设备；目标表描述信息可以理解为分布式系统中存储数据表时，对数据表的定义，例如，定义数据表中name字段的数据类型为字符串，score字段的数据类型为float等等；表数据分布规则可以理解为确定数据表中的数据所需要发送到分布式数据库系统中哪个服务器站点的规则；目标数据可以理解为用户终端12最终向分布式数据库系统11传输的数据；原始数据可以理解为需要向分布式数据库系统11发送的数据，原始数据可以存储在用户终端的磁盘中，也可以存储在云端服务器中。
分布式数据库系统11内的各服务器站点的表定义一致，只是表中存储的数据允许不同，预先根据分布式数据库系统11中的服务器站点中定义的各数据表的规范确定目标表描述信息，并预先约定好表数据分布规则。分布式数据库系统11在和用户终端12建立连接后，就将目标表描述信息和表数据分布规则发送给用户终端12，或者用户终端12在发送目标数据前，向分布式数据库系统11发送数据请求，分布式数据库系统11在接收到数据请求后将目标表描述信息和表数据分布规则发送给用户终端12。用户终端12在发送目标数据前需要获取待发送的、未处理的原始数据，根据接收到的目标表描述信息对原始数据进行处理，得到符合分布式数据库系统11存储数据规范的目标数据，根据表数据分布规则确定目标数据发送到分布式数据库系统11中的哪个服务器站点，并进行相应的数据发送。
进一步地，表数据分布规则包括哈西分布规则、RANGE分布规则或LIST分布规则。
哈西分布规则(Hash分布规则)为通过散列函数计算得到数据归属的服务器站点；RANGE分布规则为按照指定表字段列的数据值范围确定归属的服务器站点；LIST分布规则为根据表字段列数据严格等于某个值确定归属的服务器站点。本发明实施例中的表数据分布规则包括但不限于上述分布规则。
本发明实施例提供了一种数据管理系统，该系统包括：分布式数据库系统和用户终端；所述分布式数据库系统，用于向所述用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；所述用户终端，用于根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据，通过用户终端对原始数据进行处理，将处理后的目标数据发送给分布式数据库系统，解决了现有技术中数据仅能通过主站点转发数据导致的主站点网络带宽占用率过高、负担过大的问题，并且原始数据在用户终端进行处理，降低了服务器的处理负担，在数据无效时，直接不进行传输，节省网络传输资源。
实施例二
图2为本发明实施例二提供的一种数据管理系统的结构示意图。本实施例的技术方案在上述技术方案的基础上进一步细化，该系统包括：分布式数据库系统21和用户终端22；分布式数据库系统21包括至少两个服务器站点211；
分布式数据库系统21，具体用于：
作为主站点的服务器站点211向所述用户终端22发送目标表描述信息和表数据分布规则；
作为目标站点的服务器站点211接收所述用户终端22传输的目标数据。
在本实施例中，目标站点可以理解为分布式数据库系统21中接收用户终端22传输的目标数据的服务器站点。分布式数据库系统21中包含了两个或者多个服务器站点211，用户终端22传输目标数据时，需要将目标数据发送到其中的一个服务器站点211中，此服务器站点211即为目标站点。
分布式数据库系统21在存在多个服务器站点时，需要确定一个主站点，主站点可以是预先确定好的一个服务器站点211，一直以此服务器站点211作为主站点，也可以是各服务器站点211竞争主站点，即动态变化。在分布式数据库系统21与用户终端22建立连接之后，通过作为主站点的服务器站点211向用户终端22发送目标表描述信息和表数据分布规则，用户终端22在接收到目标表描述信息和表数据分布规则后，根据目标表描述信息确定目标数据，并根据表数据分布规则将目标数据发送至分布式数据库系统22中作为目标站点的服务器站点211。
进一步地，用户终端22还用于：
向作为主站点的服务器站点211发送数据获取请求；
根据接收到的所述主站点反馈的各所述服务器站点211的互联网协议地址和端口号建立与各所述服务器站点211之间的通信链路。
在本实施例中，数据获取请求可以理解为向分布式数据库系统21请求获取数据的通信信息；通信链路可以理解为服务器站点211和用户终端22之间传输通信信息的物理通道。
用户终端22向分布式数据库系统21中作为主站点的服务器站点211发送数据获取请求，请求获取分布式数据库系统21中各个服务器站点211的分布情况，然后作为主站点的服务器站点211收到数据获取请求后，将各服务器站点211的互联网协议地址和端口号反馈给用户终端22，用户终端22根据接收到的各服务器站点211的互联网协议地址和端口号直接与各服务器站点211建立独立的通信链路，通信链路的数量等于服务器站点211的数量，即有多少个服务器站点211便建立多少个通信链路。用户终端22在通过发送数据获取请求建立通信链路的时机可以是与分布式数据库系统21建立连接之后，在需要发送目标数据时直接发送；也可以是发送目标数据之前再建立。
进一步地，用户终端22包括：
数据获取模块221，用于当读数据缓冲区存在存储空间时获取原始数据，并将所述原始数据存储至所述读数据缓冲区；
数据转换模块222，用于从所述读数据缓冲区读取所述原始数据，并根据所述目标表描述信息确定所述原始数据中的各字段数据所对应的目标字段数据，根据各所述目标字段数据形成目标数据。
在本实施例中，数据获取模块可以理解为可实现获取数据功能的计算机设备中的虚拟模块；读数据缓冲区可以理解为存储用户终端22加载的原始数据的空间；数据转换模块可以理解为可进行数据转换(例如格式转换)的计算机设备中的虚拟模块；字段数据可以理解为原始数据中每个字段的数据；目标字段数据可以理解为分布式数据库系统21中服务器站点211在存储数据时每个字段的标准格式的数据。
数据获取模块通过读线程从磁盘、云端服务器等数据存储区域读取原始数据，并加载到读数据缓冲区，读数据缓冲区的存储空间满了后暂停读取原始数据。数据转换模块通过数据转换线程从读数据缓冲区中读取原始数据，将原始数据中每个字段数据按照目标表描述信息转换为目标字段数据，将各个目标字段数据组成目标数据。例如读数据缓存区中的原始数据的某个字段数据的数据类型为字符串，但服务器站点211存储的数据表的该字段数据的数据类型为整型，则将字符串数据转换成整型数据，转换后得到的各目标字段数据形成目标数据存放于转换数据缓存区。
进一步地，用户终端22包括：
站点确定模块223，用于根据所述表数据分布规则确定所述目标数据对应所述分布式数据库系统21中的服务器站点211，将对应的服务器站点211作为目标站点；
发送模块224，用于将所述目标数据通过预先建立的通信链路发送给对应的目标站点。
在本实施例中，站点确定模块可以理解为用来确定目标站点的计算机设备中虚拟模块；发送模块可以理解为进行数据发送的计算机设备中的虚拟模块。
站点确定模块223根据预先从分布式数据库系统21获得的表数据分布规则确定目标数据应该发送到分布式数据库系统21中的哪一个服务器站点211，即目标站点，确定目标站点后，即确定用户终端22与目标站点之间的通信链路，通过数据分发线程将存放在用户终端22的转换数据缓存区的目标数据分发到用户终端22为各个服务器站点211建立的待发送数据缓存区，然后发送模块224通过发送线程将待发送数据缓存区中的目标数据通过预先建立的通信链路发送到对应的目标站点。当待发送缓冲区中不再有新数据产生，表示需要发送的原始数据已经全部处理完毕，用户终端22已将目标数据全部发往目标站点。
表数据分布规则是建立在一个或多个表字段上的一种算法：给定一行数据，能够根据此算法计算出数据应存放于哪个服务器站点，例如按照数据范围进行分布：表的字段C1作为分布列，C1列值处于[0～100]的数据行发往服务器站点EP1,处于[101～300]的数据行发往服务器站点EP2，其他范围值的数据行发往服务器站点EP3。
用户终端22首先根据目标表描述信息针对每个服务器站点初始化一个待发送数据缓冲区，其次初始化读数据缓冲区、转换数据缓冲区，然后再建立数据文件读线程、数据转换线程、数据分发线程、发送线程。其中，各线程的初始数量可以按下面的固定值进行。文件读线程：1个；数据转换线程：不限，默认与cpu核数量一致，需要根据实际情况来确定建立多少线程合适，如果数据转换操作比较耗时则可以建立更多的转换线程；数据分发线程：1个；发送线程：与服务器站点211数量一致，有几个服务器站点211，就建立多少个发送线程。各线程的数量不是固定的，可以根据软硬件的实际情况进行调整。
示例性的，图3提供了一种数据管理的实现示例图，该数据管理系统至少包括：分布式数据库系统21和用户终端22。
用户终端22预先从分布式数据库系统21中获取到目标表描述信息和表数据分布规则，通过读线程读取原始数据，将原始数据加载到内存的读数据缓冲区。通过数据转换线程将转换后的目标数据存放到转换数据缓冲区，通过数据分发线程将目标数据发送至对应的待发送数据缓冲区，最后通过发送线程将目标数据发送到分布式数据库系统21的各个服务器站点211，即将目标数据发送至对应的目标站点。
本发明实施例提供了一种数据管理系统，该系统包括：分布式数据库系统和用户终端；所述分布式数据库系统，用于向所述用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；所述用户终端，用于根据所述目标表描述信息对获取到的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据，通过用户终端对原始数据进行处理，将处理后的目标数据发送给分布式数据库系统，解决了现有技术中数据仅能通过主站点转发数据导致的主站点网络带宽占用率过高、负担过大的问题，在用户终端处对原始数据进行处理，将处理好的目标数据发送给目标站点，目标站点只需要接收数据即可，无需在对数据进行处理，并且用户终端在对原始数据处理后，对于不符合要求的无效数据直接不进行传输，避免了作为目标站点的服务器站点对原始数据进行处理时，需全部进行处理导致的负担过大的问题，在数据无效时，直接不进行传输，同时节省了网络传输资源。
实施例三
图4为本发明实施例三提供的一种数据管理方法的流程图，本实施例可适用于数据管理的情况，该方法可以由数据管理系统来执行，具体包括如下步骤：
步骤S310、分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；
步骤S320、用户终端根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据。
本发明实施例提供了一种数据管理方法，通过分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；所述用户终端根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据。通过用户终端对原始数据进行处理，将处理后的目标数据发送给分布式数据库系统，解决了现有技术中数据仅能通过主站点转发数据导致的主站点网络带宽占用率过高、负担过大的问题，并且原始数据在用户终端进行处理，降低了服务器的处理负担，在数据无效时，直接不进行传输，节省网络传输资源。
进一步地，所述分布式数据库系统包括至少两个服务器站点；相应的，所述分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据，包括：
作为主站点的服务器站点向所述用户终端发送目标表描述信息和表数据分布规则；
作为目标站点的服务器站点接收所述用户终端传输的目标数据。
进一步地，该方法还包括：
所述用户终端向作为主站点的服务器站点发送数据获取请求；
所述用户终端根据接收到的所述主站点反馈的各所述服务器站点的互联网协议地址和端口号建立与各所述服务器站点之间的通信链路。
进一步地，用户终端根据所述目标表描述信息对获取到的原始数据进行处理，得到所述目标数据，包括：
当读数据缓冲区存在存储空间时数据获取模块获取待发送的原始数据，并将所述原始数据存储至所述读数据缓冲区；
数据转换模块从所述读数据缓冲区读取所述原始数据，并根据所述目标表描述信息确定所述原始数据中的各字段数据所对应的目标字段数据，根据各所述目标字段数据形成目标数据。
进一步地，根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据，包括：
站点确定模块根据所述表数据分布规则确定所述目标数据对应所述分布式数据库系统中的服务器站点，将对应的服务器站点作为目标站点；
发送模块将所述目标数据通过预先建立的通信链路发送给对应的目标站点。
进一步地，表数据分布规则包括哈西分布规则、RANGE分布规则或LIST分布规则。
本发明实施例所提供的数据管理方法可由本发明任意实施例所提供的数据管理系统执行，具备系统相应的有益效果。
实施例四
本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据管理方法，该方法包括：
分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；
所述用户终端根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据管理方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据管理系统的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据管理系统，其特征在于，包括：分布式数据库系统和用户终端；
所述分布式数据库系统，用于向所述用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；
所述用户终端，用于根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据。
2.根据权利要求1所述的系统，其特征在于，所述分布式数据库系统包括至少两个服务器站点；相应的，所述分布式数据库系统，具体用于：
作为主站点的服务器站点向所述用户终端发送目标表描述信息和表数据分布规则；
作为目标站点的服务器站点接收所述用户终端传输的目标数据。
3.根据权利要求2所述的系统，其特征在于，所述用户终端还用于：
向作为主站点的服务器站点发送数据获取请求；
根据接收到的所述主站点反馈的各所述服务器站点的互联网协议地址和端口号建立与各所述服务器站点之间的通信链路。
4.根据权利要求1所述的系统，其特征在于，所述用户终端包括：
数据获取模块，用于当读数据缓冲区存在存储空间时获取待发送的原始数据，并将所述原始数据存储至所述读数据缓冲区；
数据转换模块，用于从所述读数据缓冲区读取所述原始数据，并根据所述目标表描述信息确定所述原始数据中的各字段数据所对应的目标字段数据，根据各所述目标字段数据形成目标数据。
5.根据权利要求1所述的系统，其特征在于，所述用户终端包括：
站点确定模块，用于根据所述表数据分布规则确定所述目标数据对应所述分布式数据库系统中的服务器站点，将对应的服务器站点作为目标站点；
发送模块，用于将所述目标数据通过预先建立的通信链路发送给对应的目标站点。
6.根据权利要求1-5任一项所述的系统，其特征在于，所述表数据分布规则包括哈西分布规则、RANGE分布规则或LIST分布规则。
7.一种数据管理方法，其特征在于，由权利要求1-6任一项所述的数据管理系统执行，所述方法包括：
分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据；
所述用户终端根据所述目标表描述信息对待发送的原始数据进行处理，得到所述目标数据，并根据所述表数据分布规则向所述分布式数据库系统传输所述目标数据。
8.根据权利要求7所述的方法，其特征在于，所述分布式数据库系统包括至少两个服务器站点；相应的，所述分布式数据库系统向用户终端发送目标表描述信息和表数据分布规则，并接收所述用户终端传输的目标数据，包括：
作为主站点的服务器站点向所述用户终端发送目标表描述信息和表数据分布规则；
作为目标站点的服务器站点接收所述用户终端传输的目标数据。
9.根据权利要求8所述的方法，其特征在于，还包括：
所述用户终端向作为主站点的服务器站点发送数据获取请求；
所述用户终端根据接收到的所述主站点反馈的各所述服务器站点的互联网协议地址和端口号建立与各所述服务器站点之间的通信链路。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求7-9中任一所述的数据管理方法。
CN202011183846.5A 2020-10-29 2020-10-29 一种数据管理系统、方法及存储介质 Pending CN112307064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011183846.5A CN112307064A (zh) 2020-10-29 2020-10-29 一种数据管理系统、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011183846.5A CN112307064A (zh) 2020-10-29 2020-10-29 一种数据管理系统、方法及存储介质

Publications (1)

Publication Number Publication Date
CN112307064A true CN112307064A (zh) 2021-02-02

Family

ID=74332186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011183846.5A Pending CN112307064A (zh) 2020-10-29 2020-10-29 一种数据管理系统、方法及存储介质

Country Status (1)

Country Link
CN (1) CN112307064A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746896A (zh) * 2021-07-23 2021-12-03 深圳供电局有限公司 数据传输方法、装置、系统和可读存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629934A (zh) * 2012-02-28 2012-08-08 北京搜狐新媒体信息技术有限公司 基于分布式存储系统的数据存储方法及装置
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN104239252A (zh) * 2013-06-21 2014-12-24 华为技术有限公司 数据存储系统的数据传输方法、装置及系统
CN106339435A (zh) * 2016-08-19 2017-01-18 中国银行股份有限公司 一种数据分发方法、装置及系统
CN106535152A (zh) * 2015-09-14 2017-03-22 腾讯科技（深圳）有限公司 一种基于终端的应用数据处理方法、装置及系统
CN107766378A (zh) * 2016-08-22 2018-03-06 南京中兴新软件有限责任公司 请求信息的发送方法及装置、分布式数据库系统
CN109639750A (zh) * 2014-08-29 2019-04-16 阿里巴巴集团控股有限公司 业务数据处理方法及设备
CN109656688A (zh) * 2018-12-07 2019-04-19 北京京东金融科技控股有限公司 一种实现分布式业务规则的方法、系统和服务器
CN109873839A (zh) * 2017-12-01 2019-06-11 华为技术有限公司 数据访问的方法、服务器与分布式系统
CN110928491A (zh) * 2019-10-30 2020-03-27 平安科技（深圳）有限公司 存储分区动态选择方法、系统、计算机设备及存储介质
CN110989922A (zh) * 2019-10-28 2020-04-10 烽火通信科技股份有限公司 一种分布式数据存储方法及系统
CN111064808A (zh) * 2019-12-30 2020-04-24 北京天融信网络安全技术有限公司 一种基于分布式存储系统的负载均衡方法及装置
CN111241172A (zh) * 2019-12-26 2020-06-05 北京航天测控技术有限公司 一种数据存储方法、装置、终端及计算机可读介质
CN111597160A (zh) * 2020-04-21 2020-08-28 中国人民财产保险股份有限公司 分布式数据库系统、分布式数据处理方法和装置
CN111639114A (zh) * 2020-04-07 2020-09-08 北京邮电大学 一种基于物联网平台的分布式数据融合管理系统
CN111752941A (zh) * 2019-07-31 2020-10-09 北京京东尚科信息技术有限公司 一种数据存储、访问方法、装置、服务器及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102629934A (zh) * 2012-02-28 2012-08-08 北京搜狐新媒体信息技术有限公司 基于分布式存储系统的数据存储方法及装置
CN104239252A (zh) * 2013-06-21 2014-12-24 华为技术有限公司 数据存储系统的数据传输方法、装置及系统
CN103731298A (zh) * 2013-11-15 2014-04-16 中国航天科工集团第二研究院七〇六所 一种大规模分布式网络安全数据采集方法与系统
CN109639750A (zh) * 2014-08-29 2019-04-16 阿里巴巴集团控股有限公司 业务数据处理方法及设备
CN106535152A (zh) * 2015-09-14 2017-03-22 腾讯科技（深圳）有限公司 一种基于终端的应用数据处理方法、装置及系统
CN106339435A (zh) * 2016-08-19 2017-01-18 中国银行股份有限公司 一种数据分发方法、装置及系统
CN107766378A (zh) * 2016-08-22 2018-03-06 南京中兴新软件有限责任公司 请求信息的发送方法及装置、分布式数据库系统
CN109873839A (zh) * 2017-12-01 2019-06-11 华为技术有限公司 数据访问的方法、服务器与分布式系统
CN109656688A (zh) * 2018-12-07 2019-04-19 北京京东金融科技控股有限公司 一种实现分布式业务规则的方法、系统和服务器
CN111752941A (zh) * 2019-07-31 2020-10-09 北京京东尚科信息技术有限公司 一种数据存储、访问方法、装置、服务器及存储介质
CN110989922A (zh) * 2019-10-28 2020-04-10 烽火通信科技股份有限公司 一种分布式数据存储方法及系统
CN110928491A (zh) * 2019-10-30 2020-03-27 平安科技（深圳）有限公司 存储分区动态选择方法、系统、计算机设备及存储介质
CN111241172A (zh) * 2019-12-26 2020-06-05 北京航天测控技术有限公司 一种数据存储方法、装置、终端及计算机可读介质
CN111064808A (zh) * 2019-12-30 2020-04-24 北京天融信网络安全技术有限公司 一种基于分布式存储系统的负载均衡方法及装置
CN111639114A (zh) * 2020-04-07 2020-09-08 北京邮电大学 一种基于物联网平台的分布式数据融合管理系统
CN111597160A (zh) * 2020-04-21 2020-08-28 中国人民财产保险股份有限公司 分布式数据库系统、分布式数据处理方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李薇: "基于Peer-to-Peer的分布式数据库系统的研究", 湘潭大学自然科学学报, no. 04 *
桂小林: "《网格技术导论》", 北京邮电大学出版社, pages: 83 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113746896A (zh) * 2021-07-23 2021-12-03 深圳供电局有限公司 数据传输方法、装置、系统和可读存储介质
CN113746896B (zh) * 2021-07-23 2023-07-21 深圳供电局有限公司 数据传输方法、装置、系统和可读存储介质

Similar Documents

Publication Publication Date Title
CN111935315B (zh) 区块同步方法及装置
CN111008075B (zh) 一种负载均衡系统、方法、装置、设备及介质
WO2020019472A1 (zh) 服务节点的评分方法、域名系统dns调度方法及服务器
CN112817752B (zh) 一种分布式数据库动态负载均衡方法
US20150110099A1 (en) Service Information Discovery Method and Device
CN110888735A (zh) 基于一致性哈希的分布式消息分发方法、装置和调度节点
US11463376B2 (en) Resource distribution method and apparatus in Internet of Things, device, and storage medium
CN102404387A (zh) 一种用于与其他节点进行信息同步的方法、装置和设备
CN112307064A (zh) 一种数据管理系统、方法及存储介质
CN110830572B (zh) Cdn访问优化方法及系统
CN114090388A (zh) 信息获取方法、服务器集群、服务器及设备
CN103780621B (zh) 一种远程桌面共享方法及系统
CN105721293A (zh) 一种基于Alljoyn协议的Master网关自适应竞争方法
CN113986811B (zh) 一种高性能内核态网络数据包加速方法
CN112491951A (zh) 对等网络中的请求处理方法、服务器及存储介质
US8250140B2 (en) Enabling connections for use with a network
CN109788075B (zh) 专网网络系统、数据的获取方法及边缘服务器
CN112202833A (zh) Cdn系统、请求处理方法以及调度服务器
CN112540966A (zh) 一种文件同步的方法及装置
CN110572851A (zh) 一种数据上传方法、系统、装置及计算机可读存储介质
CN107305581B (zh) 分布式数据库系统中的表连接方法及分布式数据库系统
CN105100271A (zh) 一种分布式弹性可扩展信息发布系统及其控制方法
CN103731454A (zh) 一种在点对点网络中对请求进行响应的方法及服务器系统
CN113438274A (zh) 数据传输方法、装置、计算机设备及可读存储介质
CN113810459A (zh) 数据传输方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination