CN111966650A - 一种运维大数据共享数据表的处理方法、装置及存储介质 - Google Patents

一种运维大数据共享数据表的处理方法、装置及存储介质 Download PDF

Info

Publication number
CN111966650A
CN111966650A CN202011154092.0A CN202011154092A CN111966650A CN 111966650 A CN111966650 A CN 111966650A CN 202011154092 A CN202011154092 A CN 202011154092A CN 111966650 A CN111966650 A CN 111966650A
Authority
CN
China
Prior art keywords
mirror image
data
local mirror
backup
servers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011154092.0A
Other languages
English (en)
Other versions
CN111966650B (zh
Inventor
陈春丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD
Original Assignee
BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD filed Critical BEIJING MT-HIRISUN INFORMATION TECHNOLOGY DEVELOPMENT CO LTD
Priority to CN202011154092.0A priority Critical patent/CN111966650B/zh
Publication of CN111966650A publication Critical patent/CN111966650A/zh
Application granted granted Critical
Publication of CN111966650B publication Critical patent/CN111966650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种运维大数据共享数据表的处理方法、装置及存储介质，该方法包括：在一个服务器的数据库上建立用于大数据共享的数据表，该服务器称为主服务器；主服务器将所建立的数据表发送至其他的服务器及多个用户终端，发送至其他的服务器及多个用户终端的数据表生成本地镜像，用户在本地镜像中进行数据的操作，备份服务器向多个服务器及多个用户端发出备份请求，其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，主服务器生成数据表的本地全量备份数据，然后生成备份数据集。本发明仅对部分本地镜像进行禁止写或修改，别的本地镜像仍然可以操作，提高了数据采集的效率。

Description

一种运维大数据共享数据表的处理方法、装置及存储介质
技术领域
本发明涉及大数据处理技术领域，特别是一种运维大数据共享数据表的处理方法、装置及存储介质。
背景技术
“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录、运营运维系统等，还有许多其他来源。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。
近年来，随着数据量的高速增长，分布式数据库技术也得到了快速的发展，传统的关系型数据库开始从集中式模型向分布式架构发展，基于关系型的分布式数据库在保留了传统数据库的数据模型和基本特征下，从集中式存储走向分布式存储，从集中式计算走向分布式计算，但是，大数据的高速并行采集仍是技术人员追求的研究目标。
现有技术中，大数据一般以存储在分布式数据库的各个数据表中，在大数据的采集、应用、处理等等应用时，各个数据表会被共享到其他服务器、用户端进行相应的操作，如何保持各用户端、服务器数据操作的一致性且将对用户操作的影响最小是目前的一个难点。
现有技术中对各个本地数据表进行保存，但是，其很难使得各个服务器及用户终端的数据保持一致，或者直接将所有的数据表锁定后进行同步的方法，导致数据表锁定的时间过长，降低了大数据的采集效率。此外，现有技术中，数据库的日志可能不同步，也将导致备份的数据出错，影响了用户体验。
发明内容
本发明针对上述现有技术中的缺陷，提出了如下技术方案。
一种运维大数据共享数据表的处理方法，该方法应用于分布式数据处理系统，所述分布式处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该方法包括：
数据表建立步骤，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；
分发步骤，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户终端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；
镜像步骤，发送至其他的服务器及所述多个用户终端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户终端中具有一个本地镜像；
备份步骤：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。
更进一步地，所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述数据备份集。
更进一步地，所述获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器。
更进一步地，所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器。
更进一步地，所述主服务器基于所述备份数据集对所述数据表进行更新。
本发明还提出了一种运维大数据共享数据表的处理装置，该装置应用于分布式数据处理系统，所述分布式处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该装置包括：
数据表建立单元，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；
分发单元，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户终端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；
镜像单元，发送至其他的服务器及所述多个用户终端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户终端中具有一个本地镜像；
备份单元：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。
更进一步地，所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述数据备份集。
更进一步地，所述获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器。
更进一步地，所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器，所述主服务器基于所述备份数据集对所述数据表进行更新。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的一种运维大数据共享数据表的处理方法、装置及存储介质，该方法应用于分布式数据处理系统，所述分布式处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该方法包括：数据表建立步骤，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；分发步骤，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户终端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；镜像步骤，发送至其他的服务器及所述多个用户终端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户终端中具有一个本地镜像；备份步骤：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。本发明的方法中，主服务器将建立的数据表发送至其他服务器及用户端形成本地镜像进行数据的采集、加工等操作，提高了数据采集、处理的效率，并在数据的备份中，对每一个本地镜像生成本地镜像全量备份数据，对所述主服务器上的数据表生成本地全量备份数据，然后生成备份数据集，提高了数据的一致性，降低了对用户的影响，在本发明的方法中，不再使用现有技术中多所有数据对象进行锁定的方法进行备份，仅将所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集，对这么部分本地镜像设定禁止写入或修改标识，当正在写入或修改的操作完成后，所述禁止写入或修改标识生效，不能再对生效的所述禁止写入或修改标识对应本地镜像进行写入或修改操作，但可以进行读操作，即将用户的影响降到最低，由于仅对部分本地镜像进行禁止写或修改，别的本地镜像仍然可以操作，提高了数据采集的效率，提高了用户体验，通过所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，使得所述本地镜像对应的写入或修改时间也是一致的，这样确保了同步后的数据的准确性，本发明基于备份数据集的全量备份数据可以将当前未进行写或修改操作的本地镜像进行更新到主服务器的数据表中，基于增量数据可将当前进行写或修改操作的数据增量更新到主服务器的数据表中，确保了数据的一致性，且通过本地镜像集方式确定当前进行写或修改操作的本地镜像，提高了分布式数据库的利用效率，提高了用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种运维大数据共享数据表的处理方法的流程图。
图2是根据本发明的实施例的一种运维大数据共享数据表的处理装置的示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种运维大数据共享数据表的处理方法，该方法应用于分布式数据处理系统，所述分布式处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，本发明所述的用户端可以是各种智能设备，比如智能手机、平板电脑、IPAD等等，其具有联网功能，使用各种APP与云服务器进行连接。
该方法包括以下步骤。
数据表建立步骤S101，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；本发明的中的数据库为分布式数据库，分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。本发明中，分布式数据库中的数据表可以由其中一个数据库建立，然后，将建立的数据表共享给其他分布式数据库中的节点
分发步骤S102，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户终端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；本发明中，建立数据表的主服务器节点将建立的数据表发送至其他的服务器及所述多个用户终端用于数据的采集等等，比如，其他的服务器节点基于所述数据表进行从运维系统中进行数据的抽取、加工等。
镜像步骤S103，发送至其他的服务器及所述多个用户终端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户终端中具有一个本地镜像；比如，其他的服务器节点在所述数据表的本地镜像中进行数据的抽取、加工等，从而提高了运维大数据采集的效率。
备份步骤S104：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。
本发明的方法中，主服务器将建立的数据表发送至其他服务器及用户端形成本地镜像进行数据的采集、加工等操作，提高了数据采集、处理的效率，并在数据的备份中，对每一个本地镜像生成本地镜像全量备份数据，对所述主服务器上的数据表生成本地全量备份数据，然后生成备份数据集，提高了数据的一致性，降低了对用户的影响，这是本发明的重要发明点。
在一个实施例中，所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述数据备份集。
在本发明的方法中，不再使用现有技术中多所有数据对象进行锁定的方法进行备份，仅将所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集，对这么部分本地镜像设定禁止写入或修改标识，当正在写入或修改的操作完成后，所述禁止写入或修改标识生效，不能再对生效的所述禁止写入或修改标识对应本地镜像进行写入或修改操作，但可以进行读操作，即将用户的影响降到最低，由于仅对部分本地镜像进行禁止写或修改，别的本地镜像仍然可以操作，提高了数据采集的效率，提高了用户体验，这是本发明的另一个重要发明点。
在一个实施例中，为解决现有技术中数据库日志不同步的技术问题，所述获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器。
本发明的方法中，通过所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，使得所述本地镜像对应的写入或修改时间也是一致的，这样确保了同步后的数据的准确性，这是本发明的一个重要发明点。
在一个实施例中，所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器，比如每隔一小时，将将所述备份数据集发送至所述主服务器，所述主服务器基于所述备份数据集对所述数据表进行更新。优选地，所述主服务器基于所述备份数据集对所述数据表进行更新的操作包括：所述主服务器获取所述数据备份集中的所述本地全量备份数据以及所有本地镜像全量备份数据，对所述本地全量备份数据以及所有本地镜像全量备份数据进行解析得到所述本地全量备份数据以及所有本地镜像全量备份数据中的所有数据条目及对应的写入或修改时间，基于所述写入或修改时间对所有的数据条目进行排序，将排序后的数据条目写入所述数据表，然后，从所述数据备份集获取所述本地镜像集中的每一个本地镜像的日志文件，对所有的日志文件进行解析获得所有的增量数据以及所述增量数据对应的写入或修改时间，基于所述增量数据对应的写入或修改时间对所有的增量数据进行排序，将排序后的增量数据的数据条目写入所述数据表。
本发明的方法基于备份数据集的全量备份数据可以将当前未进行写或修改操作的本地镜像进行更新到主服务器的数据表中，基于增量数据可将当前进行写或修改操作的数据增量更新到主服务器的数据表中，确保了数据的一致性，且通过本地镜像集方式确定当前进行写或修改操作的本地镜像，提高了分布式数据库的利用效率，提高了用户体验，这是本发明的一个重要发明点。
图2示出了本发明的一种运维大数据共享数据表的处理装置，该装置应用于分布式数据处理系统，所述分布式处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，本发明所述的用户端可以是各种智能设备，比如智能手机、平板电脑、IPAD等等，其具有联网功能，使用各种APP与云服务器进行连接。
该装置包括以下步骤。
数据表建立单元201，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；本发明的中的数据库为分布式数据库，分布式数据库是指利用高速计算机网络将物理上分散的多个数据存储单元连接起来组成一个逻辑上统一的数据库。本发明中，分布式数据库中的数据表可以由其中一个数据库建立，然后，将建立的数据表共享给其他分布式数据库中的节点
分发单元202，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户终端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；本发明中，建立数据表的主服务器节点将建立的数据表发送至其他的服务器及所述多个用户终端用于数据的采集等等，比如，其他的服务器节点基于所述数据表从运维系统中进行数据的抽取、加工等。
镜像单元203，发送至其他的服务器及所述多个用户终端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户终端中具有一个本地镜像；比如，其他的服务器节点在所述数据表的本地镜像中进行数据的抽取、加工等，从而提高了运维大数据采集的效率。
备份单元204：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户终端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。
本发明的装置中，主服务器将建立的数据表发送至其他服务器及用户端形成本地镜像进行数据的采集、加工等操作，提高了数据采集、处理的效率，并在数据的备份中，对每一个本地镜像生成本地镜像全量备份数据，对所述主服务器上的数据表生成本地全量备份数据，然后生成备份数据集，提高了数据的一致性，降低了对用户的影响，这是本发明的重要发明点。
在一个实施例中，所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述数据备份集。
在本发明的装置中，不再使用现有技术中多所有数据对象进行锁定的装置进行备份，仅将所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户终端上的本地镜像形成本地镜像集，对这么部分本地镜像设定禁止写入或修改标识，当正在写入或修改的操作完成后，所述禁止写入或修改标识生效，不能再对生效的所述禁止写入或修改标识对应本地镜像进行写入或修改操作，但可以进行读操作，即将用户的影响降到最低，由于仅对部分本地镜像进行禁止写或修改，别的本地镜像仍然可以操作，提高了数据采集的效率，提高了用户体验，这是本发明的另一个重要发明点。
在一个实施例中，为解决现有技术中数据库日志不同步的技术问题，所述获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器。
本发明的装置中，通过所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，使得所述本地镜像对应的写入或修改时间也是一致的，这样确保了同步后的数据的准确性，这是本发明的一个重要发明点。
在一个实施例中，所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器，比如每隔一小时，将将所述备份数据集发送至所述主服务器，所述主服务器基于所述备份数据集对所述数据表进行更新。优选地，所述主服务器基于所述备份数据集对所述数据表进行更新的操作包括：所述主服务器获取所述数据备份集中的所述本地全量备份数据以及所有本地镜像全量备份数据，对所述本地全量备份数据以及所有本地镜像全量备份数据进行解析得到所述本地全量备份数据以及所有本地镜像全量备份数据中的所有数据条目及对应的写入或修改时间，基于所述写入或修改时间对所有的数据条目进行排序，将排序后的数据条目写入所述数据表，然后，从所述数据备份集获取所述本地镜像集中的每一个本地镜像的日志文件，对所有的日志文件进行解析获得所有的增量数据以及所述增量数据对应的写入或修改时间，基于所述增量数据对应的写入或修改时间对所有的增量数据进行排序，将排序后的增量数据的数据条目写入所述数据表。
本发明的装置基于备份数据集的全量备份数据可以将当前未进行写或修改操作的本地镜像进行更新到主服务器的数据表中，基于增量数据可将当前进行写或修改操作的数据增量更新到主服务器的数据表中，确保了数据的一致性，且通过本地镜像集方式确定当前进行写或修改操作的本地镜像，提高了分布式数据库的利用效率，提高了用户体验，这是本发明的一个重要发明点。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然， 在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质 中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种运维大数据共享数据表的处理方法，该方法应用于分布式数据处理系统，其特征在于，所述分布式数据处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该方法包括：
数据表建立步骤，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；
分发步骤，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；
镜像步骤，发送至其他的服务器及所述多个用户端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户端中具有一个本地镜像；
备份步骤：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。
2.根据权利要求1所述的方法，其特征在于，所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述备份数据集。
3.根据权利要求1所述的方法，其特征在于，获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器。
4.根据权利要求3所述的方法，其特征在于，所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器。
5.根据权利要求4所述的方法，其特征在于，所述主服务器基于所述备份数据集对所述数据表进行更新。
6.一种运维大数据共享数据表的处理装置，该装置应用于分布式数据处理系统，其特征在于，所述分布式数据处理系统包括多个服务器、多个用户端以及一个备份服务器，所述多个服务器、多个用户端以及一个备份服务器通过网络相互连接，该装置包括：
数据表建立单元，在所述多个服务器中的一个服务器的数据库上建立用于运维大数据共享的数据表，其中，该建立用于运维大数据共享的数据表的服务器称为主服务器；
分发单元，所述主服务器将所建立的数据表发送至其他的服务器及所述多个用户端，其中，所述其他的服务器为所述多个服务器中除所述主服务器之外的服务器；
镜像单元，发送至其他的服务器及所述多个用户端的数据表生成在所述其他服务器及所述多个用户端的本地镜像，用户在所述本地镜像中进行数据的操作，其中，所述其他服务器中的每一个及每一个用户端中具有一个本地镜像；
备份单元：所述备份服务器向所述多个服务器及多个用户端发出备份请求，所述多个服务器及多个用户端接收到所述备份请求后，所述其他服务器中的每一个及每一个用户端基于其上的本地镜像生成对应的本地镜像全量备份数据，所述主服务器生成所述数据表的本地全量备份数据，然后生成备份数据集。
7.根据权利要求6所述的装置，其特征在于，所述生成备份数据集的操作包括：所述备份服务器确定用户正在写入或修改的所述其他服务器中的每一个的本地镜像及每一个用户端上的本地镜像形成本地镜像集；所述备份服务器对所述本地镜像集中的每一个本地镜像设定禁止写入或修改标识，基于所述禁止写入或修改标识对所述本地镜像集中的每一个本地镜像禁止写入或修改；获取所述本地镜像集中的每一个本地镜像的日志文件，其中，所述日志文件中存储了所述本地镜像集中的每一个本地镜像在预设时间段内的增量数据；删除所述本地镜像集中的每一个本地镜像设定的禁止写入或修改标识，基于所述本地全量备份数据、本地镜像全量备份数据及所述本地镜像集中的每一个本地镜像的日志文件生成所述备份数据集。
8.根据权利要求7所述的装置，其特征在于，获取所述本地镜像集中的每一个本地镜像的日志文件的操作为：所述备份服务器向所述本地镜像集中的本地镜像对应的服务器及用户端发送时钟同步信号，所述本地镜像对应的服务器及用户端基于接收到的所述时钟同步信号进行时钟同步，所述本地镜像对应的服务器及用户端获取对应的本地镜像在预设的时间段内的增量数据以及所述增量数据对应的写入或修改时间，所述本地镜像对应的服务器及用户端将增量数据、所述增量数据对应的写入或修改时间以及IP地址形成日志文件发送至所述备份服务器。
9.根据权利要求8所述的装置，其特征在于，所述备份服务器在预定的时间将所述备份数据集发送至所述主服务器，所述主服务器基于所述备份数据集对所述数据表进行更新。
10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行权利要求1-5之任一的方法。
CN202011154092.0A 2020-10-26 2020-10-26 一种运维大数据共享数据表的处理方法、装置及存储介质 Active CN111966650B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011154092.0A CN111966650B (zh) 2020-10-26 2020-10-26 一种运维大数据共享数据表的处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011154092.0A CN111966650B (zh) 2020-10-26 2020-10-26 一种运维大数据共享数据表的处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111966650A true CN111966650A (zh) 2020-11-20
CN111966650B CN111966650B (zh) 2021-01-12

Family

ID=73387220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011154092.0A Active CN111966650B (zh) 2020-10-26 2020-10-26 一种运维大数据共享数据表的处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111966650B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915634A (zh) * 2022-06-10 2022-08-16 北京国控天成科技有限公司 一种基于数据湖的工业数据采集存储系统和采集存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100251350A1 (en) * 2009-03-27 2010-09-30 Samsung Electronics Co., Ltd. Distributed control method and apparatus using url
CN103186554A (zh) * 2011-12-28 2013-07-03 阿里巴巴集团控股有限公司 分布式数据镜像方法及存储数据节点
CN107329708A (zh) * 2017-07-04 2017-11-07 郑州云海信息技术有限公司 一种分布式存储系统实现缓存数据的方法及系统
CN108241555A (zh) * 2016-12-26 2018-07-03 阿里巴巴集团控股有限公司 一种分布式数据库的备份、恢复方法、装置和服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100251350A1 (en) * 2009-03-27 2010-09-30 Samsung Electronics Co., Ltd. Distributed control method and apparatus using url
CN103186554A (zh) * 2011-12-28 2013-07-03 阿里巴巴集团控股有限公司 分布式数据镜像方法及存储数据节点
CN108241555A (zh) * 2016-12-26 2018-07-03 阿里巴巴集团控股有限公司 一种分布式数据库的备份、恢复方法、装置和服务器
CN107329708A (zh) * 2017-07-04 2017-11-07 郑州云海信息技术有限公司 一种分布式存储系统实现缓存数据的方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915634A (zh) * 2022-06-10 2022-08-16 北京国控天成科技有限公司 一种基于数据湖的工业数据采集存储系统和采集存储方法

Also Published As

Publication number Publication date
CN111966650B (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
US10467192B2 (en) Method and apparatus for updating data table in keyvalue database
CN109408523B (zh) 数据共享方法、装置、数据共享平台、电子设备
CN111858760B (zh) 一种异构数据库的数据处理方法及装置
CN112654978A (zh) 分布式异构存储系统中数据一致性实时检查的方法、设备和系统
US20220121523A1 (en) Identifying database backup copy chaining
CN109298978B (zh) 一种指定位置的数据库集群的恢复方法及系统
CN114077518B (zh) 数据快照方法、装置、设备及存储介质
CN115757616A (zh) 一种基于二进制日志的数据一致性校验方法、装置及介质
CN111966650B (zh) 一种运维大数据共享数据表的处理方法、装置及存储介质
CN113051102A (zh) 文件备份方法、装置、系统、存储介质和计算机设备
CN113297159B (zh) 数据存储方法以及装置
CN115033578A (zh) 一种业务数据更新的方法、相关装置及存储介质
CN111404737B (zh) 一种容灾处理方法以及相关装置
CN113051091A (zh) 一种进程级缓存数据同步方法和装置
CN113610527A (zh) 联盟链的交易方法、装置、系统、终端设备及存储介质
Goncalves et al. DottedDB: Anti-entropy without merkle trees, deletes without tombstones
CN110928911A (zh) 审校请求处理系统、方法、装置、计算机可读存储介质
CN116186082A (zh) 基于分布式的数据汇总方法、第一服务器和电子设备
CN115757642A (zh) 一种基于归档日志文件的数据同步方法及装置
JP2023546818A (ja) データベースシステムのトランザクション処理方法、装置、電子機器、及びコンピュータプログラム
CN116821232A (zh) 一种数据同步方法及相关装置
CN114238823A (zh) 访问网站的方法、装置、计算机设备和存储介质
CN116107801A (zh) 交易处理方法及相关产品
CN112328683A (zh) 一种支持数据库与库直接的数据传输方法、系统及存储介质
CN116756247B (zh) 数据修复方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant