CN108259543B - 分布式云存储数据库以及其部署在多个数据中心的方法 - Google Patents
分布式云存储数据库以及其部署在多个数据中心的方法 Download PDFInfo
- Publication number
- CN108259543B CN108259543B CN201611249705.2A CN201611249705A CN108259543B CN 108259543 B CN108259543 B CN 108259543B CN 201611249705 A CN201611249705 A CN 201611249705A CN 108259543 B CN108259543 B CN 108259543B
- Authority
- CN
- China
- Prior art keywords
- data
- data center
- log
- cloud storage
- centers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了分布式云存储数据库以及其部署在多个数据中心的方法。该数据库包括若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心。本发明所述数据库以及方法，用户能够跨地域获取到用户所需的任何数据，使用方便快捷。
Description
技术领域
本发明涉及云存储技术领域，具体涉及分布式云存储数据库以及其部署在多个数据中心的方法。
背景技术
在遥感领域，通过各种遥感技术获取得到的遥感数据具有典型的大数据特征，即体量大、多样性、变化快、准确性、价值大。基于这种认识，以海量遥感数据集为主、综合其他多种来源的数据，运用大数据思维与手段，聚集于从多种来源、多种介质、多种频段、多种分辨率的海量遥感数据集中获取有价值的信息变得尤为重要。
为解决这些问题，必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。同时，随着大数据时代的来临，海量数据存储、管理、分类、挖掘、分析等，对分布式云存储技术提出了更高更多的挑战。随着分布式云存储技术的日益成熟，以及使用的日益广泛。根据实际业务要求，对分布式云存储技术有了更高更深的要求。
针对遥感行业，遥感数据源多样化，各种卫星类型繁多；又由于所有的遥感卫星都需要有遥感卫星地面站，卫星获得的图像数据通过无线电波传输到地面站，因而遥感数据源具有地域性。在一个城市或一个地区建立一个数据中心，采用分布式云存储技术来存储和管理遥感数据已显得不够。同时在多个城市或地区建立多个数据中心，每个数据中心存储管理不同的遥感数据显得尤为必要。多个中心同时面向用户服务，用户访问任何中心都如同访问一个数据中心般，能获取到所需的任何数据。这对现有的分布式云存储提出了具体要求，我们需要一种将分布式云存储部署在多个数据中心(跨地域)的方法。
发明内容
基于此，本发明提供一种分布式云存储数据库，用户能够跨地域获取到用户所需的任何数据，使用方便快捷。
本发明还提供一种分布式云存储数据库部署在多个数据中心的方法。
为了实现本发明的目的，本发明采用以下技术方案：
一种分布式云存储数据库，其包括：
若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心；
所述数据中心包括分布式云存储系统与日志服务模块；
所述分布式云存储系统用于按类别存储不同的数据，所述分布式云存储系统具有操作日志表，所述操作日志表用于存储操作日志，该操作日志通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；所述日志服务模块用于同步数据中心的操作日志。
在其中一些实施例中，所述分布式云存储系统还具有MD5值记录表以及资源锁记录表，所述MD5值记录表保存数据在分布式云存储系统中的唯一标识；所述资源锁记录表针对分布式云存储系统中的主键为move操作的源路径，字段为count计数，count为0时删除相应资源记录。
在其中一些实施例中，所述分布式云存储系统包括公共安全模块，所述公共安全模块用于用户操作的安全认证。
在其中一些实施例中，所述日志服务模块包括日志推送模块与日志更新模块，所述日志推送模块使得操作日志在不同数据中心间进行同步，所述日志更新模块定时更新数据中心的操作日志。
本发明还采用如下技术方案：
一种分布式云存储数据库部署在多个数据中心的方法，其包括如下步骤：
提供一分布式云存储数据库，所述分布式云存储数据库包括若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心。所述数据中心包括分布式云存储系统与日志服务模块；所述分布式云存储系统用于按类别存储不同的数据，所述分布式云存储系统具有操作日志表，所述操作日志表用于存储操作日志，该操作日志通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；所述日志服务模块用于同步数据中心的操作日志；
用户在其中一数据中心登录，该数据中心确定用户搜索的数据是存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；
操作日志表记录用户操作，通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作。
在其中一些实施例中，所述分布式云存储系统还具有MD5值记录表以及资源锁记录表，所述MD5值记录表保存数据在分布式云存储系统中的唯一标识；所述资源锁记录表针对分布式云存储系统中的主键为move操作的源路径，字段为count计数，count为0时删除相应资源记录。
在其中一些实施例中，所述分布式云存储系统包括公共安全模块，所述公共安全模块用于用户操作的安全认证。
在其中一些实施例中，所述日志服务模块包括日志推送模块与日志更新模块，所述日志推送模块使得操作日志在不同数据中心间进行同步，所述日志更新模块定时更新数据中心的操作日志。
本发明所述分布式云存储数据库，使用该分布式云存储数据库将分布式云存储部署在多个数据中心，使得将该分布式云存储系统部署在多个数据中心时，能做到元数据信息在多个数据中心能通过Internet及时同步，用户登陆不同的数据中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心，对用户而言就如同访问一个数据中心、访问一个分布式云存储系统一样，能够跨地域获取到用户所需的任何数据，使用方便快捷。
附图说明
图1是本发明所述分布式云存储数据库的系统架构图。
具体实施方式
为了便于理解本发明，下面将结合附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例
请参照图1，本发明所述的分布式云存储数据库，其包括：若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心。
所述数据中心包括分布式云存储系统(即下文的GTData)与日志服务模块；
所述分布式云存储系统用于按类别存储不同的数据，所述分布式云存储系统具有操作日志表，所述操作日志表用于存储操作日志，该操作日志通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；所述日志服务模块用于同步数据中心的操作日志。
其中，所述分布式云存储系统还具有MD5值记录表以及资源锁记录表，所述MD5值记录表保存数据在分布式云存储系统中的唯一标识；所述资源锁记录表针对分布式云存储系统中的主键为move操作的源路径，字段为count计数，count为0时删除相应资源记录。
其中，所述分布式云存储系统包括公共安全模块，所述公共安全模块用于用户操作的安全认证。
其中，所述日志服务模块包括日志推送模块与日志更新模块，所述日志推送模块使得操作日志在不同数据中心间进行同步，所述日志更新模块定时更新数据中心的操作日志。
本发明还采用如下技术方案：
一种分布式云存储数据库部署在多个数据中心的方法，其包括如下步骤：
提供一分布式云存储数据库，所述分布式云存储数据库包括若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心。所述数据中心包括分布式云存储系统与日志服务模块；所述分布式云存储系统用于按类别存储不同的数据，所述分布式云存储系统具有操作日志表，所述操作日志表用于存储操作日志，该操作日志通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；所述日志服务模块用于同步数据中心的操作日志；
用户在其中一数据中心登录，该数据中心确定用户搜索的数据是存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据。
操作日志表记录用户操作，通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作。
以下将对本发明做进一步的具体描述：
以三个数据中心为例，每个数据中心分别部署有自研的分布式云存储系统GTData，各数据中心分配有不同的权重，即数据中心之间不是对等的，每个数据中心均部署有日志服务模块来同步各中心的操作日志，保证用户的每一项操作能同时作用于各个数据中心，保证各数据中心的元数据信息一致。使用资源池来进行统一的资源管理。对于用户发起的数据下载请求，如果是本数据中心存储的，直接本地下载，否则重定向到实际的数据中心下载。也就是说数据是按类别分别存储在不同的中心的，但是对用户体验上是无感知的。
分布式云存储系统(GTData)的数据库设计如下：
表1 操作日志表
该表用于存储操作日志，该操作日志将在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作，更新本数据中心的元数据信息。需要说明的是，数据库不一定用hbase，也可以使用其他类型的数据库。
表2MD5值记录
该表保存的是数据在整个系统中的唯一标识，每个数据都有唯一的md5值，通过md5值进行保存即唯一标识了一个数据。需要说明的是，数据库不一定用hbase，也可以使用其他类型的数据库。
表3资源锁记录表
该表采用mysql来存储，只针对GTData中的move操作。主键为move操作的源路径，字段为count计数(count为0时要删除该资源记录)。
该分布式云存储系统的模块详细设计说明：
1、公共安全模块(公共安全中心)设计说明
A)暂定为使用nginx+mysql+redis(nginx提供http接口api并实现业务逻辑，mysql存储用户名、密码，redis缓存登陆信息)。
B)提供外部直接访问api：gettoken，login，logout，getsign，修改密码(CHANGEPWD、GCHANGEPWD、RCHANGEPWD)。
C)提供各中心内部访问api：各操作的安全认证，注册用户(包括root用户注册组用户，组用户注册普通用户，需同步用户信息表)，删除用户(范围同注册用户，需同步用户信息表)，组用户修改普通用户的角色。
D)最好做到内部api只能各数据中心访问，外部无法直接访问。
E)原auth表拆为两个表，一个存用户名、密码存在安全中心的mysql中，一个存除密码外的原auth表的内容为用户信息表存在各数据中心的hbase中，用户信息表需要在各中心进行同步。
2、原有GTData的改造
A)list操作，每次均list本地，安全认证访问安全中心，其他原有接口不变
B)get操作，安全认证访问安全中心，根据dfs字段的值，确定数据存储在哪个数据中心，对于本地的直接返回数据，对于其他数据中心，重定向到该数据中心下载数据。
C)mkdir、put、copy、move、delete操作，安全认证访问安全中心，操作完成时，调用本地日志记录RabbitMQ的publisher接口，向本地日志记录RabbitMQ队列中写入日志，日志写入成功，操作才返回成功；如果操作需要操作resource表，也要记下对resource表的操作日志向RabbitMQ队列中写入日志；如果操作需要操作用户信息表，也要记下对用户信息表的操作日志向RabbitMQ队列中写入日志。
D)put操作分为两个步骤，先判断MD5值是否存在，不存在则需要去资源中心申请资源，申请资源成功再上传。现在的改变是，put操作舍弃掉overwrite，采用重命名的方式实现。成功返回的json报文需要增加path，表示此次上传成功的真实的路径。
E)Move操作，还需向资源服务中心申请资源锁，只有申请成功，才执行后续操作，否则返回失败。
F)注册用户、删除用户需调用安全中心的注册、删除用户接口完成注册、删除用户。同时，记录用户信息表操作记录日志并同步到其他数据中心。
3、日志推送模块设计
新设计一个日志推送模块进程，部署在每个数据中心，同时包含客户端和服务端，客户端定时轮询本地的日志记录RabbitMQ队列，一旦日志记录RabbitMQ非空，则get一条记录，同时tcpip传输到到远程数据中心的日志推送模块服务端，服务端收到数据更新其本地的RabbitMQ日志更新队列。注意这里使用的是get无应答方式，get无应答是只取数据而不删除数据。只有写入远程数据中心日志更新RabbitMQ成功，才应答这时删除记录。
RabbitMQ队列：a)meta表日志记录队列，一个中心一个对列；b)用户信息表日志记录队列，一个中心一个队列；c)resource表日志记录队列，一个中心一个队列。
4、日志更新模块设计
新设计一个日志更新模块进程，定时轮询本地的日志更新RabbitMQ队列，一旦日志更新RabbitMQ非空，则get一条记录，并对本地meta表进行更新，只有更新meta表成功，才删除记录。
Put操作的特殊判断：
上传的文件，日志更新时，本地meta表没有记录，直接插入；
上传的文件，日志更新时，本地meta表有记录：
判断meta表中dfs字段的记录的数据中心号是否为本中心，如果为本中心，则判断上传文件的权重(数据中心号)和本地记录的权重(数据中心号)，如果本地记录的权重高，则忽略该操作；
如果本地记录的权重低，重命名本地记录(例如a.txt，重命名为a(1).txt)，并记录上传日志(put a(1).txt)到日志记录RabbitMQ队列，然后将put a.txt的更新日志，更新到meta表中；如果meta表中dfs字段记录的数据中心号不是本数据中心，则判断上传文件的权重(数据中心号)和本地记录的权重(数据中心号)，如果本地记录的权重高，则忽略该操作；如果本地记录的权重低，则覆盖上传。
本实施例中数据库的设计是：数据中心号越高，权重越低。
5、资源池(资源服务中心)
资源服务中心，采用一个mysql数据库实现，只针对move操作。主键为move操作的源路径，字段为count计数(count为0时要删除该资源记录)。
执行move操作时，先到资源服务中心申请资源计数，如果资源计数不为0，则返回失败。如果为0或该资源锁记录不存在，则表示申请资源成功，执行move操作，并记录日志，成功后，初始化该资源的资源锁计数为n-1(n表示数据中心数)。
日志更新时，更新完一个中心的move操作成功后，释放资源锁一次，即锁计数减1，如果锁计数变为0，则删除该锁记录。
日志队列RabbitMQ里的数据
Meta表队列里的每一条数据为一个字符串，该字符串为一个json报文。结构如下：
用户信息表队列的每一条数据为一个字符串，该字符串为一个json报文。结构如下：
resource表队列的每一条数据为一个字符串，该字符串为一个json报文。结构如下：
配置文件
在nginx.conf里增加下列配置，另外作为独立的配置文件给日志推送模块、日志更新模块使用：
this_center 2；
center_count 3；
centers 1:192.168.2.5:8001,2:192.168.2.6:8001,3:192.168.2.7:8001；
6、增加数据中心
修改所有数据中心的配置文件，停止一个次要数据中心的Nginx服务、LogTransfer服务(建议是最大数据中心号的那个)，reload剩余的所有数据中心(nginx-sreload；LogTransfer和update服务重启)，等待该次要数据中心的update服务执行完毕，然后将该次要数据中心的meta表全部导入到新数据中心中(手动操作)，最后启动该次要数据中心的服务，启动新数据中心的服务。
7、减少数据中心
首先修改其他所有数据中心的配置文件，reload其他所有数据中心。然后，停掉该数据中心的nginx服务，等待update服务完毕，然后等待LogTransfer服务完毕，停掉update和LogTransfer服务。手动将该数据中心的resource表和hdfs上的数据迁移到其他中心中的某一个，例如A数据中心。最后scan每个中心的meta、resource表，将dfs标志为该数据中心的改为A数据中心的。
在增加、减少数据中心时，不改变原有数据中心号。
本发明所述分布式云存储数据库，使用该分布式云存储数据库将分布式云存储部署在多个数据中心，使得将该分布式云存储系统部署在多个数据中心时，能做到元数据信息在多个数据中心能通过Internet及时同步，用户登陆不同的数据中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心，对用户而言就如同访问一个数据中心、访问一个分布式云存储系统一样，能够跨地域获取到用户所需的任何数据，使用方便快捷。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种分布式云存储数据库，其特征在于，包括：
若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心；其中，所述数据中心根据用户搜索的数据中的dfs字段的值，确定所述数据存储在哪个数据中心；数据中的dfs字段记录的数据中心号越高，权重越低；所述数据中心包括分布式云存储系统与日志服务模块；
所述分布式云存储系统用于按类别存储不同的数据，所述分布式云存储系统具有操作日志表，所述操作日志表用于存储操作日志，该操作日志通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；所述日志服务模块用于同步数据中心的操作日志；其中，数据是按类别分别存储在不同的数据中心的；
其中，所述日志服务模块包括日志更新模块，所述日志更新模块用于定时更新数据中心的操作日志，在本地数据中心进行上传文件操作的日志更新时，查询所述本地数据中心的操作日志表中是否存在上传所述文件的操作日志，若存在，则从所述本地数据中心的日志操作表中获取存储所述文件的数据中心，比较存储所述文件的数据中心的权重与上传所述文件的数据中心的权重，若存储所述文件的数据中心的权重低，则重新在上传所述文件的数据中心存储所述文件，并将在上传所述文件的数据中心存储所述文件作为新的操作日志，更新至所述本地数据中心的操作日志表中。
2.根据权利要求1所述的分布式云存储数据库，其特征在于：所述分布式云存储系统还具有MD5值记录表以及资源锁记录表，所述MD5值记录表保存数据在分布式云存储系统中的唯一标识；所述资源锁记录表针对分布式云存储系统中的主键为move操作的源路径，字段为count计数，count为0时删除相应资源记录。
3.根据权利要求1所述的分布式云存储数据库，其特征在于：所述分布式云存储系统包括公共安全模块，所述公共安全模块用于用户操作的安全认证。
4.根据权利要求1所述的分布式云存储数据库，其特征在于：所述日志服务模块还包括日志推送模块所述日志推送模块使得操作日志在不同数据中心间进行同步。
5.根据权利要求4所述的分布式云存储数据库，其特征在于：所述日志推送模块部署在每个数据中心，同时包含客户端和服务端，客户端定时轮询本地的日志记录RabbitMQ队列，一旦日志记录RabbitMQ非空，则get一条记录，同时tcpip传输到远程数据中心的日志推送模块服务端，服务端收到数据更新其本地的RabbitMQ日志更新队列。
6.一种分布式云存储数据库部署在多个数据中心的方法，其特征在于，包括如下步骤：
提供一分布式云存储数据库，所述分布式云存储数据库包括若干数据中心以及资源池，每一中心分配有不同的权重；所述数据中心用于确定数据存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；所述资源池用于申请各数据中心的数据进行统一管理，以及释放数据至各数据中心，使得元数据信息在多个数据中心通过Internet及时同步，用户登陆不同的中心都能访问所有数据中心的数据，用户对某个数据中心的更改能应用于所有数据中心；所述数据中心包括分布式云存储系统与日志服务模块；所述分布式云存储系统用于按类别存储不同的数据，所述分布式云存储系统具有操作日志表，所述操作日志表用于存储操作日志，该操作日志通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；所述日志服务模块用于同步数据中心的操作日志；其中，所述数据中心根据用户搜索的数据中的dfs字段的值，确定所述数据存储在哪个数据中心；数据中的dfs字段记录的数据中心号越高，权重越低；
其中，所述日志服务模块包括日志更新模块，所述日志更新模块用于定时更新数据中心的操作日志，在本地数据中心进行上传文件操作的日志更新时，查询所述本地数据中心的操作日志表中是否存在上传所述文件的操作日志，若存在，则从所述本地数据中心的日志操作表中获取存储所述文件的数据中心，比较存储所述文件的数据中心的权重与上传所述文件的数据中心的权重，若存储所述文件的数据中心的权重低，则重新在上传所述文件的数据中心存储所述文件，并将在上传所述文件的数据中心存储所述文件作为新的操作日志，更新至所述本地数据中心的操作日志表中；
用户在其中一数据中心登录，该数据中心确定用户搜索的数据是存储在哪个数据中心，数据在本地的直接返回数据，数据在其他数据中心的，重定向到相应的数据中心下载数据；
操作日志表记录用户操作，通过日志服务模块在不同数据中心间进行同步，每个数据中心读取到其他数据中心同步过来的日志，实行更新操作；其中，数据是按类别分别存储在不同的数据中心的。
7.根据权利要求6所述的分布式云存储数据库部署在多个数据中心的方法，其特征在于：所述分布式云存储系统还具有MD5值记录表以及资源锁记录表，所述MD5值记录表保存数据在分布式云存储系统中的唯一标识；所述资源锁记录表针对分布式云存储系统中的主键为move操作的源路径，字段为count计数，count为0时删除相应资源记录。
8.根据权利要求6所述的分布式云存储数据库部署在多个数据中心的方法，其特征在于：所述分布式云存储系统包括公共安全模块，所述公共安全模块用于用户操作的安全认证。
9.根据权利要求6所述的分布式云存储数据库部署在多个数据中心的方法，其特征在于：所述日志服务模块还包括日志推送模块，所述日志推送模块使得操作日志在不同数据中心间进行同步。
10.根据权利要求9所述的分布式云存储数据库部署在多个数据中心的方法，其特征在于：所述日志推送模块部署在每个数据中心，同时包含客户端和服务端，客户端定时轮询本地的日志记录RabbitMQ队列，一旦日志记录RabbitMQ非空，则get一条记录，同时tcpip传输到远程数据中心的日志推送模块服务端，服务端收到数据更新其本地的RabbitMQ日志更新队列。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611249705.2A CN108259543B (zh) | 2016-12-29 | 2016-12-29 | 分布式云存储数据库以及其部署在多个数据中心的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611249705.2A CN108259543B (zh) | 2016-12-29 | 2016-12-29 | 分布式云存储数据库以及其部署在多个数据中心的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108259543A CN108259543A (zh) | 2018-07-06 |
| CN108259543B true CN108259543B (zh) | 2021-07-06 |
Family
ID=62721447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611249705.2A Expired - Fee Related CN108259543B (zh) | 2016-12-29 | 2016-12-29 | 分布式云存储数据库以及其部署在多个数据中心的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108259543B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109726250B (zh) * | 2018-12-27 | 2020-01-17 | 星环信息科技（上海）有限公司 | 数据存储系统、元数据库同步及数据跨域计算方法 |
| CN111708843A (zh) * | 2020-06-18 | 2020-09-25 | 辽宁振兴银行股份有限公司 | 一种基于MGR的跨数据中心MySQL多活实现方法 |
| US11722372B2 (en) * | 2021-12-14 | 2023-08-08 | Vmware, Inc. | Desired state management of software-defined data center |
| CN115422210A (zh) * | 2022-11-08 | 2022-12-02 | 北京锐融天下科技股份有限公司 | 一种多活架构下保障业务操作数据有效性的方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559306A (zh) * | 2013-11-18 | 2014-02-05 | 电子科技大学 | 一种通过云平台到数据中心的查询系统及方法 |
| CN103716384A (zh) * | 2013-12-17 | 2014-04-09 | 创新科存储技术（深圳）有限公司 | 跨数据中心实现云存储数据同步的方法和装置 |
| CN103729436A (zh) * | 2013-12-27 | 2014-04-16 | 中国科学院信息工程研究所 | 一种分布式元数据管理方法及系统 |
| CN104320401A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的大数据存储访问系统及方法 |
| CN104778180A (zh) * | 2014-01-14 | 2015-07-15 | 上海盛大网络发展有限公司 | 云存储元数据处理系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2627762T3 (es) * | 2009-05-28 | 2017-07-31 | Kjaya, Llc | Método y sistema para el acceso rápido a una visualización avanzada de las exploraciones médicas usando un portal web dedicado |
-
2016
- 2016-12-29 CN CN201611249705.2A patent/CN108259543B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103559306A (zh) * | 2013-11-18 | 2014-02-05 | 电子科技大学 | 一种通过云平台到数据中心的查询系统及方法 |
| CN103716384A (zh) * | 2013-12-17 | 2014-04-09 | 创新科存储技术（深圳）有限公司 | 跨数据中心实现云存储数据同步的方法和装置 |
| CN103729436A (zh) * | 2013-12-27 | 2014-04-16 | 中国科学院信息工程研究所 | 一种分布式元数据管理方法及系统 |
| CN104778180A (zh) * | 2014-01-14 | 2015-07-15 | 上海盛大网络发展有限公司 | 云存储元数据处理系统 |
| CN104320401A (zh) * | 2014-10-31 | 2015-01-28 | 北京思特奇信息技术股份有限公司 | 一种基于分布式文件系统的大数据存储访问系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108259543A (zh) | 2018-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10268835B2 (en) | Hosted application gateway architecture with multi-level security policy and rule promulgations | |
| CN108259543B (zh) | 分布式云存储数据库以及其部署在多个数据中心的方法 | |
| EP2954403B1 (en) | Cloud-based streaming data receiver and persister | |
| WO2014143904A1 (en) | Method and system for integrated color storage management | |
| US20170078383A1 (en) | Hosted file sync with stateless sync nodes | |
| US20090234880A1 (en) | Remote storage and management of binary object data | |
| US10824756B2 (en) | Hosted application gateway architecture with multi-level security policy and rule promulgations | |
| US9930063B2 (en) | Random identifier generation for offline database | |
| EP3716581A1 (en) | Global file system for data-intensive applications | |
| US20210311648A1 (en) | Systems and methods for file management by mobile computing devices | |
| CN102332016A (zh) | 目录机会锁 | |
| US20140229438A1 (en) | Multiple platform data storage and synchronization | |
| US11681829B2 (en) | Approaches for managing restrictions for middleware applications | |
| US9977819B2 (en) | Sharing data on mobile devices | |
| CN111201763A (zh) | 基于文件系统内容的安全性 | |
| WO2019040146A1 (en) | KEY ENTRY SYSTEM WITH COMPETITIVE ACCESS WITHOUT LOCKING AND WITH VERSION MANAGEMENT | |
| US20150163326A1 (en) | Approaches for remotely unzipping content | |
| Kliushnyk et al. | Unified digital infrastructure of the modern scientific library on the basis of web technologies | |
| US9286305B2 (en) | Virtual storage gate system | |
| US11163797B1 (en) | Database replication to remote deployment with automated fulfillment | |
| US10846264B2 (en) | Rule-based archiving of cloud files | |
| US11442892B2 (en) | File and data migration to storage system | |
| Conte et al. | Integration of an active research data system with a data repository to streamline the research data lifecycle: Pure-NOMAD case study | |
| WO2020085938A1 (ru) | Способ и система комплексного управления большими данными | |
| CN112181975A (zh) | 用于在数据仓库中创建数据库的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210706 Termination date: 20211229 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |