CN109165262B - 一种关系型大表的分片集群系统及其分片方法 - Google Patents

一种关系型大表的分片集群系统及其分片方法 Download PDF

Info

Publication number
CN109165262B
CN109165262B CN201811202796.3A CN201811202796A CN109165262B CN 109165262 B CN109165262 B CN 109165262B CN 201811202796 A CN201811202796 A CN 201811202796A CN 109165262 B CN109165262 B CN 109165262B
Authority
CN
China
Prior art keywords
fragment
rowid
data
node
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811202796.3A
Other languages
English (en)
Other versions
CN109165262A (zh
Inventor
吴春中
张浩阳
罗利莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobei Video Cloud Computing Co ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201811202796.3A priority Critical patent/CN109165262B/zh
Publication of CN109165262A publication Critical patent/CN109165262A/zh
Application granted granted Critical
Publication of CN109165262B publication Critical patent/CN109165262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种关系型大表的分片集群系统及其分片方法，涉及数据库分片技术领域，本发明包括主节点以及分别与主节点通讯的多个分片节点，分片节点是原关系型表记录的实际存储位置，主节点包括分片数据基表、基表数据索引表、分片插件和分片管理组件，分片数据基表和基表数据索引表构成分片主表，分片节点中存储有SET主属性表、分片子表和ROWID索引表，通过将记录代表字段和完整记录分离到主节点和分片节点中，并使用分片全局索引将分片节点中的数据和关系表分片数据联系起来，实现关系表分片，本发明具有并行统计、数据操作实时性高，负载均衡，安全可靠的优点。

Description

一种关系型大表的分片集群系统及其分片方法
技术领域
本发明涉及数据库分片技术领域，更具体的是涉及一种关系型大表的分片集群系统及其分片方法。
背景技术
随着互联网爆炸式发展，数据量级也在从GB到TB、甚至是PB，对互联网上数据的各种操作越来越复杂，面对如此庞大的数据量级，传统的关系型数据库已经无法满足快速查询和插入数据的需求。虽然NoSQL在一定程度上缓解了大数据快速操作的需求，但是在某些严谨的商业应用上必须使用关系型数据库，关系型数据库海量数据库存取的性能要靠分布式数据集群来保证，需要将数据库的数据分散到多个位置存储，而分片指的就是将一个数据库中的数据分散存放在不同的多个数据库中，目前数据库的分片方法主要有以下两种：
1、MongoDB分片方法
MongoDB分片方法实现了依靠数据库本身来做负载均衡，使得整个分布式存储系统的实现流程得到简化，但是MongoDB是NoSQL数据库，无法应用于关系型数据库分片，没有对关系型数据库中子查询、表JOIN等操作进行合理考量；
2、利用MYCAT实现分片
MYCAT采用一致性哈希为基础实现数据分片，分片的可靠性可以得到保证，但是这种分片方法的最大问题在于负载均衡需要由系统来设计，系统的设计难度较大，复杂性比较高，后期维护的复杂度也比较高。
发明内容
本发明的目的在于：为了解决现有的数据库分片只能对单数据库进行操作，当单数据库的数据规模过大时，便存在操作速度过慢的问题，本发明提供一种关系型大表的分片集群系统及其分片方法。
本发明为了实现上述目的具体采用以下技术方案：
一种关系型大表的分片集群系统，包括主节点以及分别与主节点通讯的多个分片节点，所述分片节点是原关系型表记录的实际存储位置，所述主节点包括分片数据基表、基表数据索引表、分片插件和分片管理组件，分片数据基表和基表数据索引表构成分片主表，
分片数据基表：用于存放原关系型表所有记录的部分字段；
基表数据索引表：用于对分片数据基表中的字段建立索引表，加快数据的操作速度；
分片插件：用于实现SQL语句的分解以及对分解结果进行合并，把原本对一个数据库的处理分解为对多个数据库的联合处理，提供生成执行任务的能力；
分片管理组件：用于存储数据库分片与分片节点的映射关系，负责负载均衡管理和分片节点增减引起的数据漂移任务。
进一步的，所述分片数据基表中存放的原关系型表所有记录的部分字段是根据字段的操作频繁程度进行选择的，以最大程度上利用分片数据基表来提升操作效率。
进一步的，所述基表数据索引表中包括字段和ROWID，所述ROWID为分片数据基表记录的分片全局索引，用于数据的统一管理，实现主节点与分片节点之间的数据联系，ROWID中包括存储于操作系统中的块号、文件编号和块内偏移等数据，通过ROWID可以快速定位记录在系统中的物理位置。
进一步的，所述数据库分片单元为SET，即主节点中记录存储的块号，用分片数据基表中数据对应的ROWID作为分片节点记录的新增字段，数据库数据将以块的形式分散到分片节点中，所述分片管理组件依托于SET映射表，所述SET映射表存储数据库分片实际的分片节点存储位置、该分片节点上的数据库分片是否为主分片以及该分片节点上的分片的状态是否可用，对数据的SQL操作都是对主分片进行的操作，无法操作不可用的数据。
进一步的，所述分片节点中存储有SET主属性表、分片子表和ROWID索引表，
SET主属性表：存放数据库分片是否为主分片的信息；
分片子表：存储数据库分片，并为原关系型表添加ROWID字段，与基表数据索引表形成对应关系；
ROWID索引表：存放分片子表的ROWID字段对应的索引DATAID，所述DATAID的数据结构与ROWID相同，均包括块号、文件编号和块内偏移等数据，所述DATAID包含分片子表的记录在本机的物理信息，ROWID包含分片数据基表中对应记录在主节点中的物理信息。
进一步的，所述各分片节点之间相互独立。
一种关系型大表的分片集群系统的分片方法，包括如下步骤：
S1、建立分片数据基表：从原关系型表中选择部分字段并提取与该部分字段对应的记录的ROWID，并基于ROWID建立基表数据索引表；
S2、创建执行分发任务：为当前记录设置操作时间戳，随机选择分片节点以及主分片，将原关系型表的记录和ROWID、块号、时间戳和是否为主分片等信息分发到分片节点中，并将上述信息和所发送的分片节点信息存储到主节点中；
S3、建立分片子表：为原关系型表增加ROWID字段，并将主节点分发的记录和ROWID存储于分片子表中，建立SET主属性表，为分片子表建立ROWID索引表，完成分片。
进一步的，所述S1具体包括如下步骤：
S1.1、选择基表字段：从原关系型表中选择部分字段作为基表字段；
S1.2、存储记录：将原关系型表中与基表字段对应的记录的数据提取出来，存储在分片数据基表中，并获取记录的ROWID；
S1.3、建立索引：将ROWID作为索引值为分片数据基表内的字段建立基表数据索引表。
进一步的，所述S2具体包括如下步骤：
S2.1、获取记录块号：提取ROWID内的块号数据，将提取的块号数据作为记录存储于分片节点中的符号；
S2.2、设置记录操作时间戳：为当前记录设置操作时间戳；
S2.3、选择分片节点：在所有分片节点中随机选择K个分片节点；
S2.4、选择主分片：随机选择K个分片节点中的一个为主分片；
S2.5、记录分发：将原关系型表记录和与记录对应的ROWID、块号、时间戳、是否为主分片等信息分发到分片节点中；并将块号、时间戳、发送的分片节点、分片节点是否为主分片存储在主节点中。
进一步的，所述S3具体包括如下步骤：
S3.1、设计分片子表结构：在原关系型表的基础上，增加ROWID字段；
S3.2、记录存储：将主节点分发来的记录和ROWID存储于分片子表中，获取分片子表记录在分片节点中的DATAID；
S3.3、建立SET主属性表：存储主节点分发来的记录块号和是否为主分片的信息；
S3.4、建立ROWID索引表：为分片子表内的ROWID字段建立索引，索引表内的索引值为DATAID。
本发明的有益效果如下：
1、本发明通过将记录代表字段和完整记录分离到主节点和分片节点中，并使用分片全局索引将分片节点中的数据和关系表分片数据联系起来，实现关系表分片，通过主节点的分片全局索引和分片节点的内部索引共两层索引关联分片数据基表和分片子表，使得对多数据库操作成为可能，摆脱了单数据库的数据规模过大造成的操作速度瓶颈，进行并行统计、数据操作实时性高。
2、本发明的主节点通过分片管理组件对数据分片进行负载均衡管理，并保证数据在多个分片节点中均存在可信副本，使得数据库的分片内容的安全性得到保证，安全可靠。
附图说明
图1是本发明的系统构成示意图。
图2是主节点的构成示意图。
图3是分片数据基表的构成示意图。
图4是基表数据索引表的构成示意图。
图5是SET映射表的构成示意图。
图6是分片节点的构成示意图。
图7是SET主属性表的构成示意图。
图8是分片子表的构成示意图。
图9是ROWID索引表的构成示意图。
图10是本发明分片方法的流程示意图。
具体实施方式
为了本技术领域的人员更好的理解本发明，下面结合附图和以下实施例对本发明作进一步详细描述。
实施例1
如图1到9所示，本实施例提供一种关系型大表的分片集群系统，包括主节点以及分别与主节点通讯的多个分片节点，所述各分片节点之间相互独立，所述分片节点是原关系型表记录的实际存储位置，所述主节点包括分片数据基表、基表数据索引表、分片插件和分片管理组件，分片数据基表和基表数据索引表构成分片主表，
分片数据基表：用于存放原关系型表所有记录的部分字段，且所述分片数据基表中一般需要包含原关系型表主键；
基表数据索引表：用于对分片数据基表中的字段建立索引表，加快数据的操作速度；
分片插件：用于实现SQL语句的分解以及对分解结果进行合并，把原本对一个数据库的处理分解为对多个数据库的联合处理，提供生成执行任务的能力；
分片管理组件：用于存储数据库分片与分片节点的映射关系，负责负载均衡管理和分片节点增减引起的数据漂移任务。
所述分片数据基表中存放的原关系型表所有记录的部分字段是根据字段的操作频繁程度进行选择的，以最大程度上利用分片数据基表来提升操作效率。
所述基表数据索引表中包括字段和ROWID，所述ROWID为分片数据基表记录的分片全局索引，用于数据的统一管理，实现主节点与分片节点之间的数据联系，ROWID中包括存储于操作系统中的块号、文件编号和块内偏移等数据，通过ROWID可以快速定位记录在系统中的物理位置。
所述数据库分片单元为SET，即主节点中记录存储的块号信息，用分片数据基表中数据对应的ROWID作为分片节点记录的新增字段，数据库数据将以块的形式分散到分片节点中，所述分片管理组件依托于SET映射表，所述SET映射表存储数据库分片实际的分片节点存储位置、该分片节点上的数据库分片是否为主分片以及该分片节点上的分片的状态是否可用，对数据的SQL操作都是对主分片进行的操作，无法操作不可用的数据。
所述分片节点中存储有SET主属性表、分片子表和ROWID索引表，
SET主属性表：存放数据库分片是否为主分片的信息；
分片子表：存储数据库分片，并为原关系型表添加ROWID字段，与基表数据索引表形成对应关系；
ROWID索引表：存放分片子表的ROWID字段对应的索引DATAID，所述DATAID的数据结构与ROWID相同，均包括块号、文件编号和块内偏移等数据，所述DATAID包含分片子表的记录在本机的物理信息，ROWID包含分片数据基表中对应记录在主节点中的物理信息。
一种关系型大表的分片集群系统的分片方法，如图10所示，包括如下步骤：
S1、建立分片数据基表：从原关系型表中选择部分字段并提取与该部分字段对应的记录的ROWID，并基于ROWID建立基表数据索引表；
所述S1具体包括如下步骤：
S1.1、选择基表字段：从原关系型表中选择使用频率较高的几个字段作为基表字段，并且一般需要包括主键字段；
S1.2、存储记录：将原关系型表中与基表字段对应的记录的数据提取出来，存储在分片数据基表中，并获取记录的ROWID；
S1.3、建立索引：将ROWID作为索引值为分片数据基表内的字段建立基表数据索引表；
S2、创建执行分发任务：为当前记录设置操作时间戳，随机选择分片节点以及主分片，将原关系型表的记录和ROWID、块号、时间戳和是否为主分片等信息分发到分片节点中，并将上述信息和所发送的分片节点信息存储到主节点中；
所述S2具体包括如下步骤：
S2.1、获取记录块号：提取ROWID内的块号数据，将提取的块号数据作为记录存储于分片节点中的符号；
S2.2、设置记录操作时间戳：为当前记录设置操作时间戳；
S2.3、选择分片节点：在所有分片节点中随机选择K个分片节点，K值自行选定；
S2.4、选择主分片：随机选择K个分片节点中的一个为主分片；
S2.5、记录分发：将原关系型表记录和与记录对应的ROWID、块号、时间戳、是否为主分片等信息分发到分片节点中；并将块号、时间戳、发送的分片节点、分片节点是否为主分片存储在主节点中
S3、建立分片子表：为原关系型表增加ROWID字段，并将主节点分发的记录和ROWID存储与分片子表中，建立SET主属性表，为分片子表建立ROWID索引表，完成分片。
所述S3具体包括如下步骤：
S3.1、设计分片子表结构：在原关系型表的基础上，增加ROWID字段；
S3.2、记录存储：将主节点分发来的记录和ROWID存储于分片子表中，获取分片子表记录在分片节点中的DATAID；
S3.3、建立SET主属性表：存储主节点分发来的记录块号和是否为主分片的信息；
S3.4、建立ROWID索引表：为分片子表内的ROWID字段建立索引，索引表内的索引值为DATAID。
本实施例通过将记录代表字段和完整记录分离到主节点和分片节点中，并使用分片全局索引将分片节点中的数据和关系表分片数据联系起来，实现关系表分片，通过主节点的分片全局索引和分片节点的内部索引共两层索引关联分片数据基表和分片子表，使得对多数据库操作成为可能，摆脱了单数据库的数据规模过大造成的操作速度瓶颈，进行并行统计、数据操作实时性高。
以上所述，仅为本发明的较佳实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (10)

1.一种关系型大表的分片集群系统，其特征在于：包括主节点以及分别与主节点通讯的多个分片节点，所述分片节点是原关系型表记录的实际存储位置，所述主节点包括分片数据基表、基表数据索引表、分片插件和分片管理组件，
分片数据基表：用于存放原关系型表所有记录的部分字段；
基表数据索引表：用于对分片数据基表中的字段建立索引表；
分片插件：用于实现SQL语句的分解以及对分解结果进行合并，把原本对一个数据库的处理分解为对多个数据库的联合处理，提供生成执行任务的能力；
分片管理组件：用于存储数据库分片与分片节点的映射关系，负责负载均衡管理和分片节点增减引起的数据漂移任务。
2.根据权利要求1所述的一种关系型大表的分片集群系统，其特征在于：所述分片数据基表中存放的原关系型表所有记录的部分字段是根据字段的操作频繁程度进行选择的。
3.根据权利要求1所述的一种关系型大表的分片集群系统，其特征在于：所述基表数据索引表中包括字段和ROWID，所述ROWID为分片数据基表记录的分片全局索引，用于数据的统一管理，实现主节点与分片节点之间的数据联系，ROWID中包括存储于操作系统中的块号、文件编号和块内偏移数据，通过ROWID可以快速定位记录在系统中的物理位置。
4.根据权利要求1所述的一种关系型大表的分片集群系统，其特征在于：所述分片管理组件依托于SET映射表，所述SET映射表存储数据库分片实际的分片节点存储位置、该分片节点上的数据库分片是否为主分片以及该分片节点上的分片的状态是否可用。
5.根据权利要求1所述的一种关系型大表的分片集群系统，其特征在于：所述分片节点中存储有SET主属性表、分片子表和ROWID索引表，
SET主属性表：存放数据库分片是否为主分片的信息；
分片子表：存储数据库分片，并为原关系型表添加ROWID字段；
ROWID索引表：存放分片子表的ROWID字段对应的索引DATAID，所述DATAID的数据结构与ROWID相同。
6.根据权利要求1所述的一种关系型大表的分片集群系统，其特征在于：所述各分片节点之间相互独立。
7.一种关系型大表的分片集群系统的分片方法，其特征在于，包括如下步骤：
S1、建立分片数据基表：从原关系型表中选择部分字段并提取与该部分字段对应的记录的ROWID，并基于ROWID建立基表数据索引表；
S2、创建执行分发任务：为当前记录设置操作时间戳，随机选择分片节点以及主分片，将原关系型表的记录和ROWID、块号、时间戳和是否为主分片信息分发到分片节点中，并将上述信息和所发送的分片节点信息存储到主节点中；
S3、建立分片子表：为原关系型表增加ROWID字段，并将主节点分发的记录和ROWID存储于分片子表中，建立SET主属性表，为分片子表建立ROWID索引表，完成分片。
8.根据权利要求7所述的一种关系型大表的分片集群系统的分片方法，其特征在于，所述S1具体包括如下步骤：
S1.1、选择基表字段：从原关系型表中选择部分字段作为基表字段；
S1.2、存储记录：将原关系型表中与基表字段对应的记录的数据提取出来，存储在分片数据基表中，并获取记录的ROWID；
S1.3、建立索引：将ROWID作为索引值为分片数据基表内的字段建立基表数据索引表。
9.根据权利要求7所述的一种关系型大表的分片集群系统的分片方法，其特征在于，所述S2具体包括如下步骤：
S2.1、获取记录块号：提取ROWID内的块号数据，将提取的块号数据作为记录存储于分片节点中的符号；
S2.2、设置记录操作时间戳：为当前记录设置操作时间戳；
S2.3、选择分片节点：在所有分片节点中随机选择K个分片节点；
S2.4、选择主分片：随机选择K个分片节点中的一个为主分片；
S2.5、记录分发：将原关系型表记录和与记录对应的ROWID、块号、时间戳、是否为主分片信息分发到分片节点中；并将块号、时间戳、发送的分片节点、分片节点是否为主分片存储在主节点中。
10.根据权利要求7所述的一种关系型大表的分片集群系统的分片方法，其特征在于，所述S3具体包括如下步骤：
S3.1、设计分片子表结构：在原关系型表的基础上，增加ROWID字段；
S3.2、记录存储：将主节点分发来的记录和ROWID存储于分片子表中，获取分片子表记录在分片节点中的DATAID；
S3.3、建立SET主属性表：存储主节点分发来的记录块号和是否为主分片的信息；
S3.4、建立ROWID索引表：为分片子表内的ROWID字段建立索引，索引表内的索引值为DATAID。
CN201811202796.3A 2018-10-16 2018-10-16 一种关系型大表的分片集群系统及其分片方法 Active CN109165262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811202796.3A CN109165262B (zh) 2018-10-16 2018-10-16 一种关系型大表的分片集群系统及其分片方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811202796.3A CN109165262B (zh) 2018-10-16 2018-10-16 一种关系型大表的分片集群系统及其分片方法

Publications (2)

Publication Number Publication Date
CN109165262A CN109165262A (zh) 2019-01-08
CN109165262B true CN109165262B (zh) 2022-05-10

Family

ID=64878174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811202796.3A Active CN109165262B (zh) 2018-10-16 2018-10-16 一种关系型大表的分片集群系统及其分片方法

Country Status (1)

Country Link
CN (1) CN109165262B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298976B (zh) * 2018-10-17 2022-04-12 成都索贝数码科技股份有限公司 一种异构数据库集群备份系统及方法
CN110263057B (zh) * 2019-06-12 2020-04-17 上海英方软件股份有限公司 一种rowid映射表的存储和查询方法及装置
CN113032446A (zh) * 2019-12-24 2021-06-25 阿里巴巴集团控股有限公司 一种分布式查询系统的数据处理方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722531A (zh) * 2012-05-17 2012-10-10 北京大学 一种云环境中基于分片位图索引的查询方法
CN103488778A (zh) * 2013-09-27 2014-01-01 华为技术有限公司 一种数据查询方法及装置
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
US8943067B1 (en) * 2007-03-30 2015-01-27 Google Inc. Index server architecture using tiered and sharded phrase posting lists
CN105404638A (zh) * 2015-09-28 2016-03-16 高新兴科技集团股份有限公司 一种解决分布式跨库分片表关联查询的方法
CN105550342A (zh) * 2015-12-25 2016-05-04 桂林电子科技大学 一种全透明的分布式数据库的数据处理方法
CN106326222A (zh) * 2015-06-16 2017-01-11 阿里巴巴集团控股有限公司 一种数据处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10649986B2 (en) * 2017-01-31 2020-05-12 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing a BY ORGID command term within a multi-tenant aware structured query language

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8943067B1 (en) * 2007-03-30 2015-01-27 Google Inc. Index server architecture using tiered and sharded phrase posting lists
CN102722531A (zh) * 2012-05-17 2012-10-10 北京大学 一种云环境中基于分片位图索引的查询方法
CN103488778A (zh) * 2013-09-27 2014-01-01 华为技术有限公司 一种数据查询方法及装置
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
CN106326222A (zh) * 2015-06-16 2017-01-11 阿里巴巴集团控股有限公司 一种数据处理方法和装置
CN105404638A (zh) * 2015-09-28 2016-03-16 高新兴科技集团股份有限公司 一种解决分布式跨库分片表关联查询的方法
CN105550342A (zh) * 2015-12-25 2016-05-04 桂林电子科技大学 一种全透明的分布式数据库的数据处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Hybrid Row-Column Partitioning in Teradatar;Al-Kateb 等;《Proceedings of the VLDB Endowment》;20160901;第9卷(第13期);1353-1364 *
Oracle超大型数据库逻辑迁移实践;梁天健 等;《数字通信》;20131025;第40卷(第5期);28-30,54 *

Also Published As

Publication number Publication date
CN109165262A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN109165262B (zh) 一种关系型大表的分片集群系统及其分片方法
CN104794123B (zh) 一种为半结构化数据构建NoSQL数据库索引的方法及装置
Zhao et al. Modeling MongoDB with relational model
US20200117663A1 (en) Managed query execution platform, and methods thereof
CN113986873B (zh) 一种海量物联网数据模型化的处理、存储与共享方法
CN111026727A (zh) 基于日志文件的表维度检索数据同步方法、系统及装置
CN102890678A (zh) 一种基于格雷编码的分布式数据布局方法及查询方法
CN102722584B (zh) 数据存储系统及方法
CN117120997A (zh) 用健壮的查询性能支持可扩展数据库
Borkar et al. Have your data and query it too: From key-value caching to big data management
CN111597160A (zh) 分布式数据库系统、分布式数据处理方法和装置
CN104834700A (zh) 一种基于轨迹变更的移动数据增量捕获方法
CN111930817A (zh) 一种基于大数据的分布式非结构化数据库关联查询方法
CN110941618A (zh) 一种海量异构数据存储方法及系统
CN108509636A (zh) 一种基于分区表技术实现读写分离的大数据管理容灾方法
CN110895547B (zh) 基于db2联邦特性的多源异构数据库数据同步系统及方法
US20180121532A1 (en) Data table partitioning management method and apparatus
CN109246102B (zh) 一种支撑大规模认证数据快速存储及检索的系统及方法
CN106649449A (zh) 一种基于SQLite的内外网数据交换方法
CN107341198B (zh) 一种基于主题实例的电力海量数据存储和查询方法
Rammer et al. Atlas: A distributed file system for spatiotemporal data
JP2023501788A (ja) ブロックチェーンベースのバックアップおよび回復のためのシステムおよび方法
CN112000732A (zh) 一种基于触发器的异构数据库间相互同步方法
CN115576919A (zh) 一种数据分库分表的方法
Bradberry et al. Practical Cassandra: a developer's approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220520

Address after: 610041 No. 1, floor 4, building 1, No. 2, Xinyuan south 2nd Road, high tech Zone, Chengdu, Sichuan

Patentee after: Chengdu sobei video cloud computing Co.,Ltd.

Address before: No.2, south 2nd Road, Xinyuan, high tech Zone, Chengdu, Sichuan 610041

Patentee before: Chengdu Sobey Digital Technology Co.,Ltd.

TR01 Transfer of patent right