CN108664660A - 时序数据库的分布式实现方法、装置、设备及存储介质 - Google Patents

时序数据库的分布式实现方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN108664660A
CN108664660A CN201810489971.5A CN201810489971A CN108664660A CN 108664660 A CN108664660 A CN 108664660A CN 201810489971 A CN201810489971 A CN 201810489971A CN 108664660 A CN108664660 A CN 108664660A
Authority
CN
China
Prior art keywords
data
cluster
fragment
group
fragment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810489971.5A
Other languages
English (en)
Inventor
钟昌寿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 58 Information Technology Co Ltd
Original Assignee
Beijing 58 Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 58 Information Technology Co Ltd filed Critical Beijing 58 Information Technology Co Ltd
Priority to CN201810489971.5A priority Critical patent/CN108664660A/zh
Publication of CN108664660A publication Critical patent/CN108664660A/zh
Pending legal-status Critical Current

Links

Abstract

本发明公开了一种时序数据库的分布式实现方法、装置、设备及存储介质,所述方法包括:根据对数据域设置的时间长度确定分片单位;根据所述分片单位对数据表中数据进行数据分片;将得到的各个分片数据写入集群中相应数据域。本发明各个实施例通过将数据域的时间长度作为分片单位,并根据所述分片单位对数据表中数据进行数据分片,实现了通过在表级别对数据按照固定或非固定时间段进行分片,从而降低了数据分片的粒度,进而支持使用更细粒度的数据分片以满足需要更高性能写入或者查询的场景,有效提高了分布式时序数据库的实现灵活性。

Description

时序数据库的分布式实现方法、装置、设备及存储介质
技术领域
本发明涉及网络技术领域,特别是涉及一种时序数据库的分布式实现方法、装置、设备及存储介质。
背景技术
随着移动互联网的迅猛发展,产生的各种数据非常多。为了适应各种数据的存储需要,以及特定的应用场景,发展出了类型众多的专门数据库。时序数据库用于存储带有严格时间戳的数据。
目前,为了支持海量数据的存储,需要在时序数据库的单机版的基础上实现分布式功能,以突破单机容量与性能的限制。但现有分布式实现方案存在性能或者使用场景的限制,灵活性不足,并不适合作为一个存储平台的分布式实现。因此需要一种更加灵活,适用各种场景的分布式实现方案。
发明内容
为了克服上述缺陷,本发明要解决的技术问题是提供一种时序数据库的分布式实现方法、装置、设备及存储介质,用以至少提高分布式时序数据库的实现灵活性。
为解决上述技术问题,本发明实施例中的一种时序数据库的分布式实现方法,包括:
根据对数据域设置的时间长度确定分片单位;
根据所述分片单位对数据表中数据进行数据分片;
将得到的各个分片数据写入集群中相应数据域。
可选地,所述将得到的各个分片数据写入集群中相应数据域之前,包括:
在所述集群为所述各个分片数据创建所述相应数据域。
可选地,所述集群包括一个或多个组;在所述集群包括多个组时,所述在所述集群为所述各个分片数据创建所述相应数据域,包括:
在所述集群的不同组为所述各个分片数据创建所述相应数据域。
可选地,所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:对于时间上相邻的任意两个分片数据:
在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断是否需要将在后的分片数据存储到所述第一组;
若是,根据所述时间长度,修改所述第一数据域的结束时间;
若否,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
可选地,所述判断是否需要将在后的分片数据存储到所述第一组之前,包括:
当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置。
可选地,每个组包括主设备和备份设备;所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:
在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;
通过异步同步方式,将所述主设备的分片数据同步到备份设备。
可选地,所述方法还包括:
检测到所述集群的读写性能或容量达到相应的扩容阈值;
发出扩容提示。
可选地,所述方法还包括:
在确定需要向所述集群写入乱序数据时,根据所述乱序数据的时间戳匹配归属的数据域;
在没有匹配时,在所述集群的第二组上,为所述乱序数据创建第三数据域。
为解决上述技术问题,本发明实施例中的一种时序数据库的分布式实现装置,其特征在于,所述装置包括:
确定模块,用于根据对数据域设置的时间长度确定分片单位;
分片模块,用于根据所述分片单位对数据表中数据进行数据分片;
存储模块,用于将得到的各个分片数据写入集群中相应数据域。
可选地,所述装置还包括:
创建模块,用于将得到的各个分片数据写入集群中相应数据域之前,在所述集群为所述各个分片数据创建所述相应数据域。
可选地,所述集群包括一个或多个组;在所述集群包括多个组时,所述存储模块,具体用于在所述集群的不同组为所述各个分片数据创建所述相应数据域。
可选地,所述创建模块包括:
第一创建单元,用于对于时间上相邻的任意两个分片数据:在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断单元,用于判断是否需要将在后的分片数据存储到所述第一组;
修改单元,用于若所述判断单元判定为是时,根据所述时间长度,修改所述第一数据域的结束时间;
第二创建单元,用于若所述判断单元判定为否时,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
可选地,所述判断单元,具体用于当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置;根据所述预先分配的存储位置,判断是否需要将在后的分片数据存储到所述第一组。
可选地,每个组包括主设备和备份设备;所述装置还包括异步同步模块;
所述创建模块,还用于在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;
所述异步同步模块,用于通过异步同步方式,将所述主设备的分片数据同步到备份设备。
可选地,所述装置还包括:
检测模块,用于检测到所述集群的读写性能或容量达到相应的扩容阈值;
提示模块,用于发出扩容提示。
可选地,所述创建模块,还用于在确定需要向所述集群写入乱序数据时,根据所述乱序数据的时间戳匹配归属的数据域;在没有匹配时,为所述乱序数据创建第三数据域。
为解决上述技术问题,本发明实施例中的一种时序数据库的分布式实现设备,其特征在于,所述设备包括存储器和处理器;所述存储器存储有时序数据库的分布式实现计算机程序,所述处理器执行所述计算机程序,以实现如上任意一项所述方法的步骤。
为解决上述技术问题,本发明实施例中的一种计算机可读存储介质,其特征在于,所述存储介质存储有时序数据库的分布式实现计算机程序,所述计算机程序被至少一个处理器执行时,以实现如上任意一项所述方法的步骤。
本发明有益效果如下:
本发明各个实施例通过将数据域的时间长度作为分片单位,并根据所述分片单位对数据表中数据进行数据分片,实现了通过在表级别对数据按照固定或非固定时间段进行分片,从而降低了数据分片的粒度,支持使用更细粒度的数据分片以满足需要更高性能写入或者查询的场景,有效提高了分布式时序数据库的实现灵活性。
附图说明
图1是本发明实施例中一种时序数据库的分布式实现方法的主流程图;
图2是本发明实施例中一可选时序数据库的分布式实现方法的流程图;
图3是本发明实施例中又一可选时序数据库的分布式实现方法的流程图;
图4是本发明实施例中一种时序数据库的分布式实现装置的结构示意图;
图5是本发明实施例中一种时序数据库的分布式实现设备的结构示意图。
具体实施方式
为了解决现有技术的问题,本发明提供了一种时序数据库的分布式实现方法、装置、设备及存储介质,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
使用用于区分元件的诸如“第一”、“第二”等前缀仅为了有利于本发明的说明,其本身没有特定的意义。
实施例一
本发明实施例提供一种时序数据库的分布式实现方法,如图1所示,所述方法包括:
S101,根据对数据域设置的时间长度确定分片单位;
S102,根据所述分片单位对数据表中数据进行数据分片;
S103,将得到的各个分片数据写入集群中相应数据域。
本发明实施例中数据域Region中存储的是一个数据表一段时间的数据集合,数据域的属性包括数据表名称、开始时间和结束时间,因此可以根据时间长度确定开始时间和接收时间。本发明实施例中将数据域的时间长度作为数据分片的分片单位,例如可以设置时间长度为1小时。
本发明实施例通过将数据域的时间长度作为分片单位,并根据所述分片单位对数据表中数据进行数据分片,实现了通过在表级别对数据按照固定或非固定时间段进行分片,从而降低了数据分片的粒度,支持使用更细粒度的数据分片以满足需要更高性能写入或者查询的场景,有效提高了分布式时序数据库的实现灵活性。
例如,也可以按照如下方式实现时序数据库:
将多个时序数据库组成一个数据库组,一个数据库组负责一个时间段数据的写入与查询。当需要扩容时,创建一个新数据库组,数据写入相应切换到新数据库组上。所有这些数据库组成一个链,链内各数据库组按照时间顺序紧密连接,前一个数据库组的结束时间与后一个数据库组的开始时间相同。任意两个链是彼此隔离的。该方式中数据分片的粒度过大,最小的粒度是一个数据库的某个时间段的数据,若某个数据库的写入量或者查询较大,一数据库组的机器性能无法满足需求时,则只能拆分数据库,这对于用户十分不友好。同时,数据写入性能较差,该方式要求组内所有机器写入成功才算成功,这必然导致写数据时间上的延迟增加。而本发明实施例中方法可以有效解决这些问题。
在本发明实施例中,可选地,所述将得到的各个分片数据写入集群中相应数据域之前,包括:在所述集群为所述各个分片数据创建所述相应数据域。
在本发明实施例中,可选地,所述集群包括一个或多个组;在所述集群包括多个组时,所述在所述集群为所述各个分片数据创建所述相应数据域,包括:在所述集群的不同组为所述各个分片数据创建所述相应数据域。
本发明可选实施例通过将所述相应数据域存储到集群的不同组,实现了将各分片数据路由到不同的组上以实现负载均衡。
在本发明实施例中,可选地,每个组包括主设备和备份设备;所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;通过异步同步方式,将所述主设备的分片数据同步到备份设备。
详细地,本发明可选实施例中,集群内部数据存储在一个或者多个组上,每个组由两台设备组成,这两台设备构成一个主备关系,实现容灾备份。主备设备存储的分片数据通过一个异步同步模块实现同步。分片数据写入请求会被路由到主角色的主设备,主设备写成功之后,立即返回给客户端成功,并通过异步同步模块将写入的分片数据同步给备角色的备份设备,以实现主备设备数据的一致。由于客户端的数据只要写入到主设备,因此延迟较低,性能较高。
主备角色借助于分布式一致性组件实现,如Etcd或者Zookeeper。在主宕机或者断网等异常情况时,备能够主动发现,并执行却换为主。Etcd是一个采用HTTP协议的健/值对存储系统,ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。
在本发明实施例中,可选地,所述方法还包括:检测到所述集群的读写性能或容量达到相应的扩容阈值;发出扩容提示,以通知用户可以在集群中增加新的组。
本发明实施例中的扩容阈值可以包括性能扩容阈值和容量扩容阈值。
例如,当发现集群的读写性能或者容量不足时,可以通过向集群之中增加新组的方式实现扩容。当加入新组时,本发明实施例中方法能够实时感知到,并在下次调度时综合相关参数将新的Region构建在新组上,以减轻旧组机器的压力。通常在旧组容量使用达到60%就会开始扩容,增加新组到集群中。调度模块将部分新Region赋给新组,同时旧组中由于数据过期等,最终达到新旧组服务器分摊请求量。
在本发明实施例中,可选地,所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:对于时间上相邻的任意两个分片数据:
在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断是否需要将在后的分片数据存储到所述第一组;
若是,根据所述时间长度,修改所述第一数据域的结束时间;
若否,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
实施例二
本发明实施例提供一种时序数据库的分布式实现方法,如图2所示,所述方法包括:
S201,根据对数据域设置的时间长度确定分片单位;
S202,根据所述分片单位对数据表中数据进行数据分片;
S203,对于时间上相邻的任意两个分片数据:在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
S204,判断是否需要将在后的分片数据存储到所述第一组;
S205,若是,根据所述时间长度,修改所述第一数据域的结束时间;
S206,若否,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
S207,将得到的各个分片数据写入集群中相应数据域。
本发明实施例进一步分布式时序数据库的实现灵活性。
在本发明实施例中,可选地,所述判断是否需要将在后的分片数据存储到所述第一组,包括:
当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置;
根据所述预先分配的存储位置,判断是否需要将在后的分片数据存储到所述第一组。
本发明实施例中可以通过设置时间阈值的方式判断在后的分片数据即将达到,例如在判定在前的分片数据写入到相应数据域达到上述时间阈值时,判定在后的分片数据即将达到。
详细地,为了实现数据读写在多个组内的均衡分布,需要对数据进行分片。并将各分片数据路由到不同的组上以实现负载均衡。数据分片是以Region的时间长度为分片单位,默认以1个小时作为一个分片单位。本发明实施例在上一个分片写入相应Region的时间即将到期时,预先分配下一个Region的创建位置。在执行分配创建Region时,优先将其分配给上一个分片对应Region的组上,若分配到该组上,则只需要修改上一个分片对应Region的结束时间即可,而不需要创建一个新的Region。若原组由于性能或者空间不足,则会创建一个新的Region并分配到其他组。
实施例三
本发明实施例提供一种时序数据库的分布式实现方法,如图3所示,所述方法包括:
S301,根据对数据域设置的时间长度确定分片单位;
S302,根据所述分片单位对数据表中数据进行数据分片;
S303,将得到的各个分片数据写入集群中相应数据域;
S304,在确定需要向所述集群写入乱序数据时,根据所述乱序数据的时间戳匹配归属的数据域;
S305,在没有匹配时,在所述集群的第二组上,为所述乱序数据创建第三数据域;
S306,在有匹配时,写入归属的数据域。
本发明实施例能够处理数据的无序写入,能够实现低延迟的数据写入。
详细地,有些时候可能需要写入历史时间戳或者将来时间戳的乱序数据。若发现该时间戳当前没有归属的Region,则根据当前各组的负载情况,为其创建一个新的Region。然后就可以执行写入操作。由于一个Region的时间长度默认是1小时,因此某个数据表的所有Region在时间上可能并不连续,中间允许出现空洞,因为只有写入数据时才会为其创建Region。
例如,现有技术中,对于乱序数据写入的支持较差或者不支持,假若有些应用需要写的数据的时间戳为将来时间与当前时间混合,那么如实施例一中实现时序数据库的方式,在切换数据库组时就存在难题。若从当前时间开始切,那么需要将当前数据库组已经写入的将来时间戳的数据进行迁移。若从当前数据库组写入最大时间开始切,那么又会有好长一段时间的数据需要写入到当前数据库组,而当前数据库组容量可能已经不够,而本发明实施例中方法,可以有效解决这些问题。
在本发明实施例中,可选地,所述方法还包括:接收手动截止命令;根据所述命令停止对当前数据域写入数据。
也就是或,本发明实施例中在每次分配新Region,或者延迟原有Region结束时间时都是以1小时为单位。但是为了支持紧急情况,允许对某个Region执行手动结束,并重新调度,创建新的Region。在数据写入与查询时监听Region的变化,并实时做出更新。手动结束之后,新的分片数据就会写入到新的Region。
在此需要说明的是,上述各个实施例中方法可以互相组合。基于组合,本发明各个实施例通过在表级别对数据按照固定或非固定时间段进行分片,以实现负载均衡和无限扩容。集群内部使用组的方式存储数据,组内使用主备方式进行数据容灾,通过外部分布式一致性组件实现主备却换。也就是说,本发明各个实施例在实现扩容,容灾等基本功能外,还充分考虑了各种使用场景下的灵活性,做到了更细粒度数据调度,支持数据的乱序写入,以及手动截止一个分片等。
实施例四
本发明实施例提供一种时序数据库的分布式实现装置,如图4所示,所述装置包括:
确定模块40,用于根据对数据域设置的时间长度确定分片单位;
分片模块42,用于根据所述分片单位对数据表中数据进行数据分片;
存储模块44,用于将得到的各个分片数据写入集群中相应数据域。
本发明实施例通过将数据域的时间长度作为分片单位,并根据所述分片单位对数据表中数据进行数据分片,实现了通过在表级别对数据按照固定或非固定时间段进行分片,从而降低了数据分片的粒度,支持使用更细粒度的数据分片以满足需要更高性能写入或者查询的场景,有效提高了分布式时序数据库的实现灵活性。
在本发明实施例中,可选地,所述装置还包括:
创建模块,用于将得到的各个分片数据写入集群中相应数据域之前,在所述集群为所述各个分片数据创建所述相应数据域。
在本发明实施例中,可选地,所述集群包括一个或多个组;在所述集群包括多个组时,所述存储模块44,具体用于在所述集群的不同组为所述各个分片数据创建所述相应数据域。
在本发明实施例中,可选地,所述创建模块包括:
第一创建单元,用于对于时间上相邻的任意两个分片数据:在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断单元,用于判断是否需要将在后的分片数据存储到所述第一组;
修改单元,用于若所述判断单元判定为是时,根据所述时间长度,修改所述第一数据域的结束时间;
第二创建单元,用于若所述判断单元判定为否时,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
在本发明实施例中,可选地,所述判断单元,具体用于当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置;根据所述预先分配的存储位置,判断是否需要将在后的分片数据存储到所述第一组。
在本发明实施例中,可选地,每个组包括主设备和备份设备;所述装置还包括异步同步模块;
所述创建模块,还用于在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;
所述异步同步模块,用于通过异步同步方式,将所述主设备的分片数据同步到备份设备。
在本发明实施例中,可选地,所述装置还包括:
检测模块,用于检测到所述集群的读写性能或容量达到相应的扩容阈值;
提示模块,用于发出扩容提示。
在本发明实施例中,可选地,所述创建模块,还用于在确定需要向所述集群写入乱序数据时,根据所述乱序数据的时间戳匹配归属的数据域;在没有匹配时,为所述乱序数据创建第三数据域。
本发明实施例为实施例一至实施例三中各方法实施例对应的装置实施例,基于相应的技术效果。
本发明实施例中各个可选实施例通过在表级别对数据按照固定或非固定时间段进行分片,以实现负载均衡和无限扩容。集群内部使用组的方式存储数据,组内使用主备方式进行数据容灾,通过外部分布式一致性组件实现主备却换。也就是说,本发明各个实施例在实现扩容,容灾等基本功能外,还充分考虑了各种使用场景下的灵活性,做到了更细粒度数据调度,支持数据的乱序写入,以及手动截止一个分片等。
实施例五
本发明实施例提供一种时序数据库的分布式实现设备,所述设备包括存储器50和处理器52;所述存储器50存储有时序数据库的分布式实现计算机程序,所述处理器52执行所述计算机程序,以实现如权实施例一至实施例三中任意一项所述方法的步骤。
实施例六
本发明实施例提供一种计算机可读存储介质,所述存储介质存储有时序数据库的分布式实现计算机程序,所述计算机程序被至少一个处理器执行时,以实现如实施例一至实施例三中任意一项所述方法的步骤。
本发明实施例中计算机可读存储介质可以是RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域已知的任何其他形式的存储介质。可以将一种存储介质藕接至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息;或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路中。
在此需要说明的是,在具体实现时,实施例五和实施例六可以参阅实施例一至实施例三,具有相应的技术效果。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (18)

1.一种时序数据库的分布式实现方法,其特征在于,所述方法包括:
根据对数据域设置的时间长度确定分片单位;
根据所述分片单位对数据表中数据进行数据分片;
将得到的各个分片数据写入集群中相应数据域。
2.如权利要求1所述的方法,其特征在于,所述将得到的各个分片数据写入集群中相应数据域之前,包括:
在所述集群为所述各个分片数据创建所述相应数据域。
3.如权利要求2所述的方法,其特征在于,所述集群包括一个或多个组;在所述集群包括多个组时,所述在所述集群为所述各个分片数据创建所述相应数据域,包括:
在所述集群的不同组为所述各个分片数据创建所述相应数据域。
4.如权利要求3所述的方法,其特征在于,所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:对于时间上相邻的任意两个分片数据:
在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断是否需要将在后的分片数据存储到所述第一组;
若是,根据所述时间长度,修改所述第一数据域的结束时间;
若否,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
5.如权利要求4所述的方法,其特征在于,所述判断是否需要将在后的分片数据存储到所述第一组,包括:
当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置;
根据所述预先分配的存储位置,判断是否需要将在后的分片数据存储到所述第一组。
6.如权利要求3所述的方法,其特征在于,每个组包括主设备和备份设备;所述在所述集群的不同组为所述各个分片数据创建所述相应数据域,包括:
在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;
通过异步同步方式,将所述主设备的分片数据同步到备份设备。
7.如权利要求3所述的方法,其特征在于,所述方法还包括:
检测到所述集群的读写性能或容量达到相应的扩容阈值;
发出扩容提示。
8.如权利要求2-7中任意一项所述的方法,其特征在于,所述方法还包括:
在确定需要向所述集群写入乱序数据时,根据所述乱序数据的时间戳匹配归属的数据域;
在没有匹配时,在所述集群的第二组上,为所述乱序数据创建第三数据域。
9.一种时序数据库的分布式实现装置,其特征在于,所述装置包括:
确定模块,用于根据对数据域设置的时间长度确定分片单位;
分片模块,用于根据所述分片单位对数据表中数据进行数据分片;
存储模块,用于将得到的各个分片数据写入集群中相应数据域。
10.如权利要求9所述的装置,其特征在于,所述装置还包括:
创建模块,用于将得到的各个分片数据写入集群中相应数据域之前,在所述集群为所述各个分片数据创建所述相应数据域。
11.如权利要求10所述的装置,其特征在于,所述集群包括一个或多个组;在所述集群包括多个组时,所述存储模块,具体用于在所述集群的不同组为所述各个分片数据创建所述相应数据域。
12.如权利要求11所述的装置,其特征在于,所述创建模块包括:
第一创建单元,用于对于时间上相邻的任意两个分片数据:在所述集群的第一组上,为在前的分片数据创建对应的第一数据域;
判断单元,用于判断是否需要将在后的分片数据存储到所述第一组;
修改单元,用于若所述判断单元判定为是时,根据所述时间长度,修改所述第一数据域的结束时间;
第二创建单元,用于若所述判断单元判定为否时,在所述集群的第二组上,为所述在后的分片数据创建对应的第二数据域。
13.如权利要求12所述的装置,其特征在于,所述判断单元,具体用于当所述在后的分片数据即将达到时,预先分配在后的分片数据的存储位置;根据所述预先分配的存储位置,判断是否需要将在后的分片数据存储到所述第一组。
14.如权利要求10所述的装置,其特征在于,每个组包括主设备和备份设备;所述装置还包括异步同步模块;
所述创建模块,还用于在所述集群的不同组的主设备上,为所述各个分片数据创建所述相应数据域;
所述异步同步模块,用于通过异步同步方式,将所述主设备的分片数据同步到备份设备。
15.如权利要求11所述的装置,其特征在于,所述装置还包括:
检测模块,用于检测到所述集群的读写性能或容量达到相应的扩容阈值;
提示模块,用于发出扩容提示。
16.如权利要求10-15中任意一项所述的装置,其特征在于,所述创建模块,还用于在确定需要向所述集群写入乱序数据时,根据所述乱序数据的时间戳匹配归属的数据域;在没有匹配时,为所述乱序数据创建第三数据域。
17.一种时序数据库的分布式实现设备,其特征在于,所述设备包括存储器和处理器;所述存储器存储有时序数据库的分布式实现计算机程序,所述处理器执行所述计算机程序,以实现如权利要求1-8中任意一项所述方法的步骤。
18.一种计算机可读存储介质,其特征在于,所述存储介质存储有时序数据库的分布式实现计算机程序,所述计算机程序被至少一个处理器执行时,以实现如权利要求1-8中任意一项所述方法的步骤。
CN201810489971.5A 2018-05-21 2018-05-21 时序数据库的分布式实现方法、装置、设备及存储介质 Pending CN108664660A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810489971.5A CN108664660A (zh) 2018-05-21 2018-05-21 时序数据库的分布式实现方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810489971.5A CN108664660A (zh) 2018-05-21 2018-05-21 时序数据库的分布式实现方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN108664660A true CN108664660A (zh) 2018-10-16

Family

ID=63777126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810489971.5A Pending CN108664660A (zh) 2018-05-21 2018-05-21 时序数据库的分布式实现方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN108664660A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046183A (zh) * 2019-04-16 2019-07-23 北京易沃特科技有限公司 一种时序数据聚合检索方法、设备及介质
CN112445795A (zh) * 2020-10-22 2021-03-05 浙江蓝卓工业互联网信息技术有限公司 一种时序数据库的分布式存储扩容方法及数据查询方法
CN113342284A (zh) * 2021-06-30 2021-09-03 招商局金融科技有限公司 时序数据存储方法、装置、计算机设备及存储介质
CN113806353A (zh) * 2020-06-12 2021-12-17 第四范式(北京)技术有限公司 实现时序特征抽取的方法及装置
US11320978B2 (en) 2018-12-20 2022-05-03 Nutanix, Inc. User interface for database management services
USD956776S1 (en) 2018-12-14 2022-07-05 Nutanix, Inc. Display screen or portion thereof with a user interface for a database time-machine
US11604705B2 (en) 2020-08-14 2023-03-14 Nutanix, Inc. System and method for cloning as SQL server AG databases in a hyperconverged system
US11604762B2 (en) 2018-12-27 2023-03-14 Nutanix, Inc. System and method for provisioning databases in a hyperconverged infrastructure system
US11604806B2 (en) 2020-12-28 2023-03-14 Nutanix, Inc. System and method for highly available database service
US11640340B2 (en) 2020-10-20 2023-05-02 Nutanix, Inc. System and method for backing up highly available source databases in a hyperconverged system
US11803368B2 (en) 2021-10-01 2023-10-31 Nutanix, Inc. Network learning to control delivery of updates
US11816066B2 (en) 2018-12-27 2023-11-14 Nutanix, Inc. System and method for protecting databases in a hyperconverged infrastructure system
US11892918B2 (en) 2021-03-22 2024-02-06 Nutanix, Inc. System and method for availability group database patching
US11907167B2 (en) 2020-08-28 2024-02-20 Nutanix, Inc. Multi-cluster database management services

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020040639A1 (en) * 2000-10-05 2002-04-11 William Duddleson Analytical database system that models data to speed up and simplify data analysis
US20050183094A1 (en) * 1998-10-02 2005-08-18 Microsoft Corporation Tools and techniques for instrumenting interfaces of units of a software program
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN107609143A (zh) * 2017-09-21 2018-01-19 国电南瑞科技股份有限公司 一种分布式实时内存数据库的分片信息存储方法
CN107729570A (zh) * 2017-11-20 2018-02-23 北京百度网讯科技有限公司 用于服务器的数据迁移方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050183094A1 (en) * 1998-10-02 2005-08-18 Microsoft Corporation Tools and techniques for instrumenting interfaces of units of a software program
US20020040639A1 (en) * 2000-10-05 2002-04-11 William Duddleson Analytical database system that models data to speed up and simplify data analysis
CN107508901A (zh) * 2017-09-04 2017-12-22 北京京东尚科信息技术有限公司 分布式数据处理方法、装置、服务器和系统
CN107609143A (zh) * 2017-09-21 2018-01-19 国电南瑞科技股份有限公司 一种分布式实时内存数据库的分片信息存储方法
CN107729570A (zh) * 2017-11-20 2018-02-23 北京百度网讯科技有限公司 用于服务器的数据迁移方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
付江: "十分钟看懂时序数据库(I)-存储", 《CSDN HTTPS://BLOG.CSDN.NET/JAVA060515/ARTICLE/DETAILS/80129387》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD956776S1 (en) 2018-12-14 2022-07-05 Nutanix, Inc. Display screen or portion thereof with a user interface for a database time-machine
US11320978B2 (en) 2018-12-20 2022-05-03 Nutanix, Inc. User interface for database management services
US11907517B2 (en) 2018-12-20 2024-02-20 Nutanix, Inc. User interface for database management services
US11604762B2 (en) 2018-12-27 2023-03-14 Nutanix, Inc. System and method for provisioning databases in a hyperconverged infrastructure system
US11860818B2 (en) 2018-12-27 2024-01-02 Nutanix, Inc. System and method for provisioning databases in a hyperconverged infrastructure system
US11816066B2 (en) 2018-12-27 2023-11-14 Nutanix, Inc. System and method for protecting databases in a hyperconverged infrastructure system
CN110046183A (zh) * 2019-04-16 2019-07-23 北京易沃特科技有限公司 一种时序数据聚合检索方法、设备及介质
CN113806353A (zh) * 2020-06-12 2021-12-17 第四范式(北京)技术有限公司 实现时序特征抽取的方法及装置
US11604705B2 (en) 2020-08-14 2023-03-14 Nutanix, Inc. System and method for cloning as SQL server AG databases in a hyperconverged system
US11907167B2 (en) 2020-08-28 2024-02-20 Nutanix, Inc. Multi-cluster database management services
US11640340B2 (en) 2020-10-20 2023-05-02 Nutanix, Inc. System and method for backing up highly available source databases in a hyperconverged system
CN112445795A (zh) * 2020-10-22 2021-03-05 浙江蓝卓工业互联网信息技术有限公司 一种时序数据库的分布式存储扩容方法及数据查询方法
US11604806B2 (en) 2020-12-28 2023-03-14 Nutanix, Inc. System and method for highly available database service
US11892918B2 (en) 2021-03-22 2024-02-06 Nutanix, Inc. System and method for availability group database patching
CN113342284B (zh) * 2021-06-30 2023-02-28 招商局金融科技有限公司 时序数据存储方法、装置、计算机设备及存储介质
CN113342284A (zh) * 2021-06-30 2021-09-03 招商局金融科技有限公司 时序数据存储方法、装置、计算机设备及存储介质
US11803368B2 (en) 2021-10-01 2023-10-31 Nutanix, Inc. Network learning to control delivery of updates

Similar Documents

Publication Publication Date Title
CN108664660A (zh) 时序数据库的分布式实现方法、装置、设备及存储介质
US10218618B2 (en) Method and apparatus for processing operation request in storage system
CN106375404B (zh) 数据存储控制方法、数据存储方法、数据获取方法及装置
CN101316226B (zh) 一种获取资源的方法、装置及系统
CN110601922B (zh) 一种对照实验的实现方法、装置、电子设备和存储介质
CN111522636B (zh) 应用容器的调整方法、调整系统、计算机可读介质及终端设备
CN103686206B (zh) 一种云环境下的视频转码方法和系统
CN103366022B (zh) 信息处理系统及其处理方法
CN105119997A (zh) 云计算系统的数据处理方法
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN109213699A (zh) 一种元数据管理方法、系统、设备及计算机可读存储介质
CN111722918A (zh) 业务标识码生成方法、装置、存储介质及电子设备
JPWO2018220708A1 (ja) 資源割当システム、管理装置、方法およびプログラム
CN112953982B (zh) 一种服务处理的方法、服务配置的方法以及相关装置
JP2011170667A (ja) ファイル同期システム、ファイル同期方法およびファイル同期プログラム
CN105357042A (zh) 一种高可用集群系统及其主节点和从节点
CN105162869B (zh) 一种用于数据备份管理的方法与设备
CN102316117A (zh) 资源处理方法和装置
CN114398397A (zh) 数据处理方法、装置、存储介质以及系统
CN103248636A (zh) 离线下载的系统及方法
US9893972B1 (en) Managing I/O requests
WO2024088078A1 (zh) 一种带宽调节方法、系统、设备及存储介质
CN101833585A (zh) 数据库服务器操作控制系统、方法及设备
CN109361625B (zh) 核查转发表项的方法、装置和控制器
CN112148426A (zh) 一种带宽分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181016

RJ01 Rejection of invention patent application after publication