CN102129442A - 一种分布式数据库系统和数据访问方法 - Google Patents
一种分布式数据库系统和数据访问方法 Download PDFInfo
- Publication number
- CN102129442A CN102129442A CN 201010287406 CN201010287406A CN102129442A CN 102129442 A CN102129442 A CN 102129442A CN 201010287406 CN201010287406 CN 201010287406 CN 201010287406 A CN201010287406 A CN 201010287406A CN 102129442 A CN102129442 A CN 102129442A
- Authority
- CN
- China
- Prior art keywords
- memory node
- data recording
- access times
- unloading
- record identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种分布式数据库系统,包括存储节点;访问控制装置,用于接收访问请求,提取访问请求中包含的记录标识,在存储对照表中查找记录标识对应的存储节点,并更新记录标识所属数据记录的访问次数,以及根据记录标识从存储节点获取对应的数据记录并返回;转存装置用于根据存储对照表中记录的存储节点所对应的各数据记录所属数据记录的访问次数确定访问次数,在根据存储节点的访问次数通过预先设置的压力算法确定存储节点过负荷时,根据预先设置的转存策略将存储节点的多条数据记录中选择数据记录转存到尚未过负荷的其他存储节点中,并更新存储对照表。本发明还提供了一种数据访问方法。本发明实施例可满足实时数据访问操作的需要。
Description
技术领域
本发明涉及数据库技术,尤其涉及一种分布式数据库系统和数据访问方法。
背景技术
数据库是现代信息系统的基石,其广泛应用在各种计算系统中,用于简化数据的存储和访问。数据库通常使用特定的模型来描述和组织数据。目前常见的数据库是基于关系型数据模型构建的磁盘数据库,这种磁盘数据库可实现通过结构化查询语言统一对数据进行增加、删除、修改和查询操作。数据最终被保存到文件系统中。
当今电信运营商之间的竞争日渐加剧。为了能够在竞争中取得优势地位,电信运营商在服务的实时性方面做出了大量的努力,例如购置大量的数据库系统来提高数据的存储访问速度,以支持在线计费、实时营销等实时性应用的需要。然而,随着用户数量的不断增加,这种实时性应用所带来的实时数据访问操作越来越多,现有数据库越来越难以满足这种实时数据访问操作的需要。
发明内容
有鉴于此,实有必要提供一种分布式数据库系统,能够满足大量的实时数据访问操作的需要。
同时,提供一种数据访问方法,能够满足大量的实时数据访问操作的需要。
一种分布式数据库系统,包括:
多个存储节点,每一存储节点用于存储多条数据记录,每一数据记录由所述数据记录的记录标识唯一标识;
访问控制装置,存储有存储对照表,所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数;所述访问控制装置用于接收访问请求,提取所述访问请求中包含的记录标识,在所述存储对照表中查找所述记录标识对应的存储节点,并更新所述记录标识所属数据记录的访问次数,以及根据所述记录标识从所述存储节点获取对应的数据记录,并返回所述数据记录;
转存装置,用于根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数,在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时,根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录,并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点,将所述待转存数据记录转存到所述目标存储节点中,并更新所述存储对照表。
一种数据访问方法,应用于分布式数据库系统,所述分布式数据库系统包含多个存储节点,每一存储节点中存储有多条数据记录,每一数据记录由所述数据记录的记录标识唯一标识;所述方法包括:
接收访问请求,提取所述访问请求中包含的记录标识,在存储对照表中查找所述记录标识对应的存储节点,并更新所述记录标识所属数据记录的访问次数,以及根据所述记录标识从所述存储节点获取对应的数据记录,并返回所述数据记录,其中,所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数;
根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数,在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时,根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录,并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点,将所述待转存数据记录转存到所述目标存储节点中,并更新所述存储对照表。
本发明实施例依据预先设置的压力算法实时监测存储节点是否过负荷,并在监测到存储节点过负荷时,基于预先设置的转存策略将过负荷存储节点中的至少一部分数据转存到尚未过负荷的存储节点之中的至少一个之中,从而动态调整各存储节点的访问压力,提高整个分布式数据库系统的数据访问效率,满足实时数据访问操作的需要。
附图说明
图1是依据本发明一实施例的分布式数据库系统的逻辑结构框图
图2是依据本发明一实施例的数据访问方法的流程图。
具体实施方式
图1是依据本发明一实施例的分布式数据库系统100的逻辑结构框图。如图1所示,分布式数据库系统100包括多个存储节点102~106、访问控制装置108和转存装置110。
存储节点102~106之中的每一存储节点都存储有多条数据记录,每一数据记录由所述数据记录的记录标识唯一标识。
具体来说,每一存储节点都维护一张存储映射表,所述存储映射表中记录有每条数据记录的记录标识与该数据记录在存储节点中的存储位置之间的对应关系,其中记录标识可唯一标识该记录标识所属的数据记录。在具体实现过程中,当采用数据表来存储数据记录时,存储映射表可采用例如但不限于如下结构:
记录标识 | 存储位置 |
110053 | 数据表1 |
表1
如表1所示实例可知,记录标识为110053的数据记录保存在存储节点中存储的数据表1中。
此外,为提高数据存取效率,可使用内存数据库来实现上述存储节点102~106中的至少一个。
应注意,本领域的技术人员应当明白,在具体实现过程中,存储节点的数量可根据需要进行设置,而并非局限于图1中所示的数量。
访问控制装置108中存储有存储对照表,所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数;访问控制装置108用于接收访问请求,提取所述访问请求中包含的记录标识,在所述存储对照表中查找所述记录标识对应的存储节点并更新所述记录标识所属数据记录的访问次数,以及根据所述记录标识从所述存储节点获取对应的数据记录,并返回所述数据记录;
具体来说,存储对照表可采用例如但不限于如下结构:
记录标识 | 节点标识 | 访问次数 |
110053 | Node1 | 807 |
110054 | Node1 | 520 |
155068 | Node2 | 1003 |
表2
不难理解,由于仅仅记录访问次数而不生成完整的访问记录(例如记录数据记录的访问时间等信息),本发明实施例记录访问次数的操作不会对分布式数据库系统的整体性能产生很大的负面影响。
转存装置110用于根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数,在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时,根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录,并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点,将所述待转存数据记录转存到所述目标存储节点中,并更新所述存储对照表。
具体说来,转存装置110可通过将存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数加和,来获得所述存储节点的访问次数。
上述压力算法可以是,持续统计所述存储节点在每一时间周期内的访问次数并计算访问增长速度,在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷。在具体实现过程中,可采用例如但不限于下列公式来计算所述访问增长速度:
在具体实现过程中,上述周期时长可根据分布式数据库系统100的具体应用环境进行设置。不难理解,周期时长越短,算得的访问增长速度越准确。访问增长速度为正值,表明访问压力在增加,为负表明访问压力在减小。
此外,所述压力算法还可以是,统计所述存储节点在每一时间周期内的访问次数,并在所述访问次数超过预先设置的访问次数阈值时判定所述存储节点过负荷。
特别的,上述速度阈值和/或访问次数阈值还可根据具体时段来进行设置,针对不同的时段设置不同的速度阈值和/或访问次数阈值。具体来说,上述具体时段可根据统计获得的访问压力分布情况进行设定。例如,可将每一天分为5个时段,第一时段从凌晨2点至早晨8点,第二时段从早晨8点至中午11点,第三时段从中午11点至下午2点,第四时段从下午2点至下午6点,第五时段从下午6点至次日凌晨2点。在根据具体时段设置速度阈值和/或访问次数阈值的情况下,上述压力算法还可以是,统计所述存储节点在每一时间周期内的访问增长速度和/或访问次数,并在所述访问增长速度和/或访问次数超过当前时间周期所属时段所对应的速度阈值和/或访问次数阈值时判定所述存储节点过负荷。应注意,在具体实现过程中,上述时段可根据具体需要进行划分,而不受上述具体时段划分实例的限制。
上述转存策略可以是,对于过负荷的存储节点,将该存储节点中访问次数最高的记录标识所对应的数据记录确定为待转存数据记录,将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点。如此一来,转存装置110便可将待转存数据记录转存到目标存储节点中,并更新所述存储对照表,从而动态调整各个存储节点的访问压力。
此外,上述转存策略还可以是,对于过负荷的存储节点,按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序,将排序在前的多条(具体数量可根据需要预先设定)数据记录确定为待转存数据记录;按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序,将排序在前的多个(数量与待转存数据记录的数量相同)存储节点确定为目标存储节点。然后将多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的多个目标存储节点中,其中访问次数最高的待转存数据记录存储到访问次数最低的目标存储节点中。
在转存待转存数据记录时,转存装置110将待转存数据记录从当前存储节点剪切存储到目标存储节点。
应注意,本领域的技术人员应当明白,在将所述待转存数据记录转存到所述目标存储节点后,还需分别对过负荷存储节点和目标存储节点的存储映射表进行更新。
本发明实施例依据预先设置的压力算法实时监测存储节点是否过负荷,并在监测到存储节点过负荷时,基于预先设置的转存策略将过负荷存储节点中的至少一部分数据转存到尚未过负荷的存储节点之中的至少一个之中,从而动态调整各存储节点的访问压力,提高整个分布式数据库系统的数据访问效率,满足实时数据访问操作的需要。
图2是依据本发明一实施例的数据访问方法200的流程图。数据访问方法200应用于分布式数据库系统,所述分布式数据库系统包含多个存储节点,每一存储节点中存储有多条数据记录,每一数据记录由所述数据记录的记录标识唯一标识。如图2所示,步骤202,接收访问请求,提取所述访问请求中包含的记录标识,在存储对照表中查找所述记录标识对应的存储节点,并更新所述记录标识所属数据记录的访问次数,以及根据所述记录标识从所述存储节点获取对应的数据记录,并返回所述数据记录,其中,所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数;
具体来说,每一存储节点都维护一张存储映射表,所述存储映射表中记录有每条数据记录的记录标识与该数据记录在存储节点中的存储位置之间的对应关系,其中记录标识可唯一标识该记录标识所属的数据记录。在具体实现过程中,当采用数据表来存储数据记录时,存储映射表的结构已经在前文进行了详细的描述,因此此处不再赘述。
在具体实现过程中,为提高数据存取效率,可使用内存数据库来实现上述存储节点中的至少一个。
有关存储对照表的结构已经在前文进行了详细的描述,因此此处不再赘述。
不难理解,由于仅仅记录访问次数而不生成完整的访问记录(例如记录数据记录的访问时间等信息),本发明实施例记录访问次数的操作不会对分布式数据库系统的整体性能产生很大的负面影响。
在步骤204,根据所述存储对照表中记录的每一存储节点所对应的各数据记录所属数据记录的访问次数确定所述存储节点的访问次数,在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时,根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录,并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点,将所述待转存数据记录转存到所述目标存储节点中,并更新所述存储对照表。具体说来,可通过将存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数加和,来获得所述存储节点的访问次数。
具体来说,所述压力算法可以是,持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度,在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷。有关访问增长速度的具体计算公式已经在前文进行了详细的描述,因此此处不再赘述。
此外,所述压力算法还可以是,统计所述存储节点在每一时间周期内的访问次数,并在所述访问次数超过预先设置的访问次数阈值时判定所述存储节点过负荷。
特别的,上述速度阈值和/或访问次数阈值还可根据具体时段来进行设置,针对不同的时段设置不同的速度阈值和/或访问次数阈值。具体来说,上述具体时段可根据统计获得的访问压力分布情况进行设定。例如,可将每一天分为5个时段,第一时段从凌晨2点至早晨8点,第二时段从早晨8点至中午11点,第三时段从中午11点至下午2点,第四时段从下午2点至下午6点,第五时段从下午6点至次日凌晨2点。在根据具体时段设置速度阈值和/或访问次数阈值的情况下,上述压力算法还可以是,统计所述存储节点在每一时间周期内的访问增长速度和/或访问次数,并在所述访问增长速度和/或访问次数超过当前时间周期所属时段所对应的速度阈值和/或访问次数阈值时判定所述存储节点过负荷。应注意,在具体实现过程中,上述时段可根据具体需要进行划分,而不受上述具体时段划分实例的限制。
具体来说,所述转存策略为,对于过负荷的存储节点,将该存储节点中访问次数最高的数据记录确定为待转存数据记录,将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点。
此外,上述转存策略还可以是,对于过负荷的存储节点,按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序,将排序在前的多条(具体数量可根据需要预先设定)数据记录确定为待转存数据记录;按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序,将排序在前的多个(数量与待转存数据记录的数量相同)存储节点确定为目标存储节点。然后将多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的多个目标存储节点中,其中访问次数最高的待转存数据记录存储到访问次数最低的目标存储节点中。
在转存待转存数据记录时,将待转存数据记录从当前存储节点剪切存储到目标存储节点。
应注意,本领域的技术人员应当明白,在将所述待转存数据记录转存到所述目标存储节点后,还需分别对过负荷存储节点和目标存储节点的存储映射表进行更新。
本发明实施例依据预先设置的压力算法实时监测存储节点是否过负荷,并在监测到存储节点过负荷时,基于预先设置的转存策略将过负荷存储节点中的至少一部分数据转存到尚未过负荷的存储节点之中的至少一个之中,从而动态调整各存储节点的访问压力,提高整个分布式数据库系统的数据访问效率,满足实时数据访问操作的需要。
本领域普通技术人员可知,上述方法中的全部或部分步骤可以通过程序指令相关的硬件完成,该程序可以存储于一计算机可读存储介质中,该计算机可读存储介质如ROM、RAM和光盘等。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种分布式数据库系统,其特征在于,包括:
多个存储节点,每一存储节点用于存储多条数据记录,每一数据记录由所述数据记录的记录标识唯一标识;
访问控制装置,存储有存储对照表,所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数;所述访问控制装置用于接收访问请求,提取所述访问请求中包含的记录标识,在所述存储对照表中查找所述记录标识对应的存储节点,并更新所述记录标识所属数据记录的访问次数,以及根据所述记录标识从所述存储节点获取对应的数据记录,并返回所述数据记录;
转存装置,用于根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数,在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时,根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录,并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点,将所述待转存数据记录转存到所述目标存储节点中,并更新所述存储对照表。
2.如权利要求1所述的系统,其特征在于,所述压力算法为,持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度,在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷。
3.如权利要求2所述的系统,其特征在于,所述转存策略为,对于过负荷的存储节点,将该存储节点中访问次数最高的数据记录确定为待转存数据记录,将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点。
4.如权利要求2所述的系统,其特征在于,所述转存策略为,对于过负荷的存储节点,按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序,将排序在前的多条数据记录确定为待转存数据记录;按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序,将排序在前的多个存储节点确定为目标存储节点;将所述多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的所述多个目标存储节点中。
5.如权利要求1所述的系统,其特征在于,所述多个存储节点中的至少一个存储节点为内存数据库。
6.一种数据访问方法,其特征在于,应用于分布式数据库系统,所述分布式数据库系统包含多个存储节点,每一存储节点中存储有多条数据记录,每一数据记录由所述数据记录的记录标识唯一标识;所述方法包括:
接收访问请求,提取所述访问请求中包含的记录标识,在存储对照表中查找所述记录标识对应的存储节点,并更新所述记录标识所属数据记录的访问次数,以及根据所述记录标识从所述存储节点获取对应的数据记录,并返回所述数据记录,其中,所述存储对照表中记录有记录标识与存储所述记录标识所属数据记录的存储节点之间的对应关系以及每一记录标识所属数据记录的访问次数;
根据所述存储对照表中记录的每一存储节点所对应的各记录标识所属数据记录的访问次数确定所述存储节点的访问次数,在根据所述存储节点的访问次数通过预先设置的压力算法确定所述存储节点过负荷时,根据预先设置的转存策略从所述存储节点所存储的多条数据记录中选择至少一条数据记录作为待转存数据记录,并从尚未过负荷的存储节点中选择至少一个存储节点作为目标存储节点,将所述待转存数据记录转存到所述目标存储节点中,并更新所述存储对照表。
7.如权利要求6所述的方法,其特征在于,所述压力算法为,持续统计每一存储节点在每一时间周期内的访问次数并计算访问增长速度,在所述访问增长速度超过预设速度阈值时判定所述存储节点过负荷。
8.如权利要求7所述的方法,其特征在于,所述转存策略为,对于过负荷的存储节点,将该存储节点中访问次数最高的数据记录确定为待转存数据记录,将尚未过负荷的存储节点中访问次数最低的存储节点确定为上述目标存储节点。
9.如权利要求7所述的方法,其特征在于,所述转存策略为,对于过负荷的存储节点,按照访问次数由高到低的顺序对该存储节点中的数据记录进行排序,将排序在前的多条数据记录确定为待转存数据记录;按照访问次数由低到高的顺序对尚未过负荷的存储节点进行排序,将排序在前的多个存储节点确定为目标存储节点;将所述多条待转存数据记录按照访问次数由高到低的顺序对应存储到按照访问次数由低到高的顺序排序的所述多个目标存储节点中。
10.如权利要求6所述的方法,其特征在于,所述多个存储节点中的至少一个存储节点为内存数据库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102874064A CN102129442B (zh) | 2010-09-20 | 2010-09-20 | 一种分布式数据库系统和数据访问方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2010102874064A CN102129442B (zh) | 2010-09-20 | 2010-09-20 | 一种分布式数据库系统和数据访问方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102129442A true CN102129442A (zh) | 2011-07-20 |
CN102129442B CN102129442B (zh) | 2012-08-22 |
Family
ID=44267528
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2010102874064A Active CN102129442B (zh) | 2010-09-20 | 2010-09-20 | 一种分布式数据库系统和数据访问方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102129442B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102810116A (zh) * | 2012-06-29 | 2012-12-05 | 安科智慧城市技术(中国)有限公司 | 一种基于数据库连接的自动路由和负载均衡的方法及系统 |
CN102955845A (zh) * | 2012-10-23 | 2013-03-06 | 北京亿赞普网络技术有限公司 | 数据访问方法、装置与分布式数据库系统 |
CN103150408A (zh) * | 2013-04-02 | 2013-06-12 | 山东鲁能软件技术有限公司 | 实时数据库中根据点名找到数据库并访问的系统与方法 |
WO2013091212A1 (zh) * | 2011-12-22 | 2013-06-27 | 华为技术有限公司 | 一种分布式存储系统中分区管理方法、设备及系统 |
CN103905526A (zh) * | 2014-03-05 | 2014-07-02 | 深圳市同洲电子股份有限公司 | 一种调度方法及服务器 |
CN104202434A (zh) * | 2014-09-28 | 2014-12-10 | 北京奇虎科技有限公司 | 节点访问方法和装置 |
CN105159985A (zh) * | 2015-08-31 | 2015-12-16 | 努比亚技术有限公司 | 基于redis集群的数据查询装置及方法 |
CN105446913A (zh) * | 2014-09-29 | 2016-03-30 | 华为数字技术(成都)有限公司 | 一种数据访问方法及装置 |
CN105491149A (zh) * | 2015-12-26 | 2016-04-13 | 深圳市金立通信设备有限公司 | 一种数据存储方法及终端 |
WO2016065612A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
CN105739909A (zh) * | 2014-12-11 | 2016-07-06 | 国际商业机器公司 | 分布式存储系统中基于时间的数据放置方法和装置 |
CN106354720A (zh) * | 2015-07-14 | 2017-01-25 | 腾讯科技(深圳)有限公司 | 业务数据存储方法及装置 |
CN106708968A (zh) * | 2016-12-01 | 2017-05-24 | 成都华为技术有限公司 | 分布式数据库系统和分布式数据库系统中的数据处理方法 |
CN106933891A (zh) * | 2015-12-31 | 2017-07-07 | 华为技术有限公司 | 访问分布式数据库的方法和分布式数据服务的装置 |
CN107547548A (zh) * | 2017-09-05 | 2018-01-05 | 北京京东尚科信息技术有限公司 | 数据处理方法及系统 |
CN111125155A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 基于访问路径的数据查询方法、装置、存储介质及处理器 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870465B (zh) * | 2012-12-07 | 2018-05-18 | 厦门雅迅网络股份有限公司 | 一种非入侵式的数据库爬虫的实现方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1962197A1 (en) * | 2005-12-15 | 2008-08-27 | Netstar, Inc. | Web access monitoring method and its program |
CN101706815A (zh) * | 2009-12-03 | 2010-05-12 | 北京和利时系统工程有限公司 | 数据库设备和系统 |
CN101800768A (zh) * | 2010-01-19 | 2010-08-11 | 南京邮电大学 | 一种基于存储联盟子集划分的网格数据副本生成方法 |
-
2010
- 2010-09-20 CN CN2010102874064A patent/CN102129442B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1962197A1 (en) * | 2005-12-15 | 2008-08-27 | Netstar, Inc. | Web access monitoring method and its program |
CN101706815A (zh) * | 2009-12-03 | 2010-05-12 | 北京和利时系统工程有限公司 | 数据库设备和系统 |
CN101800768A (zh) * | 2010-01-19 | 2010-08-11 | 南京邮电大学 | 一种基于存储联盟子集划分的网格数据副本生成方法 |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013091212A1 (zh) * | 2011-12-22 | 2013-06-27 | 华为技术有限公司 | 一种分布式存储系统中分区管理方法、设备及系统 |
CN103299296B (zh) * | 2011-12-22 | 2016-03-09 | 华为技术有限公司 | 一种分布式存储系统中分区管理方法、设备及系统 |
CN103299296A (zh) * | 2011-12-22 | 2013-09-11 | 华为技术有限公司 | 一种分布式存储系统中分区管理方法、设备及系统 |
CN102810116A (zh) * | 2012-06-29 | 2012-12-05 | 安科智慧城市技术(中国)有限公司 | 一种基于数据库连接的自动路由和负载均衡的方法及系统 |
CN102810116B (zh) * | 2012-06-29 | 2015-01-07 | 安科智慧城市技术(中国)有限公司 | 一种基于数据库连接的自动路由和负载均衡的方法及系统 |
CN102955845A (zh) * | 2012-10-23 | 2013-03-06 | 北京亿赞普网络技术有限公司 | 数据访问方法、装置与分布式数据库系统 |
CN102955845B (zh) * | 2012-10-23 | 2015-11-25 | 北京亿赞普网络技术有限公司 | 数据访问方法、装置与分布式数据库系统 |
CN103150408A (zh) * | 2013-04-02 | 2013-06-12 | 山东鲁能软件技术有限公司 | 实时数据库中根据点名找到数据库并访问的系统与方法 |
CN103150408B (zh) * | 2013-04-02 | 2016-08-03 | 山东鲁能软件技术有限公司 | 实时数据库中根据点名找到数据库并访问的系统与方法 |
CN103905526A (zh) * | 2014-03-05 | 2014-07-02 | 深圳市同洲电子股份有限公司 | 一种调度方法及服务器 |
CN104202434A (zh) * | 2014-09-28 | 2014-12-10 | 北京奇虎科技有限公司 | 节点访问方法和装置 |
CN105446913A (zh) * | 2014-09-29 | 2016-03-30 | 华为数字技术(成都)有限公司 | 一种数据访问方法及装置 |
CN105446913B (zh) * | 2014-09-29 | 2018-08-14 | 华为数字技术(成都)有限公司 | 一种数据访问方法及装置 |
WO2016065612A1 (zh) * | 2014-10-31 | 2016-05-06 | 华为技术有限公司 | 访问文件的方法、系统和主机 |
CN105739909A (zh) * | 2014-12-11 | 2016-07-06 | 国际商业机器公司 | 分布式存储系统中基于时间的数据放置方法和装置 |
US11057465B2 (en) | 2014-12-11 | 2021-07-06 | International Business Machines Corporation | Time-based data placement in a distributed storage system |
CN106354720A (zh) * | 2015-07-14 | 2017-01-25 | 腾讯科技(深圳)有限公司 | 业务数据存储方法及装置 |
CN105159985A (zh) * | 2015-08-31 | 2015-12-16 | 努比亚技术有限公司 | 基于redis集群的数据查询装置及方法 |
CN105491149A (zh) * | 2015-12-26 | 2016-04-13 | 深圳市金立通信设备有限公司 | 一种数据存储方法及终端 |
CN105491149B (zh) * | 2015-12-26 | 2019-04-23 | 深圳市金立通信设备有限公司 | 一种数据存储方法及终端 |
CN106933891A (zh) * | 2015-12-31 | 2017-07-07 | 华为技术有限公司 | 访问分布式数据库的方法和分布式数据服务的装置 |
CN106708968B (zh) * | 2016-12-01 | 2019-11-26 | 成都华为技术有限公司 | 分布式数据库系统和分布式数据库系统中的数据处理方法 |
CN106708968A (zh) * | 2016-12-01 | 2017-05-24 | 成都华为技术有限公司 | 分布式数据库系统和分布式数据库系统中的数据处理方法 |
CN107547548A (zh) * | 2017-09-05 | 2018-01-05 | 北京京东尚科信息技术有限公司 | 数据处理方法及系统 |
CN107547548B (zh) * | 2017-09-05 | 2020-06-30 | 北京京东尚科信息技术有限公司 | 数据处理方法及系统 |
CN111125155A (zh) * | 2018-10-31 | 2020-05-08 | 北京国双科技有限公司 | 基于访问路径的数据查询方法、装置、存储介质及处理器 |
CN111125155B (zh) * | 2018-10-31 | 2023-10-27 | 北京国双科技有限公司 | 基于访问路径的数据查询方法、装置、存储介质及处理器 |
Also Published As
Publication number | Publication date |
---|---|
CN102129442B (zh) | 2012-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102129442B (zh) | 一种分布式数据库系统和数据访问方法 | |
CN101216821B (zh) | 数据采集系统的存储管理方法 | |
EP3832450A1 (en) | Method for aggregation optimization of time series data | |
CN103020255B (zh) | 分级存储方法和装置 | |
CN107870981A (zh) | 电子装置、数据表归档处理的方法及存储介质 | |
US9235590B1 (en) | Selective data compression in a database system | |
CN108255838B (zh) | 一种建立用于大数据分析的中间数据仓库的方法及系统 | |
CN105975587A (zh) | 一种高性能的内存数据库索引组织与访问方法 | |
CN105930491A (zh) | 一种基于时间序列数据库InfluxDB的监控数据存储方法 | |
CN1975772B (zh) | 整合多个系统中的信息的方法和装置 | |
CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
CA3068333C (en) | Systems and methods for intelligently grouping financial product users into cohesive cohorts | |
CN101790257A (zh) | 一种存储数据的方法和网管系统 | |
WO2017076297A1 (zh) | 设备存放位置的查找方法及装置 | |
CN111913925B (zh) | 一种分布式存储系统中的数据处理方法及系统 | |
CN109918448A (zh) | 一种基于用户行为的云存储数据分级方法 | |
CN105491117A (zh) | 面向实时数据分析的流式图数据处理系统及方法 | |
CN103500177A (zh) | 一种用户激活数的统计方法及装置 | |
CN102724279B (zh) | 一种实现日志保存和管理的系统 | |
CN113326343B (zh) | 基于多级网格和文件索引的路网数据存储方法及系统 | |
CN104102557A (zh) | 一种基于聚类的云计算平台数据备份方法 | |
CN113360551B (zh) | 一种靶场中时序数据的存储与快速统计方法及系统 | |
CN110765221A (zh) | 时空轨迹数据的管理方法和装置 | |
CN106775450B (zh) | 一种混合存储系统中的数据分布方法 | |
CN111913959A (zh) | 一种数据查询方法、装置、终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |