CN105468764A - 一种数据处理方法、装置及集群服务系统 - Google Patents

一种数据处理方法、装置及集群服务系统 Download PDF

Info

Publication number
CN105468764A
CN105468764A CN201510874112.4A CN201510874112A CN105468764A CN 105468764 A CN105468764 A CN 105468764A CN 201510874112 A CN201510874112 A CN 201510874112A CN 105468764 A CN105468764 A CN 105468764A
Authority
CN
China
Prior art keywords
source data
server
data
sequence
subscript value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510874112.4A
Other languages
English (en)
Other versions
CN105468764B (zh
Inventor
谭圣辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huanju Shidai Information Technology Co Ltd
Original Assignee
Guangzhou Huaduo Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huaduo Network Technology Co Ltd filed Critical Guangzhou Huaduo Network Technology Co Ltd
Priority to CN201510874112.4A priority Critical patent/CN105468764B/zh
Publication of CN105468764A publication Critical patent/CN105468764A/zh
Application granted granted Critical
Publication of CN105468764B publication Critical patent/CN105468764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries

Abstract

本发明实施例提供一种数据处理方法、装置及集群服务系统,其中的方法可包括:服务器从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据;所述服务器根据所记录的获取时间查询目标分片标识;所述服务器对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值;所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。本发明能够在集群服务系统中各个服务器之间进行一致的数据处理流程,避免为客户端提供重复数据,提升集群服务系统的数据处理服务能力。

Description

一种数据处理方法、装置及集群服务系统
技术领域
本发明涉及互联网技术领域,具体涉及针对互联网数据的处理技术领域,尤其涉及一种数据处理方法、装置及集群服务系统。
背景技术
集群服务系统,简单来说就是将多个服务器连接在一起,协调多个服务器能够像一个服务器一样工作,也就是使多个服务器作为一个整体为客户端提供数据处理服务。目前,在许多互联网场景中常应用集群服务系统,例如在网络娱乐直播场景中使用集群服务系统,客户端通常需要在主页面随机显示多个网络主播的大量照片,这时客户端以DNS轮询的方式从集群服务系统中的各个服务器中获取照片;然而,现有集群服务系统中各个服务器对数据的处理机制是相对独立的,那么,当客户端第一次从服务器一获得第一批照片进行显示后,轮询至服务器二获取第二批照片时,第一批照片与第二批照片可能会有一些照片出现重复,使得相同照片在客户端重复展示而造成较差的显示效果,当然也给用户较差的视觉体验。
发明内容
本发明实施例提供一种数据处理方法、装置及集群服务系统,能够在集群服务系统中各个服务器之间进行一致的数据处理流程,避免为客户端提供重复数据,提升集群服务系统的数据处理服务能力。
本发明实施例第一方面提供一种数据处理方法,应用于集群服务系统,所述集群服务系统包含至少一个服务器,可包括:
所述服务器从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据;
所述服务器根据所记录的获取时间查询目标分片标识;
所述服务器对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值;
所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
优选地,所述服务器从数据库获取源数据集合并记录获取时间之前,还包括:
所述服务器按照预置周期对预设时间段进行分片处理,获得多个时间片,每个时间片对应一个时间范围;
所述服务器为每个时间片设置唯一分片标识。
优选地,所述服务器根据所记录的获取时间查询目标分片标识,包括:
所述服务器根据所记录的获取时间所属的时间范围,确定目标时间片;
所述服务器将所述目标时间片的唯一分片标识确定为目标分片标识。
优选地,所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列,包括:
所述服务器按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序处理,得到顺序排列的多个源数据;
所述服务器按照所述各个源数据的顺序,分别将所述下标集合中各下标值与所述各个源数据的ID进行关联匹配,生成随机数据序列,所述随机数据序列包括顺序排列的多个源数据,并且每个源数据的ID对应唯一一个下标值。
优选地,所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列之后,还包括:
所述服务器按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进行分页处理,获得至少一个显示分页,每个显示分页包含顺序排列的至少一个源数据;
当接收到客户端发送的携带页码的数据访问请求时,所述服务器向所述客户端返回所请求页码对应的显示分页所包含的源数据。
本发明实施例第二方面提供一种数据处理装置,可包括:
获取单元,用于从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据;
查询单元,用于根据所记录的获取时间查询目标分片标识;
随机运算单元,用于对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值;
匹配单元,用于将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
优选地,该装置还包括:
分片处理单元,用于按照预置周期对预设时间段进行分片处理,获得多个时间片,每个时间片对应一个时间范围;
标识设置单元,用于为每个时间片设置唯一分片标识。
优选地,所述查询单元包括:
分片确定单元,用于根据所记录的获取时间所属的时间范围,确定目标时间片;
标识确定单元,用于将所述目标时间片的唯一分片标识确定为目标分片标识。
优选地,匹配单元包括:
排序单元,用于按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序处理,得到顺序排列的多个源数据;
关联匹配单元,用于按照所述各个源数据的顺序,分别将所述下标集合中各下标值与所述各个源数据的ID进行关联匹配,生成随机数据序列,所述随机数据序列包括顺序排列的多个源数据,并且每个源数据的ID对应唯一一个下标值。
优选地,该装置还包括:
分页处理单元,用于按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进行分页处理,获得至少一个显示分页,每个显示分页包含顺序排列的至少一个源数据;
访问响应单元,用于当接收到客户端发送的携带页码的数据访问请求时,向所述客户端返回所请求页码对应的显示分页所包含的源数据。
本发明实施例第三方面提供一种集群服务系统,包括至少一个服务器,其中,所述服务器包括如上述第二方面所述的数据处理装置。
在本发明实施例中,针对集群服务系统中的任一个服务器所执行的数据处理流程可包括:从数据库获取包含多个源数据的源数据集合并记录获取时间;根据所记录的获取时间查询目标分片标识;对所述目标分片标识进行随机运算生成包含多个下标值的下标集合;将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。由于在集群服务系统中,每一个服务器执行相同的数据处理流程,并且,在此流程中各个服务器之间所获得的源数据集合以及下标集合具备一致性,使得各个服务器能够获得一致性的随机数据序列,那么,当客户端跨服务器进行数据访问时,各个服务器之间既能够避免为客户端提供重复数据,又能够保证所提供的源数据的连续性,从而提升了集群服务系统的数据处理服务能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种集群服务系统的结构示意图;
图2为本发明实施例提供的一种数据处理方法的流程图;
图3为本发明实施例提供的一种服务器的内部结构示意图;
图4为本发明实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
集群服务系统,简单来说就是将多个服务器连接在一起,协调多个服务器能够像一个服务器一样工作,也就是使多个服务器作为一个整体为客户端提供数据处理服务。采用集群服务系统通常能够提升数据处理能力及服务能力,同时能够保证系统的稳定性。实际应用中,集群服务系统可以被应用于各类互联网场景中,例如:在网络娱乐直播场景中,客户端通常需要在主页面随机显示多个网络主播的大量照片,那么,集群服务系统可以为客户端提供相应的图片数据处理服务;再如:在网络游戏场景中,客户端通常需要显示大量游戏场景图像,那么,集群服务系统可以为客户端提供相应的游戏场景数据处理服务。
请参见图1,为本发明实施例所提供的一种集群服务系统的结构示意图;该系统可包含至少一个服务器,图1示出服务器10、服务器20和服务器30共三个服务器。
集群服务系统中的各个服务器均连接至一个数据库,该数据库用于为集群服务系统提供各类源数据,该源数据可包括但不限于:图片、照片、游戏场景数据等等;每一个源数据都具备唯一ID,所有源数据以ID为索引被存储于该数据库中,集群服务系统中的各个服务器共享该数据库内的所有源数据。集群服务系统中的各个服务器分别与前端的多个客户端相连接,各个服务器作为一个整体为各个客户端提供数据处理服务;在本发明实施例中,客户端以DNS轮询的方式访问各个服务器,并从服务器获得所需要的数据或服务。此处,客户端可以包括但不限于:PC(PersonalComputer,个人计算机)、PDA(平板电脑)、智能手机等等。
在本发明实施例中,针对集群服务系统中的任一个服务器所执行的数据处理流程可包括:从数据库获取包含多个源数据的源数据集合并记录获取时间;根据所记录的获取时间查询目标分片标识;对所述目标分片标识进行随机运算生成包含多个下标值的下标集合;将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。由于在集群服务系统中,每一个服务器执行相同的数据处理流程,并且,在此流程中各个服务器之间所获得的源数据集合以及下标集合具备一致性,使得各个服务器能够获得一致性的随机数据序列,那么,当客户端以DNS轮询的方式依次访问各个服务器时,各个服务器之间既能够避免为客户端提供重复数据,又能够保证所提供的源数据的连续性,从而提升了集群服务系统的数据处理服务能力。
基于上述原理,本发明实施例提供了一种数据处理方法,该方法应用于集群服务系统中,具体可以应用于图1所示的集群服务系统中,并且,该方法可以是由集群服务系统中的任一个服务器在执行数据处理的过程中所形成的方法。请参见图2,针对集群服务系统中的任一个服务器在运行数据处理方法时可执行如下步骤:
S101,所述服务器从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据。
为了更方便地对各类源数据进行管理,同时为了能够更便捷地为集群服务系统提供各类源数据,数据库通常以集合的方式分类存储各类源数据,例如:数据库包括“主播相册”集合,该集合内存储了关于网络主播的所有照片或图片。针对集群服务系统的应用场景,集群服务系统内的各个服务器通常按照一定的频率或周期从该数据库中获取相应的源数据集合进行数据处理。在本步骤中,服务器在从数据库中获取源数据集合的同时还记录获取时间,例如:服务器10在11:00:00从数据库获取源数据集合,那么,服务器10同时记录此源数据集合的获取时间为11:00:00。
可选地,在执行步骤S101之前,服务器还可执行如下步骤s11-s12:
s11,所述服务器按照预置周期对预设时间段进行分片处理,获得多个时间片,每个时间片对应一个时间范围。
预置周期可以根据实际情况进行设置,例如:集群服务系统中的各个服务器协商一致确定从数据库获取源数据的获取频率,那么预置周期可以设置为该获取频率;再如:可以将源数据的刷新频率设置为预置周期,如客户端通常需要每15分钟刷新一次所展示的网络主播的照片,即该源数据的刷新频率为15分钟,那么预置周期可设置为15分钟。预设时间段可以根据实际需要进行设置,例如:预设时间段可设置为一天即0:00:00-23:59:59,或者9:00:00-12:00:00,或者14:00:00-24:00:00,等等。在本步骤中,将预设时间段划分为多个时间片,每个时间片的长度即为一个预置周期;比如:预置周期为15分钟,预设时间段为一天即0:00:00-23:59:59,那么,可将一天划分为96个时间片,每个时间片的长度为15分钟,第一个时间片对应时间范围为[0:00:00-0:14:59],第二个时间片对应时间范围为[0:15:00-0:29:59],以此类推。
s12,所述服务器为每个时间片设置唯一分片标识。
分片标识用于唯一标识一个时间片,优选地,该分片标识可以为一个字符串;例如:假设一天被划分为N(N为正整数)个时间片,那么,字符串a1b1c1d1可用于唯一标识第一个时间片,字符串a2b2c2d2可用于唯一标识第二个时间片,字符串ajbjcjdj可用于唯一标识第j(j为正整数且1≤j≤N)个时间片,以此类推,字符串anbncndn可用于唯一标识第N个时间片。可以理解的是,上述例子中分片标识以字符串ajbjcjdj表示仅为举例,字符串的目的在于唯一标识一个时间片,因此,只需要保证每个时间片对应的唯一字符串之间相互区别,而每个字符串的长度或表现形式本发明实施例并不作限定。
S102,所述服务器根据所记录的获取时间查询目标分片标识。
根据所记录的获取时间可以确定服务器是在哪个时间片执行获取源数据集合的动作,进而可以查询到目标分片标识。具体实现中,服务器在执行步骤S102的过程中具体执行如下步骤s21-s22:
s21,所述服务器根据所记录的获取时间所属的时间范围,确定目标时间片。
s22,所述服务器将所述目标时间片的唯一分片标识确定为目标分片标识。
如前述,服务器中预先已存储多个时间片、每个时间片对应的时间范围以及每个时间片的分片标识;那么,步骤s21-s22中,服务器根据所记录的获取时间所属的时间范围可确定目标时间片,进而能够查询到该目标时间片的唯一分片标识,从而确定目标分片标识。
S103,所述服务器对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值。
服务器可以将目标分片标识作为输入参数,采用随机算法对该输入参数进行随机运算生成下标集合。此处的随机算法可以包括但不限于:RSA算法、哈希算法等等。实际应用中,为了更好地实现与源数据集合进行匹配,通常下标集合所包含的下标值的数量需要大于或等于源数据集合所包含的源数据的数量,服务器可以根据所需要的下标值的数量选取适合的随机算法进行随机运算;需要注意的是,所述下标集合所包含的下标值的数量越大,服务器进行随机运算所耗费的时间越长,因此,服务器还可以根据实际的运算能力选取适合的随机算法进行随机运算;本实施例中,假设获得的下标集合中包含M(M为正整数)个下标值,那么,该下标集合可表示如下表一:
表一:下标集合
序号 下标值
1 i1
2 i2
M im
S104,所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
在本步骤中,服务器需要将下标集合中的一个下标值关联匹配给源数据集合中的唯一一个源数据,也就是说,一个源数据唯一关联一个下标值;那么,集群服务系统中的每个服务器均可以依据源数据所关联的下标值来对源数据进行诸如分页、排序等等处理,这样当客户端跨服务器获取多个源数据时,可以避免客户端每次获取到重复的源数据,同时可以保证客户端能够获取到连续的源数据。服务器在执行步骤S104的过程中具体执行如下步骤s31-s32:
s31,所述服务器按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序处理,得到顺序排列的多个源数据。
服务器可以按照一定的规则进行排序处理,例如:针对主播相册,服务器可以按照网络主播的当红程度由强至弱的顺序,对网络主播的照片按照ID进行排序,或者,可以按照用户访问习惯,如偏好访问网络主播的搞笑类图片等等,对网络主播的照片按照ID进行排序。本实施例中,假设排序处理后的源数据集合中包含P(P为正整数且P≤M)个顺序排列的源数据,那么,该排序处理后的源数据集合可表示如下表二:
表二:排序处理后的源数据集合
ID 源数据
ID-1 源数据1
ID-2 源数据2
ID-P 源数据P
s32,所述服务器按照所述各个源数据的顺序,分别将所述下标集合中各下标值与所述各个源数据的ID进行关联匹配,生成随机数据序列,所述随机数据序列包括顺序排列的多个源数据,并且每个源数据的ID对应唯一一个下标值。
按照本实施例所示例子,所述随机数据序列可表示如下表三:
表三:随机数据序列
ID 源数据 下标值
ID-1 源数据1 i1
ID-2 源数据2 i2
ID-P 源数据P ip
在本发明实施例中,由于集群服务系统中每一个服务器均采用相同的方式执行上述步骤S101-S104相同的数据处理流程,在此流程中各个服务器之间所获得的源数据集合以及下标集合具备一致性,使得各个服务器能够获得一致性的随机数据序列,那么,当客户端跨服务器获取多个源数据时,比如:客户端从服务器10获得了下标值从i1至i4共四个源数据,那么,客户端轮询至服务器20时则可避免重复获取i1至i4这四个源数据,而可以从服务器20获取下标值从i5开始的多个源数据,这样也保证了所获取的源数据的连续性。
可选地,服务器在执行步骤S104之后,还可执行如下步骤s41-s42:
s41,所述服务器按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进行分页处理,获得至少一个显示分页,每个显示分页包含顺序排列的至少一个源数据。
服务器可以根据显示需要进行分页处理,由于随机数据序列中源数据是顺序排列的,因此,服务器仅需要简单地根据每个显示分页所要求显示的源数据的数量,按照下标值对随机数据序列进行分页处理。假设每个显示分页要求显示10个源数据,那么,针对上述表三进行分页处理之后,可以得到:第一个显示分页包括下标值从i1至i10共10个源数据,第二个显示分页包括下标值从i11至i20共10个源数据,以此类推。可以理解的是,最后一个显示分页所包括的源数据的数量可以小于或等于10。
s42,当接收到客户端发送的携带页码的数据访问请求时,所述服务器向所述客户端返回所请求页码对应的显示分页所包含的源数据。
如前述,客户端以DNS轮询的方式访问集群服务系统,那么,客户端可以跨服务器获取多个显示分页的源数据,比如:客户端可以从服务器10请求访问获得第一个显示分页的源数据,那么,服务器10向客户端返回第一个显示分页所包含获得了下标值从i1至i10共10个源数据;客户端轮询至服务器20请求访问第二个显示分页,那么,服务器20向客户端返回第二个显示分页所包含获得了下标值从i11至i20共10个源数据,以此类推。这样,客户端可以从集群服务系统获取到连续的显示分页,且每个显示分页所包含的源数据相互之间不重复,使得源数据在客户端获得较佳的显示效果,从而使用户获得较佳的使用体验。
如上可见,本发明实施例的数据处理方法的流程由集群服务系统中的任一个服务器所执行,由于每一个服务器执行相同的数据处理流程,并且,在此流程中各个服务器之间所获得的源数据集合以及下标集合具备一致性,使得各个服务器能够获得一致性的随机数据序列,那么,当客户端以DNS轮询的方式依次访问各个服务器时,各个服务器之间既能够避免为客户端提供重复数据,又能够保证所提供的源数据的连续性,从而提升了集群服务系统的数据处理服务能力。
基于上述实施例所示的数据处理方法,本发明实施例还提供了一种服务器,该服务器可以为图1所示的集群服务系统中的任一个服务器,该服务器可以用于执行上述方法流程的各步骤。请参见图3,该服务器的内部结构可包括但不限于:处理器、网络接口及存储器。其中,服务器内的处理器、网络接口及存储器可通过总线或其他方式连接,在本发明实施例所示图3中以通过总线连接为例。
其中,处理器(或称CPU(CentralProcessingUnit,中央处理器))是服务器的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是服务器中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间,该存储空间存储了服务器的操作系统,可包括但不限于:Windows系统(一种操作系统)、Luix(一种操作系统)系统等等,本发明对此并不作限定。存储器的存储空间还存储了数据处理装置,服务器通过运行存储器中所存储的数据处理装置,可从数据库获取包含多个源数据的源数据集合并记录获取时间;根据所记录的获取时间查询目标分片标识;对所述目标分片标识进行随机运算生成包含多个下标值的下标集合;将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
在本发明实施例中,服务器通过运行存储器中的数据处理装置来执行上述方法流程的各步骤。请一并参见图4,在数据处理过程中,该装置运行如下单元:
获取单元101,用于从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据。
查询单元102,用于根据所记录的获取时间查询目标分片标识。
随机运算单元103,用于对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值。
匹配单元104,用于将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
可选地,该装置还运行如下单元:
分片处理单元105,用于按照预置周期对预设时间段进行分片处理,获得多个时间片,每个时间片对应一个时间范围。
标识设置单元106,用于为每个时间片设置唯一分片标识。
基于此描述,所述查询单元102具体运行如下单元:
分片确定单元1001,用于根据所记录的获取时间所属的时间范围,确定目标时间片。
标识确定单元1002,用于将所述目标时间片的唯一分片标识确定为目标分片标识。
所述匹配单元104具体运行如下单元:
排序单元2001,用于按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序处理,得到顺序排列的多个源数据。
关联匹配单元2002,用于按照所述各个源数据的顺序,分别将所述下标集合中各下标值与所述各个源数据的ID进行关联匹配,生成随机数据序列,所述随机数据序列包括顺序排列的多个源数据,并且每个源数据的ID对应唯一一个下标值。
可选地,该装置还运行如下单元:
分页处理单元107,用于按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进行分页处理,获得至少一个显示分页,每个显示分页包含顺序排列的至少一个源数据。
访问响应单元108,用于当接收到客户端发送的携带页码的数据访问请求时,向所述客户端返回所请求页码对应的显示分页所包含的源数据。
与图2所示的方法同理,集群服务系统中的任一个服务器通过运行本发明实施例的数据处理装置从而执行相同的数据处理流程,并且,在此流程中各个服务器之间所获得的源数据集合以及下标集合具备一致性,使得各个服务器能够获得一致性的随机数据序列,那么,当客户端以DNS轮询的方式依次访问各个服务器时,各个服务器之间既能够避免为客户端提供重复数据,又能够保证所提供的源数据的连续性,从而提升了集群服务系统的数据处理服务能力。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (11)

1.一种数据处理方法,应用于集群服务系统,所述集群服务系统包含至少一个服务器,其特征在于:
所述服务器从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据;
所述服务器根据所记录的获取时间查询目标分片标识;
所述服务器对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值;
所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
2.如权利要求1所述的方法,其特征在于,所述服务器从数据库获取源数据集合并记录获取时间之前,还包括:
所述服务器按照预置周期对预设时间段进行分片处理,获得多个时间片,每个时间片对应一个时间范围;
所述服务器为每个时间片设置唯一分片标识。
3.如权利要求2所述的方法,其特征在于,所述服务器根据所记录的获取时间查询目标分片标识,包括:
所述服务器根据所记录的获取时间所属的时间范围,确定目标时间片;
所述服务器将所述目标时间片的唯一分片标识确定为目标分片标识。
4.如权利要求1-3任一项所述的方法,其特征在于,所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列,包括:
所述服务器按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序处理,得到顺序排列的多个源数据;
所述服务器按照所述各个源数据的顺序,分别将所述下标集合中各下标值与所述各个源数据的ID进行关联匹配,生成随机数据序列,所述随机数据序列包括顺序排列的多个源数据,并且每个源数据的ID对应唯一一个下标值。
5.如权利要求4所述的方法,其特征在于,所述服务器将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列之后,还包括:
所述服务器按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进行分页处理,获得至少一个显示分页,每个显示分页包含顺序排列的至少一个源数据;
当接收到客户端发送的携带页码的数据访问请求时,所述服务器向所述客户端返回所请求页码对应的显示分页所包含的源数据。
6.一种数据处理装置,其特征在于,包括:
获取单元,用于从数据库获取源数据集合并记录获取时间,所述源数据集合包括多个源数据;
查询单元,用于根据所记录的获取时间查询目标分片标识;
随机运算单元,用于对所述目标分片标识进行随机运算生成下标集合,所述下标集合包括多个下标值;
匹配单元,用于将所述源数据集合中的源数据分别与所述下标集合中的下标值进行匹配,生成随机数据序列。
7.如权利要求6所述的装置,其特征在于,还包括:
分片处理单元,用于按照预置周期对预设时间段进行分片处理,获得多个时间片,每个时间片对应一个时间范围;
标识设置单元,用于为每个时间片设置唯一分片标识。
8.如权利要求7所述的装置,其特征在于,所述查询单元包括:
分片确定单元,用于根据所记录的获取时间所属的时间范围,确定目标时间片;
标识确定单元,用于将所述目标时间片的唯一分片标识确定为目标分片标识。
9.如权利要求6-8任一项所述的装置,其特征在于,匹配单元包括:
排序单元,用于按照所述源数据集合中各个源数据的ID对所述各个源数据进行排序处理,得到顺序排列的多个源数据;
关联匹配单元,用于按照所述各个源数据的顺序,分别将所述下标集合中各下标值与所述各个源数据的ID进行关联匹配,生成随机数据序列,所述随机数据序列包括顺序排列的多个源数据,并且每个源数据的ID对应唯一一个下标值。
10.如权利要求9所述的装置,其特征在于,还包括:
分页处理单元,用于按照所述随机数据序列中各个源数据的顺序对所述随机数据序列进行分页处理,获得至少一个显示分页,每个显示分页包含顺序排列的至少一个源数据;
访问响应单元,用于当接收到客户端发送的携带页码的数据访问请求时,向所述客户端返回所请求页码对应的显示分页所包含的源数据。
11.一种集群服务系统,包括至少一个服务器,其特征在于,所述服务器包括如权利要求6-10任一项所述的数据处理装置。
CN201510874112.4A 2015-12-02 2015-12-02 一种数据处理方法、装置及集群服务系统 Active CN105468764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510874112.4A CN105468764B (zh) 2015-12-02 2015-12-02 一种数据处理方法、装置及集群服务系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510874112.4A CN105468764B (zh) 2015-12-02 2015-12-02 一种数据处理方法、装置及集群服务系统

Publications (2)

Publication Number Publication Date
CN105468764A true CN105468764A (zh) 2016-04-06
CN105468764B CN105468764B (zh) 2019-07-02

Family

ID=55606464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510874112.4A Active CN105468764B (zh) 2015-12-02 2015-12-02 一种数据处理方法、装置及集群服务系统

Country Status (1)

Country Link
CN (1) CN105468764B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570060A (zh) * 2016-09-30 2017-04-19 微梦创科网络科技(中国)有限公司 一种信息流中数据的随机抽取方法及装置
CN107046564A (zh) * 2017-01-19 2017-08-15 腾讯科技(深圳)有限公司 一种数据选取方法及相关装置
CN107679203A (zh) * 2017-10-12 2018-02-09 广州华多网络科技有限公司 一种Redis内部数据库调用方法及系统
CN107943807A (zh) * 2016-10-13 2018-04-20 华为技术有限公司 一种数据处理方法及存储设备
CN108573044A (zh) * 2018-04-16 2018-09-25 上海与德科技有限公司 一种相册处理方法、装置、终端及存储介质
CN110881058A (zh) * 2018-09-06 2020-03-13 阿里巴巴集团控股有限公司 请求调度方法、装置、服务器及存储介质
CN111522710A (zh) * 2020-04-16 2020-08-11 星环信息科技(上海)有限公司 基于大数据的数据压缩方法、设备及介质
CN112507031A (zh) * 2020-12-22 2021-03-16 四川新网银行股份有限公司 一种数据库切换自动重连方法以及可读存储介质
CN112764988A (zh) * 2021-01-08 2021-05-07 城云科技(中国)有限公司 一种数据分段采集方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932813A (zh) * 2006-10-08 2007-03-21 张弘 借助精选图片在视屏上的自动插播实现个性化信息交互的方法
CN1967520A (zh) * 2005-11-15 2007-05-23 英业达股份有限公司 随机播放系统及方法
CN101102312A (zh) * 2007-06-11 2008-01-09 华为技术有限公司 一种网络通信数据处理方法、网络通信系统及客户端
CN101420457A (zh) * 2008-12-03 2009-04-29 腾讯科技(深圳)有限公司 对等体下载数据分片的方法、装置及对等体
US20090240355A1 (en) * 2004-12-10 2009-09-24 Koninklijke Philips Electronics, N.V. Multiuser playlist generation
US20110003610A1 (en) * 2008-03-06 2011-01-06 Toumaz Technology Limited Monitoring and Tracking of Wireless Sensor Devices
CN102377524A (zh) * 2011-10-11 2012-03-14 北京邮电大学 分片处理的方法和系统
CN103530086A (zh) * 2013-09-26 2014-01-22 福建升腾资讯有限公司 一种分散机制的软件随机数生成方法
CN103853752A (zh) * 2012-11-30 2014-06-11 国际商业机器公司 管理时间序列数据库的方法和装置
CN104679896A (zh) * 2015-03-18 2015-06-03 成都金本华科技股份有限公司 一种大数据环境下的智能检索方法
CN104966526A (zh) * 2015-01-14 2015-10-07 腾讯科技(深圳)有限公司 一种随机播放方法及装置
CN104967635A (zh) * 2014-05-22 2015-10-07 腾讯科技(深圳)有限公司 一种数据传输方法及装置
CN105047210A (zh) * 2015-08-25 2015-11-11 广东欧珀移动通信有限公司 一种随机播放列表的跨设备同步方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090240355A1 (en) * 2004-12-10 2009-09-24 Koninklijke Philips Electronics, N.V. Multiuser playlist generation
CN1967520A (zh) * 2005-11-15 2007-05-23 英业达股份有限公司 随机播放系统及方法
CN1932813A (zh) * 2006-10-08 2007-03-21 张弘 借助精选图片在视屏上的自动插播实现个性化信息交互的方法
CN101102312A (zh) * 2007-06-11 2008-01-09 华为技术有限公司 一种网络通信数据处理方法、网络通信系统及客户端
US20110003610A1 (en) * 2008-03-06 2011-01-06 Toumaz Technology Limited Monitoring and Tracking of Wireless Sensor Devices
CN101420457A (zh) * 2008-12-03 2009-04-29 腾讯科技(深圳)有限公司 对等体下载数据分片的方法、装置及对等体
CN102377524A (zh) * 2011-10-11 2012-03-14 北京邮电大学 分片处理的方法和系统
CN103853752A (zh) * 2012-11-30 2014-06-11 国际商业机器公司 管理时间序列数据库的方法和装置
CN103530086A (zh) * 2013-09-26 2014-01-22 福建升腾资讯有限公司 一种分散机制的软件随机数生成方法
CN104967635A (zh) * 2014-05-22 2015-10-07 腾讯科技(深圳)有限公司 一种数据传输方法及装置
CN104966526A (zh) * 2015-01-14 2015-10-07 腾讯科技(深圳)有限公司 一种随机播放方法及装置
CN104679896A (zh) * 2015-03-18 2015-06-03 成都金本华科技股份有限公司 一种大数据环境下的智能检索方法
CN105047210A (zh) * 2015-08-25 2015-11-11 广东欧珀移动通信有限公司 一种随机播放列表的跨设备同步方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贺栋博: "视频推荐系统数据分析决策平台", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570060B (zh) * 2016-09-30 2020-03-10 微梦创科网络科技(中国)有限公司 一种信息流中数据的随机抽取方法及装置
CN106570060A (zh) * 2016-09-30 2017-04-19 微梦创科网络科技(中国)有限公司 一种信息流中数据的随机抽取方法及装置
CN107943807A (zh) * 2016-10-13 2018-04-20 华为技术有限公司 一种数据处理方法及存储设备
CN107943807B (zh) * 2016-10-13 2020-06-16 华为技术有限公司 一种数据处理方法及存储设备
CN107046564A (zh) * 2017-01-19 2017-08-15 腾讯科技(深圳)有限公司 一种数据选取方法及相关装置
CN107679203A (zh) * 2017-10-12 2018-02-09 广州华多网络科技有限公司 一种Redis内部数据库调用方法及系统
CN107679203B (zh) * 2017-10-12 2020-11-13 广州华多网络科技有限公司 一种Redis内部数据库调用方法及系统
CN108573044A (zh) * 2018-04-16 2018-09-25 上海与德科技有限公司 一种相册处理方法、装置、终端及存储介质
CN110881058B (zh) * 2018-09-06 2022-04-12 阿里巴巴集团控股有限公司 请求调度方法、装置、服务器及存储介质
CN110881058A (zh) * 2018-09-06 2020-03-13 阿里巴巴集团控股有限公司 请求调度方法、装置、服务器及存储介质
CN111522710A (zh) * 2020-04-16 2020-08-11 星环信息科技(上海)有限公司 基于大数据的数据压缩方法、设备及介质
CN111522710B (zh) * 2020-04-16 2021-02-26 星环信息科技(上海)股份有限公司 基于大数据的数据压缩方法、设备及介质
CN112507031A (zh) * 2020-12-22 2021-03-16 四川新网银行股份有限公司 一种数据库切换自动重连方法以及可读存储介质
CN112507031B (zh) * 2020-12-22 2023-06-06 四川新网银行股份有限公司 一种数据库切换自动重连方法以及可读存储介质
CN112764988A (zh) * 2021-01-08 2021-05-07 城云科技(中国)有限公司 一种数据分段采集方法及装置
CN112764988B (zh) * 2021-01-08 2024-02-23 城云科技(中国)有限公司 一种数据分段采集方法及装置

Also Published As

Publication number Publication date
CN105468764B (zh) 2019-07-02

Similar Documents

Publication Publication Date Title
CN105468764A (zh) 一种数据处理方法、装置及集群服务系统
EP3399434B1 (en) Short link processing method, device and server
US11122128B2 (en) Method and device for customer resource acquisition, terminal device and storage medium
CN102141963B (zh) 一种数据分析方法和设备
CN104504077B (zh) 网页访问数据的统计方法和装置
EP3401807B1 (en) Synopsis based advanced partition elimination
CN103970870A (zh) 数据库查询方法和服务器
RU2013143815A (ru) Компьютерная система, база данных и использование таковых
TW201401210A (zh) 業務對象推送的方法以及裝置
CN110168529A (zh) 数据存储方法、装置和存储介质
CN108182258B (zh) 分布式的数据分析系统及方法
EP3217296A1 (en) Data query method and apparatus
EP3051440A1 (en) Keyvalue database data table updating method and data table updating device
US11625384B2 (en) Constraint data statistics for dynamic partition pruning
CN109977135A (zh) 一种数据查询方法、装置及服务器
CN106168963A (zh) 实时流数据的处理方法、装置及服务器
CN110309142B (zh) 规则管理的方法和装置
CN111400301B (zh) 一种数据查询方法、装置及设备
CN114328632A (zh) 基于位图的用户数据分析方法、装置及计算机设备
CN107357557B (zh) 一种信息更新方法及装置
CN106899558B (zh) 访问请求的处理方法、装置和存储介质
CN109992325B (zh) 信息显示方法、装置、存储介质和电子装置
CN105162842A (zh) 一种应用墙中应用的显示方法及装置
CN108009247B (zh) 信息推送方法及装置
CN113905252B (zh) 直播间的数据存储方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190603

Address after: 511449 23 floors, B-1 Building, North Wanda Commercial Square, Wanbo Business District, 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou gathered era Mdt InfoTech Ltd

Address before: 511442 24 floors, B-1 Building, Wanda Commercial Square North District, Wanbo Business District, 79 Wanbo Second Road, Nancun Town, Panyu District, Guangzhou City, Guangdong Province

Applicant before: Guangzhou Huaduo Network Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant