CN104572860A - 一种数据处理方法和系统 - Google Patents

一种数据处理方法和系统 Download PDF

Info

Publication number
CN104572860A
CN104572860A CN201410790322.0A CN201410790322A CN104572860A CN 104572860 A CN104572860 A CN 104572860A CN 201410790322 A CN201410790322 A CN 201410790322A CN 104572860 A CN104572860 A CN 104572860A
Authority
CN
China
Prior art keywords
caching server
data
server
time period
caching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410790322.0A
Other languages
English (en)
Other versions
CN104572860B (zh
Inventor
李荣尊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Pierre Blaney Software Co Ltd
Original Assignee
Beijing Pierre Blaney Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Pierre Blaney Software Co Ltd filed Critical Beijing Pierre Blaney Software Co Ltd
Priority to CN201410790322.0A priority Critical patent/CN104572860B/zh
Publication of CN104572860A publication Critical patent/CN104572860A/zh
Application granted granted Critical
Publication of CN104572860B publication Critical patent/CN104572860B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理系统,包括数据库服务器、写处理器、多个缓存服务器和读处理器,其中:写处理器适于在接收到数据库服务器发送的写数据请求时,根据当前时间从多个缓存服务器中选择一个缓存服务器,其中所述当前时间落入到了所选择的缓存服务器的写时间段内,并根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中;读处理器适于在接收到应用服务器发送的读数据请求时,根据当前时间从多个缓存服务器中选择一个缓存服务器,其中所述当前时间未落入到所选择的缓存服务器的写时间段内,并从所选择的缓存服务器获取与该读数据请求对应的数据条目返回给应用服务器。本发明还公开了一种对应的数据处理方法。

Description

一种数据处理方法和系统
技术领域
本发明涉及计算机和互联网领域,具体涉及一种数据处理方法和系统。
背景技术
图1为现有的一种数据处理系统的结构图。如图1所示,该数据处理系统包括数据库服务器110、主缓存服务器(Redis Master)120、从缓存服务器(Redis Slave)130和负载均衡器140,数据库服务器110与主缓存服务器120通信连接,主缓存服务器120与从缓存服务器130通信连接,且主缓存服务器120和从缓存服务器130均通信连接至负载均衡器140,负载均衡器140与多个应用服务器150例如网页服务器(WebServer)通信连接。
在该数据处理系统中,使用Redis作为数据库服务器110所存储的数据的缓存系统,且Redis的部署结构为主从架构。应用服务器150进行数据查询时,其读数据请求会首先到达负载均衡器140,负载均衡器140采用预定的负载均衡算法来从主缓存服务器120和从缓存服务器130中选择一个,并从所选择的缓存服务器中获取相应数据后,返回给应用服务器140。
通常,缓存服务器中缓存的数据具有过期时间,如不及时进行缓存更新,应用服务器有可能会从缓存服务器中获取过期的数据。因此,数据库服务器110会按照预定周期对Redis中缓存的数据进行更新。缓存更新的过程一般为:数据库服务器110将数据写入到主缓存服务器120,主缓存服务器120将所缓存的数据同步到从缓存服务器130。
但是,数据库服务器110中通常存储大量数据,在缓存更新周期到达时,数据库服务器110需要集中写入大量数据到缓存服务器。而Redis是单线程方式响应请求,由于写入数据量非常大,在写入数据的同时来自于前端应用服务器150的查询请求会受到阻塞排队,严重时导致应用服务器150无法和Redis服务建立连接,使得系统的响应时间过长。而且,主缓存服务器120会同步大量数据到从缓存服务器130,导致从缓存服务器130上出现加载数据(load data in memory)异常,严重影响前端业务服务器的稳定。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法和系统。
根据本发明的一个方面,提供了一种数据处理系统,包括数据库服务器、写处理器、多个缓存服务器和读处理器,所述写处理器和读处理器中均存储有各缓存服务器与对该缓存服务器所存储的数据进行更新的写时间段的关联关系,其中:所述写处理器适于在接收到数据库服务器发送的写数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间落入到了所选择的缓存服务器的写时间段内,并根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中;所述读处理器适于在接收到应用服务器发送的读数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间未落入到所选择的缓存服务器的写时间段内,并从所选择的缓存服务器获取与该读数据请求对应的数据条目,将获取到的数据条目返回给应用服务器。
可选地,在根据本发明的数据处理系统中,所述多个缓存服务器为两个缓存服务器,分别为第一缓存服务器和第二缓存服务器,所述第一缓存服务器的写时间段和所述第二缓存服务器的写时间段是对预定长度的时间段进行划分得到的两个时间段。
可选地,在根据本发明的数据处理系统中,所述数据库服务器适于根据对数据条目的每种查询条件,获取与该查询条件相关联的数据条目,并根据查询条件与数据条目的关联关系来构造写数据请求,相应地,所述写处理器进一步适于根据该写数据请求将查询条件以及与该查询条件关联的数据条目相关联的存储到缓存服务器中。
可选地,在根据本发明的数据处理系统中,所述读处理器进一步适于根据读数据请求所携带的查询条件,从缓存服务器获取与该查询条件相关联的数据条目。
可选地,在根据本发明的数据处理系统中,数据库服务器中的数据条目是以关系型数据库方式进行存储;缓存服务器中的数据条目是以查询条件为键、以相关联的数据条目为值的键-值方式进行存储。
可选地,在根据本发明的数据处理系统中,所述第一缓存服务器的写时间段的长度等于所述第二缓存服务器的写时间段的长度。
根据本发明的另一方面,提供了一种数据处理方法,适于在包括数据库服务器、写处理器、多个缓存服务器和读处理器的数据处理系统中执行,所述数据处理方法包括:在写处理器和读处理器中存储各缓存服务器与对该缓存服务器所存储的数据进行更新的写时间段的关联关系;写处理器在接收到数据库服务器发送的写数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间落入到了所选择的缓存服务器的写时间段内,并根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中;读处理器在接收到应用服务器发送的读数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间未落入到所选择的缓存服务器的写时间段内,并从所选择的缓存服务器获取与该读数据请求对应的数据条目,将获取到的数据条目返回给应用服务器。
可选地,在根据本发明的数据处理方法中,所述多个缓存服务器为两个缓存服务器,分别为第一缓存服务器和第二缓存服务器,所述第一缓存服务器的写时间段和所述第二缓存服务器的写时间段是对预定长度的时间段进行划分得到的两个时间段。
可选地,根据本发明的数据处理方法还包括:数据库服务器根据对数据条目的每种查询条件,获取与该查询条件相关联的数据条目,并根据查询条件与数据条目的关联关系构造写数据请求,将所构造的写数据请求发送到写处理器;所述根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中,包括:根据该写数据请求将查询条件以及与该查询条件关联的数据条目相关联的存储到缓存服务器中。
可选地,在根据本发明的数据处理方法中,所述从所选择的缓存服务器获取与该读数据请求对应的数据条目,包括:根据读数据请求所携带的查询条件,从缓存服务器获取与该查询条件相关联的数据条目。
可选地,在根据本发明的数据处理方法中,数据库服务器中的数据条目是以关系型数据库方式进行存储;缓存服务器中的数据条目是以查询条件为键、以相关联的数据条目为值的键-值方式进行存储。
可选地,在根据本发明的数据处理方法中,所述第一缓存服务器的写时间段的长度等于所述第二缓存服务器的写时间段的长度。
根据本发明的数据处理方案,通过为各缓存服务器分别分配写时间段,在缓存服务器的写时间段内响应写数据请求,实现缓存的更新,在写时间段之外的时间段响应读数据请求,完成业务查询,从而隔离了在同一缓存服务器上的读操作和写操作,避免了读操作与写操作之间的相互影响,使得系统响应时间短,系统性能更加稳定。并且,还取消了缓存服务器的主从部署方式,这样就不用在各个缓存服务器之间同步数据,消除了大量数据同步对业务查询的负面影响。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了现有的一种数据处理系统的结构图;
图2示出了根据本发明一个实施例的数据处理系统的结构图;以及
图3示出了根据本发明一个实施例的数据处理方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图2示出了根据本发明一个实施例的数据处理系统的结构图。如图2所示,该数据处理系统包括数据库服务器210、写处理器220、多个缓存服务器(图中示出了2个,分别为第一缓存服务器230和第二缓存服务器240)和读处理器250,写处理器220一方面与数据库服务器210通信连接,另一方面与所述多个缓存服务器中的每个缓存服务器通信连接,读处理器250一方面与所述多个缓存服务器中的每个缓存服务器通信连接,另一方面与一个或多个应用服务器260例如网页服务器(WebServer)通信连接。
在本发明实施例的数据处理系统中,多个缓存服务器构成数据库服务器210所存储的数据的缓存系统。应用服务器260需要查询数据时,不需要对数据库服务器210中的数据进行直接操作,而是从缓存服务器获取需要查询的数据,由于缓存服务器中的数据存储在内存中,访问速度快,因此能够提高数据查询的速度。另外,由于缓存服务器中缓存的数据具有过期时间,如不及时进行缓存更新,应用服务器260有可能会从缓存服务器中获取过期的数据。因此,数据库服务器110会按照预定周期对缓存服务器中缓存的数据进行更新。
缓存内容更新和数据查询操作的流程为:在缓存数据的更新周期中,数据库服务器210构造写数据请求发送到写处理器220,该写数据请求中携带需要更新到缓存服务器的数据条目,写处理器220接收到数据库服务器210发送的写数据请求时,根据该写数据请求将数据库服务器210中存储的数据条目写入到缓存服务器中,实现缓存内容的更新;应用服务器260需要查询数据时,构造读数据请求发送到读处理器250,该读数据请求中携带查询条件,读处理器250接收到应用服务器260发送的读数据请求时,根据该读数据请求包括的查询条件从缓存服务器获取数据条目,将获取到的数据条目返回给应用服务器260,完成数据的查询过程。
在本发明实施例的数据处理系统中,为进一步提高数据查询的响应速度,还预先为各缓存服务器分别分配一个写时间段,即每个缓存服务器与一个写时间段相关联,且各缓存服务器的写时间段互不交叉,并将缓存服务器与写时间段的关联关系存储在写处理器220和读处理器250中。这样,写处理器220和读处理器250就能够根据所存储的缓存服务器与写时间段的关联关系,对写数据请求和读数据请求进行控制,在缓存服务器的写时间段内,对该缓存服务器缓存的内容进行更新,而在除了写时间段之外的其他时间段,可以调度该缓存服务器对数据查询操作进行响应,使得对于同一缓存服务器而言,不会对该缓存服务器同时进行读操作和写操作,从而避免读操作与写操作之间的相互影响,使得系统响应时间短,系统性能更加稳定。
具体地,写处理器220在接收到数据库服务器210发送的写数据请求时,将当前时间与各缓存服务器的写时间段进行比较,来确定当前时间落入到了哪个缓存服务器的写时间段内,从而选择该缓存服务器,并根据该写数据请求将数据库服务器210中存储的相应数据条目写入到所选择的缓存服务器中。
相应地,读处理器250在接收到应用服务器260发送的读数据请求时,将当前时间与各缓存服务器的写时间段进行比较,来确定当前时间落入到了哪个缓存服务器的写时间段内,以排除该缓存服务器,从剩余的缓存服务器中选择(例如按照预定的负载均衡算法进行选择)一个缓存服务器,并从所选择的缓存服务器获取与该读数据请求对应的数据条目,将获取到的数据条目返回给应用服务器260。
在一种实现方式中,所述多个缓存服务器为两个缓存服务器,分别为第一缓存服务器230和第二缓存服务器240。在此种情况下,可以将预定长度的时间段划分为两个时间段,分别为第一时间段和第二时间段,且第一时间段和第二时间段互不交叉,并将第一时间段分配给第一缓存服务器230,作为第一缓存服务器230的写时间段,将第二时间段分配给第二缓存服务器240,作为第二缓存服务器240的读时间段。相应地,第二时间段就是第一缓存服务器230的读时间段,第一时间段就是第二缓存服务器240的读时间段。为方便调度,可以对所述预定长度的时间段进行平均划分,使得第一时间段的长度等于第二时间段的长度,其中,这两个时间段的长度可以小于或等于缓存的更新周期。
例如,根据数据库服务器210的所存储的数据规模以及系统的数据处理能力,确定缓存的更新周期小于半小时,则可以对时间进行分片,分片逻辑为将每天中的每个小时划分为上、下半小时,将上半小时作为第一缓存服务器230的写时间段,将下半小时作为第二缓存服务器240的写时间段。在此种实现方式下,在每个XX:00-XX:30时间段,写业务访问第一缓存服务器230,读业务访问第二缓存服务器240;在每个XX:30-XX:00时间段,读业务访问第一缓存服务器230,写业务访问第二缓存服务器240。这样,在任意时间点读和写业务都落在了不同的服务实例(即不同的缓存服务器)上。
在一种实现方式中,数据库服务器210中的数据条目是以关系型数据库方式进行存储,所述关系型数据库例如为Oracle、DB2、Microsoft SQLServer和MySQL等;各缓存服务器中的数据条目是以查询条件为键、以相关联的数据条目为值的键-值方式(no sql数据库)进行存储,例如为redis数据库。其中,redis是一个key-value存储系统,它支持存储的value类型包括string(字符串)、list(链表)、set(集合)、sorted set(有序集合)和hash(哈希)类型。这些数据类型都支持push/pop、add/remove及取交集、并集和差集及等操作,而且这些操作都是原子性的
根据上述的数据存储方案,数据库服务器210可以根据对数据条目的每种查询条件,获取与该查询条件相关联的数据条目,并根据查询条件与数据条目的关联关系来构造写数据请求。相应地,写处理器220适于根据该写数据请求将查询条件以及与该查询条件关联的数据条目相关联的存储到缓存服务器中;读处理器250适于根据读数据请求所携带的查询条件,从缓存服务器获取与该查询条件相关联的数据条目。这样,通过采用离线计算代替同步计算,进一步提高了高并发环境下的数据查询效率。
以下给出一个应用实例。
假设数据库服务器210中存储有一张车型报价的数据表,该数据表的结构如下:
字段名 含义
Dealerid 经销商id
SpecId 车型Id
Price 报价
SpecName 车型名称
CityId 城市Id
SeriesId 车系id
BrandId 品牌Id
在该数据处理系统中,使用Redis作为数据库服务器110所存储的车型报价的缓存系统。前端查询业务为按照城市和车型、车系、品牌查找相关的经销商报价信息,缓存服务器(Redis)中缓存的数据例如为:
Key:CityId=110100+SpecId:1,CityId=110100+SeriesId=12,CityId=110100+BrandId=181
Value:List([{SpecId:1,Dealerid:100,CityId:110100,SpecName:迈腾2014款手动型1.4T,Price:158000,SeriesId:12,BrandId:181},……])
对缓存服务器所缓存的数据进行更新的示例性代码如下:
Value=List([{SpecId:1,Dealerid:100,CityId:110100,SpecName:迈腾2014款手动型1.4T,
Price:158000,SeriesId:12,BrandId:181},……])
Key=CityId=110100+SpecId:1
Set(key,value);
从缓存服务器中查询数据的示例性代码如下::
Key=CityId=110100+SpecId:1
Value=get(key)
对应于上述数据处理系统,本发明实施例还提供一种数据处理方法。
图3示出了根据本发明一个实施例的数据处理方法的流程图,该数据处理方法适于在图2所示的数据处理系统中执行。参照图3,该数据处理方法始于步骤S302,在步骤S302中,为各缓存服务器分别分配一个写时间段,将每个缓存服务器与一个写时间段相关联,且各缓存服务器的写时间段互不交叉,并在写处理器和读处理器中存储各缓存服务器与对该缓存服务器所存储的数据进行更新的写时间段的关联关系。
在一种实现方式中,所述多个缓存服务器为两个缓存服务器,分别为第一缓存服务器和第二缓存服务器。在此种情况下,可以将预定长度的时间段划分为两个时间段,分别为第一时间段和第二时间段,且第一时间段和第二时间段互不交叉,并将第一时间段分配给第一缓存服务器,作为第一缓存服务器的写时间段,将第二时间段分配给第二缓存服务器,作为第二缓存服务器的读时间段。相应地,第二时间段就是第一缓存服务器的读时间段,第一时间段就是第二缓存服务器的读时间段。为方便调度,可以对所述预定长度的时间段进行平均划分,使得第一时间段的长度等于第二时间段的长度,其中,这两个时间段的长度可以小于或等于缓存的更新周期。
在步骤S304中,写处理器在接收到数据库服务器发送的写数据请求时,将当前时间与各缓存服务器的写时间段进行比较,来确定当前时间落入到了哪个缓存服务器的写时间段内,从而选择该缓存服务器,并根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中。
在一种实现方式中,数据库服务器中的数据条目是以关系型数据库方式进行存储;缓存服务器中的数据条目是以查询条件为键、以相关联的数据条目为值的键-值方式进行存储。
根据上述存储方式,数据库服务器可以根据对数据条目的每种查询条件,获取与该查询条件相关联的数据条目,并根据查询条件与数据条目的关联关系构造写数据请求,将所构造的写数据请求发送到写处理器,然后,写处理器根据该写数据请求将查询条件以及与该查询条件关联的数据条目相关联的存储到缓存服务器中。
在步骤S306中,读处理器在接收到应用服务器发送的读数据请求时,将当前时间与各缓存服务器的写时间段进行比较,来确定当前时间落入到了哪个缓存服务器的写时间段内,以排除该缓存服务器,从剩余的缓存服务器中选择(例如按照预定的负载均衡算法进行选择)一个缓存服务器,并从所选择的缓存服务器获取与该读数据请求对应的数据条目,将获取到的数据条目返回给应用服务器。其中,读处理器可以根据读数据请求所携带的查询条件,从缓存服务器获取与该查询条件相关联的数据条目。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据处理系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种数据处理系统,包括数据库服务器、写处理器、多个缓存服务器和读处理器,所述写处理器和读处理器中均存储有各缓存服务器与对该缓存服务器所存储的数据进行更新的写时间段的关联关系,其中:
所述写处理器适于在接收到数据库服务器发送的写数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间落入到了所选择的缓存服务器的写时间段内,并根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中;
所述读处理器适于在接收到应用服务器发送的读数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间未落入到所选择的缓存服务器的写时间段内,并从所选择的缓存服务器获取与该读数据请求对应的数据条目,将获取到的数据条目返回给应用服务器。
2.如权利要求1所述的数据处理系统,所述多个缓存服务器为两个缓存服务器,分别为第一缓存服务器和第二缓存服务器,所述第一缓存服务器的写时间段和所述第二缓存服务器的写时间段是对预定长度的时间段进行划分得到的两个时间段。
3.如权利要求1或2所述的数据处理系统,其中,所述数据库服务器适于根据对数据条目的每种查询条件,获取与该查询条件相关联的数据条目,并根据查询条件与数据条目的关联关系来构造写数据请求,相应地,所述写处理器进一步适于根据该写数据请求将查询条件以及与该查询条件关联的数据条目相关联的存储到缓存服务器中。
4.如权利要求3所述的数据处理系统,其中,所述读处理器进一步适于根据读数据请求所携带的查询条件,从缓存服务器获取与该查询条件相关联的数据条目。
5.如权利要求4所述的数据处理系统,其中,数据库服务器中的数据条目是以关系型数据库方式进行存储;缓存服务器中的数据条目是以查询条件为键、以相关联的数据条目为值的键-值方式进行存储。
6.如权利要求2所述的数据处理系统,其中,所述第一缓存服务器的写时间段的长度等于所述第二缓存服务器的写时间段的长度。
7.一种数据处理方法,适于在包括数据库服务器、写处理器、多个缓存服务器和读处理器的数据处理系统中执行,所述数据处理方法包括:
在写处理器和读处理器中存储各缓存服务器与对该缓存服务器所存储的数据进行更新的写时间段的关联关系;
写处理器在接收到数据库服务器发送的写数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间落入到了所选择的缓存服务器的写时间段内,并根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中;以及
读处理器在接收到应用服务器发送的读数据请求时,根据当前时间从所述多个缓存服务器中选择一个缓存服务器,其中所述当前时间未落入到所选择的缓存服务器的写时间段内,并从所选择的缓存服务器获取与该读数据请求对应的数据条目,将获取到的数据条目返回给应用服务器。
8.如权利要求7所述的数据处理方法,所述多个缓存服务器为两个缓存服务器,分别为第一缓存服务器和第二缓存服务器,所述第一缓存服务器的写时间段和所述第二缓存服务器的写时间段是对预定长度的时间段进行划分得到的两个时间段。
9.如权利要求7或8所述的数据处理方法,还包括:数据库服务器根据对数据条目的每种查询条件,获取与该查询条件相关联的数据条目,并根据查询条件与数据条目的关联关系构造写数据请求,将所构造的写数据请求发送到写处理器;
所述根据该写数据请求将数据库服务器中存储的相应数据条目写入到所选择的缓存服务器中,包括:根据该写数据请求将查询条件以及与该查询条件关联的数据条目相关联的存储到缓存服务器中。
10.如权利要求9所述的数据处理方法,其中,所述从所选择的缓存服务器获取与该读数据请求对应的数据条目,包括:根据读数据请求所携带的查询条件,从缓存服务器获取与该查询条件相关联的数据条目。
CN201410790322.0A 2014-12-17 2014-12-17 一种数据处理方法和系统 Active CN104572860B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410790322.0A CN104572860B (zh) 2014-12-17 2014-12-17 一种数据处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410790322.0A CN104572860B (zh) 2014-12-17 2014-12-17 一种数据处理方法和系统

Publications (2)

Publication Number Publication Date
CN104572860A true CN104572860A (zh) 2015-04-29
CN104572860B CN104572860B (zh) 2018-01-26

Family

ID=53088922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410790322.0A Active CN104572860B (zh) 2014-12-17 2014-12-17 一种数据处理方法和系统

Country Status (1)

Country Link
CN (1) CN104572860B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106066877A (zh) * 2016-05-30 2016-11-02 北京皮尔布莱尼软件有限公司 一种异步更新数据的方法及系统
CN106940660A (zh) * 2016-01-05 2017-07-11 阿里巴巴集团控股有限公司 缓存的实现的方法和装置
CN107038174A (zh) * 2016-02-04 2017-08-11 北京京东尚科信息技术有限公司 用于数据系统的数据同步方法和装置
CN107918617A (zh) * 2016-10-10 2018-04-17 北京京东尚科信息技术有限公司 数据查询方法和装置
CN108319598A (zh) * 2017-01-16 2018-07-24 腾讯科技(北京)有限公司 数据缓存方法、装置和系统
CN108737473A (zh) * 2017-04-20 2018-11-02 贵州白山云科技有限公司 一种数据处理方法、装置及系统
WO2019075849A1 (zh) * 2017-10-17 2019-04-25 平安科技(深圳)有限公司 数据的分区存储方法、装置、计算机设备及存储介质
CN110019537A (zh) * 2018-12-05 2019-07-16 阿里巴巴集团控股有限公司 本地缓存刷新方法、装置、计算机设备及存储介质
CN110365752A (zh) * 2019-06-27 2019-10-22 北京大米科技有限公司 业务数据的处理方法、装置、电子设备和存储介质
CN111352865A (zh) * 2018-12-24 2020-06-30 北京忆芯科技有限公司 存储控制器的写缓存
CN111723202A (zh) * 2020-05-19 2020-09-29 支付宝(杭州)信息技术有限公司 一种舆情数据的处理装置、方法和系统
CN113127484A (zh) * 2020-12-31 2021-07-16 重庆帮企科技集团有限公司 一种高效快捷的数据入库方法及设备
CN114281269A (zh) * 2021-12-31 2022-04-05 中企云链(北京)金融信息服务有限公司 数据缓存方法以及装置、存储介质、电子装置
CN111723202B (zh) * 2020-05-19 2024-05-17 支付宝(杭州)信息技术有限公司 一种舆情数据的处理装置、方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122888A (zh) * 2006-08-09 2008-02-13 国际商业机器公司 写入和读取应用数据的方法和系统
CN101236528A (zh) * 2008-02-20 2008-08-06 华为技术有限公司 一种乒乓控制的方法及装置
CN101895736A (zh) * 2010-07-07 2010-11-24 杭州华三通信技术有限公司 媒体流数据处理方法及其装置
CN103516731A (zh) * 2012-06-15 2014-01-15 华为技术有限公司 一种缓存服务器的服务方法、缓存服务器及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101122888A (zh) * 2006-08-09 2008-02-13 国际商业机器公司 写入和读取应用数据的方法和系统
CN101236528A (zh) * 2008-02-20 2008-08-06 华为技术有限公司 一种乒乓控制的方法及装置
CN101895736A (zh) * 2010-07-07 2010-11-24 杭州华三通信技术有限公司 媒体流数据处理方法及其装置
CN103516731A (zh) * 2012-06-15 2014-01-15 华为技术有限公司 一种缓存服务器的服务方法、缓存服务器及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940660A (zh) * 2016-01-05 2017-07-11 阿里巴巴集团控股有限公司 缓存的实现的方法和装置
CN107038174A (zh) * 2016-02-04 2017-08-11 北京京东尚科信息技术有限公司 用于数据系统的数据同步方法和装置
CN107038174B (zh) * 2016-02-04 2020-11-24 北京京东尚科信息技术有限公司 用于数据系统的数据同步方法和装置
CN106066877B (zh) * 2016-05-30 2019-08-30 北京皮尔布莱尼软件有限公司 一种异步更新数据的方法及系统
CN106066877A (zh) * 2016-05-30 2016-11-02 北京皮尔布莱尼软件有限公司 一种异步更新数据的方法及系统
CN107918617A (zh) * 2016-10-10 2018-04-17 北京京东尚科信息技术有限公司 数据查询方法和装置
CN108319598A (zh) * 2017-01-16 2018-07-24 腾讯科技(北京)有限公司 数据缓存方法、装置和系统
CN108737473B (zh) * 2017-04-20 2019-12-20 贵州白山云科技股份有限公司 一种数据处理方法、装置及系统
CN108737473A (zh) * 2017-04-20 2018-11-02 贵州白山云科技有限公司 一种数据处理方法、装置及系统
WO2019075849A1 (zh) * 2017-10-17 2019-04-25 平安科技(深圳)有限公司 数据的分区存储方法、装置、计算机设备及存储介质
CN110019537A (zh) * 2018-12-05 2019-07-16 阿里巴巴集团控股有限公司 本地缓存刷新方法、装置、计算机设备及存储介质
CN111352865A (zh) * 2018-12-24 2020-06-30 北京忆芯科技有限公司 存储控制器的写缓存
CN110365752A (zh) * 2019-06-27 2019-10-22 北京大米科技有限公司 业务数据的处理方法、装置、电子设备和存储介质
CN110365752B (zh) * 2019-06-27 2022-04-26 北京大米科技有限公司 业务数据的处理方法、装置、电子设备和存储介质
CN111723202A (zh) * 2020-05-19 2020-09-29 支付宝(杭州)信息技术有限公司 一种舆情数据的处理装置、方法和系统
CN111723202B (zh) * 2020-05-19 2024-05-17 支付宝(杭州)信息技术有限公司 一种舆情数据的处理装置、方法和系统
CN113127484A (zh) * 2020-12-31 2021-07-16 重庆帮企科技集团有限公司 一种高效快捷的数据入库方法及设备
CN114281269A (zh) * 2021-12-31 2022-04-05 中企云链(北京)金融信息服务有限公司 数据缓存方法以及装置、存储介质、电子装置
CN114281269B (zh) * 2021-12-31 2023-08-15 中企云链(北京)金融信息服务有限公司 数据缓存方法以及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN104572860B (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
CN104572860A (zh) 一种数据处理方法和系统
US20190258625A1 (en) Data partitioning and ordering
CN103152395B (zh) 一种分布式文件系统的存储方法及装置
CN105447075B (zh) 用于动态划分的计算机实现方法
CA2723731C (en) Managing storage of individually accessible data units
CN102640151B (zh) 用于传输日志记录的方法和系统
CN108009008A (zh) 数据处理方法和系统、电子设备
CN102609488B (zh) 客户端及其数据查询方法、服务端和数据查询系统
CN103902698A (zh) 一种数据存储系统和存储方法
CN109416694A (zh) 包括资源有效索引的键值存储系统
US10275481B2 (en) Updating of in-memory synopsis metadata for inserts in database table
CN103177117B (zh) 信息索引系统及信息索引的更新方法
CN103902702A (zh) 一种数据存储系统和存储方法
CN109767274B (zh) 一种对海量发票数据进行关联存储的方法及系统
CN102364464A (zh) 对象实例版本化
CN103020193A (zh) 处理数据库操作请求的方法和设备
CN102968456B (zh) 一种栅格数据读取处理方法和装置
CN105530297A (zh) 一种网页资源包上传方法和装置
CN103353901A (zh) 基于Hadoop分布式文件系统的表数据的有序管理方法以及系统
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN105045789A (zh) 一种游戏服务器数据库缓存方法及系统
CN102929943B (zh) 数据输出方法及装置
CN103559307A (zh) 一种查询的缓存方法及装置
CN103020196B (zh) 处理数据库操作请求的系统
US11586616B2 (en) Automatically updating column data type

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant