CN103793386B - 数据处理的方法和系统 - Google Patents

数据处理的方法和系统 Download PDF

Info

Publication number
CN103793386B
CN103793386B CN201210420674.8A CN201210420674A CN103793386B CN 103793386 B CN103793386 B CN 103793386B CN 201210420674 A CN201210420674 A CN 201210420674A CN 103793386 B CN103793386 B CN 103793386B
Authority
CN
China
Prior art keywords
minimum
layer
unit
operation requests
requests
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210420674.8A
Other languages
English (en)
Other versions
CN103793386A (zh
Inventor
王辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210420674.8A priority Critical patent/CN103793386B/zh
Priority to US14/439,580 priority patent/US9357027B2/en
Priority to PCT/CN2013/086090 priority patent/WO2014067437A1/zh
Publication of CN103793386A publication Critical patent/CN103793386A/zh
Application granted granted Critical
Publication of CN103793386B publication Critical patent/CN103793386B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种数据处理的方法和系统，属于网络通信技术领域。所述方法包括：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中所述最小存储单元是以所述长关系链用户为单位进行划分的；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。

Description

数据处理的方法和系统
技术领域
本发明涉及网络通信技术领域，特别涉及一种数据处理的方法和系统。
背景技术
随着微博的兴起，越来越多的网络用户加入到微博用户中，甚至出现了一批长关系链用户。长关系链用户是指听众数超过一定数目的用户，如明星认证用户。由于长关系链用户的听众太多，产生的数据量比较大，所以服务端如何提高响应巨量请求的速度，尽快完成服务，是需要解决的基本问题。
发明内容
为了提高对长关系链用户的听众信息的处理速度，本发明实施例提供了一种数据处理的方法和系统。所述技术方案如下：
一方面，提供了一种数据处理的方法，所述方法包括：
数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层的最小操作单元中；
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中，其中所述最小存储单元是以所述长关系链用户为单位进行划分的；
当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
所述数据缓冲层将所述操作请求推送到业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到业务层的所述最小操作单元中。
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。
另一方面，提供了一种数据处理的系统，所述系统包括：数据缓冲层和业务层，所述业务层包括接收进程和入库进程；
所述数据缓冲层，用于接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到所述业务层的最小操作单元中；
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中，其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；
所述业务层还用于当所述最小存储单元中缓存的数据达到预设条件时，根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
所述数据缓冲层将所述操作请求推送到业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到所述业务层的所述最小操作单元中。
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。
本发明实施例提供的技术方案带来的有益效果是：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的操作请求，将所述操作请求按照所述最小存储单元进行缓存；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。通过以长关系链用户为单元划分最小存储单元，使得业务层在接收到数据缓冲层推送过来的听众的操作请求时，业务层能够按照最小存储单元存储操作请求，实现对底层数据库的批量操作，减轻了数据的操作负担，提高了对长关系链用户听众信息的处理速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种数据处理的系统示意图；
图2是本发明实施例一提供的另一种数据处理的系统示意图；
图3是本发明实施例二提供的一种数据处理的方法流程图；
图4是本发明实施例三提供的一种数据处理的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
参见图1，本实施例中提供了一种数据处理的系统，所述系统包括：数据缓冲层101和业务层102；
所述数据缓冲层101，用于接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到所述业务层；
所述业务层102，用于接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；
所述业务层102还用于当所述最小存储单元中缓存的数据达到预设条件时，根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
其中，所述数据缓冲层将所述操作请求推送到业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到业务层的所述最小操作单元中。
参见图2，本实施例中，所述业务层进一步包括接收进程102a和入库进程102b；
相应地，所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，包括：
所述业务层中的接收进程102a接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程102b读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中。
进一步地，所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。
其中，所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。
本实施例的有益效果是：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的操作请求，将所述操作请求按照所述最小存储单元进行缓存；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。通过以长关系链用户为单元划分最小存储单元，使得业务层在接收到数据缓冲层推送过来的听众的操作请求时，业务层能够按照最小存储单元存储操作请求，实现对底层数据库的批量操作，减轻了数据的操作负担，提高了对长关系链用户听众信息的处理速度。
实施例二
参见图3，基于实施例一中的数据处理系统，本实施例提供了一种数据处理的方法，包括：
201、数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；
202、所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，其中所述最小存储单元是以所述长关系链用户为单位进行划分的；
203、当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
其中，所述数据缓冲层将所述操作请求推送到业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到业务层的所述最小操作单元中。
其中，所述业务层接收所述数据缓冲层推送过来的所述操作请求，将所述操作请求按照所述最小存储单元进行缓存，包括：
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中。
本实施例中，所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。
进一步地，所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。
本实施例的有益效果是：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的操作请求，将所述操作请求按照所述最小存储单元进行缓存；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。通过以长关系链用户为单元划分最小存储单元，使得业务层在接收到数据缓冲层推送过来的听众的操作请求时，业务层能够按照最小存储单元存储操作请求，实现对底层数据库的批量操作，减轻了数据的操作负担，提高了对长关系链用户听众信息的处理速度。
实施例三
基于实施例一中的数据处理系统，本发明实施例提供了一种数据处理的方法，参见图4，方法流程包括：
301、数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求路由到业务层的最小操作单元。
本实施例中，把接收进程中的缓存划分成多个最小操作单元，其中最小操作单元为长关系链用户Uin模4999获得。Uin包括用户的账号等，对此本实施例不做具体限定。
在数据缓冲层接收客户端的长关系链用户的听众的操作请求后，计算该长关系链用户的最小操作单元，其中具体计算方法就是用该长关系链用户Uin模4999。根据该长关系链用户的最小操作单元来路同步请求到业务层。其中，长关系链用户的听众的操作请求包括：添加请求，删除请求，转发消息或是对消息进行评论等的操作，对此本实施例不做具体限定。
本步骤中，所述数据缓冲层将所述操作请求推送到业务层，包括：数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到所述最小操作单元中。
302、所述业务层中的接收进程接收所述数据缓冲层路由过来的操作请求，并将所述操作请求的日志缓存到最小操作单元中。
此步骤中，接收进程根据数据缓冲层的路由目的地址，将接收到的操作请求的日志缓存到最小操作单元中。其中操作请求的日志用于记录长关系链用户的粉丝操作信息。例如，记录对长关系链用户x添加粉丝a；记录对长关系链用户y添加粉丝b；记录对长关系链用户x删除粉丝c等。
本实施例中，接收进程对缓存中的每个最小操作单元都保存一个同步序号，该同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。在接收进程接收到一个操作请求后，会对缓存该操作请求的最小操作单元的同步序号累计加一。例如，接收进程中有多个最小操作单元，将接收到的用户的操作请求保存到了第三个最小操作单元，则在第三个最小操作单元保存该操作请求的日志后，将第三个最小操作单元的同步序号累计加一。此步骤中，将用户的操作请求保存到最小操作单元中后，对该最小操作单元的同步序号累计加一。如，原来的同步序号为5，则累计加一后为6。
303、所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求。
本实施例中，相对应接收进程为每个最小操作单元保存的同步序号，入库进程为每个最小操作单元保存相应的读取序号，该读取序号用于标识入库进程与接收进程的同步进度，即入库进程读取到的每个最小操作单元中的操作请求与接收进程的同步进度。入库进程通过比较读取序号和入库序号来判断某个预设单元中是否有新的同步请求操作，以便能够及时读取到新的请求操作。
本步骤中，所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的操作请求，具体包括：
所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的操作请求。
304、所述入库进程计算所述操作请求所属的最小存储单元，将所述操作请求按照所述最小存储单元进行缓存。
本实施例中，以长关系链用户为单位重新划分最小的数据存储单元，使一个长关系链对应一个数据库，这样入库进程在进行数据处理时，只需要对某个最小操作单元进行操作，而不需要对所有的长关系链用户的数据进行操作，从而减轻了数据操作的负担。
值得说明的是，对于当某个长关系链用户粉丝超过预设的数量时，可以进一步将该长关系链用户粉丝进一步划分，使一个最小操作单元只包含一个用户的部分听众信息。其中预设的数量可以根据经验值预先设定好，也可以依据系统当前的运行效率而进行调整，对此本实施例不做具体限定。
本实施例中，入库进程计算所述操作请求所属的最小存储单元，包括：根据长关系链用户Uin、听众Uin及配置的该长关系链用户的最小存储单元的个数，得到所述操作请求所属的最小存储单元。具体表示形式为：长关系链用户Uin_粉丝Uin％配置的最小存储单元的个数，例如，配置长关系链用户的Uin为12345678，为其配置了9个最小存储单元，则配置的最小存储单元依次为：12345678_0、12345678_1、...、12345678_8。
此步骤中，在计算得到操作请求所属的最小存储单元后，将该操作请求按照该最小存储单元进行缓存，即将该操作请求缓存到最小存储单元中。
其中，步骤302-304为所述业务层接收所述数据缓冲层推送过来的操作请求，将所述操作请求按照所述最小存储单元进行缓存的具体操作过程。
305、入库进程判断最小存储单元中缓存的数据是否达到预设的条件，如果是则执行步骤306，否则返回步骤303执行。
本实施例中，入库进程定时的扫描每个最小存储单元，当检测到某个最小存储单元达到入库条件时，将该最小存储单元中的操作数据路由到相应的数据库中进行保存。本步骤中，当入库进程扫描到步骤304中的最小存储单元时，判断该最小存储单元中缓存的数据是否达到预设的条件，如果是，则执行对该最小存储单元中的数据的入库操作。
其中，预设的条件，即入库条件可以根据经验值预先设定，也可以根据系统当前的运行情况实时进行调整，对此本实施例不做具体限定。
306、业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
本实施例中，设置多个数据库，并根据长关系链用户Uin模4999的规则预先进行路由配置，业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。例如，操作请求为添加好友请求，则在数据库中进行数据添加的操作，操作请求为删除请求，则在数据库中进行数据删除的操作。
本实施例的有益效果是：数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层；所述业务层接收所述数据缓冲层推送过来的操作请求，将所述操作请求按照所述最小存储单元进行缓存；当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。通过以长关系链用户为单元划分最小存储单元，使得业务层在接收到数据缓冲层推送过来的听众的操作请求时，业务层能够按照最小存储单元存储操作请求，实现对底层数据库的批量操作，减轻了数据的操作负担，提高了对长关系链用户听众信息的处理速度。且通过数据库的路由配置，将操作请求保存到不同的数据库中，使得用户听众息从数据库级分离出来，进一步减轻了服务器的操作负担，提高了系统的性能。且，在业务层的接收进程中也按照最小操作单元为单位进行缓存，进一步减少业务层的操作负担，提高数据的处理速度。
需要说明的是：上述实施例中提供的数据处理的系统，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的数据处理的系统与数据处理的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种数据处理的方法，其特征在于，所述方法包括：
数据缓冲层接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到业务层的最小操作单元中；
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中；其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；
当所述最小存储单元中缓存的数据达到预设条件时，所述业务层根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
2.根据权利要求1所述的方法，其特征在于，所述数据缓冲层将所述操作请求推送到业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到业务层的所述最小操作单元中。
3.根据权利要求1或2所述的方法，其特征在于，所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。
4.根据权利要求3所述的方法，其特征在于，所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述指定的预设单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。
5.一种数据处理的系统，其特征在于，所述系统包括：数据缓冲层和业务层，所述业务层包括接收进程和入库进程；
所述数据缓冲层，用于接收客户端的长关系链用户的听众的操作请求，并将所述操作请求推送到所述业务层的最小操作单元中；
所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中；
所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，并计算所述操作请求所属的最小存储单元，将所述操作请求缓存到所述最小存储单元中，其中，所述最小存储单元是以所述长关系链用户为单位进行划分的；
所述业务层还用于当所述最小存储单元中缓存的数据达到预设条件时，根据预设的路由配置找到属于所述长关系链用户的指定的数据库，并按照所述操作请求对所述指定的数据库进行操作。
6.根据权利要求5所述的系统，其特征在于，所述数据缓冲层将所述操作请求推送到所述业务层，包括：
数据缓冲层计算所述长关系链用户的最小操作单元，将所述操作请求路由到所述业务层的所述最小操作单元中。
7.根据权利要求5或6所述的系统，其特征在于，所述业务层中的接收进程接收所述数据缓冲层推送过来的所述操作请求，并将所述操作请求的日志缓存到所述最小操作单元中之后，还包括：
所述接收进程对所述最小操作单元的同步序号累计加一，其中，所述同步序号用于标识所述接收进程与所述数据缓冲层的同步进度。
8.根据权利要求7所述的系统，其特征在于，所述业务层中的入库进程读取所述最小操作单元，以获取所述最小操作单元中的所述操作请求，包括：
所述入库进程读取所述接收进程中所述最小操作单元的同步序号，判断所述最小操作单元的同步序号是否大于本地保存的所述最小操作单元的读取序号，如果是，则读取所述最小操作单元中的所述操作请求，其中，所述读取序号用于标识所述入库进程与所述接收进程的同步进度。
CN201210420674.8A 2012-10-29 2012-10-29 数据处理的方法和系统 Active CN103793386B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210420674.8A CN103793386B (zh) 2012-10-29 2012-10-29 数据处理的方法和系统
US14/439,580 US9357027B2 (en) 2012-10-29 2013-10-28 Data processing method and system
PCT/CN2013/086090 WO2014067437A1 (zh) 2012-10-29 2013-10-28 数据处理的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210420674.8A CN103793386B (zh) 2012-10-29 2012-10-29 数据处理的方法和系统

Publications (2)

Publication Number Publication Date
CN103793386A CN103793386A (zh) 2014-05-14
CN103793386B true CN103793386B (zh) 2017-12-12

Family

ID=50626484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210420674.8A Active CN103793386B (zh) 2012-10-29 2012-10-29 数据处理的方法和系统

Country Status (3)

Country Link
US (1) US9357027B2 (zh)
CN (1) CN103793386B (zh)
WO (1) WO2014067437A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9864785B2 (en) * 2016-10-24 2018-01-09 Interntaional Business Machines Corporation Processing a query via a lambda application

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030218A (zh) * 2007-03-23 2007-09-05 北京中星微电子有限公司 一种虚拟文件管理单元以及文件管理的系统和方法
WO2012085921A1 (en) * 2010-12-20 2012-06-28 Hewlett-Packard Development Company L.P. Method of provisioning additional storage to computer applications
CN102650931A (zh) * 2012-04-01 2012-08-29 华为技术有限公司 一种写入数据的方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7143021B1 (en) * 2000-10-03 2006-11-28 Cadence Design Systems, Inc. Systems and methods for efficiently simulating analog behavior of designs having hierarchical structure
US8788492B2 (en) * 2004-03-15 2014-07-22 Yahoo!, Inc. Search system and methods with integration of user annotations from a trust network
US20080005064A1 (en) * 2005-06-28 2008-01-03 Yahoo! Inc. Apparatus and method for content annotation and conditional annotation retrieval in a search context
US7761436B2 (en) * 2006-01-03 2010-07-20 Yahoo! Inc. Apparatus and method for controlling content access based on shared annotations for annotated users in a folksonomy scheme
US20080215348A1 (en) * 2007-03-02 2008-09-04 Marc Guldimann System and methods for advertisement and event promotion
US8378798B2 (en) * 2009-07-24 2013-02-19 Research In Motion Limited Method and apparatus for a touch-sensitive display
WO2012060969A1 (en) * 2010-11-01 2012-05-10 Momin Zulfiqar N System, method and computer program product for sharing a product/service and its associated purchase price between customers
US9495711B2 (en) * 2010-11-19 2016-11-15 Microsoft Technology Licensing, Llc Invite abuse prevention
US20130035982A1 (en) * 2011-08-04 2013-02-07 Pitney Bowes Inc. Method and system for creating targeted advertising utilizing social media activity
US9171326B2 (en) * 2012-09-26 2015-10-27 Wal-Mart Stores, Inc. System and method for making gift recommendations using social media data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101030218A (zh) * 2007-03-23 2007-09-05 北京中星微电子有限公司 一种虚拟文件管理单元以及文件管理的系统和方法
WO2012085921A1 (en) * 2010-12-20 2012-06-28 Hewlett-Packard Development Company L.P. Method of provisioning additional storage to computer applications
CN102650931A (zh) * 2012-04-01 2012-08-29 华为技术有限公司 一种写入数据的方法及系统

Also Published As

Publication number Publication date
CN103793386A (zh) 2014-05-14
US20150296036A1 (en) 2015-10-15
WO2014067437A1 (zh) 2014-05-08
US9357027B2 (en) 2016-05-31

Similar Documents

Publication Publication Date Title
CN102685159B (zh) 文件传输方法及装置
CN103248645B (zh) Bt离线数据下载系统及方法
CN106233296B (zh) Url匹配装置以及url匹配方法
CN107634915A (zh) 数据传输方法、装置及储存介质
US10366055B2 (en) Decreasing duplicates and loops in an activity record
CN105868231A (zh) 缓存数据的更新方法及装置
CN105188090B (zh) 一种实现短信下行压力均衡的方法及系统
CN102307149A (zh) Ip查找方法和装置以及路由更新方法和装置
US20140328341A1 (en) Communication path selection
CN104821924A (zh) 一种网络数据包处理方法、装置和网络处理设备
CN102104617A (zh) 一种网站运营系统存储海量图片数据的方法
CN107667352A (zh) 用于预测性的文件缓存和同步的技术
CN102355501A (zh) 一种数据处理方法、接入审核设备及系统
CN106330788B (zh) 报文分片传输方法和装置
CN103856503B (zh) Nas集群系统的文件数据的处理方法及nas集群系统
CN102571990A (zh) 移动终端电子邮件同步方法及系统
WO2015192668A1 (zh) 语音业务的评价处理方法及装置
CN103793386B (zh) 数据处理的方法和系统
CN112241396B (zh) 基于Spark的对Delta进行小文件合并的方法及系统
CN104135438A (zh) 报文携带路由信息的可扩展路由方法
CN102521379A (zh) 基于主动推技术的互联网信息采集方法和装置
US20160021001A1 (en) Communication control apparatus, communication control method, communication system, and recording medium
CN104516971B (zh) 一种合并css样式文件中背景图片的方法
CN109428774B (zh) 一种dpi设备的数据处理方法及相关的dpi设备
CN104077422B (zh) 下载apk的去重方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210915

Address after: 518057 Tencent Building, No. 1 High-tech Zone, Nanshan District, Shenzhen City, Guangdong Province, 35 floors

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Address before: 2 East 403 room, SEG science and technology garden, Futian District, Guangdong, Shenzhen 518000, China

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

TR01 Transfer of patent right