CN101739296A

CN101739296A - 数据处理系统和方法

Info

Publication number: CN101739296A
Application number: CN 200910265631
Authority: CN
Inventors: 张华锋
Original assignee: Guangzhou Feiyin Information Technology Co Ltd
Current assignee: Guangzhou Feiyin Information Technology Co Ltd
Priority date: 2009-12-28
Filing date: 2009-12-28
Publication date: 2010-06-16
Anticipated expiration: 2029-12-28
Also published as: CN101739296B

Abstract

本发明公开了一种数据处理系统，包括至少一个客户端消息队列，每个客户端消息队列用于存储来自一个或者多个客户的消息数据；至少一个消息处理部件，每个消息处理部件具有相对应的消息处理部件消息队列，并且对相对应消息处理部件消息队列中存储的消息数据进行处理；以及消息分发部件，从所述至少一个客户端消息队列之一中取出所述消息数据，并且将所述消息数据放入相应的消息处理部件消息队列中。本发明还公开了在该数据处理系统中执行的方法和采用该数据处理系统的服务器和网页游戏系统。

Description

数据处理系统和方法

发明领域

本发明涉及数据处理领域，尤其涉及对数据进行高速缓存以进行处理的数据处理系统和方法，以及采用该系统和方法的服务器。

背景技术

近年来，网页游戏(Web Game)作为一种新出现的网络游戏形态得到了快速的发展，基于网页游戏无需下载、无需安装的特点，很可能会在不远的将来完全代替传统网络游戏。

一般地，网页游戏系统多采用客户端/服务器模式。网页游戏系统的客户端主要实现游戏界面显示、玩家输入处理以及与服务器的通信等功能；游戏服务器主要实现整个游戏的逻辑处理，如计算整个游戏系统中的公共数据、响应客户端的输入、处理玩家之间的互动操作等。由于在网页游戏系统中，服务器端承担了游戏中绝大部分的计算任务、并且需要与客户端保持实时的通信，所以提高服务器端的计算速度，缩短客户端的响应时间成为了服务器端设计的重点。

另外，随着网页游戏玩家数量的增加，服务器能同时承载的在线玩家数量也成为了很多网页游戏服务器的亟待突破的技术难题。

对于每个网页游戏玩家，游戏系统中的服务器端都需要保留与该网页游戏玩家相对应的数据，并且对该数据进行处理，因此如何在服务器端高效且快速地处理这些数据成为了网页游戏服务器设计必须要解决的问题。

目前，游戏服务器端的设计一般采取多线程与数据缓存相结合的方式。图1示出了传统网页游戏系统中的服务器端的结构。如图1所示，通信处理装置121接收客户端111-113的输入信息，把该输入信息作为消息数据放入数据缓冲器122中；随后，多线程的消息处理器(1231-1233)取出数据缓冲器122中的消息数据并进行处理，然后把处理后而获得的应答消息发送给客户端。

然而在该传统的网页游戏服务器中，来自客户端的消息数据以不同的数据结构形式在服务器的各个部件中进行处理。此外，由于服务器中的各个部件需要分别对不同格式的消息数据进行处理，消息数据需要进行多次复制以便在这些部件中进行处理。另外，现有的多线程消息处理器1231-1233之间的独立性不强，在进行并发处理时，这些多线程的消息处理器对数据缓冲器122中的数据加锁时间过长。这些问题在总体上造成了服务端的内存消耗量大、消息处理时间长、对客户端的响应慢、承载的在线客户端数量少等不利效果。根据实际使用情况，目前所采用的多线程加数据缓冲的架构的服务器端仅仅能支持2000左右的同时在线玩家。

此外，上面所指出的问题除了在网页游戏系统中存在之外，其同样存在于需要支持大量同时在线的客户的其他客户端-服务器系统中。

因此，所希望的是提供一种能够大大增加服务器能支持的同时在线客户数量，并且能缩短对客户端的响应时间的服务器。

发明内容

本发明的目的是解决或者至少部分缓解现有技术中的服务器端的内存消耗量大、消息处理时间长、对客户端的响应慢、能支持的同在线客户数量少等缺陷。

本发明的上述目的是通过提供一种新颖的数据处理系统和方法、以及采用该数据处理系统和方法的服务器来实现。

根据本发明的一个方面，提供了一种数据处理系统，包括：至少一个客户端消息队列，每个客户端消息队列用于存储来自一个或者多个客户的消息数据；至少一个消息处理部件，每个消息处理部件具有相对应的消息处理部件消息队列，并且对相对应消息处理部件消息队列中存储的消息数据进行处理；以及消息分发部件，从所述至少一个客户端消息队列之一中取出所述消息数据，并且将所述消息数据放入相应的消息处理部件消息队列中；其中所述客户端消息队列和消息处理部件消息队列中存储指向所述消息数据的指针，而且所述消息分发部件通过对指针的操作来将消息数据从所述至少一个客户端消息队列之一取出并放入消息处理部件消息队列中。

根据本发明的另一个方面，提供了一种数据处理方法，包括步骤：将来自客户端的消息数据存储到与该客户端相对应的客户端消息队列中；从所述客户端消息队列中取出其中存储的消息数据，并将该消息数据放入到与该消息数据的类型相对应的数据处理部件消息队列中；以及分别从所述数据处理部件消息队列中取出消息数据，并进行处理，其中所述客户端消息队列和消息处理部件消息队列中存储指向所述消息数据的指针，而且通过对指针的操作来将消息数据从所述至客户端消息队列取出并放入消息处理部件消息队列中。

根据本发明的另一个方面，还提供了一种数据处理服务器，包括：通信处理部件，用于接收来自客户端的请求信息；以及上述数据处理系统，用于对所述通信处理部件所接收的请求信息进行处理，并将处理结果返回到所述通信处理部件，以便作为应答返回给客户端。

根据本发明的数据处理系统采用了统一的缓冲数据结构、基于指针、并且独立于该系统中的各个部件的缓冲机制。由于来自客户端的消息数据以统一的数据格式存储在数据处理系统中，并且当消息数据在数据处理系统的各个部件中进行传递时，传递的仅仅是指向该消息数据的指针，这避免了对消息数据的多次重复复制，减少了对服务器中存储量的要求，并加快了数据处理速度。

另外，根据本发明的数据处理系统有效细化了多线程中的数据锁定范围，并且只需要锁定正在被处理的消息数据即可，而无需锁定所有的消息数据，这提高了多线程的并发性，减少了因为数据锁定而造成的多线程等待时间，提高了系统整体的处理速度，并相应增加了数据处理系统可以同时处理的客户数量。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。其中在附图中，参考数字之后的字母标记指示多个相同的部件，当泛指这些部件时，将省略其最后的字母标记。在附图中：

图1示意性地示出了传统网页游戏系统中的服务器的结构框图；

图2示意性地示出了根据本发明一个实施例的网页游戏系统的结构框图；

图3示意性地示出了根据本发明一个实施例的、在网页游戏服务器中使用的数据处理系统的结构框图；

图4A和4B示意性地示出了根据本发明一个实施例的消息队列的结构框图；

图5示意性地示出了根据本发明一个实施例的消息数据的结构；以及

图6示意性地示出了根据本发明一个实施例的、利用图3所示的数据处理系统来处理来自客户的消息数据的处理序列。

具体实施方式

下面结合附图和具体的实施方式对本发明作进一步的描述。

图2示意性地示出了根据本发明一个实施例的网页游戏系统200的结构框图。游戏系统200包括多个客户端210-212以及用于处理来自客户端的各种请求的服务器220。在服务器220中，通信处理部件221处理与客户端的通信，例如接收来自客户端的请求，并且将服务器的处理结果返回给相应的客户端。由于网页游戏一般采用基于HTTP协议的通信协议，因此通信处理部件221可以采用目前经常使用的HTTP服务器，如apache，lighthttpd，zeus等各种常见的HTTP服务器。通信处理部件221接收来自客户端的各种请求信息，并将这些请求信息发送到数据处理系统230进行进一步处理。可选地，服务器还包括输出处理部件222，用于接收数据处理系统230的处理结果，并将该处理结果发送到通信处理部件221，以便将该处理结果作为响应进一步返回给向服务器220发送了请求的各个客户端210-212。当然服务器还可以不包括输出处理部件222，而是将输出处理部件222的功能并入到通信处理部件221中。

应当指出的，虽然图2中仅仅示出了单台服务器220来为各个客户端进行服务，但是可以存在有多台服务器220来同时处理客户端的请求，这些服务器220可以相互独立地部署在同一个或者不同网络节点处，或者以集群方式提供以便使客户端的用户仅仅看见由一台服务器为客户端服务。所有这些服务器的部署方式都在本发明的保护范围之内。

图3示意性地示出了根据本发明一个实施例的、在网页游戏服务器220中使用的数据处理系统230的结构框图。如图3所示，数据处理系统包括消息预处理部件231，其接收来自通信处理部件221的客户端请求信息，并且将该请求信息预处理为具有统一的客户消息格式的消息数据。图5示出了根据本发明一个实施例的消息数据的结构。如图5所示，一条消息可以分为消息头和消息内容两个部分。字段Msg为指向消息数据内容存储位置的指针。在消息头中，MsgId为消息类型标识符，用于指示该消息应当由哪个消息处理部件进行处理；Param1到Param4为通用参数，其中可以存储标识客户的信息以及其他可能需要统一指定的信息；以及MsgLen指示消息数据的长度。根据图5所示的消息格式，每条消息的消息头部分的格式都是相同的，而根据Msg和MsgLen两个字段的内容，也可以获取消息数据内容部分的全部内容。因此，可以利用图5所示的消息格式存储各种消息数据。消息预处理部件231在获取了客户端请求信息之后，可以将该客户端请求信息预处理为具有图4所示格式的消息数据。此后，在整个数据处理系统230中，消息数据都采用该相同的格式，以避免由于消息格式转换而导致的不必要的服务器处理开支。

消息预处理部件231将来自客户端的请求信息转换为统一消息格式的消息数据之后，根据客户标识将该消息数据存放到相应的客户端消息队列233₁-233₃中。客户标识可以存储在消息数据的Param1到Param4字段至少之一中。一般而言，可以为每个客户建立对应的客户端消息队列。当然，也可以为具有某个相同属性的客户群(例如，来自一个IP网段、具有相同客户等级属性等)建立一个客户端消息队列。所有这些都在本发明的保护范围之内。

图4A示出了可用于客户端消息队列233₁-233₃的消息队列的结构框图。该消息队列为链表结构，队列中的每个节点除了指向具有由消息预处理部件231所创建的、要进行处理的消息数据之外，还指向下一个节点。由于在消息队列中的消息数据需要被逐个处理，因此该消息队列可以采用FIFO(先进先出)的方式进行操作，即将新加入的消息数据放入消息队列中的第一个节点、并且从消息队列中的最后一个节点取出数据进行处理，或者将新加入的消息数据放入消息队列中的最后一个节点、并且从消息队列中的第一个节点取出数据进行处理。所有将消息数据以指针方式链接在一起，并支持以消息数据进入消息队列的先后顺序对消息数据进行处理的方式都在本发明的保护范围之内。图4B示出了队列中的每个数据节点的数据结构框图，具体而言，字段pNext为指向消息队列中的下一个数据节点的指针，字段pContent为指向该数据节点中所存储的消息数据的指针，即指向具有图5所示数据结构的消息数据的指针。这种两级指针的数据保存方式可以让该消息队列支持任意格式的消息数据。

具体而言，每个客户端消息队列233₁-233₃分别保持第一个数据节点和最后一个数据节点的地址。消息预处理部件231创建如图4B所示的数据节点，使pContent指向先前创建的、具有如图5所示的数据格式的消息数据。然后当把新创建的数据节点加入某个客户端消息队列233₁-233₃时，使原先的最后一个数据节点的pNext指向该新创建的消息节点，并且将最后一个数据节点的地址更新为该新创建节点的地址。

考虑到来自客户端的请求消息的格式的种类有限，可选地，数据处理系统230还包括缓冲池232，其中保存了事先在系统存储器中分配好的一块供数据节点和消息数据缓存用的存储空间，即缓冲池232中事先保存了多个以图4A和4B所示格式链接在一起的消息队列列表。每个队列中的数据节点所指向的消息数据的格式相同，而且在系统存储器中也事先分配了用于存储该消息数据内容的存储空间。当消息预处理部件231创建新消息节点时，其不是直接向系统申请新的存储空间，而是向缓冲池232申请存储空间。缓冲池232检查与消息预处理部件231所申请的消息内容类型相对应的队列中是否具有空闲的数据节点，如果有，则直接返回指向该节点的指针，并将该节点出队，随后将消息内容存入相应的存储空间中。如果在缓冲池232中已经没有空闲缓冲节点，则向系统申请一个新的数据节点(即请求分配新的存储空间)，并返回指向该数据节点的指针，以存储消息数据并将该数据节点加入对应的消息列表中。缓冲池232可以根据预先估计的业务量，在程序启动的时候就预先分配好一定量的数据节点，这样就可以有效的避免使用时才分配内存所带来的时间消耗以及可靠性的问题。

数据处理系统230中的消息分发部件234从各个客户端消息队列233₁-233₃中取出数据节点，并根据数据节点所指向的消息数据的属性(例如MsgId的内容)来判断要由哪个消息处理部件236₁-236₃处理该消息数据，然后将该消息数据放入与相应的消息处理部件236₁-236₃相对应的消息处理部件消息队列235₁-235₃中。消息处理部件消息队列235₁-235₃具有与客户端消息队列233₁-233₃相同的结构。当然，只要消息处理部件消息队列支持以先进先出方式(FIFO)对包括消息数据内容的节点进行操作，消息处理部件消息队列可以具有不同于客户端消息队列的结构，所有这些都在本发明的保护范围之内。

具体而言，消息分发部件234参考某个客户端消息队列所保持的第一个数据节点的地址，根据该地址取出该客户端消息队列中的第一个数据节点，将该客户端消息队列所保持的第一个数据节点的地址更新为所取出数据节点中的pNext字段所指向的地址，然后参考所取出数据节点的pContent字段所指向的消息数据中的MsgId字段的内容，将该数据节点加入到相应的消息处理部件消息队列235₁-235₃中。由于消息处理部件消息队列具有类似于客户端消息队列的结构，因此将一个数据节点加入到消息处理部件消息队列中的操作和上面所述的将数据节点加入到客户端消息队列中的操作相同，这里不再进行赘述。

消息处理部件236₁-236₃从相应的消息处理部件消息队列235₁-235₃中取出包括要处理的消息数据的数据节点以进行处理，并且将处理结果传递给服务器中的输出处理部件222以进行进一步格式化处理并返回到客户端。

在数据处理系统中，具有相同属性的一个或者多个客户端独立地对应于一个消息队列，而且每个消息处理部件也独立地对应于一个消息队列。这样在对各个消息队列中的数据进行操作的时候，只需要锁住受影响的消息队列，而无需锁住所有的消息队列。通过这种两级、模块独立的队列，有效的缩小了在对多线程数据进行保护时加锁的时间和范围。从而在客观上提升了多线程的性能，加快了消息处理的速度，缩短对客户端消息的响应时间。

此外，每个消息处理部件只与其对应的消息处理部件消息队列发生联系，而与其他部件和队列不发生直接联系，这样最大限度的减少了系统的耦合，提高了系统的灵活性。

另外，在根据本发明的数据处理系统中，为了避免消息数据的多次重复复制，各个消息队列中的数据格式均保持一致。从客户端接收到消息，直到最终的消息处理模块处理完消息，客户端发送过来的实际消息数据仅保存一份。各个消息列表中只存储指向消息数据存放实际位置的地址。这样，消息在各个消息列表间移动和操作的时候，一般是针对与指向消息数据的指针相关的操作，这既保持了逻辑上的独立性，又不会浪费CPU的计算时间和存储空间。

图6示出了利用图3所示的数据处理系统来处理来自客户的消息数据的处理序列600。

在步骤S610处，通信处理部件221将来自客户端的请求信息发送给消息预处理部件231。随后在步骤S620中，消息预处理部件231向缓冲池232申请用于数据节点的存储空间，缓冲池232返回指向某个空闲数据节点的指针。当然，消息预处理部件231也可以直接从服务器申请用于该数据节点的存储空间。随后在步骤S630中，通信处理部件221将来自客户端的请求信息转换为统一消息格式的消息数据(如参考图4所示的消息格式)，将该消息数据存入先前申请的数据节点中，并在步骤S640中根据客户标识将该数据节点放入相应客户端消息队列233₁-233₃中。随后在步骤S650中，消息分发部件234扫描各个客户端消息队列233₁-233₃，依次取出要进行处理的数据节点，并根据数据节点所指向的消息数据的MsgId字段的内容，在步骤S660将该数据节点放入相应的消息处理部件236₁-236₃的消息处理部件消息队列235₁-235₃中。消息处理部件236₁-236₃在步骤S670从与之对应的消息队列中取出要处理的数据节点，获取数据节点所指向的消息数据内容，并在步骤S680处理该消息数据内容，并在步骤S690向通信部件221返回处理结果作为应答消息。当然，处理结果可以先由输出处理部件222进行处理，然而在由通信部件221发送给发送请求的客户端。

如上所述，上面虽然以网页游戏系统为例对根据本发明的数据处理系统和游戏服务器端进行了描述，但是应当理解的是，根据本发明的方案同样可以应用在其他需要同时为多个客户提供服务或者数据处理、即具有并发用户要求和快速客户响应时间需求的数据处理系统以及服务器中。

此外，在上述实施例中，根据各个部件所执行的功能对各个部件进行了划分，但是在实践中，可以根据情况对各个部件进行重新划分，例如，其中的几个部件可以并为一个部件，或者可以对一个部件进行进一步划分。

应该注意的是，上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims

1.一种数据处理系统，包括：

至少一个客户端消息队列，每个客户端消息队列用于存储来自一个或者多个客户的消息数据；

至少一个消息处理部件，每个消息处理部件具有相对应的消息处理部件消息队列，并且对相对应消息处理部件消息队列中存储的消息数据进行处理；以及

消息分发部件，从所述至少一个客户端消息队列之一中取出所述消息数据，并且将所述消息数据放入相应的消息处理部件消息队列中；

其中所述客户端消息队列和消息处理部件消息队列中存储指向所述消息数据的指针，而且所述消息分发部件通过对指针的操作来将消息数据从所述至少一个客户端消息队列之一取出并放入消息处理部件消息队列中。

2.如权利要求1所述的数据处理系统，还包括：

消息预处理部件，用于将来自客户端的请求消息转换为统一格式的消息数据，并将该消息数据放入与该客户端相对应的客户端消息队列中。

3.如权利要求2所述的数据处理系统，还包括：

缓冲池，其中保存了事先在系统存储器中分配好的用于存储所述消息数据的存储空间；

其中所述消息预处理部件从所述缓冲池获取用于存储所述消息数据的存储空间。

4.如权利要求1-3中任一项所述的数据处理系统，其中每个客户端消息队列用于存储来自一个客户的消息数据。

5.一种数据处理服务器，包括：

通信处理部件，用于接收来自客户端的请求信息；以及

如权利要求1-4中的任一项所述的数据处理系统，用于对所述通信处理部件所接收的请求信息进行处理，并将处理结果返回到所述通信处理部件，以便作为应答返回给客户端。

6.如权利要求5所述的数据处理服务器，其中

所述通信处理部件为HTTP服务器。

7.一种网页游戏系统，包括：

如权利要求5-6中的任一个所述的数据处理服务器；以及

一个或者多个客户端。

8.一种数据处理方法，包括步骤：

将来自客户端的消息数据存储到与该客户端相对应的客户端消息队列中；

从所述客户端消息队列中取出其中存储的消息数据，并将该消息数据放入到与该消息数据的类型相对应的数据处理部件消息队列中；以及

分别从所述数据处理部件消息队列中取出消息数据，并进行处理，

其中所述客户端消息队列和消息处理部件消息队列中存储指向所述消息数据的指针，而且通过对指针的操作来将消息数据从所述至客户端消息队列取出并放入消息处理部件消息队列中。

9.如权利要求8所述的数据处理方法，还包括步骤：

将来自客户端的请求消息转换为统一格式的消息数据之后，将所述消息数据放入与该客户端相对应的客户端消息队列中。

10.如权利要求8或者9所述的数据处理方法，还包括步骤：

事先分配好的用于存储所述消息数据的存储空间；以及

从事先分配好的存储空间中获取用于存储所述消息数据的存储空间。