CN104572259A

CN104572259A - 一种数据处理方法及装置

Info

Publication number: CN104572259A
Application number: CN201410555131.6A
Authority: CN
Inventors: 林晓峰; 陈渝; 李晓栋; 茅俊杰; 何嘉权; 牟旋
Original assignee: Tsinghua University; Sina Technology China Co Ltd
Current assignee: Tsinghua University; Sina Technology China Co Ltd
Priority date: 2014-10-17
Filing date: 2014-10-17
Publication date: 2015-04-29

Abstract

本发明公开了一种数据处理方法及装置，该方法包括：针对每个中央处理单元CPU，根据全局监听表，生成该CPU对应的本地监听表；其中，所述本地监听表中包含的信息与所述全局监听表包含的信息相同；指示该CPU通过所述本地监听表监听数据。网络设备中的操作系统根据全局监听表，生成各CPU的本地监听表，各CPU通过各自的本地监听表，就可以直接监听相应的端口中的数据，无需再争抢全局监听表上的锁，从而提升了CPU处理数据的效率。

Description

一种数据处理方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着信息技术的发展，网络设备所要处理的数据量与日俱增，传统的单一处理器已经不能处理如此大量的数据。如今，网络设备中通常采用多个中央处理单元(Central Processing Unit，CPU)协同工作的方式对数据进行处理。

具体的，网络设备通过设置的全局监听表，使该网络设备中的多个CPU监听各端口接收的数据，且CPU在监听到某个端口接收到数据时，对该数据进行处理。

在现有技术中，网络设备一般通过对全局监听表加锁的方式，使多个CPU协同工作。如图1所示，其过程具体为：网络设备对全局监听表加锁，CPU1和CPU2读取该全局监听表时，需要争抢全局监听表上的锁，如图1所示，CPU1抢到全局监听表上的锁，因此只有CPU1可以根据该全局监听表监听端口，并对端口接收到的数据进行处理，对于未争抢到锁的CPU2而言，便不能读取该全局监听表，只能进入等待状态。持有锁的CPU1完成数据处理后会释放锁，此时，CPU1和CPU2便开始新一轮对锁的争抢，以便处理后续的数据。也即，只有抢到锁的CPU才能读取该全局监听表，以监听相应的端口，并对端口接收到的数据进行处理，未抢到锁的CPU只能等待。

显然，加锁的方式会使各CPU一直处于争抢-等待的过程，同一时刻只有一个CPU能抢到锁，未争抢到锁的CPU不能进行数据的处理，只能等待下一轮争抢，降低了数据处理的效率。

发明内容

本发明实施例提供一种数据处理方法及装置，用以解决网络设备中的多个CPU由于争抢锁导致数据处理效率低的问题。

本发明实施例提供的一种数据处理方法，包括：

针对每个中央处理单元CPU，根据全局监听表，生成该CPU对应的本地监听表；其中，所述本地监听表中包含的信息与所述全局监听表包含的信息相同；

指示该CPU通过所述本地监听表监听数据。

本发明实施例另提供的一种数据处理方法，包括：

针对每个中央处理单元CPU，根据全局连接表，生成该CPU对应的本地连接表；

指示该CPU在建立连接后，将所述连接对应的连接状态信息写入所述本地连接表中。

本发明实施例另提供的一种数据处理装置，包括：包括：生成模块和指示模块，其中，

所述生成模块，用于针对每个中央处理单元CPU，根据全局监听表，生成该CPU对应的本地监听表；其中，所述本地监听表中包含的信息与所述全局监听表包含的信息相同；

所述指示模块，用于指示该CPU通过所述本地监听表监听数据。

本发明实施例还提供的一种数据处理装置，包括：生成模块和指示模块，其中，

所述生成模块，用于针对每个中央处理单元CPU，根据全局连接表，生成该CPU对应的本地连接表；

所述指示模块，用于指示该CPU在建立连接后，将所述连接对应的连接状态信息写入所述本地连接表中。

本发明实施例提供一种数据处理方法及装置，网络设备中的操作系统根据全局监听表，生成各CPU的本地监听表，各CPU通过各自的本地监听表，就可以直接监听相应的端口，无需再争抢全局监听表上的锁，从而可以提升各CPU数据处理的效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为现有技术中多个CPU抢锁过程的示意图；

图2为本发明实施例提供的指示CPU监听数据的过程示意图；

图3为本发明实施例提供的全局监听表以及CPU1～4中的本地监听表的示意图；

图4为本发明实施例提供的指示CPU使用数据连接的过程示意图；

图5为本发明实施例提供的全局连接表以及CPU1～4中的本地连接表的示意图；

图6为本发明实施例提供的用于数据处理装置结构示意图；

图7为本发明实施例提供的用于数据处理装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图2为本发明实施例提供的指示CPU监听数据的过程，该过程具体包括以下步骤：

S201，针对每个CPU，根据全局监听表，生成该CPU对应的本地监听表。其中，所述本地监听表中包含的信息与所述全局监听表包含的信息相同。

在本发明实施例中，所述的全局监听表，具体是由网络设备的操作系统在该网络设备启动时所生成的数据表。其中，该全局监听表中包含有该网络设备所有端口的端口信息(如：端口标识以及各端口标识所对应的端口的状态等)。在全局监听表生成后，网络设备的操作系统复制该全局监听表，将复制后生成的数据表作为CPU的本地监听表。显然，CPU对应的本地监听表与全局监听表的内容相一致。在本发明实施例中，操作系统将与CPU对应的本地监听表存储于内存中，其中，一个CPU对应一个本地监听表。

需要说明的是，上述的端口信息，具体可以为端口的套接字(socket)。上述网络设备的端口是指：网络设备的逻辑传输端口，如：传输控制协议(Transmission Control Protocol，TCP)端口，或，用户数据报协议(User DatagramProtocol，UDP)端口等。所述的网络设备包括但不限于：服务器、交换机等为终端设备提供网络服务的设备，也可以包括终端设备。

S202，指示该CPU通过所述本地监听表监听数据。

网络设备的操作系统可指示CPU根据对应的本地监听表，监听相应的端口中的数据。

具体地，对于上述步骤S202，网络设备的操作系统通过系统进程向该CPU下发携带端口标识的监听指令，以指示该CPU根据所述本地监听表，监听所述端口标识对应的端口接收到的数据。也就是说，操作系统向各CPU下发的监听指令中，所携带的端口标识可相同，也可不同，从而各CPU可监听同一端口接收到的数据，也可监听不同端口接收到的数据。

通过上述方法，不同的CPU均获得了各自的本地监听表，各CPU根据自身对应的本地监听表，就可以直接监听端口中的数据，不需要再通过抢锁的方式来监听端口中的数据。

下面以一个具体实例对上述技术效果进行说明。

例如：如图3所示，假设网络设备中共有4个CPU，且在图3中，该网络设备的操作系统生成的全局监听表的格式及内容如下表1所示。

端口	端口状态
		80	开放
81	开放
		82	开放
83	开放

表1

表1中记录了端口80～83以及这4个端口的状态。由于在本发明实施例中，网络设备的操作系统根据该全局监听表，为每个CPU均生成了对应的本地监听表，本地监听表中包含的信息与所述全局监听表包含的信息相同，所以，针对CPU1～4生成的4个本地监听表与上述表1均相同。

如图3所示，操作系统将对应于CPU1～4的本地监听表存储在内存中，并指示CPU1～4根据各自的本地监听表，监听其中任一端口中的数据，而无需进行抢锁操作。

具体的，操作系统可通过系统进程下发监听指令，来指示CPU1～4分别监听各端口所接收到的数据。通过系统进程下发的监听指令中携带有端口标识。假设监听指令中所携带的端口标识，以及与CPU的对应关系如下表2所示。

监听指令	携带的端口标识	对应的CPU
			1	80	1
2	81	2
			3	82	3
4	83	4

表2

如表2所示，操作系统通过系统进程分别向CPU1～4下发携带端口标识的监听指令1～4，从而，指示CPU1～4根据各自的本地监听表，监听对应端口接收到的数据。根据如表2所示的指令可见，各CPU所监听的端口各不相同，当然，操作系统也可指示各CPU监听同一个端口，这里就不再赘述。

通过上例可见，网络设备中的操作系统根据全局监听表，生成各CPU的本地监听表，各CPU通过各自的本地监听表，就可以直接监听相应的端口，从而无需再争抢全局监听表上的锁，从而可以提升数据处理的效率。

另外，在本发明实施例中的另一种方式下，网络设备的操作系统根据全局监听表，可以针对各CPU生成不同的本地监听表。延续上例，全局监听表仍如表1所示，操作系统针对CPU1～4分别生成的本地监听表1～4如表3所示。

表3

如表3所示，操作系统针对CPU1～4分别生成的本地监听表1～4各不相同，但不同的本地监听表之间存在交集(即，不同的本地监听表中可能包含相同的端口信息)，表3中的本地监听表1～4，是由操作系统根据如表1所示的全局监听表所划分的，也即，本地监听表1～4的合集就是全局监听表。从而，CPU1～4就可以直接根据各自的本地监听表1～4监听相应的端口，这4个CPU所监听的端口可相同也可不同。

对于上述如图2所示的方法，需要说明的是，在实际应用场景中，网络设备在运行的过程中可能会出错，导致CPU中的本地监听表被擦除，那么，该CPU只能等待操作系统重新生成新的本地监听表。在操作系统为该CPU生成新的本地监听表之前，该CPU由于没有本地监听表，因此不能监听数据。原本应由该CPU监听的数据便处于无CPU监听的状态，当接收到新的数据时，没有CPU对该数据进行处理，从而造成数据停滞。

因此，在本发明实施例中，操作系统将实时监控各CPU的本地监听表，一旦出现本地监听表被擦除的情况，操作系统将进行相应的处理。其过程具体为：对该CPU对应的本地监听表进行监控，当监控到不存在该CPU对应的本地监听表时，为所述全局监听表加锁，指示其他CPU根据加锁的全局监听表，监听所述端口标识对应的端口接收到的数据。

仍以表1和表2为例：全局监听表如表1所示，操作系统生成CPU1～4的本地监听表也与表1相同，此时，操作系统通过系统进程分别向CPU1～4下发监听指令1～4，指示各CPU监听对应端口中的数据，监听指令1～4所携带的端口标识，以及与CPU的对应关系如表2所示。

假设CPU1～3对应的本地监听表均正常，但CPU4对应的本地监听表被擦除，则此时没有CPU对端口83中的数据进行监听。

因此，操作系统将指示正常工作的CPU1～3对原本由CPU4监听的端口83进行监听。具体为：操作系统指示CPU1～3根据全局监听表监听端口83接收的数据。为了避免CPU1～3对端口83接收的数据重复监听，故操作系统会对全局监听表加锁。也即，操作系统监控到CPU4的本地监听表被擦除后，便立即对全局监听表加锁，之后，操作系统指示正常工作的CPU1～3根据全局监听表，监听端口83接收到的数据。从而，CPU1～3均会争抢全局监听表上的锁，在此假设CPU1抢到锁，那么，抢到锁的CPU1将会读取该全局监听表，并监听端口83接收到的数据，而CPU2和CPU3未抢到锁，就不会监听该端口83接收到的数据。

可见，即使某个CPU对应的本地监听表出错而被擦除，其他CPU也可以根据全局监听表，监听该被擦除本地监听表的CPU所本应监听的端口，从而，不会出现CPU停滞的现象，保证了数据处理的稳定性。

以上为本发明实施例中网络设备内部的操作系统指示多个CPU根据全局监听表和本地监听表，对端口接收的数据进行监听的过程。

而当相应的数据连接建立之后，现有技术中，操作系统会生成一张记录所有已建立的数据连接的全局连接表，当有待发送的数据时，与现有的监听过程类似，各CPU会争抢该全局连接表上的锁，抢到锁的CPU才能读取该全局监听表，将相应的待发送数据通过对应的数据连接发送。未抢到锁的CPU只能进入等待状态。

因此，本发明实施例中的操作系统指示多个CPU使用数据连接的过程如图4所示，该过程具体如下：

S401，针对每个CPU，根据全局连接表，生成该CPU对应的本地连接表。

在本申请实施例中，所述的全局连接表和本地连接表，是用于记录数据连接信息的一种数据表式的数据结构。

与上述全局监听表类似，网络设备的操作系统在该网络设备启动时，生成全局连接表，并由该操作系统根据该全局连接表生成针对该网络设备中的CPU的本地连接表。

在本发明实施例中，与本地监听表类似，网络设备的操作系统将与CPU对应的本地连接表存储于内存中，其中，一个CPU只对应一个本地连接表。

S402，指示该CPU在建立连接后，将所述连接对应的连接状态信息写入所述本地连接表中。

在实际应用场景中，一条数据连接是建立在某一端口上的，CPU所监听的端口可能会接收到建立数据连接的请求数据，则CPU会根据接收到的请求数据，在该端口上建立相应的数据连接。因此，不同的CPU所建立的数据连接及其数量均不相同。对于上述步骤S402，各CPU将自身建立的数据连接的连接信息，写入自身对应的本地连接表中，从而各CPU对应的本地连接表包含的内容均不相同。

例如，如图5所示，网络设备的操作系统针对CPU1～4，分别生成了对应的本地连接表1～4存储于内存中。CPU1建立了数据连接A和B，CPU2建立了数据连接C，CPU3建立了数据连接D，CPU4建立了数据连接E和F。从而，CPU1～4分别将自身建立的数据连接的连接信息写入自身对应的本地连接表中，也即，在图5中，CPU1在其对应的本地连接表中写入连接信息a和b，CPU2在其对应的本地连接表中写入连接信息c，CPU3在其对应的本地连接表中写入连接信息d，CPU4在其对应的本地连接表中写入连接信息e和f，因此，本地连接表1～4中的内容各不相同。

在本发明实施例中，CPU要发送数据时，可通过其对应的本地连接表进行发送。具体地，对于上述如图4所示的方法，还包括：通过系统进程向该CPU下发携带待发送数据的发送指令，以指示该CPU根据所述本地连接表，发送所述待发送数据。其中，当CPU基于已建立的数据连接，接收到数据，并要对接收到的数据进行处理时，生成对应的数据结果，则上述待发送数据即为CPU生成的数据结果。当然，CPU也可主动生成待发送的数据。

经过上述步骤，各CPU持有各自的本地连接表，并且，CPU将自身建立的数据连接的连接信息写入对应的本地连接表中，这样一来，操作系统通过系统进程向相应的CPU发送携带有待发送数据的发送指令，使该CPU通过自身的本地连接表中记录的连接信息，将该待发送数据进行发送，有效提升了对于数据的传输以及处理效率。

以上为本发明实施例提供的数据处理方法，基于同样的思路，本发明实施例还提供一种数据处理装置。

如图6所示，数据处理装置包括：生成模块601和指示模块602，其中，

所述生成模块601，用于针对每个中央处理单元CPU，根据全局监听表，生成该CPU对应的本地监听表。

其中，所述本地监听表中包含的信息与所述全局监听表包含的信息相同。

所述指示模块602，用于指示该CPU通过所述本地监听表监听数据。

在本发明实施例中，指示模块602，具体用于通过系统进程向该CPU下发携带端口标识的监听指令，以指示该CPU根据所述本地监听表，监听所述端口标识对应的端口接收到的数据。

在本发明实施例中，所述装置，还包括：监控模块603，用于对该CPU对应的本地监听表进行监控，当监控到不存在该CPU对应的本地监听表时，为所述全局监听表加锁，指示其他CPU根据加锁的全局监听表，监听所述端口标识对应的端口接收到的数据。

对于上述装置，在本发明实施例中，所述全局监听表和所述本地监听表中包含的信息包括：端口信息。

本发明实施例中的另一种数据处理装置如图7所示，其中，该装置包括：发送生成模块701和指示模块702，其中；

所述发送生成模块701，用于针对每个中央处理单元CPU，根据全局连接表，生成该CPU对应的本地连接表。

所述指示模块702，用于指示该CPU在建立连接后，将所述连接对应的连接状态信息写入所述本地连接表中。

在本发明实施例中，所述装置，还包括：发送模块703，用于通过系统进程向该CPU下发携带待发送数据的发送指令，以指示该CPU根据所述本地连接表，发送所述待发送数据。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种数据处理方法，其特征在于，包括：

指示该CPU通过所述本地监听表监听数据。

2.如权利要求1所述的方法，其特征在于，指示该CPU通过所述本地监听表监听数据，具体包括：

通过系统进程向该CPU下发携带端口标识的监听指令，以指示该CPU根据所述本地监听表，监听所述端口标识对应的端口接收到的数据。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

对该CPU对应的本地监听表进行监控；

当监控到不存在该CPU对应的本地监听表时，为所述全局监听表加锁，指示其他CPU根据加锁的全局监听表，监听所述端口标识对应的端口接收到的数据。

4.如权利要求1所述的方法，其特征在于，所述全局监听表和所述本地监听表中包含的信息包括：端口信息。

5.一种数据处理方法，其特征在于，包括：

6.如权利要求5所述的方法，其特征在于，所述方法还包括：

通过系统进程向该CPU下发携带待发送数据的发送指令，以指示该CPU根据所述本地连接表，发送所述待发送数据。

7.一种数据处理装置，其特征在于，包括：生成模块和指示模块，其中，

8.如权利要求7所述的装置，其特征在于，所述指示模块，具体用于：

9.如权利要求8所述的装置，其特征在于，所述装置，还包括：监控模块，用于对该CPU对应的本地监听表进行监控，当监控到不存在该CPU对应的本地监听表时，为所述全局监听表加锁，指示其他CPU根据加锁的全局监听表，监听所述端口标识对应的端口接收到的数据。

10.如权利要求7所述的装置，其特征在于，所述全局监听表和所述本地监听表中包含的信息包括：端口信息。

11.一种数据处理装置，其特征在于，包括：生成模块和指示模块，其中，

12.如权利要求11所述的装置，其特征在于，所述装置还包括：发送模块，用于通过系统进程向该CPU下发携带待发送数据的发送指令，以指示该CPU根据所述本地连接表，发送所述待发送数据。