CN107135168A - 一种网络数据处理方法及装置 - Google Patents

Abstract

一种网络数据处理方法及装置，所述方法包括：至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收；根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列；所述队列将所述网络数据发送至用户界面。所述方法及装置的效率较高。

Description

一种网络数据处理方法及装置

技术领域

本发明涉及数据处理领域，尤其涉及一种网络数据处理方法及装置。

背景技术

随着网络技术的发展，越来越多的数据需要通过网络进行传输。连接至网络的终端例如计算机、服务器等，可以对网络数据进行处理，也就是在通过网络接收到网络数据，并对网络数据进行进一步的运用。

在现有技术中，网络数据处理方法的效率有待提高。

发明内容

本发明解决的技术问题是提升网络数据处理方法的效率。

为解决上述技术问题，本发明实施例提供一种网络数据处理方法，包括：至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收；根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列；所述队列将所述网络数据发送至用户界面。

可选的，所述不同的队列包括第一队列和第二队列，根据终端对数据时效性要求的不同，所述网络数据被分为第一类数据和第二类数据，所述第一类数据的时效性要求高于所述第二类数据的时效性要求，所述第一类数据被分发至第一队列，所述第二类数据被分发至第二队列。

可选的，所述第一队列缓存实时推送类型的网络数据，所述第二队列缓存请求响应类型的网络数据。

可选的，所述第一队列向用户界面实时推送所述第一类数据。

可选的，所述网络数据处理方法还包括：基于所述用户界面生成的数据请求，产生并记录该数据请求的序列号，所述数据请求用于请求所述网络数据；所述第二队列缓存响应所述数据请求的网络数据，所述第二队列中的网络数据包含与所述序列号相匹配的标识。

可选的，根据所述网络数据的时效性要求，所述网络线程与各自的辅助线程对应，其中，将所述网络数据分发至不同的队列包括：通过与所述至网络线程对应的辅助线程对所述网络数据进行处理；所述辅助线程对所述网络数据进行分类，以分发至不同的队列；所述辅助线程通知用户界面进行处理。

可选的，所述至少两个网络线程分别对应不同的SOKET套接字。

本发明实施例还提供一种网络数据处理装置，包括：线程控制单元，适于控制至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收；队列分发单元，适于根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列；队列控制单元，适于指示所述队列将所述网络数据发送至用户界面。

可选的，所述不同的队列包括第一队列和第二队列，根据终端对数据时效性要求的不同，所述网络数据被所述队列分发单元分为第一类数据和第二类数据，所述第一类数据的时效性要求高于所述第二类数据的时效性要求，所述第一类数据被所述队列分发单元分发至第一队列，所述第二类数据被所述队列分发单元分发至第二队列。

可选的，所述第一队列适于缓存实时推送类型的网络数据，所述第二队列适于缓存请求响应类型的网络数据。

可选的，所述队列控制单元包括第一队列控制单元，适于控制所述第一队列向用户界面实时推送所述第一类数据。

可选的，所述网络数据处理装置还包括：请求单元，适于基于所述用户界面生成的数据请求，产生并记录该数据请求的序列号，所述数据请求用于请求所述网络数据；所述队列控制单元包括第二队列控制单元，适于控制所述第二队列接收响应所述数据请求的网络数据，所述第二队列中的网络数据包含与所述序列号相匹配的标识。

可选的，所述网络线程与各自的辅助线程对应，其中，所述队列分发单元包括：数据处理单元，适于通过与所述网络线程对应的辅助线程对所述网络数据进行处理；辅助线程控制单元，适于控制所述辅助线程对所述网络数据进行分类，以分发至不同的队列；通知单元，适于控制所述辅助线程通知用户界面进行处理。

可选的，所述至少两个网络线程分别对应不同的SOKET套接字。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

通过至少两个网络线程竞争性地接收网络数据，可以使得多个网络线程中空闲度交高的网络线程优先接收，从而可以提升网络数据的接收效率，进而提升网络数据的处理效率；通过对网络数据进行时效性的区分，将网络数据分发至不同队列，可以使得对时效性要求较高的数据与对时效性要求较低的数据分离，提升对时效性要求较高的数据的处理效率，从而提升网络数据处理方法的效率。

附图说明

图1是本发明实施例中一种网络数据处理方法的流程图；

图2是本发明实施例中一种将所述网络数据分发至不同的队列的方法流程图；

图3是本发明实施例中一种网络数据处理装置的结构示意图。

具体实施方式

随着网络技术的发展，越来越多的数据需要通过网络进行传输。连接至网络的终端例如计算机、服务器等，可以对网络数据进行处理，也就是在通过网络接收到网络数据，并对网络数据进行进一步的运用。在现有技术中，网络数据处理方法的效率有待提高。

本发明实施例通过至少两个网络线程竞争性地接收网络数据，可以使得多个网络线程中空闲度较高的网络线程优先接收待处理的网络数据，从而可以提升网络数据的接收效率，进而提升网络数据的处理效率；通过对网络数据进行时效性的区分，将网络数据分发至不同队列，可以使得对时效性要求较高的数据与对时效性要求较低的数据分离，提升对时效性要求较高的数据的处理效率，从而提升网络数据处理方法的效率。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例中一种网络数据处理方法的流程图。

在步骤S11中，至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收。

设置至少两个网络线程，所述网络线程适于接收网络数据。在网络数据到来时，判断每个网络线程的空闲度，利用空闲度较高的线程接收网络数据，从而可以使得网络数据可以通过多个线程接收，提升网络数据接收的效率，进而提升网络数据处理的效率。其中，网络线程的空闲度可以根据网络线程在单位时间内处于“忙”状态和“闲”状态的时间比例来衡量，或者也可以采用单位时间内接收的数据量来衡量，或者还可以采用其他任何适当的方式来衡量。

在具体实施中，所述至少两个网络线程分别对应不同的SOKET套接字。

在步骤S12中，根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列。

在网络数据处理的过程中，包括终端对网络数据的接收和进一步运用。在对网络数据进行运用时，有对网络数据的实时性要求比较高的运用，也有对网络数据实时性要求较低的运用。有些网络数据需要进行实时处理，对时效性要求较高，例如在用户界面进行实时刷新和显示；有些网络数据的处理实时性较低，例如利用网络数据完成某个请求响应。

若将所有网络数据不加区分，全部放在同一个队列中，会影响对网络数据的时效性要求较高的运用的效率，进而影响到整个网络数据处理的效率。通过时效性的不同对网络数据进行区分，将对时效性要求较高的网络数据和对时效性要求较低的网络数据分别分发至不同的队列，可以减小不同类型网络数据之间的相互影响，从而提升网络数据的处理效率。

在具体实施中，将所述网络数据分发至不同的队列之前，需要对网络数据进行接收。网络数据由网络包进行发送，在接收网络包时，需要处理网络读消息过来后，网络包可能产生的多种情况，如一次接收的网络包可能是半个、1个半或n个数据包。这需要在客户端网络模块，申请一块内存区域，通常是环形队列，用于存放未解析完的网络包，等待下一次网络包过来，与内存中存放的网络包进行拼接，如果仍不是一个完整包，则继续等待接收，如此循环接收，直到获得一个完整的数据包，只有得到一个完整的数据包，才是一次收发的结束，才能称作为一个业务包，交由数据层进行解析处理，决定该业务包的分发。

在一具体实施中，所述不同的队列包括第一队列和第二队列，根据终端对数据时效性要求的不同，所述网络数据被分为第一类数据和第二类数据，所述第一类数据的时效性要求高于所述第二类数据的时效性要求，所述第一类数据被分发至第一队列，所述第二类数据被分发至第二队列。

在本发明一实施例中，所述第一队列适于缓存实时推送类型的网络数据，所述第二队列适于缓存请求响应类型的网络数据。其中，实时推送类型的网络数据例如可以是用于用户界面实时刷新和显示的网络数据，请求响应类型的网络数据例如可以是用于响应先前的某个请求的网络数据。

参见图2，在另一具体实施中，所述网络线程与各自的辅助线程对应，步骤S12可以包括：

步骤S121，通过与所述至少一个网络线程对应的辅助线程对所述网络数据进行处理。

辅助线程可以对网络数据进行完整性的判定和整合，例如前述完成对业务包的收发。在本发明一实施例中，该处理可以是在绑定于某一隐藏窗口的窗体线程里进行的。

辅助线程可以是与网络线程一一对应的。通过网络线程完成数据包的整合，得到业务包，可以减轻网络线程的压力，以提高网络数据的接收效率。

步骤S122，所述辅助线程对所述网络数据进行分类，以分发至不同的队列。

辅助线程还可以在获取完整业务包后对业务包进行解析，判断网络数据的类型，以将网络数据分发至不同队列。

步骤S123，所述辅助线程通知用户界面进行处理。

辅助线程可以直接通知用户界面对时效性较高的数据进行处理。对时效性较低的数据，当用户界面层触发数据层请求数据时，数据层需要将请求传送到网络线程；同理，当网络数据到达网络层后，网络层也需要将网络数据发送到辅助线程，辅助线程将数据放入队列中，队列再通过读取数据，找到对应用户界面进行通知处理。

这样避免在网络线程上做耗时较长的处理，如果网络线程停滞处理不必要的操作，将直接导致客户端网络线程被阻塞，无法收发网络消息，导致性能大大降低，影响整个客户端运作。

在步骤S13中，所述队列将所述网络数据发送至用户界面。

不同的队列可以根据网络数据时效性的不同，将网络数据在不同的时机发送至用户界面。例如，可以将对时效性要求较高的数据实时推送至用户界面，将对时效性要求较低的数据以响应用户界面请求的方式返回至用户界面。

在一具体实施中，所述第一队列可以向用户界面实时推送所述第一类数据，以完成实时显示。例如，在交易系统中，可以实时显示不同数据来源的网络数据，由于在交易过程中，获得交易信息、行情信息的速度相当关键，故将交易信息、行情信息等时效性要求较高的信息作为第一类数据，利用第一队列单独对第一类数据进行缓存，可以提升网络数据处理的效率，进而提升交易系统的效率，提升竞争优势。

在另一具体实施中，网络数据处理方法还包括：基于所述用户界面生成的数据请求，产生并记录该数据请求的序列号，所述数据请求用于请求所述网络数据；所述第二队列缓存响应所述数据请求的网络数据，所述第二队列中的网络数据包含与所述序列号相匹配的标识。

基于用户界面生成数据请求，可以是基于用户在用户界面的操作生成的数据请求。若在数据请求后，若一直等待网络数据的返回，则会影响终端效率，故可以在产生数据请求并触发数据层请求网络数据后，产生该数据请求的序列号，以待对应该数据请求的网络数据返回后，相应该请求。

上述过程不同于阻塞式网络，是一种异步网络请求。在生成异步网络请求后，数据不是立即返回，而只会返回一个状态，这时需要记录这次请求的信息，将它存放在内存里，以便返回网络数据后能够找到对应的请求，再做相应的处理。通常做法是客户端自身产生一个自增的序列号，请求后存入一个Map数据结构，然后等返回网络数据后，通过返回的序列号，找到匹配的数据请求的序列号所对应的信息，然后进行处理。

返回的网络数据由第二队列进行缓存，第二队列中的网络数据包含与所述序列号相匹配的标识，该标识可以是返回的序列号，该序列号与数据请求的序列号相匹配，这样就能保证请求不丢失，业务完整处理。

本发明实施例还提供一种网络数据处理装置，其结构示意图参见图3。

网络数据处理装置可以包括：

线程控制单元31，适于控制至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收；

队列分发单元32，适于根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列；

队列控制单元33，适于指示所述队列将所述网络数据发送至用户界面。

在具体实施中，所述不同的队列可以包括第一队列和第二队列，根据终端对数据时效性要求的不同，所述网络数据被所述队列分发单元32分为第一类数据和第二类数据，所述第一类数据的时效性要求高于所述第二类数据的时效性要求，所述第一类数据被所述队列分发单元32分发至第一队列，所述第二类数据被所述队列分发单元32分发至第二队列。

在具体实施中，所述第一队列适于缓存实时推送类型的网络数据，所述第二队列适于缓存请求响应类型的网络数据。

在具体实施中，所述队列控制单元33可以包括第一队列控制单元，适于控制所述第一队列向用户界面实时推送所述第一类数据。

在具体实施中，所述网络数据处理装置，还可以包括：请求单元34，适于基于所述用户界面生成的数据请求，产生并记录该数据请求的序列号，所述数据请求用于请求所述网络数据；所述队列控制单元33可以包括第二队列控制单元，适于控制所述第二队列接收响应所述数据请求的网络数据，所述第二队列中的网络数据包含与所述序列号相匹配的标识。

在具体实施中，所述网络线程与各自的辅助线程对应，其中，所述队列分发单元32可以包括：

数据处理单元，适于通过与所述网络线程对应的辅助线程对所述网络数据进行处理；

辅助线程控制单元，适于控制所述辅助线程对所述网络数据进行分类，以分发至不同的队列；

通知单元，适于控制所述辅助线程通知用户界面进行处理。

在具体实施中，所述至少两个网络线程可以分别对应不同的SOKET套接字。

本发明实施例中的网络数据处理装置的具体实现可以参照网络数据处理方法。网络数据处理装置可以位于终端中。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种网络数据处理方法，其特征在于，包括：

至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收；

根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列；

所述队列将所述网络数据发送至用户界面。

2.根据权利要求1所述的网络数据处理方法，其特征在于，所述不同的队列包括第一队列和第二队列，根据终端对数据时效性要求的不同，所述网络数据被分为第一类数据和第二类数据，所述第一类数据的时效性要求高于所述第二类数据的时效性要求，所述第一类数据被分发至第一队列，所述第二类数据被分发至第二队列。

3.根据权利要求2所述的网络数据处理方法，其特征在于，所述第一队列缓存实时推送类型的网络数据，所述第二队列缓存请求响应类型的网络数据。

4.根据权利要求3所述的网络数据处理方法，其特征在于，所述第一队列向用户界面实时推送所述第一类数据。

5.根据权利要求3所述的网络数据处理方法，其特征在于，还包括：

基于所述用户界面生成的数据请求，产生并记录该数据请求的序列号，所述数据请求用于请求所述网络数据；

所述第二队列缓存响应所述数据请求的网络数据，所述第二队列中的网络数据包含与所述序列号相匹配的标识。

6.根据权利要求1所述的网络数据处理方法，其特征在于，所述网络线程与各自的辅助线程对应，其中，根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列包括：通过与所述网络线程对应的辅助线程对所述网络数据进行处理；所述辅助线程对所述网络数据进行分类，以分发至不同的队列；所述辅助线程通知用户界面进行处理。

7.根据权利要求1所述的网络数据处理方法，其特征在于，所述至少两个网络线程分别对应不同的SOKET套接字。

8.一种网络数据处理装置，其特征在于，包括：

线程控制单元，适于控制至少两个网络线程竞争性地接收网络数据，所述竞争性地接收是指空闲度高的网络线程优先接收；

队列分发单元，适于根据所述网络数据的时效性要求，将所述网络数据分发至不同的队列；

队列控制单元，适于指示所述队列将所述网络数据发送至用户界面。

9.根据权利要求8所述的网络数据处理装置，其特征在于，所述不同的队列包括第一队列和第二队列，根据终端对数据时效性要求的不同，所述网络数据被所述队列分发单元分为第一类数据和第二类数据，所述第一类数据的时效性要求高于所述第二类数据的时效性要求，所述第一类数据被所述队列分发单元分发至第一队列，所述第二类数据被所述队列分发单元分发至第二队列。

10.根据权利要求9所述的网络数据处理装置，其特征在于，所述第一队列适于缓存实时推送类型的网络数据，所述第二队列适于缓存请求响应类型的网络数据。

11.根据权利要求10所述的网络数据处理装置，其特征在于，所述队列控制单元包括第一队列控制单元，适于控制所述第一队列向用户界面实时推送所述第一类数据。

12.根据权利要求10所述的网络数据处理装置，其特征在于，还包括：

请求单元，适于基于所述用户界面生成的数据请求，产生并记录该数据请求的序列号，所述数据请求用于请求所述网络数据；

所述队列控制单元包括第二队列控制单元，适于控制所述第二队列接收响应所述数据请求的网络数据，所述第二队列中的网络数据包含与所述序列号相匹配的标识。

13.根据权利要求8所述的网络数据处理装置，其特征在于，所述网络线程与各自的辅助线程对应，其中，所述队列分发单元包括：

数据处理单元，适于通过与所述网络线程对应的辅助线程对所述网络数据进行处理；

辅助线程控制单元，适于控制所述辅助线程对所述网络数据进行分类，以分发至不同的队列；

通知单元，适于控制所述辅助线程通知用户界面进行处理。

14.根据权利要求8所述的网络数据处理装置，其特征在于，所述至少两个网络线程分别对应不同的SOKET套接字。