CN101437031A - 计算机网络数据的传输处理方法与系统 - Google Patents

Abstract

一种计算机网络数据的传输处理方法，包括以下步骤：建立普通节点、超级节点与服务器的层级相互连接关系；普通节点收集信息并将该信息按预定格式发送到与所述普通节点所对应的超级节点；超级节点接收所述普通节点所收集的信息并对信息进行处理后发送到服务器；服务器接收所述超级节点处理后的信息并对处理后的信息进行分析并获得分析结果。通过设置超级节点收集和处理信息，再将处理后的信息发送到服务器，避免服务器接收到大量普通节点发送的信息，可以减少服务器的负载。此外，还提供了一种计算机网络数据的传输处理系统。

Description

计算机网络数据的传输处理方法与系统

【技术领域】

本发明涉及计算机网络技术领域，尤其是计算机网络数据的传输处理方法与系统。

【背景技术】

计算机网络技术的发展，使得在大范围内快速地收集信息成为可能。传统的信息收集模式采用C/S(Client/Server，客户端/服务器)模式：客户端收集的信息通过网络直接传递到服务器，由服务器对这些信息进行整合、处理、分析，得到相应的结果。

以地震的检测为例，利用与客户端相连的加速度传感器进行地震检测的系统中，服务器需要实时收集参与客户端的震动信息。在参与客户端较少时，C/S模式简单有效：客户端定时向服务器报告其加速度传感器所采集到的信号，服务器对来自所有节点的信息进行综合分析，并判断是否有地震发生；但如果进行大规模应用，在数十万甚至数百万节点参与时，C/S模式下服务器压力巨大。

类似地，在气温、气压的监测、网络调查等其他应用中，如果参与的客户端数量众多甚至超出服务器的负载能力，将导致服务器压力巨大甚至瘫痪。

【发明内容】

有鉴于此，有必要针对客户端/服务器模式中参与的客户端数量众多时服务器不堪重负的问题，提供一种计算机网络数据的传输处理方法。

此外，还提供了一种降低服务器压力的计算机网络数据的传输处理系统。

一种计算机网络数据的传输处理方法，包括以下步骤：建立普通节点、超级节点与服务器的层级相互连接关系；普通节点收集信息并将该信息按预定格式发送到与所述普通节点所对应的超级节点；超级节点接收所述普通节点所收集的信息并对信息进行处理后发送到服务器；服务器接收所述超级节点处理后的信息并对处理后的信息进行分析并获得分析结果。

一种计算机网络数据的传输处理系统，包括用于收集信息并将该信息按预定格式发送出去的普通节点，所述系统还包括超级节点和服务器，所述普通节点与超级节点、超级节点与服务器相互连接，所述超级节点用于接收所述普通节点所收集的信息并对信息进行处理后发送到服务器；所述服务器用于接收所述超级节点处理后的信息并对处理后的信息进行分析并获得分析结果。

通过设置超级节点收集和处理信息，再将处理后的信息发送到服务器，避免服务器接收到大量普通节点发送的信息，可以减少服务器的负载。

进一步地，在优选的实施方式中，所述超级节点对信息进行处理的处理方式为过滤错误信息、筛选有价值信息、统计信息中的一种或多种。

超级节点通过对信息进行过滤、筛选或者统计，使服务器直接获得有价值的信息，进一步降低了服务器的计算处理压力。

进一步地，在优选的实施方式中，所述建立普通节点、超级节点与服务器的层级相互连接关系的步骤包括建立普通节点与超级节点之间连接关系的步骤，所述建立普通节点与超级节点之间连接关系的步骤包括：辨明普通节点所在的地理位置；普通节点查找负责其所在地理位置的超级节点；建立普通节点与查找到的超级节点之间的连接关系。

在优选的实施方式中，所述辨明普通节点所在的地理位置的步骤为通过查询IP地址数据库或者接收用户手动输入地理位置的方式辨明普通节点所处的地理位置。

在优选的实施方式中，所述普通节点查找负责所述地理位置的超级节点的步骤为通过直接查询服务器或者分布式哈希表查询的方式找到负责所述普通节点所处地理位置的超级节点。

在优选的实施方式中，所述建立普通节点与查找到的超级节点之间的连接关系的步骤包括：查找到负责所述普通节点所处地理位置的超级节点数量为两个以上时，所述普通节点随机选择其中一个超级节点作为所述普通节点对应的超级节点，超级节点响应所述普通节点的选择并将所述普通节点作为所述超级节点的子节点；其它超级节点作为所述普通节点对应的候选超级节点。

在优选的实施方式中，所述普通节点与所述普通节点对应的候选超级节点保持心跳。

在优选的实施方式中，所述建立普通节点、超级节点与服务器的层级相互连接关系的步骤包括建立各层超级节点间、超级节点与服务器之间连接关系的步骤，所述建立各层超级节点间、超级节点与服务器之间连接关系的步骤包括如下步骤：明确超级节点所管理的地理位置；超级节点查找负责其所在地理位置的更高层超级节点或服务器；建立超级节点与查找到的更高层超级节点或服务器之间的连接关系。

根据地理位置来划分超级节点所管理的子节点，适合应用于地域性信息的收集，例如地震、气温、气压的检测等，并且同一地理位置的节点之间往往网络传输速率较大、延迟低，比较适合实时或大数据量网络数据的传输处理。

在优选的实施方式中，在所述超级节点或服务器的当前负载超过预定值时，所述超级节点或服务器产生超级节点产生指令并传送到下层超级节点或普通节点，所述下层超级节点或普通节点接收所述超级节点产生指令后，分担管理所述超级节点或服务器的部分其他下层超级节点或普通节点。

在服务器或者部分超级节点当前负载超出预定值时，可以通过超级节点产生指令产生新的超级节点或者将原有超级节点的层级提升，分担当前负载超出预定值的服务器或者部分超级节点的负担。

【附图说明】

图1为计算机网络数据的传输处理系统的分布式拓扑结构示意图；

图2为计算机网络数据的传输处理方法流程图；

图3为建立普通节点与超级节点之间连接关系流程图；

图4为建立各层超级节点间、超级节点与服务器之间连接关系流程图。

【具体实施方式】

如图1所示，计算机网络数据的传输处理系统采用分布式拓扑结构，该系统包括普通节点110、超级节点120、服务器130。

普通节点110位于计算机网络数据的传输处理系统的最底层，用于直接收集信息，例如在地震检测的系统中收集加速度信息，在温度检测系统中收集温度信息，在网络调查系统中收集用户输入的问卷调查信息等。

超级节点120位于普通节点110与服务器130之间并分别与普通节点110与服务器130连接。超级节点120对普通节点110收集的信息进行基础性的处理，避免服务器130接收到大量普通节点110发送的信息，以减少服务器130的负载。超级节点120可根据具体系统规模和需要分层(图2中分为两层，在其他实施例中，超级节点120可以分为一层、三层、四层等)。处于同一地理位置区域的多个普通节点将作为子结点被最低层的超级节点所管理，而管理相同地理位置区域的低层超级节点又可作为更高层超级节点的子结点。在其他的实施方式中，超级节点可以同时是普通节点和超级节点，即超级节点还像普通节点一样收集信息，并将该信息与其他普通节点收集的信息一起进行基础性的处理。

服务器130位于拓扑的最顶层，用于接收超级节点120处理后的信息并对处理后的信息进行分析并获得分析结果。

计算机网络数据的传输处理系统的工作过程，即计算机网络数据的传输处理方法如图2所示：

步骤S202，建立普通节点、超级节点与服务器的层级相互连接关系。该步骤中包括普通节点与超级节点之间连接关系的建立；各层超级节点间连接关系的建立；超级节点与服务器连接关系的建立。

步骤S204，普通节点收集信息并将信息按预定格式发送到与所述普通节点对应的超级节点。在不同的应用中，普通节点收集的信息各不相同。例如，在用于地震监测的系统中，普通节点收集的信息是震动传感器获得的加速度的大小、方向、节点所处地理位置等信息，该信息周期性地(例如一秒一次)按预定格式上报到超级节点，例如打包成包含网络地址、普通节点所在地理位置、加速度的大小、方向等数据的数据包发送到该普通节点对应的超级节点；在用于网络调查的系统中，普通节点收集的信息可以是参与调查的用户通过普通节点输入的客观的选择式的信息或主观的填写式信息。

步骤S206，超级节点接收所述普通节点所收集的信息并对信息进行处理后发送到服务器。处理的方式可以是过滤错误信息、筛选有价值信息、或者统计信息中的一种或多种。超级节点接收到普通节点所收集的信息后，过滤掉其中的错误信息、筛选其中有价值的信息或者统计信息后，获得综合信息，然后将综合信息发送到服务器。例如，在用于地震监测的系统中，部分普通节点收集的加速度信息可能明显不符合常理(如加速度传感器被人为摇晃或意外跌落等导致加速度数值明显过大，加速度单一方向持续的时间明显过长等)，则超级节点过滤掉这些错误信息。处理信息可以去伪存真，同时降低信息的数据量。例如将普通节点获得的信息进行统计，仅上报统计数据，而不上报原始数据等，可以大幅降低数据量，减轻服务器的负担。在处理过程中，如果与超级节点连接的普通节点中，只有个别节点上报了震动信息，而其他节点都未上报，由于地震涉及的范围通常较广，不可能仅仅引起个别普通节点上报震动信息，因此超级节点在仅仅收到个别节点上报了震动信息的时候忽略该信息而不向上层超级节点或服务器发送。

步骤S208，服务器接收所述超级节点处理后的信息并对处理后的信息进行分析并获得分析结果。服务器从与其相连的各超级节点获得处理后的信息，提取信息中的同一类型数据进行统计分析，并根据分析结果生成分析报告。例如，服务器从信息中代表地理位置的数据进行统计，以获得地震发生的范围；从信息中代表时间的数据进行统计，以获得地震持续的时间等。类似地，在网络调查中，对同一个问题的答案进行统计，获得接受调查的用户对该问题的看法。

以下将以更具体的方式描述上述方法。

在步骤S202中，普通节点与超级节点之间连接关系的建立流程如图3所示：

步骤S302，辨明普通节点所在的地理位置。地理位置可以通过查询IP(Internet Protocol，因特网协议)地址数据库或者接收用户手动输入地理位置的方式辨明普通节点所处的地理位置。IP地址通常与地理位置存在对应关系，通过查询IP地址数据库可以快速的获得普通节点所处的地理位置。由于IP地址数据库并不是特别精确甚至会有部分错误，因此，设置接收用户手动输入的方式可以获得精确的地理位置。

步骤S304，普通节点查找负责其所在地理位置的超级节点。普通节点可以通过直接查询服务器或者DHT(Distributed Hash Table，分布式哈希表)查询的方式找到负责所述普通节点所处地理位置的超级节点。考虑到负载均衡问题，服务器或者其它分布式查询方案中的服务节点应该随机返回符合条件的超级节点，即当前负载没有达到满负荷的超级节点，符合条件的超级节点应当至少有一个，通常符合条件的超级节点会有两个以上。

步骤S306，建立普通节点与查找到的超级节点之间的连接关系。通过步骤S304找到的负责该普通节点所处地理位置的超级节点数量通常有两个以上，普通节点向这些超级节点发送子节点请求(希望成为其对应的上层节点的请求)，接收到该子节点请求的超级节点如果当前负载允许，则会响应该请求，普通节点随机选择其中一个响应请求的超级节点作为所述普通节点对应的超级节点并建立连接关系，其它超级节点作为所述普通节点对应的候选超级节点；如果超级节点当前负载不允许则不会对该请求做出响应。普通节点还需要与该普通节点对应的部分候选超级节点保持心跳，以便于在当前对应的超级节点失效时，迅速更换超级节点。

在步骤S202中，各层超级节点间、超级节点与服务器连接关系的建立流程如图4所示：

步骤S402，明确超级节点所管理的地理位置。超级节点内预先存储了其负责管理的地理位置的数据，通过读取该数据，明确超级节点所管理的地理位置。

步骤S404，超级节点查找负责其所在地理位置的更高层超级节点或服务器。超级节点可以通过直接查询服务器或者DHT(Distributed Hash Table，分布式哈希表)查询的方式找到负责该超级节点所处地理位置的更高层超级节点或服务器。如果存在负责管理该超级节点的更高层超级节点，考虑到负载均衡问题，服务器或者其它分布式查询方案中的服务节点应该随机返回符合条件的更高层超级节点，例如当前负载没有达到满负荷的更高层超级节点。如果不存在负责管理该超级节点的更高层超级节点，则该超级节点直接查找到服务器。

步骤S406，建立超级节点与查找到的更高层超级节点或服务器之间的连接关系。通过步骤S404找到的负责该超级节点所处地理位置的超级节点数量通常有两个以上，超级节点向这些更高层超级节点发送子节点请求，接收到该子节点请求的更高层超级节点如果当前负载允许，则会响应该请求，超级节点随机选择其中一个响应请求的更高层超级节点作为该超级节点对应的更高层超级节点并建立连接关系，其它更高层超级节点则作为所述高层节点对应的候选更高层超级节点；如果更高层超级节点的当前负载不允许则不会对该请求做出响应。超级节点还需要与该超级节点对应的候选更高层超级节点保持心跳，以便于在当前对应的高层超级节点失效时，迅速更换更高层超级节点。如果没有负责该超级节点的更高层超级节点，则该超级节点直接发送连接请求到服务器，服务器相应该请求将该超级节点作为服务器的子节点。

在上述实施方式中，超级节点可以预先设置，也可以在计算机网络数据的传输处理方法的过程中通过命令的方式产生，例如，在所述超级节点或服务器的当前负载超过预定值时，所述超级节点或服务器产生超级节点产生指令并传送到下层超级节点或普通节点，所述下层超级节点或普通节点接收到所述超级节点产生指令后，分担管理所述超级节点或服务器的部分其他下层超级节点或普通节点。例如，超级节点或服务器A向其子结点发出超级节点产生指令，当这一指令最终到达某具备成为超级节点条件的普通节点B或具备成为更高层超级节点条件的超级节点C时，B或C要向A发送一负载均衡请求；A在收到这一请求时如果依然处于高负载状态，则产生一条允许信令并连同其管理的部分普通结点或超级节点信息发送给B或C；B或C收到允许信令后，查找节点B或C的高层超级节点，并请求成为子结点，如果成功，B或C应该断开原来所属超级节点的链接(防止节点成环而在信息传送过程中存在多条路径)，并负责管理允许信令中的A的子节点，从而成为超级节点或更高层超级节点。

以下以地震的监测的应用为例，简要说明计算机网络数据的传输处理方法的流程：参与监测的普通节点将震动信息周期性(这一周期可以是每秒一次)地上报给与其连接的超级节点。收到参与普通节点报告的最底层超级节点需要根据是否在同一地理范围内的较多普通节点同时出现震动而筛选信息。如果统计发现有震动信息的普通节点超过一定比例时，则将这一震动信息及时上报给更高层超级节点；否则，不上报这一信息。收到底层信息报告的高层超级节点对收集到的信息进行汇总，如果发现同一地理范围内的较多超级节点同时报告了震动，则将这一震动信息向更高层节点报告。服务器根据从最高层超级节点那里收集来的震动信息做出某地是否发生地震的最终判断。超级节点还可以对普通节点的震动信息进行统计，经统计后上报参与监测的普通节点震动的比例、加速度大小的范围及分布、震动持续的时间等。

在其他的应用中，例如气温、气压的监测、网络调查等都可以使用上述计算机网络数据的传输处理方法。通过设置超级节点收集和处理信息，再将处理后的信息发送到服务器，避免服务器接收到大量普通节点发送的信息，由于超级节点数目通常小于普通节点的数目，并且超级节点替服务器进行了一些前期的数据处理，可以减少服务器的负载。超级节点通过对信息进行过滤、筛选或者统计，使服务器直接获得有价值的信息，进一步降低了服务器的计算处理压力。在服务器或者部分超级节点当前负载超出预定值时，可以通过超级节点产生指令产生新的超级节点或者将原有超级节点的层级提升，分担当前负载超出预定值的服务器或者部分超级节点的负担。根据地理位置来划分超级节点所管理的子节点，适合应用于地域性信息的收集，例如地震、气温、气压的检测等，并且同一地理位置的节点之间往往网络传输速率较大、延迟低，比较适合实时或大数据量网络数据的传输处理。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1、一种计算机网络数据的传输处理方法，其特征在于，所述方法包括以下步骤：

建立普通节点、超级节点与服务器的层级相互连接关系；

普通节点收集信息并将该信息按预定格式发送到与所述普通节点对应的超级节点；

超级节点接收所述普通节点所收集的信息并对信息进行处理后发送到服务器；

服务器接收所述超级节点处理后的信息并对处理后的信息进行分析并获得分析结果。

2、根据权利要求1所述的计算机网络数据的传输处理方法，其特征在于，所述超级节点对信息进行处理的处理方式为过滤错误信息、筛选有价值信息、统计信息中的一种或多种。

3、根据权利要求1所述的计算机网络数据的传输处理方法，其特征在于，所述建立普通节点、超级节点与服务器的层级相互连接关系的步骤包括建立普通节点与超级节点之间连接关系的步骤，所述建立普通节点与超级节点之间连接关系的步骤包括：

辨明普通节点所在的地理位置；

普通节点查找负责其所在地理位置的超级节点；

建立普通节点与查找到的超级节点之间的连接关系。

4、根据权利要求3所述的计算机网络数据的传输处理方法，其特征在于，所述辨明普通节点所在的地理位置的步骤为通过查询IP地址数据库或者接收用户手动输入地理位置的方式辨明普通节点所处的地理位置。

5、根据权利要求3所述的计算机网络数据的传输处理方法，其特征在于，所述普通节点查找负责所述地理位置的超级节点的步骤为通过直接查询服务器或者分布式哈希表查询的方式找到负责所述普通节点所处地理位置的超级节点。

6、根据权利要求3所述的计算机网络数据的传输处理方法，其特征在于，所述建立普通节点与查找到的超级节点之间的连接关系的步骤包括：查找到负责所述普通节点所处地理位置的超级节点数量为两个以上时，所述普通节点随机选择其中一个超级节点作为所述普通节点对应的超级节点，超级节点响应所述普通节点的选择并将所述普通节点作为所述超级节点的子节点；其它超级节点作为所述普通节点对应的候选超级节点。

7、根据权利要求6所述的计算机网络数据的传输处理方法，其特征在于，所述普通节点与所述普通节点对应的候选超级节点保持心跳。

8、根据权利要求1所述的计算机网络数据的传输处理方法，其特征在于，所述建立普通节点、超级节点与服务器的层级相互连接关系的步骤包括建立各层超级节点间、超级节点与服务器之间连接关系的步骤，所述建立各层超级节点间、超级节点与服务器之间连接关系的步骤包括如下步骤：

明确超级节点所管理的地理位置；

超级节点查找负责其所在地理位置的更高层超级节点或服务器；

建立超级节点与查找到的更高层超级节点或服务器之间的连接关系。

9、根据权利要求1所述的计算机网络数据的传输处理方法，其特征在于，还包括如下步骤：在所述超级节点或服务器的当前负载超过预定值时，所述超级节点或服务器产生超级节点产生指令并传送到下层超级节点或普通节点，所述下层超级节点或普通节点接收所述超级节点产生指令后，分担管理所述超级节点或服务器的部分其他下层超级节点或普通节点。

10、根据权利要求1所述的计算机网络数据的传输处理方法，其特征在于，所述超级节点分为逐层连接的两个以上层级，最底层超级节点与所述普通节点相连，最顶层超级节点与所述服务器相连，上一层级的超级节点负责处理下一层级超级节点发送的信息。

11、一种计算机网络数据的传输处理系统，包括用于收集信息并将该信息按预定格式发送出去的普通节点，其特征在于，所述系统还包括超级节点和服务器，所述普通节点与超级节点、超级节点与服务器相互连接，所述超级节点用于接收所述普通节点所收集的信息并对信息进行处理后发送到服务器；所述服务器用于接收所述超级节点处理后的信息并对处理后的信息进行分析并获得分析结果。

12、根据权利要求11所述的计算机网络数据的传输处理系统，其特征在于，所述超级节点对信息进行处理的处理方式为过滤错误信息、筛选有价值信息、统计信息中的一种或多种。

13、根据权利要求11所述的计算机网络数据的传输处理系统，其特征在于，所述普通节点根据其所在的地理位置查找负责其所在地理位置的超级节点并与查找到的超级节点建立连接关系，所述普通节点通过查询IP地址数据库或者接收用户手动输入地理位置的方式辨明所述普通节点所处的地理位置，所述普通节点通过直接查询服务器或者分布式哈希表查询的方式找到负责所述普通节点所处地理位置的超级节点。

14、根据权利要求11所述的计算机网络数据的传输处理系统，其特征在于，所述超级节点或服务器还用于在所述超级节点或服务器的当前负载超过预定值时产生超级节点产生指令并传送到下层超级节点或普通节点，所述下层超级节点或普通节点接收所述超级节点产生指令后，分担管理所述超级节点或服务器的部分其他下层超级节点或普通节点。

Images