CN105025063A - 面向大规模终端设备的在线数据传输方法 - Google Patents

Abstract

本发明公开了一种面向大规模终端设备的在线数据传输方法，包括以下步骤：1)终端设备发送心跳信号或更新连接链路请求，如需要访问数据库则发送数据库请求；2)在服务器中预先建立网络缓冲池及其快速解析表；服务器在后台处理终端设备发送的通信请求，如果收到通信请求，分别根据心跳信号或者更新连接链路请求建立和更新内存中各个终端设备的在线状态信息，并定时检测断线的终端设备，优先基于在线状态信息中记载的连接链路来信响应终端设备的数据库请求。本发明具有能够大幅度减少服务器压力、不需要再使用建立服务器集群方式解决大容量阻塞问题、工程费用低、在一个服务器上管理也节约了数据的重复交互、用户体验更好更快的优点。

Description

面向大规模终端设备的在线数据传输方法

技术领域

本发明涉及分布式计算终端(包含计算机、嵌入式设备)的网络通讯技术领域，具体涉及一种面向大规模终端设备的在线数据传输方法。

背景技术

计算终端(包含计算机、嵌入式设备)的广泛应用，带来了终端设备能网络统一控制的难题。针对十万台以上的大规模计算终端而言，由于计算终端必然存在设备覆盖面广、数量庞大，使得由于数据量庞大不能全局统一管理，使得统一管理变得异常困难。现有技术一般采用如下的局域网内管理少数或者广域网管理部分两种方式来实现计算终端的在线管理：(1)通过局域网内部使用长连接方式长期保持占有网络链路。例如，通过服务器计算机直接与局域网内绑定终端链路通信，比如ip或者mac地址方式，强行记录链路信息，直接发送命令方式，但是这种方式不能跨网段或者广域网等大容量终端的使用，只能维护200台以下终端的信息量，而且一旦网络出现例如广播等网络风暴或者临时交换机出错等问题则不可避免的造成控制的瘫痪。(2)远程的终端设备通过配置所在的路由器，映射端口方式，使得终端可以广域网控制。这种方法通过广域网的短连接控制，随时使用时候现去通过服务器发送到各个终端的请求链接，得到tcp/ip返回之后在进行控制，但是由于其使用服务器查找终端方式，一旦网络不稳定，就会无从查找，而后失去控制。现有技术会造成服务器端大量的发送请求指令来完成通信，本发明将请求连接压力分散在每个终端，对于终端设备来说根本不会有影响，而可以节省大量的服务器运算，而且一旦服务器查找终端的指令没有到达就会出现控制不了终端设备。

发明内容

本发明要解决的技术问题是提供一种能够大幅度减少服务器压力、不需要再使用建立服务器集群方式解决大容量阻塞问题、工程费用低、在一个服务器上管理也节约了数据的重复交互、用户体验更好更快的面向大规模终端设备的在线数据传输方法。

为解决上述技术问题，本发明采用的技术方案为：

一种面向大规模终端设备的在线数据传输方法，其包括以下步骤：

1)在终端设备上建立心跳发送机制，通过心跳发送机制定时向服务器发送心跳信号告诉服务器端随时可以调用本终端，同时等待服务器返回的心跳响应信号，如果超时没有收到服务器返回的心跳响应信号，则向更新连接链路请求；如果终端设备需要访问服务器上的数据库，则向服务器发送数据库请求；

2)在服务器中预先建立用于缓存终端设备通信请求的网络缓冲池，所述网络缓冲池中存储有用于记录每一个终端设备的唯一标示号的快速解析表；在运行状态下，服务器通过后台在网络缓冲池中取出一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；

3)服务器判断终端设备发送的通信请求的类型，如果通信请求为心跳信号，则跳转执行步骤4)；如果通信请求为更新连接链路请求，则跳转执行步骤5)；如果通信请求为数据库请求，跳转执行步骤6)；

4)服务器向终端设备返回心跳响应信号，检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定为非法信息并丢弃，服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；如果找到匹配的唯一标示号，则在内存中建立或者更新匹配的唯一标示号关联的终端设备的在线状态信息，将对应的终端设备记录为在线终端设备，保存最后一次与该终端设备通信的数据链路；跳转执行步骤7)；

5)服务器检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定为非法信息并丢弃，服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；如果找到匹配的唯一标示号，则在内存中建立或者更新匹配的唯一标示号关联的终端设备的在线状态信息，将对应的终端设备记录为在线终端设备，保存最后一次与该终端设备通信的数据链路；跳转执行步骤7)；

6)服务器检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定心跳信号为非法请求并丢弃，如果找到匹配的唯一标示号则进一步判断内存中是否保存有最后一次与该终端设备通信的数据链路，如果有则根据所述数据链路与对应的终端设备建立连接并响应数据库请求，否则基于非阻塞线程机制的方式放弃对应的终端设备的数据库请求；跳转执行步骤7)；

7)服务器定时检查内存中各个终端设备的在线状态信息，如果超出指定时间没有收到某个终端设备心跳信号，则删除该终端设备在内存中的在线状态信息，将对应的终端设备记录为断线终端设备；服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)。

本发明面向大规模终端设备的在线数据传输方法具有下述优点：本发明在终端设备上加入心跳发送机制，在一定的间隔时间内向服务器发送在线信号，告诉服务器端随时可以调用本终端。在服务器制作一个网络缓冲池，里面仅仅记录终端的唯一标示号，在后台处理终端的间隔请求信号，长时间没有得到请求的标识号则记录为断线终端，如启用需要控制的终端，则服务器端的心跳连接池中取到该唯一标识号，通过这个通道采用tcp/ip协议建立与终端的通信，确保通信的可靠性的基础上能及时的与终端通信。终端设备在多次请求无服务器返回信息的情况下，不是发送在线信号的信息而是发送请求服务器更新连接链路，发送一个请求连接，服务器得到该该请求信息后重新启用这个终端，因此能够解决十万台以上的大规模终端设备同时在线导致的网络拥堵问题，能够增加服务器计算机的有效访问终端数量的技术问题，通过执行计算机程序实现对终端设备访问性能的改进，反映的是利用虚拟缓冲存储空间，将对远程设备的访问转换为对服务器上的缓冲的访问，利用的是遵循自然规律的技术手段，获得终端设备对数据的访问不受服务器网络带宽容量限制的技术效果，本发明通过网络缓冲池方式将现有技术的长连接和短连接进行优化统一，终端和缓冲池之间使用短连接，使用终端在一定间隔时间内发送在线状态，而缓冲池与服务器(同一个服务器内的程序)之间使用长连接，保证随时的快速调用，将终端信息简化为只维护一个终端的唯一标识号与对应的链路的保存，服务器只需要查找到唯一标示号，就可以立刻得到链路的通信，加大了超大容量终端数据的访问范围，能够大幅度减少服务器压力、不需要再使用建立服务器集群方式解决大容量阻塞问题、工程费用低、在一个服务器上管理也节约了数据的重复交互、用户体验更好更快。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的基本流程结构示意图。

图2为本发明实施例中服务器的逻辑框架结构示意图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

如图1所示，本实施例面向大规模终端设备的在线数据传输方法包括以下步骤：

1)在终端设备上建立心跳发送机制，通过心跳发送机制定时向服务器发送心跳信号告诉服务器端随时可以调用本终端，同时等待服务器返回的心跳响应信号，如果超时没有收到服务器返回的心跳响应信号，则向更新连接链路请求；如果终端设备需要访问服务器上的数据库，则向服务器发送数据库请求；

2)在服务器中预先建立用于缓存终端设备通信请求的网络缓冲池，所述网络缓冲池中存储有用于记录每一个终端设备的唯一标示号的快速解析表；在运行状态下，服务器通过后台在网络缓冲池中取出一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；

3)服务器判断终端设备发送的通信请求的类型，如果通信请求为心跳信号，则跳转执行步骤4)；如果通信请求为更新连接链路请求，则跳转执行步骤5)；如果通信请求为数据库请求，跳转执行步骤6)；

4)服务器向终端设备返回心跳向应信号，检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定为非法信息并丢弃，服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；如果找到匹配的唯一标示号，则在内存中建立或者更新匹配的唯一标示号关联的终端设备的在线状态信息，将对应的终端设备记录为在线终端设备，保存最后一次与该终端设备通信的数据链路；跳转执行步骤7)；

5)服务器检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定为非法信息并丢弃，服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；如果找到匹配的唯一标示号，则在内存中建立或者更新匹配的唯一标示号关联的终端设备的在线状态信息，将对应的终端设备记录为在线终端设备，保存最后一次与该终端设备通信的数据链路；跳转执行步骤7)；

6)服务器检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定心跳信号为非法请求并丢弃，如果找到匹配的唯一标示号则进一步判断内存中是否保存有最后一次与该终端设备通信的数据链路，如果有则根据所述数据链路与对应的终端设备建立连接并响应数据库请求，否则基于非阻塞线程机制的方式放弃对应的终端设备的数据库请求；跳转执行步骤7)；

7)服务器定时检查内存中各个终端设备的在线状态信息，如果超出指定时间没有收到某个终端设备心跳信号，则删除该终端设备在内存中的在线状态信息，将对应的终端设备记录为断线终端设备；服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)。

如图2所示，本实施例在服务器中预先建立用于缓存终端设备通信请求的网络缓冲池，网络缓冲池分别了连接有数据信息收发模块、数据信息处理模块、数据库模块和数据库。其中，数据信息收发模块用于与终端设备进行数据交互，接收终端设备发送的通信请求并将其缓冲到网络缓冲池内，同时还包括向终端设备发送心跳响应信号；数据信息处理模块则用于执行心跳信号、更新连接链路请求和数据库请求，数据库模块和数据库则用于响应数据库请求的数据库操作。本实施例为了解决十万台以上终端同时在线能够依然流畅稳定，首先需要解决的就是保证数据的全部在线时候，不会造成数据拥堵。而这点也正是本实施例所提出的，需要与缓冲机制，这个缓冲完全在内存中完成计算，本实施例解决拥堵问题的关键节点是首先做出多张可以同步多任务解析的信息解析表实现快速解析，然后需要针对这个解析表进行最高效的非阻塞模式的ICOP(微软推出的非阻塞线程机制)结构模型，可以不等待当前指令的返回值的同时进行下一条终端需要的请求以及返回值处理，以此类推。在得到来自终端设备指令时候，服务器端同时也得到一个需要通信控制的序列，在服务器端为了配合能最快的解析请求方法，在多终端群组集群操作时，将协议中加入头信息，在中间的所有请求进行控制的终端只需要连续提供的唯一标识号，当超过指定数据时候比如1000个终端时候，将组成另一个解析表，此解析表就是一个唯一标识号的集群(在表中唯一标识号也是从小到大秩序的排序，这样根据唯一标识号的范围段内查找加快了查找定位节点的速度)，以此类推，就组成了超级稳定的多解析表序列，而本实施例基于对数据连接的请求以及反映做到了目前为止的极致。本实施例中在先进先出的基础原则上，加入多线程同时进行分片处理，即优化了常用的先进先出，没有就会延时等待回应的弊端，可以将同时来的数据进行多线程处理，即使有个别终端返回请求需要等待也不会有影响整体的运算流畅，其他线程任然继续工作，这边等待的返回数据进行缓冲处理，当前线程进入下一个请求排列。这样的好处就是，可以最快速的完成解析请求。在多个以至于上千上万个同时需要服务器响应时候，我们采用winsock连接的非阻塞机制，一般IO模型进程或线程习惯写诸如connect、accept、recv或recvfrom这样的阻塞程序，所谓阻塞方式block，顾名思义，就是进程或是线程执行到这些函数时必须等待某个事件的发生，如果事件没有发生，进程或线程就被阻塞，函数不能立即返回。也不采用非阻塞Select机制，使用Windows平台上伸缩性最好的一种IO模型IOCP。IOCP设计中需要用到很多异步操作，所以对到来的数据包的排序是需要额外处理的，简单和常用的方法是为每个封包添加一个序列号。接受方每接受一个封包就需要判断其是否为当前需要读取的下一个序列号封包，如果不是就要将之插入封包队列，如果是则返回给用户。当关闭IOCP时，我们要避免重叠操作正在进行的时候却要释放它的结构，阻止其发生的最好方法是在每个套接字句柄上调用closesocket，如此所有的未决重叠IO操作都会完成。一旦所有的套接字句柄关闭，就该终止IOCP上处理IO的工作线程。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种面向大规模终端设备的在线数据传输方法，其特征在于包括以下步骤：

1)在终端设备上建立心跳发送机制，通过心跳发送机制定时向服务器发送心跳信号告诉服务器端随时可以调用本终端，同时等待服务器返回的心跳响应信号，如果超时没有收到服务器返回的心跳响应信号，则向更新连接链路请求；如果终端设备需要访问服务器上的数据库，则向服务器发送数据库请求；

2)在服务器中预先建立用于缓存终端设备通信请求的网络缓冲池，所述网络缓冲池中存储有用于记录每一个终端设备的唯一标示号的快速解析表；在运行状态下，服务器通过后台在网络缓冲池中取出一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；

3)服务器判断终端设备发送的通信请求的类型，如果通信请求为心跳信号，则跳转执行步骤4)；如果通信请求为更新连接链路请求，则跳转执行步骤5)；如果通信请求为数据库请求，跳转执行步骤6)；

4)服务器向终端设备返回心跳响应信号，检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定为非法信息并丢弃，服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；如果找到匹配的唯一标示号，则在内存中建立或者更新匹配的唯一标示号关联的终端设备的在线状态信息，将对应的终端设备记录为在线终端设备，保存最后一次与该终端设备通信的数据链路；跳转执行步骤7)；

5)服务器检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定为非法信息并丢弃，服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)；如果找到匹配的唯一标示号，则在内存中建立或者更新匹配的唯一标示号关联的终端设备的在线状态信息，将对应的终端设备记录为在线终端设备，保存最后一次与该终端设备通信的数据链路；跳转执行步骤7)；

6)服务器检查快速解析表判断是否能够找到匹配的唯一标示号，如果未找到匹配的唯一标示号则判定心跳信号为非法请求并丢弃，如果找到匹配的唯一标示号则进一步判断内存中是否保存有最后一次与该终端设备通信的数据链路，如果有则根据所述数据链路与对应的终端设备建立连接并响应数据库请求，否则基于非阻塞线程机制的方式放弃对应的终端设备的数据库请求；跳转执行步骤7)；

7)服务器定时检查内存中各个终端设备的在线状态信息，如果超出指定时间没有收到某个终端设备心跳信号，则删除该终端设备在内存中的在线状态信息，将对应的终端设备记录为断线终端设备；服务器通过后台在网络缓冲池中取出下一个处理终端设备发送的通信请求作为当前请求，跳转执行步骤3)。