CN103108002A - 一种数据推送方法、系统及装置 - Google Patents

Abstract

本申请公开了一种数据推送方法、系统及装置，该方法包括：推送服务器确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。该方法以主动推送的方式实现数据传送，提高了数据推送的速度和效率。

Description

一种数据推送方法、系统及装置

技术领域

本申请涉及数据处理技术领域，尤指一种适用于不常变动的数据推送的数据推送方法、系统及装置。

背景技术

目前在一些常见的互联网应用场景下，网站的Web服务器为了避免频繁从远程服务器(如数据库)重复取一些不常变动的数据，会每隔一段时间(比较典型的如一天)从远程服务器取一次数据，然后组织成需要的数据结构，缓存在Web服务器的内存里或本地文件系统中，以后每次需要用到这部分数据的时候，直接从本地内存或文件中取，从而减少网络开销。也就是说，现有技术中对于不常变动的数据，为了不频繁获取，Web服务器会主动从远程服务器获取数据到Web服务器。

例如图1所示的系统架构中多个网站的Web服务器连接一个远程服务器，并能够从远程服务器获取数据。这种系统架构，Web服务器获取数据后，数据结构的组织都在Web服务器进行，随着缓存数据规模的不断扩大，或业务的日趋复杂，生成数据的过程会变的越来越慢，且数据的生成会占用Web服务器较多的处理资源，导致Web服务器的性能下降，从而使Web服务器的维护也变得越来越困难。

可见，现有技术中，针对有缓存数据需求的Web服务器集群，对于其缓存数据的提供、管理和更新，只能采用Web服务器主动获取想要缓存的数据的方式实现，还没有比较好的解决方案。不能做到有针对性的为Web服务器提供数据，统一的进行缓存数据的生成控制和更新。

发明内容

本申请实施例提供一种数据推送方法、系统及装置，用以解决现有技术中Web服务器获取缓存数据时存在的数据生成慢，影响Web服务器整体性能，使Web服务器维护困难的问题。

一种数据推送方法，包括：

推送服务器确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；

推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

一种数据推送系统，包括：

远程数据服务器，用于向网页Web服务器提供数据；

推送服务器，用于确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；以及推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送；

Web服务器，用于接收推送服务器推送的数据。

一种数据推送服务器，包括：

数据获取模块，用于确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；

推送模块，用于将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

本申请有益效果如下：

本申请实施例提供的数据推送方法、系统及装置，由推送服务器确定远程数据服务器向网页Web服务器提供的数据发生变化时，或者监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；然后将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。该方法通过推送服务器以主动推送的方式向Web服务器推送数据，避免了现有Web服务器集群获取数据时，随着缓存数据规模的不断扩大，或业务的日趋复杂，生成数据的过程会变的越来越慢的问题，提高了数据提供的速度和效率。数据结构的组织也在推送服务器实现，推送服务器可以设置一个或多个，Web服务器可以直接获取到所需的数据结构，无需再组织构建，从而可以提高数据生成的速度，进而提高系统整体性能，也便于Web服务器的维护。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为现有技术中网站系统架构的结构示意图；

图2为本申请实施例中数据推送方法的流程图；

图3为本申请实施例一中数据推送系统的结构示意图；

图4为本申请实施例一中数据推送服务器的结构示意图；

图5为本申请实施例二中数据推送系统的结构示意图；

图6为本申请实施例三中数据推送系统的结构示意图；

图7为本申请实施例三中目录服务器的信息树组织原理示意图；

图8为本申请实施例三中信息树更新触发数据推送的流程示意图。

具体实施方式

为了使本申请所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的数据推送方法，通过推送服务器主动向网页(Web)服务器推送数据，以提高数据传送的速度和效率。其流程如图2所示，执行步骤如下：

步骤S11：推送服务器确定远程数据服务器向网页Web服务器提供的数据发生变化时，或者监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据。

根据Web服务器集群的数量多少，推送服务器可以设置一个或多个，以满足Web服务器的数据推送需求。推送服务器可以在Web服务器首次连接远程数据服务器时，向Web服务器推送所需要的数据，也可以在远程数据服务器所提供的数据发生变化时，主动向Web服务器推动所需要的数据。

远程数据服务器开放一个端口，Web服务器在启动时，可以主动连接到远程数据服务器的这个端口上来，并且在运行的过程中不释放该连接，当远程服务器判断到有数据需要更新或者Web服务器是首次连接的情况下，通过该连接将新的数据写入Web服务器。

步骤S12：推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

优选的，所述推送服务器设置为多个时，根据预先建立推送服务器和Web服务器的对应关系，向对应的Web服务器推送数据。

优选的，通过设置的目录服务器维护推送服务器和Web服务器的对应关系；目录服务器在Web服务器成功连接到推送服务器时，在推送服务器和Web服务器的对应关系中添加Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，在推送服务器和Web服务器的对应关系中删除连接失效的Web服务器与推送服务器的对应关系记录。

优选的，通过设置的目录服务器维护推送服务器和Web服务器的对应关系，包括：目录服务器根据设定的分组策略，对Web服务器进行分组，按照分组情况建立信息树；其中，信息树的根节点下的第一级子节点为数据类型信息，第二级子节点为每个数据类型对应的Web服务器分组；第三级子节点为每个Web服务器分组下Web服务器与推送服务器的对应关系记录；当Web服务器成功连接到推送服务器时，根据Web服务器所需要的数据类型和所属的Web服务器分组，确定要更新第三级子节点的的位置，实现下更新Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，删除相应的第三级子节点。

优选的，目录服务器根据设定的分组策略对Web服务器进行分组，具体包括：根据Web服务器需要的数据类型信息对Web服务器进行分组；其中，数据类型信息包括数据类型和/或数据版本。

优选的，推送服务器将获取的数据向Web服务器推送的过程包括：推送服务器根据数据类型确定对应的信息树的中第一级子节点，根据确定第一级子节点下的第二级子节点查找需要推送数据的Web服务器分组，根据第二级子节点下的第三级子节点查找每个Web服务器分组下Web服务器与推送服务器的对应关系记录，向对应的Web服务器推送获取的数据。

基于同一申请构思，本申请实施例还提供相应的数据推送系统，包括远程数据服务器、推送服务器和Web服务器，优选的，还可以包括目录服务器。

下面通过具体的实施例说明本申请中各种架构的数据推送系统。

实施例一：

本申请实施例一提供的数据推送系统，其结构如图3所示，该系统中包括远程数据服务器、推送服务器和Web服务器。

远程数据服务器，用于向网页Web服务器提供数据。

推送服务器，用于确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；以及推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

Web服务器，用于接收推送服务器推送的数据。

其中，数据推送服务器的结构如图4所示，包括：数据获取模块11和推送模块12。

数据获取模块11，用于确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据。

推送模块12，用于将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

优选的，上述推送模块12，具体用于根据预先建立推送服务器和Web服务器的对应关系，向对应的Web服务器推送数据。

本申请的数据推送系统，考虑在Web服务器和远程数据服务器(即数据库)之间架设一台代理数据推送功能的服务器——推送服务器，由推送服务器从远程数据服务器中获取数据并初步筛选，依据统一的业务逻辑生成Web服务器所需要的数据结构，由推送服务器将数据推送给Web服务器。推送服务器在其生命周期的绝大部分时间里都在执行数据推送任务。当多台Web服务器同时请求数据时，推送服务器可以将它们的请求放到一个推送队列里，按照顺序依次进行数据推送。

推送服务器能够监控到集群布置的Web服务器的数据获取行为和远程数据服务器的数据更新行为，例如，针对某台Web服务器进行单独的数据更新，那么就需要知道本次更新的Web服务器连接的是哪台远程数据服务器，需要更新的是什么类型的数据，然后在这台远程数据服务器上，根据远程数据服务器和Web服务器之间保持的长连接将数据推送到Web服务器。

上述系统将Web服务器所需要的数据结构改为在推送服务器统一生成，保证了Web服务器接收到的数据的准确性和一致性。而且由于Web服务器只负责接收推送服务器推送过来的数据以及进行必要的反序列化工作，所以在一定程度上避免了Web服务器在生成数据的过程中存在的宕机风险。

实施例二：

本申请实施例二提供的数据推送系统，其结构如图5所示，该系统与图3所示的系统不同的是设置了2个以上的推送服务器。当推送服务器设置有多个时，推送服务器具体用于根据预先建立推送服务器和Web服务器的对应关系，向对应的Web服务器推送数据。

随着业务规模的扩大，Web服务器所需要的数据类型可能会由一开始的单一类型变为多种类型，各个类型数据包的大小也会不断增长，连接到推送服务器上的Web服务器的数量也会越来越多。业务规模的膨胀带来的直接后果就是推送队列里的Web服务器等待服务的时间越来越长，最终推送服务器就达到其性能推送瓶颈。为了分散压力，减少总的推送时间，可以将推送服务器改为集群模式部署。当Web服务器启动时，推送服务器可以按照对应关系向各自负责的Web服务器推送数据，其中，对应关系可以由各个推送服务器自己维护，也可以有另外的一个专门的服务器进行维护，则Web服务器启动时，获取当前提供推送服务的推送服务器列表，然后随机选择一台推送服务器进行连接。

实施例三：

当Web服务器和推送服务器采用图5的部署模式时，就需要考虑对服务器集群监控和管理控制的问题：如何才能在一台独立的服务器上控制集群内所有推送服务器的推送行为，具体包括针对某台Web服务器单独进行数据推送，监控整个集群的运行状态等等。同时这台实现控制功能的服务器不能成为集群的单点。

本申请实施例三提供的数据推送系统，由专门的目录服务器维护推送服务器和Web服务器的对应关系，其结构如图6所示，该系统中设置了2个以上的数据推送服务器和目录服务器。其中：

目录服务器，用于维护推送服务器和Web服务器的对应关系；在Web服务器成功连接到推送服务器时，在推送服务器和Web服务器的对应关系中添加Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，在推送服务器和Web服务器的对应关系中删除相应的Web服务器与推送服务器的对应关系记录。

目录服务器中存储有Web服务器分组信息、Web服务器与所连接的推送服务器的对应关系，具体可以是IP地址的对应关系，其一般用于维护与对应关系有关的业务逻辑外，不负责具体的推送或者保持连接等集群的业务逻辑处理，所以目录服务器的宕机不会影响到Web服务器与推送服务器集群的正常工作。

推送服务器在成功与某台Web服务器建立连接后，需要将本次连接的信息更新目录服务器上，当连接失效后，目录服务器会自动将该条连接信息删除。实现该功能的目录服务器可以以信息树的形式组织Web服务器与推送服务器的对应关系记录，图7所示为目录服务器的信息树原理图。

目录服务器根据设定的分组策略对Web服务器进行分组，按照分组情况建立信息树；其中，信息树的根节点下的第一级子节点为数据类型信息，第二级子节点为每个数据类型对应的Web服务器分组；第三级子节点为每个Web服务器分组下Web服务器与推送服务器的对应关系记录；当Web服务器成功连接到推送服务器时，根据Web服务器所需要的数据类型和所属的Web服务器分组，确定要更新第三级子节点的的位置，实现更新Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，删除相应的第三级子节点。

如图7所示的信息树，其根节点(root)下面的第一级子节点是根据业务逻辑划分的不同数据类型信息，如全国的省市区数据，全国的5A景点数据。

数据类型信息的子节点(第二级子节点)是Web服务器分组，即每个数据类型信息对应的需要向哪个或哪几个Web服务器分组推送，这个一般与运行在Web服务器上的应用有关，一个应用对应一个分组，这样可以将不同应用的连接相互区分开，后期可以针对不同应用制定不同的推送策略；如图7中所示的数据类型A(Date-A)对应的分组为分组1(Group1)和分组2(Group2)，数据类型B(Date-B)对应的分组为分组1(Group1)和分组3(Group3)，则数据类型A向分组1和分组2中的Web服务器推送，数据类型B向分组1和分组3中的Web服务器推送。

Web服务器分组的子节点是Web服务器与推送服务器的对应关系记录(如图7中所示的c-s)，对应关系记录可以包括Web服务器的IP地址、连接的推送服务器的IP地址，最后一次推送的时间等等。当创建Web服务器分组的子节点时若发现Web服务器分组、数据类型等上层节点已经存在，则不需要在进行重复创建，若不存在，则需要进行创建。

目录服务器除了保存Web服务器和推送服务器的对应关系记录等连接信息外，还可具备事件通知功能。当推送服务器将本机与Web服务器的连接信息写到目录服务器上时，同时会注册观察者事件到信息树的叶子节点(对应关系记录这一层的节点)和叶子节点的父节点(Web服务器分组节点)上，当观察的节点数据发生变化时，目录服务器发出通知消息，推送服务器收到通知消息后，可进行一些业务逻辑的处理。例如，需要针对某台Web服务器进行单独的数据推送，只需要修改目录服务器上对应叶子节点的数据，推送服务器收到通知后就会触发一次新的推送。同样，如果需要针对某组Web服务器进行单独的数据推送，只需要修改目录服务器上的对应Web服务器分组节点的数据就可以了。

相应的，推送服务器根据数据类型确定对应的信息树的中第一级子节点，根据确定第一级子节点下的第二级子节点查找需要推送数据的Web服务器分组，根据第二级子节点下的第三级子节点查找每个Web服务器分组下Web服务器与推送服务器的对应关系记录，向对应的Web服务器推送获取的数据。

图8所示为图6所示系统中目录服务器监控到节点变化时的数据推送的流程图。如图8中的带箭头的线1所示，目录服务器信息树发生节点变化，如图8中的带箭头的线2所示，目录服务器向推送服务器提供监控到的节点变化信息，如图8中的带箭头的线3目录服务器根据节点变化信息可以获知道Web服务器与推送服务器的对应关系记录的变化，从而可以向相应的Web服务器推送数据。

上述方法和系统还可以在数据推送时加入必要的安全策略，来保证数据推送到可靠性，由于目录服务器上保存了完整的集群状态信息，还可以做许多的业务扩展，如集群状态的实时展示，集群内机器宕机的报警提示等等。引入了目录服务器的数据推送集群，很好的分离了集群核心的连接推送功能和非核心的管理监控功能，两部分功能均可以方便的进行水平扩展和维护升级，互不影响。

本申请实施例提供上述方法及系统是解决高访问量网站性能问题的一种有效手段，通过推送服务器实现主动地向Web服务器推送数据，采用推送不常变动数据的方式到Web服务器上，解决Web服务器频繁连接远程数据服务器(如数据库)带来的性能开销。并能够由目录服务器的树形节点的数据结构功能，实现集群布置的Web服务器和推送服务器的推送集群完整监控，实时监控集群内机器的数据更新状态，针对某些服务器单独做数据更新等等，实现简单、方便，便于监控管理。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种数据推送方法，其特征在于，包括：

推送服务器确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；

推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

2.如权利要求1所述的方法，其特征在于，所述推送服务器为多个，根据预先建立推送服务器和Web服务器的对应关系，向对应的Web服务器推送数据。

3.如权利要求2所述的方法，其特征在于，还包括：通过设置的目录服务器维护推送服务器和Web服务器的对应关系；

所述目录服务器在Web服务器成功连接到推送服务器时，在推送服务器和Web服务器的对应关系中添加Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，在推送服务器和Web服务器的对应关系中删除相应的Web服务器与推送服务器的对应关系记录。

4.如权利要求3所述的方法，其特征在于，所述通过设置的目录服务器维护推送服务器和Web服务器的对应关系，包括：

目录服务器根据设定的分组策略对Web服务器进行分组，按照分组情况建立信息树；其中，所述信息树的根节点下的第一级子节点为数据类型信息，第二级子节点为每个数据类型对应的Web服务器分组；第三级子节点为每个Web服务器分组下Web服务器与推送服务器的对应关系记录；

当Web服务器成功连接到推送服务器时，根据Web服务器所需要的数据类型和所属的Web服务器分组，确定要更新第三级子节点的的位置，实现下更新Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，删除相应的第三级子节点。

5.如权利要求4所述的方法，其特征在于，所述目录服务器根据设定的分组策略对Web服务器进行分组，具体包括根据Web服务器需要的数据类型信息对Web服务器进行分组；其中所述数据类型信息包括数据类型和/或数据版本。

6.如权利要求4所述的方法，其特征在于，所述推送服务器将获取的数据向Web服务器推送的过程，包括：

所述推送服务器根据数据类型确定对应的信息树的中第一级子节点，根据确定第一级子节点下的第二级子节点，查找需要推送数据的Web服务器分组，根据第二级子节点下的第三级子节点，查找每个Web服务器分组下Web服务器与推送服务器的对应关系记录，向对应的Web服务器推送获取的数据。

7.一种数据推送系统，其特征在于，包括：

远程数据服务器，用于向网页Web服务器提供数据；

推送服务器，用于确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；以及推送服务器将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送；

Web服务器，用于接收推送服务器推送的数据。

8.如权利要求7所述的系统，其特征在于，所述推送服务器为多个；

所述推送服务器，具体用于根据预先建立推送服务器和Web服务器的对应关系，向对应的Web服务器推送数据。

9.如权利要求7所述的系统，其特征在于，还包括：

目录服务器，用于维护推送服务器和Web服务器的对应关系；在Web服务器成功连接到推送服务器时，在推送服务器和Web服务器的对应关系中添加Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，在推送服务器和Web服务器的对应关系中删除相应的Web服务器与推送服务器的对应关系记录；

其中，所述目录服务器具体用于：

根据设定的分组策略对Web服务器进行分组，按照分组情况建立信息树；其中所述信息树的根节点下的第一级子节点为数据类型信息，第二级子节点为每个数据类型对应的Web服务器分组；第三级子节点为每个Web服务器分组下Web服务器与推送服务器的对应关系记录；

当Web服务器成功连接到推送服务器时，根据Web服务器所需要的数据类型和所属的Web服务器分组，确定要更新第三级子节点的的位置，实现下更新Web服务器与推送服务器的对应关系记录；在Web服务器与推送服务器的连接失效时，删除相应的第三级子节点。

10.一种数据推送服务器，其特征在于，包括：

数据获取模块，用于确定远程数据服务器向网页Web服务器提供的数据发生变化时或监控到Web服务器首次请求连接远程数据服务器时，从远程数据服务器获取提供给Web服务器的数据；

推送模块，用于将获取的数据封装成Web服务器所需要的数据结构，向Web服务器推送。

Images