CN105979498B - 移动互联网大规模准实时数据分级订阅发布系统及方法 - Google Patents

Abstract

一种移动互联网大规模准实时数据分级订阅发布系统及方法，包括安装有手机App和通知模块的智能手机、用于通知的服务器、业务服务器、数据库服务器、缓存服务器以及数据源；所述数据源的数量为一个以上，所述数据源同业务服务器相连接，所述业务服务器同缓存服务器相连接，所述业务服务器也同数据库服务器和用于通知的服务器相连接，所述数据库服务器也同用于通知的服务器相连接，所述安装有手机App的智能手机同用于通知的服务器和业务服务器之间建立有通信连接，所述智能手机为用户所有。结合其方法避免了现有技术中无法兼顾性能与成本，往往使得移动互联网下海量的数据请求使得经济投入非常巨大的缺陷。

Description

移动互联网大规模准实时数据分级订阅发布系统及方法

技术领域

本发明属于数据订阅发布技术领域，具体涉及一种移动互联网大规模准实时数据分级订阅发布系统及方法。

背景技术

伴随着移动互联网大规模应用，也随着网络、通信技术和Internet的飞速发展，计算技术已进入分布式计算时代，普适计算、移动计算等新一代网络计算是以大规模、分散控制、动态性、自治性和松耦合为主要特征的大型分布式计算。传统的网络计算把服务和数据看作一组静态的对象和数据集，以请求/应答的方式处理信息交互，产生了基于RPC的中间件和面向对象的中间件技术。由于请求/应答通讯机制具有同步、紧耦合的特点，使得该机制对网络的稳定性要求非常高，而且系统的性能严重受制于服务器的工作效率，削弱了系统的扩展能力。为了适应复杂动念的网络环境，人们在紧耦合的通讯机制上进行改进，提出异步的通讯方法，引入了某种间接的、减耦的交互形式。

而发布/订阅系统具有松耦合、匿名、多对多通信和可扩展的特点，已成为支持新一代网络计算的重要基础中间件平台，发布/订阅通信范型作为一种异步通信机制，在时间、空间和控制流三个方面都提供了完全的解耦特性，同时还具有匿名通信和一对多通信等特性，近年来得到了各界的普遍关注，已经成为热点，而现有的订阅发布系统对传输提供了可靠性保证，对提高事件传输效率，应用于大型的分布式网络计算中间件平台中具有重要的意义。

但是在具体应用过程中，对于一个要求准实时的移动互联网大规模数据分级订阅发布系统，必须同时考虑以下多方面的维度：

1.数据能够准实时地到达；

2.数据能够可靠地到达；

3.系统能够满足大吞吐量数据的要求；

4.系统能够满足高并发需求；

5.数据能够经济地到达(包括对服务方和用户方都经济可行)。

而性能与成本通常是矛盾的，对于大规模的移动互联网应用而言，必须采取一定的措施，才能够兼顾性能与成本，否则移动互联网下海量的数据请求，将会使得经济投入非常巨大。

发明内容

本发明的目的提供一种移动互联网大规模准实时数据分级订阅发布系统及方法，避免了现有技术中无法兼顾性能与成本，往往使得移动互联网下海量的数据请求使得经济投入非常巨大的缺陷。

为了克服现有技术中的不足，本发明提供了一种移动互联网大规模准实时数据分级订阅发布系统及方法的解决方案，具体如下：

一种移动互联网大规模准实时数据分级订阅发布系统，包括安装有手机App和通知模块的智能手机、用于通知的服务器、业务服务器、数据库服务器、缓存服务器以及数据源；

所述数据源的数量为一个以上，所述数据源同业务服务器相连接，所述业务服务器同缓存服务器相连接，所述业务服务器也同数据库服务器和用于通知的服务器相连接，所述数据库服务器也同用于通知的服务器相连接，所述安装有手机App的智能手机同用于通知的服务器和业务服务器之间建立有通信连接，所述智能手机为用户所有。

所述移动互联网大规模准实时数据分级订阅发布系统的方法，步骤如下：

步骤1：所述数据源向业务服务器发送授权请求或验证请求，业务服务器就进行对数据源的授权验证；

步骤2：若通过了授权验证，数据源以设定的时间间隔T1向业务服务器发送业务数据；

步骤3：业务服务器接收到了业务数据后，并根据业务需求存放在缓存服务器或数据库服务器中，具体方式为业务服务器收到数据源发送来的业务数据后，首先刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中，而业务服务器根据业务数据的持久化逻辑，把业务数据存入数据库服务器；所述业务服务器还根据业务需求判定发送来的业务数据的权重级别，以此来进行分级处理；

步骤4：在针对高权重信息的处理方式中,具体有如下三种方式：

(1)用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即高权重信息发送给手机App；

(2)手机App自动定时向服务器请求数据，也就是手机App自动定时地向业务服务器发送针对高权重信息的请求，然后业务服务器就从缓存服务器中把最新的业务数据取出来进行判断，若最新的业务数据为高权重信息，就发送给手机App；

(3)通过手机App外的通知模块推送数据变化请求，也就是业务服务器判定发送来的业务数据的权重级别为高权重信息时，就主动发送通知请求给用于通知的服务器，用于通知的服务器用来根据用户对业务数据的订阅关系向用户所拥有的智能手机发布通知信息，智能手机的通知模块就推送数据变化请求，即提醒用户主动激活手机App来获取高权重信息；

步骤5：在针对中等权重信息的处理方式中,具体有如下两种方式：

(1)用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即中等权重信息发送给手机App；

(2)手机App自动定时向服务器请求数据，也就是手机App自动定时地向业务服务器发送针对中等权重信息的请求，然后业务服务器就从缓存服务器中把最新的业务数据取出来进行判断，若最新的业务数据为中等权重信息，就发送给手机App；

步骤6：针对低权重信息的处理方式为用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即低权重信息发送给手机App。

本发明兼顾了性能与成本，使得移动互联网下海量的数据请求的费用降低。

附图说明

图1为本发明的移动互联网大规模准实时数据分级订阅发布系统的结构图。

具体实施方式

下面结合附图和实施例对发明内容作进一步说明：

参照图1所示，移动互联网大规模准实时数据分级订阅发布系统，包括安装有手机App和通知模块的智能手机、用于通知的服务器、业务服务器、数据库服务器、缓存服务器以及数据源；

所述数据源的数量为一个以上，所述数据源同业务服务器相连接，所述业务服务器同缓存服务器相连接，所述业务服务器也同数据库服务器和用于通知的服务器相连接，所述数据库服务器也同用于通知的服务器相连接，所述安装有手机App的智能手机同用于通知的服务器和业务服务器之间建立有通信连接，所述智能手机为用户所有。

经过授权验证通过后的数据源均用来向业务服务器发送业务数据；所述数据源以设定的时间间隔T1向业务服务器发送业务数据。

每个所述数据源发送业务数据的时间间隔T1可配置，即每个数据源根据其业务数据的差异，可以配置所需要求的发送数据时间间隔。

所述业务服务器用来接收通过授权验证的数据源发送来的业务数据，并根据业务需求存放在缓存服务器或数据库服务器中，具体方式为业务服务器收到数据源发送来的业务数据后，首先刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中，以便手机App在请求数据时能够获得最新的业务数据，而业务服务器根据业务数据的持久化逻辑，把业务数据存入数据库服务器；所述业务服务器还根据业务需求判定发送来的业务数据的权重级别，以此来进行分级处理，对于权重高的业务数据，除更新缓存服务器外，还经过用于通知的服务器来向手机App推送通知。

所述刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中的方式有三种，分别为以添加的方式把所述发送来的业务数据作为最新的业务数据、以更新的方式把所述发送来的业务数据作为最新的业务数据或者以删除原先的业务数据的方式来剩余的业务数据作为最新的业务数据。

所述业务服务器还根据业务需求判定发送来的业务数据的权重级别进行分级处理，其方式是用发送来的业务数据的权重级别来表示业务数据的优先级，并可根据任何业务规则选定两个权重级别，分别为第一权重级别和第二权重级别，其中第一权重级别大于第二权重级别，若发送来的业务数据的权重级别大于或等于第一权重级别就属于高权重信息；若发送来的业务数据的权重级别小于第一权重级别且大于或等于第二权重级别就属于中等权重信息；其他的就属于低权重信息。

所述业务服务器还根据业务需求判定发送来的业务数据的权重级别以此来进行分级处理的方式是对发送来的业务数据在实时性、可靠性、重要性三个方面分别进行权重评判，对于三个方面不同的权重评判采取不同的数据处理策略，以便能够达到既满足业务需求，又满足性能需求，还能满足成本需求。

所述数据库服务器用来存储持久化需求的业务数据；数据库服务器用来存储业务数据的处理规则和权重级别；数据库服务器用来存储用户与业务数据的订阅关系。

所述用于通知的服务器用来接收业务服务器的通知请求；用于通知的服务器用来根据用户对业务数据的订阅关系向用户发布通知信息；用于通知的服务器使用多个第三方推送服务，以保证高权重的信息能够在某个第三方推送有故障的情况下能够传达；用于通知的服务器可动态调配多个第三方推送服务器的使用，当第三方推送服务器不可达、出错或者服务质量下降时可自行动态调配。

所述手机App在启动时，通过调用接口刷新业务数据；当高权重的业务数据，也即高权重信息产生时，用于通知的服务器将向手机App所在的智能手机发出推送通知，智能手机接到推送通知后，如果App为启动状态，则立即刷新数据，以便第一时间展示高权重的业务数据；如果此时手机App非启动状态，用户则可以在智能手机通过系统的通知功能激活App，以便刷新获取高权重的业务数据；用户可在手机App中通过手动刷新数据。

为了能够兼顾性能与成本，本发明提出了对准实时数据进行分权重处理的方式，用发送来的业务数据的权重级别来表示业务数据的优先级，并随机选定两个权重级别，分别为第一权重级别和第二权重级别，其中第一权重级别大于第二权重级别，若发送来的业务数据的权重级别大于或等于第一权重级别就属于高权重信息；若发送来的业务数据的权重级别小于第一权重级别且大于或等于第二权重级别就属于中等权重信息；其他的就属于低权重信息；也可以对准实时数据在实时性、可靠性、重要性三个方面分别进行权重评判，对于三个方面不同的权重评判采取不同的数据处理策略，以便能够达到既满足业务需求，又满足性能需求，还能满足成本需求。

经过对准实时系统的长期调研分析，本发明将业务需求分以下几类：

1.第一类：当用户需要数据时，即主动请求数据时，能够获得当前最新的准实时业务数据；

2.第二类：用户无需主动请求，准实时的业务数据会自动展示出来以便用户；

3.第三类：当业务数据的重要性达到一定级别时，需要通知或者提醒用户数据的变化。

对此，本发明设计了三种数据刷新方式如下：

1.用户手动刷新数据，满足第一类业务需求；

2.手机App自动定时向服务器请求数据，满足第二类业务需求；

3.通过手机App外的通知模块推送数据变化请求，以提醒用户主动激活手机App获取数据，满足第三类业务需求；

对于这三种方式，后台都需要支持数据的准实时性，但是前端根据需求的分级设置的权重属性不同，在前端交互方式中进行差异化的处理。

本发明灵活使用以上三种方式的组合，对App获取数据进行权重匹配，进行差异化对待。

1.对于高权重信息的处理方式：

a)用户手动刷新数据；

b)手机App自动定时向服务器请求数据；

c)通过手机App外的通知模块推送数据变化请求；

2.对于中等权重信息的处理方式：

a)用户手动刷新数据；

b)手机App自动定时向服务器请求数据；

3.对于低权重信息的处理方式：

用户手动刷新数据。

这样，所述移动互联网大规模准实时数据分级订阅发布系统的方法，步骤如下：

步骤1：所述数据源向业务服务器发送授权请求或验证请求，业务服务器就进行对数据源的授权验证；

步骤2：若通过了授权验证，数据源以设定的时间间隔T1向业务服务器发送业务数据；

步骤3：业务服务器接收到了业务数据后，根据业务需求存放在缓存服务器或数据库服务器中，具体方式为业务服务器收到数据源发送来的业务数据后，首先刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中，以便手机App在请求数据时能够获得最新的业务数据，而业务服务器根据业务数据的持久化逻辑，把业务数据存入数据库服务器；所述业务服务器还根据业务需求判定发送来的业务数据的权重级别，以此来进行分级处理；

步骤4：在针对高权重信息的处理方式中,具体有如下三种方式：

(1)用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即高权重信息发送给手机App；

(2)手机App自动定时向服务器请求数据，也就是手机App自动定时地向业务服务器发送针对高权重信息的请求，然后业务服务器就从缓存服务器中把最新的业务数据取出来进行判断，若最新的业务数据为高权重信息，就发送给手机App；

(3)通过手机App外的通知模块推送数据变化请求，也就是业务服务器判定发送来的业务数据的权重级别为高权重信息时，就主动发送通知请求给用于通知的服务器，用于通知的服务器用来根据用户对业务数据的订阅关系向用户所拥有的智能手机发布通知信息，智能手机的通知模块就推送数据变化请求，即提醒用户主动激活手机App来获取高权重信息；

步骤5：在针对中等权重信息的处理方式中,具体有如下两种方式：

(1)用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即中等权重信息发送给手机App；

(2)手机App自动定时向服务器请求数据，也就是手机App自动定时地向业务服务器发送针对中等权重信息的请求，然后业务服务器就从缓存服务器中把最新的业务数据取出来进行判断，若最新的业务数据为中等权重信息，就发送给手机App；

步骤6：针对低权重信息的处理方式为用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即低权重信息发送给手机App。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。

Claims (7)

1.一种移动互联网大规模准实时数据分级订阅发布系统，其特征在于，包括安装有手机App和通知模块的智能手机、用于通知的服务器、业务服务器、数据库服务器、缓存服务器以及数据源；

所述数据源的数量为一个以上，所述数据源同业务服务器相连接，所述业务服务器同缓存服务器相连接，所述业务服务器也同数据库服务器和用于通知的服务器相连接，所述数据库服务器也同用于通知的服务器相连接，所述安装有手机App的智能手机同用于通知的服务器和业务服务器之间建立有通信连接，所述智能手机为用户所有；

所述业务服务器用来接收通过授权验证的数据源发送来的业务数据，并根据业务需求存放在缓存服务器或数据库服务器中，具体方式为业务服务器收到数据源发送来的业务数据后，首先刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中，而业务服务器根据业务数据的持久化逻辑，把业务数据存入数据库服务器；所述业务服务器还根据业务需求判定发送来的业务数据的权重级别，以此来进行分级处理，对于权重高的业务数据，除更新缓存服务器外，还经过用于通知的服务器来向手机App推送通知；

所述业务服务器还根据业务需求判定发送来的业务数据的权重级别进行分级处理，其方式是用发送来的业务数据的权重级别来表示业务数据的优先级，并可根据任何业务规则选定两个权重级别，分别为第一权重级别和第二权重级别，其中第一权重级别大于第二权重级别，若发送来的业务数据的权重级别大于或等于第一权重级别就属于高权重信息；若发送来的业务数据的权重级别小于第一权重级别且大于或等于第二权重级别就属于中等权重信息；其他的就属于低权重信息。

2.根据权利要求1所述的移动互联网大规模准实时数据分级订阅发布系统，其特征在于经过授权验证通过后的数据源均用来向业务服务器发送业务数据；所述数据源以设定的时间间隔T1向业务服务器发送业务数据。

3.根据权利要求2所述的移动互联网大规模准实时数据分级订阅发布系统，其特征在于每个所述数据源发送业务数据的时间间隔T1可配置，即每个数据源根据其业务数据的差异，可以配置所需要求的发送数据时间间隔。

4.根据权利要求1所述的移动互联网大规模准实时数据分级订阅发布系统，其特征在于所述刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中的方式有三种，分别为以添加的方式把所述发送来的业务数据作为最新的业务数据、以更新的方式把所述发送来的业务数据作为最新的业务数据或者以删除原先的业务数据的方式来把剩余的业务数据作为最新的业务数据。

5.根据权利要求1所述的移动互联网大规模准实时数据分级订阅发布系统，其特征在于所述业务服务器还根据业务需求判定发送来的业务数据的权重级别以此来进行分级处理的方式是对发送来的业务数据在实时性、可靠性、重要性三个方面分别进行权重评判，对于三个方面不同的权重评判采取不同的数据处理策略。

6.根据权利要求1所述的移动互联网大规模准实时数据分级订阅发布系统，其特征在于所述数据库服务器用来存储持久化需求的业务数据；数据库服务器用来存储业务数据的处理规则和权重级别；数据库服务器用来存储用户与业务数据的订阅关系；

所述用于通知的服务器用来接收业务服务器的通知请求；用于通知的服务器用来根据用户对业务数据的订阅关系向用户发布通知信息；用于通知的服务器使用多个第三方推送服务；用于通知的服务器可动态调配多个第三方推送服务器的使用，当第三方推送服务器不可达、出错或者服务质量下降时可自行动态调配；

所述手机App在启动时，通过调用接口刷新业务数据；当高权重的业务数据，也即高权重信息产生时，用于通知的服务器将向手机App所在的智能手机发出推送通知，智能手机接到推送通知后，如果App为启动状态，则立即刷新数据，以便第一时间展示高权重的业务数据；如果此时手机App非启动状态，用户则可以在智能手机通过系统的通知功能激活App，以便刷新获取高权重的业务数据；用户可在手机App中通过手动刷新数据。

7.根据权利要求1所述的移动互联网大规模准实时数据分级订阅发布系统的方法，其特征在于，步骤如下：

步骤1：所述数据源向业务服务器发送授权请求或验证请求，业务服务器就进行对数据源的授权验证；

步骤2：若通过了授权验证，数据源以设定的时间间隔T1向业务服务器发送业务数据；

步骤3：业务服务器接收到了业务数据后，根据业务需求存放在缓存服务器或数据库服务器中，具体方式为业务服务器收到数据源发送来的业务数据后，首先刷新缓存服务器把该业务数据作为最新的业务数据存放到缓存服务器中，而业务服务器根据业务数据的持久化逻辑，把业务数据存入数据库服务器；所述业务服务器还根据业务需求判定发送来的业务数据的权重级别，以此来进行分级处理；

步骤4：在针对高权重信息的处理方式中,具体有如下三种方式：

(1)用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即高权重信息发送给手机App；

(2)手机App自动定时向服务器请求数据，也就是手机App自动定时地向业务服务器发送针对高权重信息的请求，然后业务服务器就从缓存服务器中把最新的业务数据取出来进行判断，若最新的业务数据为高权重信息，就发送给手机App；

(3)通过手机App外的通知模块推送数据变化请求，也就是业务服务器判定发送来的业务数据的权重级别为高权重信息时，就主动发送通知请求给用于通知的服务器，用于通知的服务器用来根据用户对业务数据的订阅关系向用户所拥有的智能手机发布通知信息，智能手机的通知模块就推送数据变化请求，即提醒用户主动激活手机App来获取高权重信息；

步骤5：在针对中等权重信息的处理方式中,具体有如下两种方式：

(1)用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即中等权重信息发送给手机App；

(2)手机App自动定时向服务器请求数据，也就是手机App自动定时地向业务服务器发送针对中等权重信息的请求，然后业务服务器就从缓存服务器中把最新的业务数据取出来进行判断，若最新的业务数据为中等权重信息，就发送给手机App；

步骤6：针对低权重信息的处理方式为用户手动刷新数据的方式，也就是用户通过手机App主动发送数据的请求到业务服务器中，然后业务服务器就从缓存服务器中把最新的业务数据，也即低权重信息发送给手机App。