CN111901416B - 一种解决大数据平台数据冲击的系统和方法 - Google Patents

Abstract

一种解决大数据平台数据冲击的系统，包括：API接口模块、冲突解决模块、大数据平台，其中：API接口模块，与冲突解决模块连接，接收用户的API指令，并将API指令发送给冲突解决模块；冲突解决模块，输入端与应用程序接口模块连接，输出端与大数据平台连接，接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；大数据平台，接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据。本发明在API接口与大数据平台之间加入冲突解决模块，当API指令流量过大、发生突发性能流量时，防止大数据平台宕机。克服了现有技术在API极高交互速率时对导致大数据平台无响应的问题。

Description

一种解决大数据平台数据冲击的系统和方法

技术领域

本发明涉及的是大数据应用技术领域，特别涉及一种解决大数据平台数据冲击的系统和方法。

背景技术

大数据平台提供海量数据的存储计算和查询展示功能，在商业领域有诸多案例。随着工业采集设备发展与成熟，其逐渐应用于诸如冶金，石油，水利等工业领域。

通过对应的API访问大数据平台是一种约定通用的方式，不过随着采集设备及技术的不断发展，数据量成指数增长，短期的海量的API命令对大数据平台的压力较大。

专利号为CN105450618A的专利《一种API服务器处理大数据的运算方法及其系统》，其提供的一种API服务器处理大数据的运算方法，方法包括：客户端接收用户的操作指令，向API服务器发送请求数据；API服务器接收所述请求数据，并将所述请求数据发送至消息队列集群缓冲，消息队列集群再将所述请求数据发送至分布式实时计算系统集群；分布式实时计算系统集群对所述请求数据进行业务逻辑运算，并将得到的运算结果发送至数据库存储；当客户端接收到用户的结果获取指令时，API服务器根据所述结果获取指令在数据库中查询所述运算结果并返回至客户端。

其特征在于构建了独立的API服务器，采用消息队列作为缓冲，一定程度上缓解了数据冲击的问题。不过当API与大数据平台通讯达到毫秒级，可能导致大数据平台灾难性影响。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种解决大数据平台数据冲击的系统和方法。

一种解决大数据平台数据冲击的系统，包括：API接口模块、冲突解决模块、大数据平台，其中：

API接口模块，与冲突解决模块连接，接收用户的API指令，并将API指令发送给冲突解决模块；

冲突解决模块，输入端与应用程序接口模块连接，输出端与大数据平台连接，接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；

大数据平台，接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据。

进一步地，冲突解决模块通过REDIS数据库对API指令进行处理。

进一步地，对API指令按预设规则进行处理，预设规则包括：预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，对当前API接口模块ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果大于最大流量f则拒绝请求，如果小于或等于最大流量f则发送给大数据平台。

进一步地，对API指令按预设规则进行处理，预设规则包括：如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。

进一步地，对API指令按预设规则进行处理，预设规则还包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，使用LPUSH命令，设置关键字KEY为ID，值VALUE为当前时间，将命令推送到列表；

使用LTRIM命令，设置关键字KEY为ID，START为0，STOP为n-1；将上述两个命令采用multi标记，保证其先后执行，不受其他命令打断；

使用LLEN命令，设置关键字KEY为ID，获取列表长度n1；将取列表长度n1与最大队列长度n进行判断，若列表长度n1小于最大队列长度n，直接将API指令发送给大数据平台。

进一步地，对API指令按预设规则进行处理，预设规则还包括：

若列表长度n等于最大队列长度n1，则使用LINDEX命令，设置关键字KEY为ID，索引INDEX为n-1，获取最早的时间和当前时间比较，将两者时间之差除以n的值表示流量繁忙程度，若流量繁忙程度大于预设阈值，则拒绝API请求，若流量繁忙程度小于预设阈值，将API请求发送给大数据平台。

进一步地，采用GUID生成器对每个API接口模块分配一个唯一的ID。

本发明还公开了一种解决大数据平台数据冲击的方法，包括：

API接口模块接收用户的API指令，并将API指令发送给冲突解决模块；

冲突解决模块接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；

大数据平台接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据。

进一步地，冲突解决模块对API指令按预设规则进行处理，预设规则包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，对当前API接口模块ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果ID的值大于最大流量f则拒绝请求，如果ID的值小于或等于最大流量f则发送给大数据平台；如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。

进一步地，冲突解决模块对API指令按预设规则进行处理，预设规则还包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，使用LPUSH命令，设置关键字KEY为ID，值VALUE为当前时间，将命令推送到列表；

使用LTRIM命令，设置关键字KEY为ID，START为0，STOP为n-1；将上述两个命令采用multi标记，保证其先后执行，不受其他命令打断；

使用LLEN命令，设置关键字KEY为ID，获取列表长度n；将取列表长度n1与最大队列长度n的大小进行判断，若列表长度n1小于最大队列长度n，直接将API指令发送给大数据平台；若列表长度n等于最大队列长度n1，则使用LINDEX命令，设置关键字KEY为ID，INDEX为n-1，获取最早的时间和当前时间比较，将两者时间之差除以即表示流量繁忙程度，若流量繁忙程度大于预设阈值，则拒绝API请求，若流量繁忙程度小于预设阈值，将API请求发送给大数据平台。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明公开的一种解决大数据平台数据冲击的系统和方法，提供了一种高效、简单、可靠的冲突解决实现方案，本发明中，冲突解决模块既可以位于API接口模块一侧，作为一个扩展API接口模块的子模块。也可以与大数据平台一侧，作为一个大数据平台的子模块。在API接口与大数据平台之间加入冲突解决模块，通过冲突解决模块对API指令按预设规则进行处理，当API指令流量过大、发生突发性能或跨时间的流量时，防止大数据平台宕机。克服了现有技术在API极高交互速率时对导致大数据平台无响应的问题。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例1中，一种解决大数据平台数据冲击的系统结构图；

图2为本发明实施例2中，一种解决大数据平台数据冲击的方法流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

实施例1

本实施例公开了一种解决大数据平台3数据冲击的系统，包括：API接口模块1、冲突解决模块2、大数据平台3，其中：

API接口模块1，与冲突解决模块2连接，接收用户的API指令，并将API指令发送给冲突解决模块2。

API(Application Programming Interface，应用程序接口)是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。其目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。

冲突解决模块2，输入端与应用程序接口模块连接，输出端与大数据平台3连接，接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台3。

在一些优选实施例中，冲突解决模块2通过REDIS数据库对API指令进行处理。

Redis是一个完全开源免费的，遵守BSD协议，是一个高性能的key-value数据库。Redis支持数据的持久化，可以将内存中的数据保存在磁盘中，重启的时候可以再次加载进行使用。通常来说，其被当成内存数据库使用，且用于高速缓存的场合。然而其多样化的(list，set，zset，hash)数据结构，且针对各类数据结构专用的、丰富高效的各类命令往往被忽略，通过合理的运用，能在解决大数据平台数据冲击起到很好的效果。

在一些优选实施例中，对API指令按预设规则进行处理，预设规则包括：

预先给每个API接口模块1分配一个唯一的ID，当冲突解决模块2接收API接口模块1请求时，对当前API接口模块1ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果大于最大流量f则拒绝请求，如果小于或等于最大流量f则发送给大数据平台3。优选的，采用GUID生成器对每个API接口模块1分配一个唯一的ID。

在一些优选实施例中，如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。其中，t的范围为大于0ms，小于1s，f大于0。

在一些优选实施例中，预设规则还包括：

预先给每个API接口模块1分配一个唯一的ID，当冲突解决模块2接收API接口模块请求时，使用LPUSH命令，设置关键字KEY为ID，值VALUE为当前时间，将命令推送到列表；优选的，采用GUID生成器对每个API接口模块1分配一个唯一的ID。

使用LTRIM命令，设置关键字KEY为ID，START为0，STOP为n-1；将上述两个命令采用multi标记，保证其先后执行，不受其他命令打断。

使用LLEN命令，设置关键字KEY为ID，获取列表长度n1；将取列表长度n1与最大队列长度n进行判断，若列表长度n1小于最大队列长度n，直接将API指令发送给大数据平台3。

在一些优选实施例中，若列表长度n等于最大队列长度n1，则使用LINDEX命令，设置关键字KEY为ID，索引INDEX为n-1，获取最早的时间和当前时间比较，将两者时间之差除以n的值表示流量繁忙程度，若流量繁忙程度大于预设阈值，则拒绝API请求，若流量繁忙程度小于预设阈值，将API请求发送给大数据平台3。在一些优选实施例中，预设阈值设置为API处理速度的100倍。

大数据平台3，接收通过冲突解决模块2处理后的API指令，根据API指令调用大数据平台3数据。

本发明公开的一种解决大数据平台数据冲击的系统，提供了一种高效、简单、可靠的冲突解决实现方案，本发明中，冲突解决模块既可以位于API接口模块一侧，作为一个扩展API接口模块的子模块。也可以与大数据平台一侧，作为一个大数据平台的子模块。在API接口与大数据平台之间加入冲突解决模块，通过冲突解决模块对API指令按预设规则进行处理，当API指令流量过大、发生突发性能或跨时间的流量时，防止大数据平台宕机。克服了现有技术在API极高交互速率时对导致大数据平台无响应的问题。

实施例2

本实施例公开了一种解决大数据平台数据冲击的方法，包括：

API接口模块接收用户的API指令，并将API指令发送给冲突解决模块。

冲突解决模块接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台。

在一些优选实施例中，冲突解决模块通过REDIS数据库对API指令进行处理。

在一些优选实施例中，对API指令按预设规则进行处理，预设规则包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，对当前API接口模块ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果大于最大流量f则拒绝请求，如果小于或等于最大流量f则发送给大数据平台。优选的，采用GUID生成器对每个API接口模块分配一个唯一的ID。

在一些优选实施例中，如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。

在一些优选实施例中，预设规则还包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，使用LPUSH命令，设置关键字KEY为ID，值VALUE为当前时间，将命令推送到列表；优选的，采用GUID生成器对每个API接口模块分配一个唯一的ID。

使用LTRIM命令，设置关键字KEY为ID，START为0，STOP为n-1；将上述两个命令采用multi标记，保证其先后执行，不受其他命令打断。

使用LLEN命令，设置关键字KEY为ID，获取列表长度n1；将取列表长度n1与最大队列长度n进行判断，若列表长度n1小于最大队列长度n，直接将API指令发送给大数据平台。

在一些优选实施例中，若列表长度n等于最大队列长度n1，则使用LINDEX命令，设置关键字KEY为ID，索引INDEX为n-1，获取最早的时间和当前时间比较，将两者时间之差除以n的值表示流量繁忙程度，若流量繁忙程度大于预设阈值，则拒绝API请求，若流量繁忙程度小于预设阈值，将API请求发送给大数据平台。

大数据平台接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据。

本发明公开的一种解决大数据平台数据冲击的方法，提供了一种高效、简单、可靠的冲突解决实现方法，本发明中，冲突解决模块既可以位于API接口模块一侧，作为一个扩展API接口模块的子模块。也可以与大数据平台一侧，作为一个大数据平台的子模块。在API接口与大数据平台之间加入冲突解决模块，通过冲突解决模块对API指令按预设规则进行处理，当API指令流量过大、发生突发性能或跨时间的流量时，防止大数据平台宕机。克服了现有技术在API极高交互速率时对导致大数据平台无响应的问题。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (7)

1.一种解决大数据平台数据冲击的系统，其特征在于，包括：API接口模块、冲突解决模块、大数据平台，其中：

API接口模块，与冲突解决模块连接，接收用户的API指令，并将API指令发送给冲突解决模块；

冲突解决模块，输入端与应用程序接口模块连接，输出端与大数据平台连接，接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；

大数据平台，接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据；

冲突解决模块通过REDIS数据库对API指令进行处理；对API指令按预设规则进行处理，预设规则还包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，使用LPUSH命令，设置关键字KEY为ID，值VALUE为当前时间，将命令推送到列表；

使用LTRIM命令，设置关键字KEY为ID，START为0，STOP为n-1；

将上述两个命令采用multi标记，保证其先后执行，不受其他命令打断；

使用LLEN命令，设置关键字KEY为ID，获取列表长度n1；将取列表长度n1与最大队列长度n进行判断，若列表长度n1小于最大队列长度n，直接将API指令发送给大数据平台。

2.如权利要求1的一种解决大数据平台数据冲击的系统，其特征在于，对API指令按预设规则进行处理，预设规则包括：预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，对当前API接口模块ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果大于最大流量f则拒绝请求，如果小于或等于最大流量f则发送给大数据平台。

3.如权利要求2的一种解决大数据平台数据冲击的系统，其特征在于，对API指令按预设规则进行处理，预设规则包括：如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。

4.如权利要求1的一种解决大数据平台数据冲击的系统，其特征在于，对API指令按预设规则进行处理，预设规则还包括：

若列表长度n等于最大队列长度n1，则使用LINDEX命令，设置关键字KEY为ID，索引INDEX为n-1，获取最早的时间和当前时间比较，将两者时间之差除以n的值表示流量繁忙程度，若流量繁忙程度大于预设阈值，则拒绝API请求，若流量繁忙程度小于预设阈值，将API请求发送给大数据平台。

5.如权利要求1或2的一种解决大数据平台数据冲击的系统，其特征在于，采用GUID生成器对每个API接口模块分配一个唯一的ID。

6.一种解决大数据平台数据冲击的方法，其特征在于，包括：

API接口模块接收用户的API指令，并将API指令发送给冲突解决模块；

冲突解决模块接收应用程序接口模块传输的API指令，对API指令按预设规则进行处理，并将处理后的API指令发送给大数据平台；

大数据平台接收通过冲突解决模块处理后的API指令，根据API指令调用大数据平台数据；

冲突解决模块对API指令按预设规则进行处理，预设规则还包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，使用LPUSH命令，设置关键字KEY为ID，值VALUE为当前时间，将命令推送到列表；

使用LTRIM命令，设置关键字KEY为ID，START为0，STOP为n-1；

将上述两个命令采用multi标记，保证其先后执行，不受其他命令打断；

使用LLEN命令，设置关键字KEY为ID，获取列表长度n；将取列表长度n1与最大队列长度n的大小进行判断，若列表长度n1小于最大队列长度n，直接将API指令发送给大数据平台；若列表长度n等于最大队列长度n1，则使用LINDEX命令，设置关键字KEY为ID，INDEX为n-1，获取最早的时间和当前时间比较，将两者时间之差除以即表示流量繁忙程度，若流量繁忙程度大于预设阈值，则拒绝API请求，若流量繁忙程度小于预设阈值，将API请求发送给大数据平台。

7.如权利要求6的一种解决大数据平台数据冲击的方法，其特征在于，冲突解决模块对API指令按预设规则进行处理，预设规则包括：

预先给每个API接口模块分配一个唯一的ID，当冲突解决模块接收API接口模块请求时，对当前API接口模块ID在REDIS中进行判断，如果REDIS中存在ID这个关键字KEY，则通过INCR命令对ID的值自增，同时判断ID的值与最大流量f比较，如果ID的值大于最大流量f则拒绝请求，如果ID的值小于或等于最大流量f则发送给大数据平台；如果REDIS中不存在ID这个关键字KEY，则使用SET命令创建一个字符串类型数据，其中关键字KEY为ID，值VALUE为0，到期时间EX为t。

Images