CN107395521A - 一种基于物联网的大数据信息处理方法及系统 - Google Patents

Abstract

本发明涉及一种基于物联网的大数据信息处理方法及系统，该处理系统包括如下步骤：大数据处理平台、子计算机、控制中心系统，还涉及一种处理方法，该处理方法包括：控制中心系统向网关接口发送控制信号；所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。通过在子计算机设置支持多通道的物联网的网关接口，以及通过物联网节点的布置方式将子计算机与大数据处理平台进行分布式的连接，这样有利于控制中心系统通过控制网关接口从而控制子计算机的数据发送到大数据处理平台，同时可以提高发送的效率。

Description

一种基于物联网的大数据信息处理方法及系统

技术领域

本发明属于大数据信息领域，尤其涉及一种基于物联网的大数据信息处理方法及系统。

背景技术

随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代，网络运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律，发现用户潜在消费需求，是提升价值和经营水平的有效手段。然而，这样不仅仅也使得数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度，现有的大数据处理中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，同时也因数据量巨大，容易造成接收数据时网络堵塞，从而存在数据丢失和处理错误的问题。

发明内容

本发明所要解决的技术问题是：现有技术中对大数据处理，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，同时也因数据量巨大，容易造成接收数据时网络堵塞，从而存在数据丢失和处理错误的问题。

为解决上面的技术问题，本发明提供了一种基于物联网的大数据信息处理系统，该处理系统包括：

大数据处理平台、子计算机、控制中心系统；

在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；

所述控制中心系统，用于向所述网关接口发送控制信号；

所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；

所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

本发明的有益效果：通过在子计算机设置支持多通道的物联网的网关接口，以及通过物联网节点的布置方式将子计算机与大数据处理平台进行分布式的连接，这样有利于控制中心系统通过控制网关接口从而控制子计算机的数据发送到大数据处理平台，同时可以提高发送的效率，还可以使得即使子计算机在发送大量数据的时候不会因为大数据处理平台处理信息的工作量大，从而造成接收数据时网络堵塞，导致出现发生数据丢失和处理错误的问题，使得数据准确有效地发送到大数据处理平台。

进一步地，当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出所述数据阈值的数据转换到离所述第一可转换通道最近的第二可转换通道。

上述进一步地有益效果：在可转换通道内的数据超过了数据阈值时，超过阈值的数据转换到离该通道最近的可转换通道，这样可以缩短数据被阻挡的时间，从而提高了数据传送的效率，同时也保证了数据被完整地传送到大数据处理平台，降低了数据丢失的问题。

进一步地，判断所述可转换通道的数据与从所述第一可转换通道转换过来的数据之和是否大于所述数据阈值，若大于，则不接收，若小于或等于，则接收。

上述进一步地有益效果：由于每个可转换通道中的数据都是有固定数据阈值的，这表明该通道在一定时间内最大的数据传送能力，当数据超过该数据阈值的时候，超过的数据阈值的数据是无法被发送的，所以将这些超过的数据阈值的数据转换到最近的第二可转移通道，判断最近第二可转移通道中的数据与从第一可转换通道转换过来的数据之和是否大于数据阈值，既可以保证该通道可以完全地传输从第一可转移通道的转换过来的数据，避免了发生数据丢失的现象。

本发明还涉及一种基于物联网的大数据信息处理方法，该方法包括如下步骤：

S1，控制中心系统向网关接口发送控制信号；

S2，所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；

S3，所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。

本发明的有益效果：通过在子计算机设置支持多通道的物联网的网关接口，以及通过物联网节点的布置方式将子计算机与大数据处理平台进行分布式的连接，这样有利于控制中心系统通过控制网关接口从而控制子计算机的数据发送到大数据处理平台，同时可以提高发送的效率，还可以使得即使子计算机在发送大量数据的时候不会因为大数据处理平台处理信息的工作量大，从而造成接收数据时网络堵塞，导致出现发生数据丢失和处理错误的问题，使得数据准确有效地发送到大数据处理平台。

进一步地，当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出的所述数据阈值的数据转换到离所述第一可转换通道最近的第二可转换通道。

上述进一步地有益效果：在可转换通道内的数据超过了数据阈值时，超过阈值的数据转换到离该通道最近的可转换通道，这样可以缩短数据被阻挡的时间，从而提高了数据传送的效率，同时也保证了数据被完整地传送到大数据处理平台，降低了数据丢失的问题。

进一步地，判断在最近的所述可转换通道的数据是否已达所述数据阈值，若是，则不接收从所述第一可转换通道转换过来的数据，若否，则判断最近的所述可转换通道的数据与从所述第一可转换通道转换过来的数据之和是否大于数据阈值，若是，则将接收的从所述第一可转换通道转换过来的数据发送到所述大数据处理平台，若否，则不接收。

上述进一步地有益效果：由于每个可转换通道中的数据都是有固定数据阈值的，这表明该通道在一定时间内最大的数据传送能力，当数据超过该数据阈值的时候，超过的数据阈值的数据是无法被发送的，所以将这些超过的数据阈值的数据转换到最近的第二可转移通道，判断最近第二可转移通道中的数据与从第一可转换通道转换过来的数据之和是否大于数据阈值，既可以保证该通道可以完全地传输从第一可转移通道的转换过来的数据，避免了发生数据丢失的现象。

附图说明

图1为本发明的一种基于物联网的大数据信息处理系统的示意图；

图2为本发明的处理系统的局部结构示意图；

图3为本发明的K通道的结构示意图；

图4为本发明的大数据信息处理系统的实体图；

图5为本发明的一种基于物联网的大数据信息处理方法的流程图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1

如图1和图4所示，本实施例1中一种基于物联网的大数据信息处理系统，该处理系统包括：大数据处理平台、子计算机、控制中心系统；

在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；

所述控制中心系统，用于向所述网关接口发送控制信号；

所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；

所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

需要说明的是，在本实施例1中该处理系统是由大数据处理平台、子计算机、控制中心系统这三个大的部分组成，大数据处理平台是现有技术中的常用的大数据处理平台，在本实施例1中主要是采用这样的大数据处理平台接收来自子计算机的数据处理，同时在本实施例1中所述大数据处理平台与所述子计算机之间是通过物联网节点的布置方式进行分布式的连接，用于接收所述子计算机发送的数据；通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台以及子计算机形成拓扑结构，有利于各种数据之间的发送有序地进行，不会因为子计算机的数目过多而造成数据的混乱以及丢失的现象。其次，本实施例1中还在上述提及到的子计算机上均设置支持多通道的物联网的网关接口，这些安置的网关接口是用于所述子计算机将自身的数据通过所述网关接口发送数据到大数据处理平台的。另外对于在本实施例1中提交到的所述控制中心系统是连接在所述大数据处理平台与所述子计算机之间，所述控制中心系统用于通过控制所述网关接口的关闭或者打开，从而控制所述子计算机的数据有顺序地发送到大数据处理平台。所述控制中心系统通过控制网关接口，这样可以使得需要发送的数据分批、分时间段、分通道接口地发送到大数据处理平台，这样就可以大大地提高数据传送的效率，同时也极大地保证了数据被完整地发送到大数据处理平台，不会出现数据丢失的现象，也大大地降低了出现数据混乱的频率。

实施例2

如图1和图4所示，在本实施例2中一种基于物联网的大数据信息处理系统，该处理系统包括：大数据处理平台、子计算机、控制中心系统；

在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；

所述控制中心系统，用于向所述网关接口发送控制信号；

所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；

所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

需要说明的是，在本实施例2中该处理系统是由大数据处理平台、子计算机、控制中心系统这三个大的部分组成，大数据处理平台是现有技术中的

常用的大数据处理平台，在本实施例2中主要是采用这样的大数据处理平台接收来自子计算机的数据处理，同时在本实施例2中所述大数据处理平台以及所述子计算机之间是通过物联网节点的布置方式进行分布式的连接，用于接收所述子计算机发送的数据；通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台以及子计算机形成拓扑结构，有利于各种数据之间的发送有序地进行，不会因为子计算机的数目过多而造成数据的混乱以及丢失的现象。其次，本实施例2中还在上述提及到的子计算机上均设置支持多通道的物联网的网关接口，这些安置的网关接口是用于所述子计算机将自身的数据通过所述网关接口发送数据到大数据处理平台的。另外对于在本实施例2中提交到的所述控制中心系统是连接在所述大数据处理平台与所述子计算机之间，所述控制中心系统用于通过控制所述网关接口，从而控制所述子计算机的数据有顺序地发送到大数据处理平台。所述控制中心系统通过控制网关接口，这样可以使得需要发送的数据分批、分时间段、分通道接口地发送到大数据处理平台，这样就可以大大地提高数据传送的效率，同时也极大地保证了数据被完整地发送到大数据处理平台，不会出现数据丢失的现象，也大大地降低了出现数据混乱的频率。

可选地，在本实施例2中还对上述进一步地进行了细化，本实施例2中的系统还包括：在所述网关接口上安装第一子通道接口和第二子通道接口；所述第一子通道接口与所述控制中心系统连接，用于接收控制中心系统发送的控制信号，从而控制与所述第二子通道接口对应的通道打开或者关闭；所述第二子通道接口与所述大数据处理平台连接，用于所述子计算机将自身的数据有序地发送到所述大数据处理平台。

需要说明的是，如图2所示，在上述提及到的网关接口包括第一子通道接口和第二子通道接口，这两个第一子通道接口和第二子通道接口也是并行排列的，只是他们所执行的功能不同，在本实施例2中的第一子通道接口与上述提及到的控制中心系统连接，而第二子通道接口是与大数据处理平台连接的。控制中心系统是通过物联网的连接方式与第一子通道接口连接，将控制信号发送到第一子通道接口，在第一子通道接口接到控制信号后，判断控制信号是控制与第二子通道接口对应的通道打开的，则与第二子通道接口对应的通道打开，允许子计算机将自身的数据有序地发送到所述大数据处理平台。在本实施例2中这样有利于接口的有效分工，只有当第一子通道接口接收到控制信号指令属于打开的控制指令后，第一子通道接口才会去控制第二子通道接口打开，而当接收到控制信号指令属于闭合的控制指令后，第一子通道接口会去控制与第二子通道接口对应的通道闭合，这样就可以有效地控制数据的发送。比如：在10分钟之内，控制中心系统发送控制信号给第一子通道接口，其中控制信号是“说明第二子通道接口的通道需要在这10分钟之内都是开的状态，不可以自动关闭”，当第二子通道接口的通道通过第一子通道接口了解到自己在“10分钟之内都是开的状态，不可以自动关闭”，他就会一直允许子计算机将自身的数据有序地发送到所述大数据处理平台。再比如：当控制中心系统发送的控制信号是“在10分钟之内，第二通道接口在前面3分钟必须是开的状态，3分钟之后需要闭合1分钟的时间，然后第二通道接口在接下来的3分钟又必须是开的状态，3分钟之后又需要闭合2分钟，剩下一分钟的时间又是打开的状态”。对于控制中心系统会发送什么样的控制信号，是由于控制信号会根据大数据处理平台接收数据的速度以及处理数据的效率决定的。在本实施例2中，所述的控制中心系统还与大数据处理平台连接的，用于根据大数据处理平台接收数据的速率以及处理数据的效率，从而发送相应的控制信号给第一通道接口。这样有利于数据能够及时被处理掉，同时又不会因为大数据处理平台处理数据的速率不够导致出现数据拥挤的现象，这样能够有效率、有节奏地将数据分批、分时间段的处理。例如：大数据处理平台在10分钟内，接收到的数据还没有迅速处理完整，这个时候要是子计算机继续传送数据的话，很有可能会出现接收数据处理不及时现象。所述控制中心系统还与大数据处理平台连接，用于根据大数据处理平台反馈的处理数据状况的信号，从而向第一子通道接口发送相应的控制信号，所以控制中心系统根据大数据处理平台反馈的在这10分钟内出现的现象，及时调整下次发送的控制信号。

可选地，在本实施例2中还对上述进一步地进行了细化，所述第二子通道接口对应的K个通道打开，并行地将所述子计算机将自身的数据发送到所述大数据处理平台，其中，K取值为自然数。

需要说明的是，第二子通道接口对应K个通道，这K个通道是同时将子计算机中的数据发送到大数据处理平台，并且这K个通道中的数据是同步均衡的，数据的流量速度也是相同的，每个通道中允许的相同量的数据通过，并且这K个通道是并行排列的，没有任何的排序要求。有利于将子计算机中数据分流出来，同步发送，这样大大提高了数据发送的效率。

实施例3

如图1和图4所示，本实施例3是一种基于物联网的大数据信息处理系统，该处理系统包括：大数据处理平台、子计算机、控制中心系统；

在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；

所述控制中心系统，用于向所述网关接口发送控制信号；

所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；

所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

需要说明的是，在本实施例3中该处理系统是由大数据处理平台、子计算机、控制中心系统这三个大的部分组成，大数据处理平台是现有技术中的常用的大数据处理平台，在本实施例3中主要是采用这样的大数据处理平台接收来自子计算机的数据处理，同时在本实施例3中所述大数据处理平台以及所述子计算机之间是通过物联网节点的布置方式进行分布式的连接，用于接收所述子计算机发送的数据；通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台以及子计算机形成拓扑结构，有利于各种数据之间的发送有序地进行，不会因为子计算机的数目过多而造成数据的混乱以及丢失的现象。其次，本实施例3中还在上述提及到的子计算机上均设置支持多通道的物联网的网关接口，这些安置的网关接口是用于所述子计算机将自身的数据通过所述网关接口发送数据到大数据处理平台的。另外对于在本实施例3中上述提及到的控制中心系统是连接在所述大数据处理平台与所述子计算机之间，所述控制中心系统用于通过控制所述网关接口，从而控制所述子计算机的数据有顺序地发送到大数据处理平台。所述控制中心系统通过控制网关接口，这样可以使得需要发送的数据分批、分时间段、分通道接口地发送到大数据处理平台，这样就可以大大地提高数据传送的效率，同时也极大地保证了数据被完整地发送到大数据处理平台，不会出现数据丢失的现象，也大大地降低了出现数据混乱的频率。

可选地，在本实施例3中还进一步地细化的是该系统包括：该系统包括：为所述K个通道分别设置数据阈值，用于每个通道在设定时间内发送小于所述数据阈值的数据到所述大数据处理平台，超出所述数据阈值的数据不被发送。

在本实施例3中需要说明的是，在上述提及到的K个通道中均设置有数据阈值，这个数据阈值是为了表示这个通道中最大的数据传送能力就是阈值之内的数据，当数据超过该阈值的时候，余下的数据是无法被发送的，这时候判断余下数据阈值能否传送所述被拒绝数据，既可以保证该通道可以完全地传输该数据，又不会发生数据丢失的现象。例如：设置的阈值是指该通道在10分钟之内允许100条数据通过，若子计算机中分配给这条通道的数却是120条数据，那么会出现有20条数据是无法从这条通道中通过的，这20条数据就会通过其他的通道传送到大数据处理平台。或者说在3分钟之内允许30条的数据通过，若是分配了50条的数据，那么也会剩下20条数据会无法从这条通道通过，这20条数据就会通过其他的通道传送到大数据处理平台。这样能够保证每条通道的数据都能够按照一定的数量发送到大数据处理平台，不会出现数据丢失的现象，而且这样也可以使得数据有序地发送。

可选地，如图3所示，在本实施例3中进一步地细化的是所述K通道中包括：M个固定通道和K-M个可转换通道；每个所述固定通道用于发送固定数量的数据；每个所述可转换通道用于发送非固定数量的数据，该系统包括：

当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出的所述数据阈值的数据转换到第二可转换通道，并在所述第二可转换通道中发送到所述大数据处理平台，其中，所述第一可转换通道为K-M个所述可转换通道中的任一个可转换通道，所述第二可转换通道为K-M个所述可转换通道中除所述第一可转换通道的其他可转换通道中的任一个可转换通道，其中，M为自然数并且M小于K。

需要说明的是K通道中包括：M个固定通道和K-M个可转换通道，M个固定通道是允许固定数量的数据通过的，不接收其他通道转移过来的数据，也不会将自身的数据转移到其他的通道中，这样的目的是这M个固定通道传送的数据不会被干扰，当子计算机中的数据分配到M个固定通道中，M个固定通道就会直接传送到大数据处理平台，即使M个固定通道中每通道可以允许100条的数据发送，但是目前只有50条的数据发送，他们也不会接受其他的通道转移过来的数据，这样的目的是可以使得有部分数据最先到达大数据处理平台，让大数据处理平台最先处理，能够使得数据处理会有时间顺序，不会因为数据同时发送到大数据处理平台，对大数据处理平台造成处理压力。

实施例4

如图1和图4所示，本实施例4是一种基于物联网的大数据信息处理系统，该处理系统包括：

大数据处理平台、子计算机、控制中心系统；

在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；

所述控制中心系统，用于向所述网关接口发送控制信号；

所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，从而控制所述子计算机将自身的数据发送到大数据处理平台；

所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

需要说明的是，在本实施例4中该处理系统是由大数据处理平台、子计算机、控制中心系统这三个大的部分组成，大数据处理平台是现有技术中的常用的大数据处理平台，在本实施例4中主要是采用这样的大数据处理平台接收来自子计算机的数据处理，同时在本实施例4中所述大数据处理平台与所述子计算机之间是通过物联网节点的布置方式进行分布式的连接，用于接收所述子计算机发送的数据；通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台以及子计算机形成拓扑结构，有利于各种数据之间的发送有序地进行，不会因为子计算机的数目过多而造成数据的混乱以及丢失的现象。其次，本实施例4中还在上述提及到的子计算机上均设置支持多通道的物联网的网关接口，这些安置的网关接口是用于所述子计算机将自身的数据通过所述网关接口发送数据到大数据处理平台的。另外对于在本实施例4中提交到的所述控制中心系统是连接在所述大数据处理平台与所述子计算机之间，所述控制中心系统用于通过控制所述网关接口，从而控制所述子计算机的数据有顺序地发送到大数据处理平台。所述控制中心系统通过控制网关接口，这样可以使得需要发送的数据分批、分时间段、分通道接口地发送到大数据处理平台，这样就可以大大地提高数据传送的效率，同时也极大地保证了数据被完整地发送到大数据处理平台，不会出现数据丢失的现象，也大大地降低了出现数据混乱的频率。

可选地，在本实施例4中进一步细化的是，当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出的所述数据阈值的数据转换到离所述第一可转换通道最近的第二可转换通道。

需要说明的是，在可转换通道内的数据超过了数据阈值时，超过阈值的数据转换到离该通道最近的可转换通道，这样可以缩短数据被阻挡的时间，从而提高了数据传送的效率，同时也保证了数据被完整地传送到大数据处理平台，降低了数据丢失的问题。

可选地，在本实施例4中进一步地细化的是，判断所述可转换通道的数据与从所述第一可转换通道转换过来的数据之和是否大于所述数据阈值，若大于，则不接收，若小于或等于，则接收。

需要说明的是，在本实施例4中由于每个可转换通道中的数据都是有固定数据阈值的，这表明该通道在一定时间内最大的数据传送能力，当数据超过该数据阈值的时候，超过的数据阈值的数据是无法被发送的，所以将这些超过的数据阈值的数据转换到最近的第二可转换通道，判断最近第二可转换通道中的数据与从第一可转换通道转换过来的数据之和是否大于数据阈值，既可以保证该通道可以完全地传输从第一可转换通道的转换过来的数据，避免了发生数据丢失的现象。

例如：当其中一个可转换通道是在10分钟之内是允许100条数据通过的，但是这个通道中现在就只有80条数据在发送，还可以接受20条数据的发送，这时候若是其他的可转换通道转移了15条的数据，那么这15条的数据就可以在这条数据通道中发送，但是若是转换过来的是25条数据，那么这25条数据都会一起被拒绝在这条数据通道中发送。这样避免了数据过于分散，混乱。若是只接受其中的20条数据，只剩下其中5条数据被转移到其他的可转移通道中，会导致数据过于分散，而同时接收或者同时拒绝，有利于数据的完整发送，也使得数据不会丢失。

实施例5

如图5所示，本实施例5中一种基于物联网的大数据信息处理方法，该方法包括如下步骤：

S1，控制中心系统向网关接口发送控制信号；

S2，所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；

S3，所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。

需要说明的是，在本实施例5中该处理方法是应用于上述处理系统的，在本实施例5中的步骤S1是控制中心系统向网关发送控制信号，该控制信号是控制与网关接口对应的通道的打开或者关闭的，当网关接口接收到控制信号是属于打开的，则将与网关接口对应的通道打开，在上述提及到的步骤S2中当网关接口打开后，子计算机才可以通过网关接口将自身的数据发送到大数据处理平台；在上述提及到的大数据处理平台接收到子计算机发送的数据后，并对接收到的数据进行处理。

进一步说明的是，在本实施例5中所述大数据处理平台与所述子计算机之间是通过物联网节点的布置方式进行分布式的连接的，通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台与子计算机形成拓扑结构，有利于各种数据之间的发送有序地进行，不会因为出现子计算机的数目过多而造成数据的混乱以及丢失的现象。其次，本实施例5中还在上述提及到的子计算机上均设置支持多通道的物联网的网关接口。另外对于在本实施例5中提交到的所述控制中心系统是连接在所述大数据处理平台与所述子计算机之间。所述控制中心系统通过控制网关接口，这样可以使得需要发送的数据分批、分时间段、分通道接口地发送到大数据处理平台，这样就可以大大地提高数据传送的效率，同时也极大地保证了数据被完整地发送到大数据处理平台，不会出现数据丢失的现象，也大大地降低了出现数据混乱的频率。

可选地，在本实施例5中还进一步细化，所述网关接口包括第一子通道接口和第二子通道接口，所述S2中包括：

S21，所述第一子通道接口根据所述控制信号，控制第二子通道接口对应的通道打开或者关闭；

S22，当所述第二子通道接口对应的通道打开时，将所述子计算机将自身的数据发送到所述大数据处理平台。

需要说明的是，在上述提及到的网关接口包括第一子通道接口和第二子通道接口，这两个第一子通道接口和第二子通道接口也是并行排列的，只是他们所执行的功能不同，在本实施例5中的第一子通道接口与上述提及到的控制中心系统连接，而第二子通道接口是与大数据处理平台连接的。控制中心系统是通过物联网的连接方式与第一子通道接口连接，步骤S21中是第一子通道接口根据控制信号，控制第二子通道接口对应的通道打开或者关闭；步骤S22中是在第一子通道接口接到控制信号后，判断控制信号是控制第二子通道接口对应的通道打开的，则将与第二子通道接口对应的通道打开，允许子计算机将自身的数据有序地发送到所述大数据处理平台。在本实施例5中这样有利于接口的有效分工，只有当第一子通道接口接收到控制信号指令属于打开的控制指令后，第一子通道接口才会去控制与第二子通道接口对应的通道打开，而当接收到控制信号指令属于闭合的控制指令后，第一子通道接口会去控制与第二子通道接口对应的通道闭合，这样就可以有效地控制数据的发送。比如：在10分钟之内，控制中心系统发送控制信号给第一子通道接口，其中控制信号是“说明第二子通道接口的通道需要在这10分钟之内都是开的状态，不可以自动关闭”，当第二子通道接口通过第一子通道接口了解到自己在“10分钟之内都是开的状态，不可以自动关闭”，他就会一直允许子计算机将自身的数据有序地发送到所述大数据处理平台。再比如：当控制中心系统发送的控制信号是“在10分钟之内，第二通道接口在前面3分钟必须是开的状态，3分钟之后需要闭合1分钟的时间，然后第二通道接口在接下来的3分钟又必须是开的状态，3分钟之后有需要闭合2分钟，剩下一分钟的时间又是打开的状态”。对于控制中心系统会发送什么样的控制信号，是由于控制信号会根据大数据处理平台接收数据的速度以及处理数据的效率决定的。在本实施例5中，所述的控制中心系统还与大数据处理平台连接的，用于根据大数据处理平台接收数据的速率以及处理数据的效率，从而发送相应的控制信号给第一通道接口。这样有利于数据能够及时被处理掉，同时又不会因为大数据处理平台处理数据的速率不够导致出现数据拥挤的现象，这样能够有效率、有节奏地将数据分批、分时间段的处理。例如：大数据处理平台在10分钟内，接收到的数据还没有迅速处理完整，这个时候要是子计算机继续传送数据的话，很有可能会出现接收数据处理不及时现象。所以控制中心系统根据大数据处理平台反馈的在这10分钟内出现的现象，及时调整下次发送的控制信号。

可选地，在本实施例5中需要进一步细化的是，所述S22中包括：所述第二子通道接口对应的K个通道打开，并行地将所述子计算机将自身的数据发送到所述大数据处理平台，其中，K取值为自然数。

需要说明的是，第二子通道接口对应K个通道，这K个通道是同时将子计算机中的数据发送到大数据处理平台，并且这K个通道中的数据是同步均衡的，数据的流量速度也是相同的，每个通道中允许的相同量的数据通过，并且这K个通道是并行排列的，没有任何的排序要求。有利于将子计算机中数据分流出来，同步发送，这样大大提高了数据发送的效率。

可选地，在本实施例5中需要进一步细化的是，所述S22中包括：为所述K个通道分别设置数据阈值，每个通道在设定时间内发送小于所述数据阈值的数据到所述大数据处理平台，超出所述数据阈值的数据不被发送。

需要说明的是，在上述提及到的K个通道中均设置有数据阈值，这个数据阈值是为了表示这个通道中最大的数据传送能力就是阈值之内的数据，当数据超过该阈值的时候，余下的数据是无法被发送的，这时候判断余下数据阈值能否传送所述被拒绝数据，既可以保证该通道可以完全地传输该数据，又不会发生数据丢失的现象。例如：设置的阈值是该通道是在10分钟之内允许100条数据通过，若子计算机中分配给这条通道的数却是120条数据，那么会出现有20条数据是无法从这条通道中通过的，这20条数据就会通过其他的通道传送到大数据处理平台。或者说在3分钟之内允许30条的数据通过，若是分配了50条的数据，那么也会剩下20条数据会无法从这条通道通过，这20条数据就会通过其他的通道传送到大数据处理平台。这样能够保证每条通道的数据都能够按照一定的数量发送到大数据处理平台，不会出现数据丢失的现象，而且这样也可以使得数据有序地发送。

实施例6

如图5所示，本实施例6是一种基于物联网的大数据信息处理方法，该方法包括：

S1，控制中心系统向网关接口发送控制信号；

S2，所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；

S3，所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。

需要说明的是，在本实施例6中该处理方法是应用于上述处理系统的，

本实施例6中的步骤S1是控制中心系统向网关发送控制信号，该控制信号是控制网关接口的打开或者关闭的，当网关接口接收到控制信号是属于打开接口的，则网关接口打开，在上述提及到的步骤S2中当网关接口打开后，子计算机才可以通过网关接口将自身的数据发送到大数据处理平台；在上述提及到的大数据处理平台接收到子计算机发送的数据后，并对接收到的数据进行处理。

进一步说明的是在本实施例6中所述大数据处理平台与所述子计算机之间是通过物联网节点的布置方式进行分布式的连接的，通过物联网节点的布置方式进行分布式的连接是利用现有技术中分布式的好处进行数据采集与发送的，将大数据处理平台与子计算机形成拓扑结构，有利于各种数据之间的发送有序地进行，不会因为出现子计算机的数目过多而造成数据的混乱以及丢失的现象。其次，本实施例6中还在上述提及到的子计算机上均设置支持多通道的物联网的网关接口。另外对于在本实施例6中提交到的所述控制中心系统是连接在所述大数据处理平台与所述子计算机之间。所述控制中心系统通过控制网关接口，这样可以使得需要发送的数据分批、分时间段、分通道接口地发送到大数据处理平台，这样就可以大大地提高数据传送的效率，同时也极大地保证了数据被完整地发送到大数据处理平台，不会出现数据丢失的现象，也大大地降低了出现数据混乱的频率。

可选地，在本实施例6中需要进一步细化的是，所述K通道中包括：M个固定通道和K-M个可转换通道；每个所述固定通道用于发送固定数量的数据；每个所述可转换通道用于发送非固定数量的数据，所述S22包括：

当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出的所述数据阈值的数据转换到第二可转换通道，并在所述第二可转换通道中发送到所述大数据处理平台，其中，所述第一可转换通道为K-M个所述可转换通道中的任一个可转换通道，所述第二可转换通道为K-M个所述可转换通道中除所述第一可转换通道的其他可转换通道，其中，M取值为自然数并且M小于K。

需要说明的是，如图3所示，需要说明的是K通道中包括：M个固定通道和K-M个可转换通道，M个固定通道是允许固定数量的数据通过的，不接收其他通道转移过来的数据，也不会将自身的数据转移到其他的通道中，这样的目的是这M个固定通道传送的数据不会被干扰，当子计算机中的数据分配到M个固定通道中，M个固定通道就会直接传送到大数据处理平台，即使M个固定通道中每通道可以允许100条的数据发送，但是目前只有50条的数据发送，他们也不会接受其他的通道转移过来的数据，这样的目的是可以使得有部分数据最先到达大数据处理平台，让大数据处理平台最先处理，能够使得数据处理会有时间顺序，不会因为数据同时发送到大数据处理平台，对大数据处理平台造成处理压力。

可选地，在本实施例6中进一步地细化的是，当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出的所述数据阈值的数据转换到离所述第一可转换通道最近的第二可转换通道。

需要说明的是，在可转换通道内的数据超过了数据阈值时，超过阈值的数据转换到离该通道最近的可转换通道，这样可以缩短数据被阻挡的时间，从而提高了数据传送的效率，同时也保证了数据被完整地传送到大数据处理平台，降低了数据丢失的问题。

可选地，在本实施例6中进一步地细化的是，判断所述可转换通道的数据与从所述第一可转换通道转换过来的数据之和是否大于所述数据阈值，若大于，则不接收，若小于或等于，则接收。

需要说明的是在本实施例6中由于每个可转换通道中的数据都是有固定数据阈值的，这表明该通道在一定时间内最大的数据传送能力，当数据超过该数据阈值的时候，超过的数据阈值的数据是无法被发送的，所以将这些超过的数据阈值的数据转换到最近的第二可转换通道，判断最近第二可转换通道中的数据与从第一可转换通道转换过来的数据之和是否大于数据阈值，既可以保证该通道可以完全地传输从第一可转换通道的转换过来的数据，避免了发生数据丢失的现象。

例如：当其中一个可转换通道是在10分钟之内是允许100条数据通过的，但是这个通道中现在就只有80条数据在发送，还可以接受20条数据的发送，这时候若是其他的可转换通道转移了15条的数据，那么这15条的数据就可以在这条数据通道中发送，但是若是转换过来的是25条数据，那么这25条数据都会一起被拒绝在这条数据通道中发送。这样避免了数据过于分散，混乱。若是只接受其中的20条数据，只剩下其中5条数据被转移到其他的可转移通道中，会导致数据过于分散，而同时接收或者同时拒绝，有利于数据的完整发送，也使得数据不会丢失。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于物联网的大数据信息处理系统，其特征在于，该处理系统包括：

大数据处理平台、子计算机、控制中心系统；

在所述子计算机上设置支持多通道的物联网的网关接口，用于将自身的数据通过所述网关接口发送到大数据处理平台；

所述控制中心系统，用于向所述网关接口发送控制信号；

所述网关接口，用于根据所述控制信号将与接口对应的通道打开或者关闭，控制所述子计算机将自身的数据发送到大数据处理平台；

所述大数据处理平台与所述子计算机之间通过物联网节点的布置方式进行分布式连接，用于接收所述子计算机发送的数据，并对接收到的数据进行处理。

2.根据权利按要求1所述的处理系统，其特征在于，所述网关接口包括第一子通道接口和第二子通道接口；所述第一子通道接口与所述控制中心系统连接，用于根据所述控制信号，控制第二子通道接口对应的通道打开或者关闭；所述第二子通道接口与所述大数据处理平台连接，用于将所述子计算机将自身的数据发送到所述大数据处理平台。

3.根据权利按要求2所述的处理系统，其特征在于，所述第二子通道接口对应K个通道，所述K个通道，用于并行地将所述子计算机将自身的数据发送到所述大数据处理平台，其中，K取值为自然数。

4.根据权利按要求3所述的处理系统，其特征在于，该系统包括：为所述K个通道分别设置数据阈值，每个通道在设定时间内发送小于所述数据阈值的数据到所述大数据处理平台，超出所述数据阈值的数据不被发送。

5.根据权利按要求4所述的处理系统，其特征在于，所述K通道中包括：M个固定通道和K-M个可转换通道；每个所述固定通道用于发送固定数量的数据；每个所述可转换通道用于发送非固定数量的数据，所述第二子通道接口用于：

当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出所述数据阈值的数据转换到第二可转换通道，并在所述第二可转换通道中发送到所述大数据处理平台，其中，所述第一可转换通道为K-M个所述可转换通道中的任一个可转换通道，所述第二可转换通道为K-M个所述可转换通道中除所述第一可转换通道的其他可转换通道中的任一个可转换通道，其中，M取值为自然数并且M小于K。

6.一种基于物联网的大数据信息处理方法，其特征在于,该处理方法包括如下步骤：

S1，控制中心系统向网关接口发送控制信号；

S2，所述网关接口根据所述控制信号，控制子计算机将自身的数据通过所述网关接口发送到大数据处理平台；

S3，所述大数据处理平台接收所述子计算机发送的数据，并对接收到的数据进行处理。

7.根据权利要求6所述的处理方法，其特征在于，所述网关接口包括第一子通道接口和第二子通道接口，所述S2中包括：

S21，所述第一子通道接口根据所述控制信号，控制第二子通道接口对应的通道打开或者关闭；

S22，当所述第二子通道接口对应的通道打开时，将所述子计算机将自身的数据发送到所述大数据处理平台。

8.根据权利要求7所述的处理方法，其特征在于，S22中包括：所述第二子通道接口对应的K个通道打开，并行地将所述子计算机将自身的数据发送到所述大数据处理平台，其中，K取值为自然数。

9.根据权利要求8所述的处理方法，其特征在于，所述S22中包括：为所述K个通道分别设置数据阈值，每个通道在设定时间内发送小于所述数据阈值的数据到所述大数据处理平台，超出所述数据阈值的数据不被发送。

10.根据权利要求9所述的处理方法，其特征在于，所述K通道中包括：M个固定通道和K-M个可转换通道；每个所述固定通道用于发送固定数量的数据；每个所述可转换通道用于发送非固定数量的数据，所述S22包括：

当第一可转换通道在所述设定时间内发送的数据超出所述数据阈值时，将超出所述数据阈值的数据转换到第二可转换通道，并在所述第二可转换通道中发送到所述大数据处理平台，其中，所述第一可转换通道为K-M个所述可转换通道中的任一个可转换通道，所述第二可转换通道为K-M个所述可转换通道中除所述第一可转换通道的其他可转换通道，其中，M取值为自然数并且M小于K。