CN113904994B - 一种家庭网关大数据统一上报平台的方法 - Google Patents

Abstract

本发明公开了一种网关大数据统一上报平台的方法和系统。根据本发明的方案，接收模块接收需要上报平台的各种数据类型的数据，数据处理模块对这些数据根据域名进行分类，入队及优先级标记控制模块对它们进行优先级标记，并使其按照不同的域名分类和优先级进入队列缓存，出队及优先级调用控制模块按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口，发送模块将队列中缓存的数据发送至平台。通过将数据处理模块前置，先根据域名进行数据分类，结合Qos调度技术，减少了TCP短连接建立次数，提高了数据上报的可靠性，可满足多种数据上报、多域名数据的定时或实时上报等不同业务场景的需求。

Description

一种家庭网关大数据统一上报平台的方法

技术领域

本发明涉及通信和物联网领域，尤其涉及一种网关大数据统一上报平台的方法和系统。

背景技术

随着物联网、大数据、云计算等技术的发展，智能家居行业蓬勃兴起，越来越多的家庭已经步入了智慧家庭时代。作为整个智慧家庭构架中最重要的环节，家庭网关是实现系统信息的采集、信息输入、信息输出、集中控制、远程控制、联动控制等功能的核心，担负着向平台上报各种类型的业务数据的任务。类似地，工业物联网的智能网关、智能路由器也有海量数据上报的需求。

由于业务数据类型复杂且数据量巨大，单一的上报方式会导致TCP建链频繁，由于网络带宽和服务器处理能力有限，当发生网络拥塞的时候经常会出现TCP建链超时等问题，通常超时可达10s以上，这会导致上报数据丢失，严重影响了上报效率。

虽然可以通过增加服务器的数量、增加网络带宽资源等措施来解决这一问题，但这会大大增加成本。

现有技术中已有的解决方案包括生成优先级配置信息，将接收的数据缓存入队列，随后按照业务的需求进行队列优先级调整，从优先级高的队列中取数据发送，确保高优先级数据的及时上报，低优先级数据的延时上报。

现有技术中已有的解决方案还包括检测触发事件并确定触发事件的类型，根据预先设置的事件的类型与实时性优先级的对应关系确定触发事件的实时性优先级，对触发事件的紧急程度进行划分，并据此确定触发事件的延时上报时间，根据该延时上报时间对触发事件的信息进行上报，从而保证高实时性触发事件可以及时上报，减少了低实时性触发事件频繁上报对网络和服务器资源的占用。

上述现有技术的方案对Qos调度实现检测队列深度等调节优先级、从平台侧动态下发优先级控制策略来满足多终端消息优先级配置、或是对智能网关内定期和实时数据进行时延分类，虽然可以从一定程度使得网络资源及服务器资源能够被合理的使用，但这些方案仅着重在调节数据的优先级和事件的实时性，尽快响应高优先级的事件。但并没有根据业务数据的类型进行分类管理，网关仍因需要满足多域名上报而频繁建立TCP短连接，上述现有技术的方案也无法同时满足定期上报和实时上报的需求。

因此，对于上报数据量大的家庭网关和物联网终端设备而言，需要一种上报效率更高的统一上报方法和系统。

发明内容

提供本发明内容以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护的主题的关键特征或必要特征；也不旨在用于确定或限制所要求保护的主题的范围。

本发明的家庭网关大数据统一上报平台的方法和系统，将网络转发面的Qos队列和分域名管理策略进行融合，将数据处理模块前置以便于进行统一的数据分类和调度，增加入队和优先级标记控制模块以及出队和优先级调度控制模块，可满足多类型，多域名，定时和实时的复杂场景的网关大数据采集的场景。

同一域名队列管理可减少TCP短连接的建立次数，与Qos调度技术的融合提高了数据上报的可靠性，也降低了对平台容量以及网关本地终端硬件存储大小的瓶颈依赖，提升了网络采集、监测、应用服务等海量数据上报给平台的服务能力。

本发明的一种网关大数据统一上报系统，集成在网关内，该系统包括：

·接收模块，接收需要上报平台的各种数据类型的数据；

·数据处理模块，对接收模块接收到的待上报数据根据域名进行分类，并对报文进行加密、压缩、组包，形成与平台对接数据结构；

·入队及优先级标记控制模块，将经域名分类的待上报数据标记优先级，优先级通常由初始业务流程设置为0～7级，并使用Qos调度技术按照不同的域名分类和优先级进入队列缓存，

·出队及优先级调用控制模块，按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口，先发送同一域名的队列中高优先级的数据，然后发送同一域名的队列中低优先级的数据，结束之后再发送其他域名的队列中的数据；以及

·发送模块，将队列中所缓存的待上报数据发送至平台。

本发明的一种网关大数据统一上报方法，包括：

·接收来自网关的需要上报平台的各种数据类型的数据；

·基于域名对所接收的数据进行统一的数据类型分类调度，相同的域名的分类在一起；

·给分类后的数据标记优先级，并用QoS队列调度算法来按照不同的域名和优先级入队缓存；

·按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口，同一域名的队列中高优先级的先发送，发送结束之后发送同一域名中低优先级的，发送结束之后再发送其他域名的队列；以及

·发送数据。

通过阅读下面的详细描述并参考相关联的附图，这些及其他特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。

附图说明

以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。

图1是本发明的大数据统一上报系统的示意框图；

图2是本发明的大数据统一上报系统中经分类数据使用Qos调度技术经同一域名队列管理后进入的数据队列的示意图；

图3是本发明的大数据统一上报方法的流程图。

附图中的流程图和框图显示了根据本申请的实施例的系统、方法可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。

具体实施方式

以下将通过参考附图中示出的具体实施例来对本发明进行更具体描述。通过阅读下文具体实施方式的详细描述，本发明的各种优点和益处对于本领域普通技术人员将变得清楚明了。然而应当理解，可以以各种形式实现本发明而不应被这里阐述的各实施方式所限制。提供以下实施方式是为了能够更透彻地理解本发明。除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

本发明的大数据统一上报系统100可以集成在网关中，如图1所示。为简明起见，网关中的其它模块未示出。

图1所示的该系统100包括：接收模块110，数据处理模块120、入队及优先级标记控制模块130，出队及优先级调用控制模块140、和发送模块150。图2是经分类数据使用Qos调度技术经同一域名队列管理后进入的数据队列的示意图。以下结合图1和2进行描述。

接收模块110接收来自网关的需要上报平台的各种数据类型的数据，可以是应用相关数据、监测相关数据或其它采集的数据。接收模块110提供统一接口供网关内其他模块(例如采集数据模块、网络质量检测模块、流量识别探针模块等)调用。

数据处理模块120对接收模块110所接收的数据进行统一的数据类型分类调度。分类是基于域名进行的，将相同的域名的分类在一起。数据处理模块120还对报文进行加密、压缩、组包，形成与平台对接数据结构。

入队及优先级标记控制模块130，接收域名分类后的数据，给数据标记优先级，优先级例如可为0～7级，这由初始业务流程设置，其它级别也是可行的。入队及优先级标记控制模块130使得这些数据按照不同的域名和优先级入队缓存。

数据队列的结构在图2中示出。从图2可见，相同一域名的数据分类在一起，按不同优先级排队缓存。图2中域名A、B、C、D仅为示例，任何数量的域名都是可以构想的。

出队及优先级调用控制模块140按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口。同一域名的队列中高优先级的先发送，发送结束之后发送同一域名中低优先级的，发送结束之后再发送其他域名的队列。这解决了由于网关要满足多域名上报的服务而频繁建立TCP短连接的问题，减少TCP建链次数，降低了数据丢包率，提高了转发效率。

发送模块150将来自出队及优先级调用控制模块140的所安排发送的数据信息发送到平台。

图3是本发明的大数据统一上报方法的流程图。

在步骤310，接收来自网关的需要上报平台的各种数据类型的数据，可以是应用相关数据、监测相关数据或其它采集的数据。

在步骤320，对所接收的数据进行统一的数据类型分类调度。分类是基于域名进行的，相同的域名的分类在一起。并对报文进行加密、压缩、组包，形成与平台对接数据结构。

在步骤330，给按域名分类后的数据标记优先级，使得这些数据按照不同的域名和优先级入队缓存。优先级例如可为0～7级，这由初始业务流程设置，其它级别也是可行的。这可使用QoS队列调度算法来进行。

在步骤340，按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口，同一域名的队列中高优先级的先发送，发送结束之后发送同一域名中低优先级的，发送结束之后再发送其他域名的队列。

本发明的基于域名分类和Qos调度技术结合的统一上报方法和系统，设置了统一的上报接收和发送接口，通过将数据处理模块前置，先根据域名进行数据分类，结合Qos调度技术，减少了TCP短连接建立次数，提高了数据上报的可靠性，也降低了对平台容量以及网关本地终端硬件存储大小的瓶颈依赖。可满足多种数据上报、多域名数据的定时或实时上报等不同业务场景的需求。可广泛应用于家庭网关、物联网终端设备等的大数据上报。

以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，其均应涵盖在本申请的权利要求和说明书的范围当中。

Claims (10)

1.一种网关大数据统一上报系统，包括：

接收模块，

数据处理模块，所述数据处理模块对所述接收模块接收到的待上报数据根据域名进行分类，

入队及优先级标记控制模块，所述入队及优先级标记控制模块将经域名分类的待上报数据标记优先级，并按照不同的域名分类和优先级进入队列缓存，

出队及优先级调用控制模块，所述出队及优先级调用控制模块按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口，先发送同一域名的队列中的数据，结束之后再发送其他域名的队列中的数据；以及

发送模块，将所述队列中所缓存的所述待上报数据发送至平台。

2.如权利要求1所述的系统，其特征在于：

所述入队及优先级标记控制模块使用Qos调度技术来将标记了优先级的数据按域名分类进入队列缓存。

3.如权利要求1所述的系统，其特征在于：

所述先发送同一域名的队列中的数据包括先发送同一域名的队列中高优先级的数据，然后发送同一域名的队列中低优先级的数据。

4.如权利要求1所述的系统，其特征在于：

所述数据处理模块进一步对报文进行加密、压缩、组包，形成与所述平台对接数据结构。

5.如权利要求1所述的系统，其特征在于：优先级由初始业务流程设置为0～7级。

6.如权利要求1所述的系统，其特征在于：所述接收模块提供统一接口供所述网关内其他模块调用。

7.如权利要求1所述的系统，其特征在于：所述系统集成在网关内。

8.一种网关大数据统一上报方法，包括：

接收来自网关的需要上报平台的各种数据类型的数据；

基于域名对所接收的数据进行统一的数据类型分类调度；

给分类后的数据标记优先级，并按照不同的域名和优先级入队缓存；

按同一域名和优先级调度的规则来创建/关闭TCP短连接发送接口，包括先发送同一域名的队列中的数据，结束之后再发送其他域名的队列中的数据；以及

发送所述数据。

9.如权利要求8所述的方法，其特征在于：

所述分类调度是基于域名进行的，相同的域名的分类在一起。

10.如权利要求8所述的方法，其特征在于：

按照不同的域名和优先级入队缓存是用QoS队列调度算法来进行的，以及

先发送同一域名的队列中的数据包括先发送同一域名的队列中高优先级的数据，然后发送同一域名中低优先级的数据。