CN114090230A - 一种面向海量异构资源的物联网北向中间件服务治理方法 - Google Patents

Abstract

本发明属于计算机技术及物联网技术领域，公开了一种面向海量异构资源的物联网北向中间件服务治理方法，所述面向海量异构资源的物联网北向中间件服务治理方法包括：服务解析；服务调度；服务映射；数据聚合；数据格式化。本发明提供的面向海量异构资源的物联网北向中间件服务治理方法，核心内容为物联网北向可编程接口服务中间件的网络服务部分，目标是提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。本发明的面向海量异构资源的物联网北向中间件，提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。

Description

一种面向海量异构资源的物联网北向中间件服务治理方法

技术领域

本发明属于计算机技术及物联网技术领域，尤其涉及一种面向海量异构资源的物联网北向中间件服务治理方法。

背景技术

目前，随着网络规模的增长，综合网络管理问题越来越突出，国内外团队对此类问题进行探索和研究，主要研究方向在构建网络管理系统接口适配，并且把重点放在网络设备与网络管理系统之间的接口适配上，但对于子网络网络管理系统与综合网络管理系统之间的接口适配上研究较少，而且研究方向也在于构建统一的网络管理系统的接口适配。但是由于网络管理系统对于网络设备的建模并不统一，同时由于网络管理系统北向接口缺乏统一或事实上的标准规范，在多子网管理系统与综合网络管理系统集成过程中，子网网络管理系统的北向接口如何统一是一个关键性的问题。

由于当前网络管理接口适配器在网络管理系统中位于网络管理系统的最底层，属于网络管理系统的对外接口，向上为应用层提供接口，被动接受上层下发命令，向下与设备互通，主动执行上层命令，获取厂商数据，被动接收厂商接口上报数据。一般来说网络管理适配器需要屏蔽接口协议的多样性和数据格式的多样性，向网管系统提供统一的数据格式。当前，网络管理适配器无论是从设备层采集数据还是向应用层上报信息，都是以单个变量或对象的形式存在，并没有组成更有意义的信息模型，增加了应用层的分析负担，也使得网络管理系统只具备事先定义好的管理功能，对事先不能预料的网络管理任务不能进行动态定义和配置。

现有的接口适配方式使用面向特定厂商的接口适配方法，需要针对每个厂商的数据接口进行单独设计，开发一个数据采集与分析模块，并且把管理信息的处理固化在程序中，适应性不强。同时，由于程序固化的方式也导致各种管理模块的开发周期比较长、实现成本较高、稳定性差、可维护性比较弱等缺陷，难以满足复杂网络环境中网管系统的应用过程。因此，亟需一种新的面向海量异构资源的物联网北向中间件及其服务治理方法。

通过上述分析，现有技术存在的问题及缺陷为：

（1）现有网络管理适配器均以单个变量或对象的形式存在，并未组成更有意义的信息模型，增加了应用层的分析负担，使得网络管理系统只具备事先定义好的管理功能，对事先不能预料的网络管理任务不能进行动态定义和配置。

（2）现有的接口适配方式使用面向特定厂商的接口适配方法，需要针对每个厂商的数据接口进行单独设计，开发一个数据采集与分析模块，并且把管理信息的处理固化在程序中，适应性不强。

（3）现有的接口适配方式由于程序固化的方式也导致各种管理模块的开发周期比较长、实现成本较高、稳定性差、可维护性比较弱等缺陷，难以满足复杂网络环境中网管系统的应用过程。

解决以上问题及缺陷的难度为：面对综合网络管理问题，长期以来的研究普遍忽视了子网网络管理系统与综合网络管理系统之间的接口适配，并且网络管理系统对于网络设备的建模普遍是不统一的，子网网络管理系统的北向接口如何统一是一个关键性的问题。在开发过程中，往往是面向厂商的特定需求进行接口适配。这样就难以对大量异构资源进行统一适配。

解决以上问题及缺陷的意义为：可以实现差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。面对综合网络管理问题，突破传统的解决方式，提供了一种针对海量异构资源的服务治理方法。

发明内容

针对现有技术存在的问题，本发明提供了一种面向海量异构资源的物联网北向中间件服务治理方法。

本发明是这样实现的，一种面向海量异构资源的物联网北向中间件服务治理方法，所述面向海量异构资源的物联网北向中间件服务治理方法包括以下步骤：

步骤一，进行服务解析；

步骤二，进行服务调度；

步骤三，进行服务映射；

步骤四，进行数据聚合；

步骤五，进行数据格式化。

本发明的另一目的在于提供一种应用所述的面向海量异构资源的物联网北向中间件服务治理方法的面向海量异构资源的物联网北向中间件服务治理系统，所述面向海量异构资源的物联网北向中间件服务治理系统，包括服务解析模块、服务调度模块、服务映射模块、数据聚合模块以及数据格式化模块，核心模块的并发量要求为10000/s。

服务解析模块实现服务接收功能。平台可作为后置代理，接受用户请求，并处理请求返回响应，且作为平台的物联网数据入口模块，可将上传的原始数据解析为标准格式，能处理一个请求可能涉及多个外部服务，平台负责将用户请求分解成多个与外部服务相关的子请求。

服务调度模块实现服务等级划分功能。根据服务负载情况，为服务调整实际物理资源规模等级，且实现了异常服务迁移功能，平台可保证外部服务的高可用（场景：外部服务生命周期完全由平台管控 ），并且可以实现服务调度策略自动生成功能。平台可保证外部服务的负载均衡（场景：外部服务生命周期完全由平台管控 ）。

服务映射模块实现子请求分发功能。处理一个请求可能涉及多个外部服务，平台负责将用户请求分解成多个与外部服务相关的子请求并处理。

数据聚合模块实现接收数据功能。平台可接收物联网数据，基于消息队列实现，分散数据整合为单条数据功能。平台可将多个实体信息通过连接操作，处理为单个实体信息，实现了标准格式化数据功能。并且平台提供标准的RESTFULL API。

数据格式化模块实现数据校验功能。平台的物联网数据入口模块可过滤掉非法数据，实现了数据绑定功能，平台将每一条物联网数据都唯一绑定到一个物联网设备，并实现数据类型转换功能，平台物联网数据入口模块可将上传的物联网数据转换为标准json数据。

本发明的另一目的在于提供一种应用所述的面向海量异构资源的物联网北向中间件服务治理方法的面向海量异构资源的物联网北向中间件，所述面向海量异构资源的物联网北向中间件，用于提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换，服务映射，数据聚合、数据格式化。

进一步，所述无差异、无竞争、无死锁的服务并发调度，包括：

所述服务管理机制，主体基于spring-clould+zuul动态路由实现；

所述支持差异化、无竞争、无死锁的特性由zookeeper+redis提供的共享机制和分布式事物机制保证。

进一步，所述无差异、无竞争、无死锁的协议转换，包括：

所述协议转换机制，主体由Netty实现；

所述无差异、无竞争、无死锁的特性由Kafka提供的大流量削峰机制、基于组的发布订阅机制以及异步读写机制实现。

进一步，所述无差异、无竞争、无死锁的服务映射，包括：

所述服务映射机制，主体由关系型数据库Mysql+非关系型数据库Mongodb实现；元数据的强一致性由Mysql的事务机制保证；扩展性由Mongodb的文档式存储机制保证；

所述无差异、无竞争、无死锁的特性由分别的前置代理机制保证。

进一步，所述无差异、无竞争、无死锁的数据聚合、数据格式化，包括：

所述数据聚合机制，主体由Influxdb+Grafana实现；

通过Influxdb提供的持续查询功能，实现数据增量式计算和输出，由分布式缓存保证高可用性；通过Grafana提供的拖拉式可视化面板管理机制，以及可配置的数据库查询接口，实现数据聚合输出的可视化机制。

本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

（1）进行服务解析；

（2）进行服务调度；

（3）进行服务映射；

（4）进行数据聚合；

（5）进行数据格式化。

本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

（1）进行服务解析；

（2）进行服务调度；

（3）进行服务映射；

（4）进行数据聚合；

（5）进行数据格式化。

本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的面向海量异构资源的物联网北向中间件服务治理系统。

结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明针对物联网业务场景繁杂、物体资源异构、服务能力多样等特点，围绕指南中所提及的“研究面向智能开放服务的物联网中间件技术”思想，开展异构物体资源统一建模、适应微服务架构的中间件优化、物联网信息跨域汇集与控制、差异化系统的数据共享互通机制等方面的研究，提出异构物体资源统一开放接入模型、业务驱动的多域高效数据汇聚模型、资源跨域受控交换机制；突破异构物体资源动态适配、中间件集群伸缩能力优化、基于资源归一化描述的数据融合共享机制等关键技术，研制北向可编程接口服务中间件，支撑大规模异构物体资源的无差异使用。

本发明提供的面向海量异构资源的物联网北向中间件，提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。本发明提供的面向海量异构资源的物联网北向中间件服务治理方法，核心内容为物联网北向可编程接口服务中间件的网络服务部分，目标是提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。本发明根据课题任务书需求，北向中间件主要分为服务解析、服务调度、服务映射、数据聚合、数据格式化等5个模块，核心模块的并发量要求为10000/s。本项目为异构物体资源建模与交换关键技术课题要求研发的软件之一，目前已由相关部门验收通过。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的面向海量异构资源的物联网北向中间件服务治理方法流程图。

图2是本发明实施例提供的面向海量异构资源的物联网北向中间件服务治理系统结构框图；

图中：1、服务解析模块；2、服务调度模块；3、服务映射模块；4、数据聚合模块；5、数据格式化模块。

图3是本发明实施例提供的无差异、无竞争、无死锁的服务并发调度原理示意图。

图4是本发明实施例提供的无差异、无竞争、无死锁的协议转换原理图。

图5是本发明实施例提供的无差异、无竞争、无死锁的服务映射原理图。

图6是本发明实施例提供的无差异、无竞争、无死锁的数据聚合、数据格式化原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术存在的问题，本发明提供了一种面向海量异构资源的物联网北向中间件服务治理方法，下面结合附图对本发明作详细的描述。

如图1所示，本发明实施例提供的面向海量异构资源的物联网北向中间件服务治理方法包括以下步骤：

S101，进行服务解析；

S102，进行服务调度；

S103，进行服务映射；

S104，进行数据聚合；

S105，进行数据格式化。

如图2所示，本发明实施例提供的面向海量异构资源的物联网北向中间件服务治理系统，包括服务解析模块1、服务调度模块2、服务映射模块3、数据聚合模块4以及数据格式化模块5，核心模块的并发量要求为10000/s。

服务解析模块实现服务接收功能。平台可作为后置代理，接受用户请求，并处理请求返回响应，且作为平台的物联网数据入口模块，可将上传的原始数据解析为标准格式，能处理一个请求可能涉及多个外部服务，平台负责将用户请求分解成多个与外部服务相关的子请求。

服务调度模块实现服务等级划分功能。根据服务负载情况，为服务调整实际物理资源规模等级，且实现了异常服务迁移功能，平台可保证外部服务的高可用（场景：外部服务生命周期完全由平台管控 ），并且可以实现服务调度策略自动生成功能。平台可保证外部服务的负载均衡（场景：外部服务生命周期完全由平台管控 ）。

服务映射模块实现子请求分发功能。处理一个请求可能涉及多个外部服务，平台负责将用户请求分解成多个与外部服务相关的子请求并处理。

数据聚合模块实现接收数据功能。平台可接收物联网数据，基于消息队列实现，分散数据整合为单条数据功能。平台可将多个实体信息通过连接操作，处理为单个实体信息，实现了标准格式化数据功能。并且平台提供标准的RESTFULL API。

数据格式化模块实现数据校验功能。平台的物联网数据入口模块可过滤掉非法数据，实现了数据绑定功能，平台将每一条物联网数据都唯一绑定到一个物联网设备，并实现数据类型转换功能，平台物联网数据入口模块可将上传的物联网数据转换为标准json数据。

本发明实施例提供的面向海量异构资源的物联网北向中间件，用于提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换，服务映射，数据聚合、数据格式化。

下面结合具体实施例对本发明的技术方案作进一步描述。

异构物体资源建模与交换关键技术课题（课题编号：2018YFB2100403）针对物联网业务场景繁杂、物体资源异构、服务能力多样等特点，围绕指南中所提及的“研究面向智能开放服务的物联网中间件技术”思想，开展异构物体资源统一建模、适应微服务架构的中间件优化、物联网信息跨域汇集与控制、差异化系统的数据共享互通机制等方面的研究，提出异构物体资源统一开放接入模型、业务驱动的多域高效数据汇聚模型、资源跨域受控交换机制；突破异构物体资源动态适配、中间件集群伸缩能力优化、基于资源归一化描述的数据融合共享机制等关键技术。需研制1种设备，研发8种软件，支撑大规模异构物体资源的无差异使用。

北向可编程接口服务中间件是按照课题要求研发的8种软件之一。北向可编程接口服务中间件提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。

本发明的核心内容为物联网北向可编程接口服务中间件的网络服务部分，目标是提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换、并发连接管理。根据课题任务书需求，北向中间件主要分为服务解析、服务调度、服务映射、数据聚合、数据格式化等5个模块。核心模块的并发量要求为10000/s。

1）支持无差异、无竞争、无死锁的服务并发调度。

如图3所示，本发明的服务管理机制，主体基于spring-clould+zuul动态路由实现；支持差异化、无竞争、无死锁的特性由zookeeper+redis提供的共享机制和分布式事物机制保证。

2）支持无差异、无竞争、无死锁的协议转换。

如图4所示，本发明的协议转换机制，主体由Netty实现。无差异、无竞争、无死锁的特性由Kafka提供的大流量削峰机制、基于组的发布订阅机制以及异步读写机制实现。

3）支持无差异、无竞争、无死锁的服务映射。

如图5所示，本发明的服务映射机制，主体由关系型数据库Mysql+非关系型数据库Mongodb实现。元数据的强一致性由Mysql的事务机制保证；扩展性由Mongodb的文档式存储机制保证。无差异、无竞争、无死锁的特性由分别的前置代理机制保证。

4）支持无差异、无竞争、无死锁的数据聚合、数据格式化。

如图6所示，本发明的数据聚合机制，主体由Influxdb+Grafana实现。通过Influxdb提供的持续查询功能，实现数据增量式计算和输出，由分布式缓存保证其高可用性。通过Grafana提供的拖拉式可视化面板管理机制，以及可配置的数据库查询接口，实现数据聚合输出的可视化机制。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种面向海量异构资源的物联网北向中间件服务治理系统，其特征在于，所述面向海量异构资源的物联网北向中间件服务治理系统，包括服务解析模块、服务调度模块、服务映射模块、数据聚合模块以及数据格式化模块，核心模块的并发量要求为10000/s；

服务解析模块，用于实现服务接收功能，作为后置代理，接受用户请求，并处理请求返回响应，且作为平台的物联网数据入口模块，将上传的原始数据解析为标准格式，能处理一个请求可能涉及多个外部服务，平台负责将用户请求分解成多个与外部服务相关的子请求；

服务调度模块，用于实现服务等级划分功能；据服务负载情况，为服务调整实际物理资源规模等级，且实现了异常服务迁移功能，平台保证外部服务的高可用，并且实现服务调度策略自动生成功能；平台保证外部服务的负载均衡；

服务映射模块，用于实现子请求分发功能；处理一个请求可能涉及多个外部服务，平台负责将用户请求分解成多个与外部服务相关的子请求并处理；

数据聚合模块，用于实现接收数据功能；平台接收物联网数据，基于消息队列实现，分散数据整合为单条数据功能；平台将多个实体信息通过连接操作，处理为单个实体信息，实现了标准格式化数据功能；并且平台提供标准的RESTFULL API；

数据格式化模块，用于实现数据校验功能；平台的物联网数据入口模块过滤掉非法数据，实现了数据绑定功能，平台将每一条物联网数据都唯一绑定到一个物联网设备，并实现数据类型转换功能，平台物联网数据入口模块可将上传的物联网数据转换为标准json数据。

2.一种应用如权利要求1所述面向海量异构资源的物联网北向中间件服务治理系统的面向海量异构资源的物联网北向中间件，其特征在于，所述面向海量异构资源的物联网北向中间件，用于提供基础的北向可编程接口和标准化的服务模型，支持差异化、无竞争、无死锁的服务并发调度，协议识别转换，服务映射，数据聚合、数据格式化。

3.如权利要求2所述面向海量异构资源的物联网北向中间件，其特征在于，所述无差异、无竞争、无死锁的服务并发调度，包括：

所述服务管理机制，主体基于spring-clould+zuul动态路由实现；

所述支持差异化、无竞争、无死锁的特性由zookeeper+redis提供的共享机制和分布式事物机制保证。

4.如权利要求2所述面向海量异构资源的物联网北向中间件，其特征在于，所述无差异、无竞争、无死锁的协议转换，包括：

所述协议转换机制，主体由Netty实现；

所述无差异、无竞争、无死锁的特性由Kafka提供的大流量削峰机制、基于组的发布订阅机制以及异步读写机制实现。

5.如权利要求2所述面向海量异构资源的物联网北向中间件，其特征在于，所述无差异、无竞争、无死锁的服务映射，包括：

所述服务映射机制，主体由关系型数据库Mysql+非关系型数据库Mongodb实现；元数据的强一致性由Mysql的事务机制保证；扩展性由Mongodb的文档式存储机制保证；

所述无差异、无竞争、无死锁的特性由分别的前置代理机制保证。

6.如权利要求2所述面向海量异构资源的物联网北向中间件，其特征在于，所述无差异、无竞争、无死锁的数据聚合、数据格式化，包括：

所述数据聚合机制，主体由Influxdb+Grafana实现；

通过Influxdb提供的持续查询功能，实现数据增量式计算和输出，由分布式缓存保证高可用性；通过Grafana提供的拖拉式可视化面板管理机制，以及可配置的数据库查询接口，实现数据聚合输出的可视化机制。

7.一种运行权利要求1所述面向海量异构资源的物联网北向中间件服务治理系统的面向海量异构资源的物联网北向中间件服务治理方法，其特征在于，所述面向海量异构资源的物联网北向中间件服务治理方法包括以下步骤：

步骤一，进行服务解析；

步骤二，进行服务调度；

步骤三，进行服务映射；

步骤四，进行数据聚合；

步骤五，进行数据格式化。

8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：

（1）进行服务解析；

（2）进行服务调度；

（3）进行服务映射；

（4）进行数据聚合；

（5）进行数据格式化。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：

（1）进行服务解析；

（2）进行服务调度；

（3）进行服务映射；

（4）进行数据聚合；

（5）进行数据格式化。

10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求2所述面向海量异构资源的物联网北向中间件服务治理系统。

Images