CN117201550A - 一种物联网设备服务化系统 - Google Patents

Abstract

本发明涉及一种物联网设备服务化系统，属于物联网技术领域。包括南向通信服务、北向通信服务网关和北向数据流；南向通信服务为面向物联网设备提供IoT通信服务的一个通信服务群，通信服务群包括若干通信服务集群，其中每个通信服务集群对应一种协议的物联网设备；北向通信服务网关用于实时监听配置中心中的设备变化，并自动根据设备的物模型生成相应的服务接口、参数校验规则和转发链路；北向数据流用于提供对外的数据流转和提供数据的预处理。本发明通过结合微服务和云原生技术，将每一台物联网设备虚拟化成一个微服务，并将其注册到微服务集群中，同时内置权限管理和设备服务网格管理，使得该设备能够对外提供完整的服务接口和数据能力。

Description

一种物联网设备服务化系统

技术领域

本发明属于物联网技术领域，具体涉及一种物联网设备服务化系统。

背景技术

在现有的物联网公有云平台的设计中，通常由以下几个重要模块组成：

（1）物联网设备通信模块：实现物联网设备的基础通信协议，如MQTT、TCP、UDP、CoAP、WebSocket、HTTP等底层协议，简化物联网设备的协议开发。然而，在实际的物联网系统开发中，每一个厂家的物联网设备协议都是不同的，仅仅提供底层通信协议，导致通信协议碎片化问题；其次物联网平台仅能支持内置的几种通用加密算法，无法自定义加密算法，这就使得在某些对安全性要求较高的场景无法实现。

（2）物模型：将物联网设备的各种参数和能力进行建模，实现物联网设备的数据模型，应用层可根据物模型实现对物联网设备的各种操作。物模型为设备实现模型化通信提供了行之有效的工具，但是同样存在不少问题：首先实现过于简单：为了保证通用性，物联网公有云平台往往只实现了物模型的定义和小于10%的共性服务，如设备的登录、鉴权和心跳等服务，应用开发者仍有90%的工作量需要完成。其次数据处理缺失：物联网平台仅把所有数据抛给应用开发者，由应用开发者自行维护，无法在平台上对数据进行预处理等操作。同时学习成本较高：应用开发者通常更熟悉软件开发而不是物联网，要理解好物模型之后才能利用其进行开发。

（3）规则引擎：规则引擎是为了实现物联网平台的低代码开发，但由于绝大多数的物联网公有云平台都不提供数据的深度处理能力，导致规则引擎的实现过于简单，对应用开发者的实际贡献有限。

综上所述，物联网公有云平台为物联网创业者提供了一个稳定的基础IoT云平台，使其能够快速地进入业务开发。但是对于长期运营物联网系统的企业来讲，在公有云平台的基础上进行二次开发的工作量仍然很巨大。

发明内容

为解决现有技术中存在的上述问题，本发明提供了一种物联网设备服务化系统，通过结合微服务和云原生技术，将每一台物联网设备虚拟化成一个微服务，并将其注册到微服务集群中，同时内置权限管理和设备服务网格管理，使得该设备能够对外提供完整的服务接口和数据能力。

本发明的目的可以通过以下技术方案实现：

一种物联网设备服务化系统，包括南向通信服务、北向通信服务网关和北向数据流；所述南向通信服务与北向通信服务网关和北向数据流建立连接；

所述南向通信服务，配置为面向物联网设备提供IoT通信服务的一个通信服务群，所述通信服务群包括若干通信服务集群，其中每个通信服务集群对应一种协议的物联网设备；

所述北向通信服务网关，用于实时监听配置中心中的设备变化，并自动根据设备的物模型生成相应的服务接口、参数校验规则和转发链路，将设备虚拟成一个基于RESTful的微服务；

所述北向数据流，用于提供对外的数据流转和提供数据的预处理，其中数据流转包括数据投递、数据订阅、数据预处理和场景联动四种方式的组合；数据的预处理包括数据Rollup、数据统计、数据更新和事件警告；

所述数据Rollup，通过自动对时序型数据进行Rollup操作之后再输出，减少无效的数据消费；

具体的，所述数据投递：自动投递到规则引擎中指定的存储系统或消息队列，其中存储系统默认投递到InfluxDB，并内置支持投递到ElasticSearch、Apache Doris、GreenPlum和支持GooseFS协议的任意存储空间，还基于KNative平台支持任何形式的投递对象；

所述数据订阅：由北向应用自行订阅并消费数据，并进行后续处理；还基于KNative提供的FAAS平台进行订阅代码的开发；

所述数据预处理：对数据进行字段扩充、数据统计和数据格式转换处理操作；

所述场景联动：实时分析每一条数据的内容，并根据数据内容进行决策，触发下一步的数据处理。

作为本发明的一种优选技术方案，所述南向通信服务包括设备鉴权模块、设备注册模块、设备服务模块和设备状态维护模块；

所述设备鉴权模块，用于对设备进行鉴权，并支持自定义的加解密方法和根据设备的资产属性进行鉴权。

作为本发明的一种优选技术方案，所述设备注册模块，用于设备连接上南向通信服务并鉴权成功后，自动向配置中心注册一个设备服务，并标记设备信息；

其中设备信息包括：设备所在的通信服务ID和节点、设备所归属的物模型名称以及物模型ID、设备所能提供的服务接口和相应参数、设备所归属的租户、分组或用户的ID。

作为本发明的一种优选技术方案，所述设备服务模块，用于提供实现设备属性、服务和事件的实时读写接口；

其中接口通过GET方法、PUT方法、POST方法和DELETE方法实现应用层对设备的远程控制和对设备模型的操作。

作为本发明的一种优选技术方案，所述设备状态维护模块，用于自动根据设备的登录报文、心跳报文和登出报文，维护设备的实时在线状态，并刷新设备服务的实时状态；同时自动对鉴权成功的设备进行初始化召测，读取设备的属性，并刷新设备服务的实时状态。

作为本发明的一种优选技术方案，所述北向通信服务网关还内置有孪生数据模块、数据路由模块和设备服务网格模块；

所述孪生数据模块，用于缓存被应用层访问过的数据，并根据不同数据类型的缓存逻辑进行自动维护；同时提供有效期内数据缓存的快速访问。

作为本发明的一种优选技术方案，所述数据路由模块，自动根据设备孪生数据的状态进行路由，判断用户对设备数据召测的读取位置；所述数据路由模块包括静态数据规则、实时数据规则和准实时数据规则；

所述设备服务网格模块，通过设备的租户信息，将设备服务进行网格化编排，从而实现多维度的资产管理、设备间的远程M2M通信和设备组播。

作为本发明的一种优选技术方案，所述北向数据流包括数据流中间件和云原生数据流处理系统，其中：

所述数据流中间件是基于Kafka构建的消息流，结合Kafka生态的Connector 组件实现消息投递规则引擎，从而完成数据的输入、流转和输出；

所述云原生数据流处理系统，采用KNative提供函数式编程接口，并通过函数定义了支持数据投递、数据订阅、数据预处理和场景联动的规则引擎，用于支持对数据上传的各种数据流进行二次开发。

本发明的有益效果为：

（1）本发明通过结合微服务和云原生技术，将每一台物联网设备虚拟化成一个微服务，并将其注册到微服务集群中，同时内置权限管理和设备服务网格管理，使得该设备能够对外提供完整的服务接口和数据能力。

（2）本发明通过设备服务网格模块进行设备网格化管理，实现了设备资产的精细化、边界化管理；同时基于微服务，能够支持通过GraphQL进行批量调用和场景联动，也能支持微服务生态的绝大多数监控能力。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明物联网设备服务化系统的结构示意图。

具体实施方式

为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

请参阅图1，一种物联网设备服务化系统，包括南向通信服务、北向通信服务网关和北向数据流；所述南向通信服务与北向通信服务网关和北向数据流建立连接；

所述南向通信服务是面向物联网设备提供IoT通信服务的一个通信服务群，每一种协议的设备对应一个南向通信服务集群，多个南向通信服务集群构成一个南向通信服务群。

可理解的是，开发者要实现一种通信协议，只需实例化一个南向通信服务，然后进行配置和二次开发即可，支持任何现有和未来的通信协议。

所述南向通信服务包括设备鉴权模块、设备注册模块、设备服务模块和设备状态维护模块。所述设备鉴权模块，用于对设备进行鉴权，并支持自定义的加解密方法和根据设备的资产属性进行鉴权。

可理解的是，资产属性是指能够唯一标识设备资产的属性，如设备的唯一ID、MAC地址、资产编号等。自定义的加解密方法是指设备鉴权模块收到数据后自动根据协议类型和加解密算法配置，对数据进行加解密，无法进行加解密的设备报文将被丢弃，同时鉴权失败，实现了对应用层透明的数据加解密能力。

根据设备的资产属性进行鉴权具体为，可配置为仅系统中已经存在的设备，且能够通过自定义加解密验证和协议登录验证的设备会被注册到配置中心。

所述设备注册模块，用于设备连接上南向通信服务并鉴权成功后，自动向配置中心（Consul集群）注册一个设备服务，并标记设备信息。

具体的，设备信息包括：设备所在的南向通信服务ID和节点；设备所归属的物模型名称，以及物模型ID；设备所能提供的服务接口和相应参数；设备所归属的租户、分组或用户等ID。

所述设备服务模块，用于提供实现设备属性、服务和事件的实时读写接口。出于安全和性能考虑，设备服务接口仅实现了以下四个方法，满足应用层对设备的远程控制和对设备模型的操作：

GET方法：用于读取设备的状态、参数、配置和数据。

PUT方法：用于修改设备参数和配置。

POST方法：用于向设备中下发新增数据。

DELETE方法：用于删除设备中的数据或取消设备的操作。

所述设备状态维护模块，用于自动根据设备的登录、心跳、登出等报文，维护设备的实时在线状态，并刷新设备服务的实时状态；同时自动对鉴权成功的设备进行初始化召测，读取设备的属性，并刷新设备服务的实时状态。

所述北向通信服务网关，用于实时监听配置中心中的设备变化，并自动根据设备的物模型生成相应的服务接口、参数校验规则和转发链路，从而将设备虚拟成一个基于RESTful的微服务，其虚拟服务入口如下：http://xxxx.xxx.xxx/${product_name}/${device_addr}，应用层在需要访问设备的属性、服务、事件和数据时，仅需访问对应的API接口即可。

需说明的是，北向通信服务网关是一个有状态的服务网关，除了为应用层服务提供访问设备服务的网关之外，还内置了以下三个模块：

（1）孪生数据模块：被应用层访问过的数据，自动更新到设备孪生数据系统中，并根据不同数据类型的缓存逻辑进行自动维护。在孪生数据没有过期之前，应用层对设备的远程召测，将直接从数据缓存中直接取出数据进行返回，以提高访问速度。

需说明的是，设备孪生数据系统为北向通信服务网关的一个子模块。

（2）数据路由模块：自动根据设备孪生数据的状态进行路由，判断用户对该设备的数据召测应该从哪里读取。支持以下三种路由规则：

a. 静态数据规则：直接从孪生数据系统中读取，并返回给应用层。

b. 实时数据规则：直接透传给南向通信服务，进行数据远程读取，支持实时数据和实时指令。

c. 准实时数据规则：根据孪生数据系统的缓存规则判断是否需要进行远程读取，需要则透传给南向通信服务，不需要则从孪生数据系统中读取。

（3）设备服务网格模块：根据设备的租户（公司、部门、区域、用户等）信息，将设备服务进行网格化编排，一个设备可以存在于不同网格之中。设备服务网格模块包括以下功能：

a. 多维度的资产管理：按照子公司、子部门、经营区域和用户等维度，对资产进行管理，并对资产的访问权限进行严格控制。

b. 设备间的远程M2M通信：相同租户、分组或用户下的设备，可获取当前租户或分组下的设备列表及其服务能力，然后采用RESTful接口的方式，对分组内设备进行远程调用，甚至可以在跨网段、跨运营商的情况下，对设备进行集中化管理，但不越界。

该功能可应用在相同空间内，距离较远的设备间进行相互调用。例如，小区内边缘计算机能够在没有SDWAN、没有布线的情况下，对小区内距离较远且通信方式不一样的设备进行一系列远程操作。同时运维人员在现场使用调试设备对物联网设备执行一系列调试指令，而无需经过服务器的应用系统转发。

c. 设备组播：相同租户、分组或用户下的设备，可以进行一系列指令的组播，包括同类设备指令组播（如OTA等）、不同类设备的指令组播（如批量重启）等。

所述北向数据流包括数据流中间件和云原生数据流处理系统，其中数据流中间件是基于Kafka构建的消息流，结合Kafka生态的Connector 组件实现消息投递规则引擎，实现数据的输入、流转和输出，是一个标准的轻量级消息流中间件。具体的，数据流中间件的实现过程为：

a. 消息的生产：南向通信服务负责将设备上报的消息，转化成模型化的数据流，并通过Kafka的客户端投递到Kafka。

b. 消息的流转：基于KNative生态的Kafka插件，自动监听Kafka消息，并触发FAAS系统的对应函数，进行自定义的消息流转，将规则引擎的实现简化成一个个的函数，自定义的灵活度更高。

c. 消息的消费：基于Kafka Connector，连接应用层数据系统，自动将南向通信服务群的数据投递到应用层数据系统之中。

所述云原生数据流处理系统，采用KNative提供函数式编程接口，并通过函数定义了一套支持数据投递、数据订阅、数据预处理和场景联动等规则化处理的引擎，即规则引擎。可理解的是，云原生数据流处理系统用于支持对数据上传的各种数据流进行各种高级的二次开发。

所述北向数据流，用于提供对外的数据流转和数据的预处理。其中提供对外的数据流转，包括以下四种工作方式：

数据投递：自动投递到规则引擎中指定的存储系统或消息队列，其中存储系统默认投递到InfluxDB，并内置支持投递到ElasticSearch、Apache Doris、GreenPlum和支持GooseFS协议的任意存储空间，另外，还可基于KNative平台支持任何形式的投递对象。

数据订阅：可由北向应用自行订阅并消费数据，并进行后续处理；也可以基于KNative提供的FAAS平台进行订阅代码的开发。

数据预处理：对数据进行各种预处理，比如字段扩充、数据统计、数据格式转换等预处理操作。

场景联动：实时分析每一条数据的内容，并根据数据内容进行决策，触发下一步的数据处理。场景联动主要用于物联网系统的数据实时更新、实时计数器、实时告警、实时运维等实时场景。

所述北向数据流提供数据的预处理，包括数据Rollup、数据统计、数据更新和事件警告。

所述数据Rollup，通过自动对时序型数据进行Rollup操作之后再输出，减少无效的数据消费。

需说明的是，数据Rollup是专用于没有数据Rollup功能的时序数据库的，如ElasticSearch、OpenSearch等，目的是为了减少时序数据的长期存储占用的磁盘空间。

所述数据统计，通过调用用户自定义的KNative方法进行数据统计和分析。所述数据更新是指自动更新设备的属性、状态等实时信息。所述事件告警是指对规则引擎中配置的事件进行预警，支持WebHook、邮件和短信三种预警方式。

可理解的是，数据流中间件采用了Kafka和Kafka Connector这对消息流中间件来实现数据流中间件系统，减少了消息流中间件访问的生产者程序和消费者程序，简化了系统设计。

本发明实现了基于云的设备通信软总线，将设备虚拟成微服务，从而实现设备与设备（M2M）、服务器与设备（S2M）两种通信，并且将设备与设备之间的通信简化成一个RESTful API调用，降低了微服务体系的应用层开发者学习成本，通过设备服务网格模块进行设备网格化管理，实现了设备资产的精细化、边界化管理；同时基于微服务，能够支持通过GraphQL进行批量调用和场景联动，也能支持微服务生态的绝大多数监控能力。

本发明基于KNative实现的规则引擎，为开发者提供了全功能、全生命周期的规则引擎管理，平台可以基于KNative生态持续输出各种共性的消息流转和场景联动规则；开发者可以基于KNative生态持续开发各种特性的消息流转和场景联动规则；底层由具有容器生态的事实标准的Kubernetes和Serverless生态开源组件KNative提供支持，稳定可靠。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种物联网设备服务化系统，其特征在于：包括南向通信服务、北向通信服务网关和北向数据流；所述南向通信服务与北向通信服务网关和北向数据流建立连接；

所述南向通信服务，配置为面向物联网设备提供IoT通信服务的一个通信服务群，所述通信服务群包括若干通信服务集群，其中每个通信服务集群对应一种协议的物联网设备；

所述北向通信服务网关，用于实时监听配置中心中的设备变化，并自动根据设备的物模型生成相应的服务接口、参数校验规则和转发链路，将设备虚拟成一个基于RESTful的微服务；

所述北向数据流，用于提供对外的数据流转和提供数据的预处理，其中数据流转包括数据投递、数据订阅、数据预处理和场景联动四种方式的组合；数据的预处理包括数据Rollup、数据统计、数据更新和事件警告；

所述数据Rollup，通过自动对时序型数据进行Rollup操作之后再输出；

具体的，所述数据投递：自动投递到规则引擎中指定的存储系统或消息队列，其中存储系统默认投递到InfluxDB，并内置支持投递到ElasticSearch、Apache Doris、GreenPlum和支持GooseFS协议的存储空间，还基于KNative平台支持任何形式的投递对象；

所述数据订阅：由北向应用自行订阅并消费数据，并进行后续处理；还基于KNative提供的FAAS平台进行订阅代码的开发；

所述数据预处理：对数据进行字段扩充、数据统计和数据格式转换处理操作；

所述场景联动：实时分析每一条数据的内容，并根据数据内容进行决策，触发下一步的数据处理。

2.根据权利要求1所述的一种物联网设备服务化系统，其特征在于：所述南向通信服务包括设备鉴权模块、设备注册模块、设备服务模块和设备状态维护模块；

所述设备鉴权模块，用于对设备进行鉴权，并支持自定义的加解密方法和根据设备的资产属性进行鉴权。

3.根据权利要求2所述的一种物联网设备服务化系统，其特征在于：所述设备注册模块，用于设备连接上南向通信服务并鉴权成功后，自动向配置中心注册一个设备服务，并标记设备信息；

其中设备信息包括：设备所在的通信服务ID和节点、设备所归属的物模型名称以及物模型ID、设备所能提供的服务接口和相应参数、设备所归属的租户、分组或用户的ID。

4.根据权利要求3所述的一种物联网设备服务化系统，其特征在于：所述设备服务模块，用于提供实现设备属性、服务和事件的实时读写接口；

其中接口通过GET方法、PUT方法、POST方法和DELETE方法实现应用层对设备的远程控制和对设备模型的操作。

5.根据权利要求4所述的一种物联网设备服务化系统，其特征在于：所述设备状态维护模块，用于自动根据设备的登录报文、心跳报文和登出报文，维护设备的实时在线状态，并刷新设备服务的实时状态；同时自动对鉴权成功的设备进行初始化召测，读取设备的属性，并刷新设备服务的实时状态。

6.根据权利要求1所述的一种物联网设备服务化系统，其特征在于：所述北向通信服务网关还内置有孪生数据模块、数据路由模块和设备服务网格模块；

所述孪生数据模块，用于缓存被应用层访问过的数据，并根据不同数据类型的缓存逻辑进行自动维护；同时提供有效期内数据缓存的快速访问。

7.根据权利要求6所述的一种物联网设备服务化系统，其特征在于：所述数据路由模块，自动根据设备孪生数据的状态进行路由，判断用户对设备数据召测的读取位置；所述数据路由模块包括静态数据规则、实时数据规则和准实时数据规则；

所述设备服务网格模块，通过设备的租户信息，将设备服务进行网格化编排，从而实现多维度的资产管理、设备间的远程M2M通信和设备组播。

8.根据权利要求1所述的一种物联网设备服务化系统，其特征在于：所述北向数据流包括数据流中间件和云原生数据流处理系统，其中：

所述数据流中间件是基于Kafka构建的消息流，结合Kafka生态的Connector 组件实现消息投递规则引擎，从而完成数据的输入、流转和输出；

所述云原生数据流处理系统，采用KNative提供函数式编程接口，并通过函数定义了支持数据投递、数据订阅、数据预处理和场景联动的规则引擎，用于支持对数据上传的各种数据流进行二次开发。