CN108804686A - 一种物联网数据采集处理及分析应用的整体解决方法 - Google Patents

Abstract

本发明公开了物联网数据解析处理技术领域，尤其是涉及一种物联网数据采集处理及分析应用的整体解决方法。该一种物联网数据采集处理及分析应用的整体解决方法，一种物联网数据采集处理及分析应用的整体解决方法，其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成。其益效果是：克服了现有技术中的不足，提供了一种对数据的多维度、多层次分析的物联网设备，使用简单，运行速度极快，自动识别协议类型，自动采用最适合的解析方式，提供最优化的展示方式，给人们的日常工作生活带来诸多的便利，为用户的使用提供了最有效简便的方式。

Description

一种物联网数据采集处理及分析应用的整体解决方法

技术领域

本发明涉及物联网数据解析处理技术领域，尤其是涉及一种物联网数据采集处理及分析应用的整体解决方法。

背景技术

现有技术中，普通的物联网设备无法做到自动适配多种数据源，目前的技术都只为一个特定技术提供方案，且使用复杂、速度慢、对使用者要求高；面对纷繁复杂的协议格式，现有技术做不到自动识别协议类型，设备无法自动识别协议并采用合适且最优的解析方式，只能对具体协议采用车古板的方式处理，导致解析速度慢，无法提供最优化的展示方式，导致不同的端上出现变形、扭曲、对用户不友好的现象，现有技术还只能手动、缓慢地对特定方式进行分析，换一个维度就要手动调整参数，甚至要改变数据模型，导致运行成本极高、效率较低。

发明内容

本发明的目的在于提供一种物联网数据采集处理及分析应用的整体解决方法，本发明采用的技术方案是：其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；

采集分析方法为：

步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；

步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。

作为本发明的优选技术方案，所述组态业务配置模组包括:

1)项目结构:包括业务监控项目管理，业务监控项目内容控制,监控视图管理,监控视图内容控制,组态图管理,数据源管理；

2)数据引擎配置:包括监控测点管理，清洗逻辑配置,逻辑管理；

3)业务图形编辑器:包括组态业务图形生成,组态业务图发布控制；

4)图形引擎:包括图形配置,图形生成,图形运行,图形服务。

作为本发明的优选技术方案，所述权限管控模组包括：

1)权限拓扑:包括用户资源信息管理,用户结构拓扑管理；

2)资源拓扑：包括菜单标识管理,操作标识管理,标识层级关系管理；

3)权限映射：包括权限配置和执行。

作为本发明的优选技术方案，所述数据源模组包括：

1)连接管理：包括数据源配置,数据源动态管理,数据源状态监控,多数据源并发。

2)协议解析：包括协议配置管理，协议接口管理

3)协议组件：多协议/多形式适配，自定义协议适配。

作为本发明的优选技术方案，所述分布式实时数据库模组包括：

1)数据能力：包括实时数据查询,操作数据下达,操作记录。

2)数据处理：包括数据初始化,采集数据清洗,数据转换,有效性判定,报警判定,报警记录,公式与函数计算,实时数据缓存；

3)数据存储：实时数据存储，历史数据存储；

4)实时输出：实时数据接口；

5)客户端服务：用户管理，权限管理，登录验证；

6)系统管理服务；自动远程更新,主备用状态切换,日志查询。作为本发明的优选技术方案，所述数据服务模组包括：

1)数据引擎：包括接收实时数据,实时数据推送,实时控制命令接收与转发；

2)历史数据服务：历史数据导入服务,统计数据导入服务,历史数据查询,历史数据回放。

作为本发明的优选技术方案，所述算法模型生成模组包括：参数配置,模型控制,数据生成。

作为本发明的优选技术方案，还包括一种物联网数据实时处理方法，其步骤如下：

步骤1、采用kafka消息队列，异步传递海量数据；

步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；

步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；

步骤4、实现数据的实时处理。

本发明具有的有益效果是：克服了现有技术中的不足，提供了一种对数据的多维度、多层次分析的物联网设备，使用简单，运行速度极快，自动识别协议类型，自动采用最适合的解析方式，提供最优化的展示方式，给人们的日常工作生活带来诸多的便利，为用户的使用提供了最有效简便的方式。

附图说明

图1为本发明的结构及其数据采集分析方法的流程图；

具体实施方式

下面将结合附图和实施例对本发明作进一步的说明。

本发明的一种物联网数据采集处理及分析应用的整体解决方法，由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；

采集分析方法为：

步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；

步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。

作为本发明的优选技术方案，所述组态业务配置模组包括:

1)项目结构:包括业务监控项目管理，业务监控项目内容控制,监控视图管理,监控视图内容控制,组态图管理,数据源管理；

2)数据引擎配置:包括监控测点管理，清洗逻辑配置,逻辑管理；

3)业务图形编辑器:包括组态业务图形生成,组态业务图发布控制；

4)图形引擎:包括图形配置,图形生成,图形运行,图形服务。

作为本发明的优选技术方案，所述权限管控模组包括：

1)权限拓扑:包括用户资源信息管理,用户结构拓扑管理；

2)资源拓扑：包括菜单标识管理,操作标识管理,标识层级关系管理；

3)权限映射：包括权限配置和执行。

作为本发明的优选技术方案，所述数据源模组包括：

1)连接管理：包括数据源配置,数据源动态管理,数据源状态监控,多数据源并发。

2)协议解析：包括协议配置管理，协议接口管理

3)协议组件：多协议/多形式适配，自定义协议适配。

作为本发明的优选技术方案，所述分布式实时数据库模组包括：

1)数据能力：包括实时数据查询,操作数据下达,操作记录。

2)数据处理：包括数据初始化,采集数据清洗,数据转换,有效性判定,报警判定,报警记录,公式与函数计算,实时数据缓存；

3)数据存储：实时数据存储，历史数据存储；

4)实时输出：实时数据接口；

5)客户端服务：用户管理，权限管理，登录验证；

6)系统管理服务；自动远程更新,主备用状态切换,日志查询。作为本发明的优选技术方案，所述数据服务模组包括：

1)数据引擎：包括接收实时数据,实时数据推送,实时控制命令接收与转发；

2)历史数据服务：历史数据导入服务,统计数据导入服务,历史数据查询,历史数据回放。

作为本发明的优选技术方案，所述算法模型生成模组包括：参数配置,模型控制,数据生成。

作为本发明的优选技术方案，还包括一种物联网数据实时处理方法，其步骤如下：

步骤1、采用kafka消息队列，异步传递海量数据；

步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；

步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；

步骤4、实现数据的实时处理。

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

一种物联网数据采集方法：

步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；

步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。

一种物联网数据实时处理方法：

步骤1、采用kafka消息队列，异步传递海量数据；

步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；

步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；

步骤4、实现数据的实时处理。

一种物联网数据实时多端展示方法：

步骤1：在线设计SVG界面，所见即所得，对多端自动实现优化，实现和业界知名组态软件GE iFix相似的用户体验；

步骤2：在系统上快速配置测点、变量；

步骤3：创建项目，关联SVG界面；

步骤4：开始运行，完美自适应中控室大屏、PC、移动端等不同尺寸的终端类型。

一种物联网组态业务配置模组使用方案：

步骤1:设计项目结构。对业务监控项目管理，如启停用；对业务监控项目内容控制，实现控制监控项目与监控视图绑定关系，动态加载；监控视图管理，如监控视图的启停用；监控视图内容控制，实现控制视图与组态绑定关系；组态图进行管理，实现业务图形编辑器入口，组态业务图启停用管理。对数据源管理，管理连接层数据源与实时数据库的接入关系，配置接入内容。

步骤2：进行数据引擎配置。管理监控测点，添加或者导入测点，配置测点实际映射，配置测点属性；实现清洗逻辑配置，配置测点数据清洗逻辑，确保数据有效性；测点间逻辑配置管理。

步骤3：使用业务图形编辑器。实现图形配置，监控界面文件包自动管理；实现图形生成，使用配置信息生成可运行的图形基础；实现图形运行，接入数据引擎，生成可运行的业务画面；实现图形服务，提供外部访问接口。

一种物联网权限管控模组使用方案：

步骤1：设计权限拓扑，实现用户资源信息管理，用户，角色，权限和帐号等基本信息管理；用户结构拓扑管理，用户，角色，权限拓扑逻辑管理。

步骤2：设计资源拓扑，实现菜单标识管理，维护监控系统功能菜单，分配唯一资源标识；实现操作标识管理，维护监控系统的操作按钮，分配唯一资源标识；实现标识层级关系管理，菜单的父子关系，按钮与页面的隶属关系。

步骤3：设计权限映射，实现权限配置和执行，分配权限，执行权限。

一种物联网图形化界面(呈现框架)使用方案：

步骤1：呈现界面管理，按监控项目组织结构，多Tab页方式显示；接入图形引擎，呈现动态效果。

步骤2：对界面上的事件响应管理，根据组态配置，鼠标事件会触发事件函数的执行，向数据引擎发出操控指令。

步骤3：实现自动的连接状态管理，页面开启时，自动建立通信连接；并维护会话信息；关闭监控画面，连接自动关闭。

一种物联网数据源模组使用方案：

步骤1：进行连接管理。数据源配置，动态配置数据源属性，采集频率，规则，日程等；数据源动态管理，动态加载数据源，实现数据的采集、通讯，并提供交互功能实现对数据的启停控制，数据源状态监控，实时监控数据源状态，实时日志和告警输出；多数据源并发，支持多数据源单点或多点同时接入模式。

步骤2：对连接的协议解析，协议配置管理，针对不同的协议自助选择不同配置，自动适配协议；，协议接口管理，定义协议解析标准接口和数据接入方式。

步骤3：实现协议组件，多协议/多形式适配，提供modbus，opc等标准协议的快速适配组件，也提供MQTT标准接口来实现对kafka等消息队列框架的快速接入能力，自定义协议适配，提供对非标准或自定义协议的适配组件开发功能。

一种物联网分布式实时数据库使用方案：

步骤1：实现数据传输，实现实时数据查询、操作数据下达、操作记录的全传输、记录能力；

步骤2：实现数据处理，实现数据初始化、采集数据清洗、数据转换、数据转换、报警判定、报警记录、公式与函数计算、实时数据缓存等多项能力；

步骤3：实现数据存储，实时数据存储，将全部数据点的当前状态(值、报警、有效性、质量)缓存，用于初始化恢复；历史数据存储，将全部数据点的状态(值、报警、有效性、质量)以时间过程顺序存储，用于后续的查询、分析。

步骤4：实现数据实时输出，实时数据接口，对外提供实时数据服务(包括客户的显示数据)，可以使用专用的SDK接收以进行二次处理。

步骤5：实现客户端服务，包括：用户管理、权限管理、登录验证。

步骤6：实现系统管理服务，如自动远程更新、自动远程更新、日志查询。

一种物联网数据服务引擎使用方案：

步骤1：接收实时数据，与实时数据库系统建立通信，接收实时数据。

步骤2：实时数据推送，向图形呈现、列表呈现或第三方接口推送数据。

步骤3：实时控制命令接收与转发，用户界面上的操作可触发远程设备控制命令，接收用户指令并转发至远程设备的逻辑控制单元，完成对设备的远程控制操作。

一种物联网历史数据服务引擎使用方案：

步骤1：数据导入，历史数据导入、统计数据导入。连接不同数据源，不同类型数据库，不同的时间区间，不同的接入频率。支持不同的统计运算方式：Max，Min，Avg，Sum，Count等；通过后台任务导入历史数据至关系数据库，供查询历史数据使用。

步骤2：对导入的数据进行查询。

步骤3：对数据进行回放，历史数据图形化回放功能。

一种物联网算法模型生成器使用方案：

步骤1：参数配置，管理和配置各类参数和变量输入；

步骤2：模型控制，生成算法的关键控制和记忆模块；

步骤3：数据生成，模型数据输出管理。

本发明不局限于上述实施方式，任何人应得知在本发明的启示下做出的与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (8)

1.一种物联网数据采集处理及分析应用的整体解决方法，其特征是：由组态业务配置模组、权限管控模组、数据源模组、分布式实时数据库模组、数据服务模组、算法模型生成模组构成；

采集分析方法为：

步骤1、针对物联网设备，一键选择数据源驱动，数据源进行动态加载，同时提供标准数据接口MQTT协议、HTTP协议等协议；

步骤2、对选择的数据源一键配置协议，系统自动解析数据，处理成标准格式。

2.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述组态业务配置模组包括:

1)项目结构:包括业务监控项目管理，业务监控项目内容控制,监控视图管理,监控视图内容控制,组态图管理,数据源管理；

2)数据引擎配置:包括监控测点管理，清洗逻辑配置,逻辑管理；

3)业务图形编辑器:包括组态业务图形生成,组态业务图发布控制；

4)图形引擎:包括图形配置,图形生成,图形运行,图形服务。

3.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述权限管控模组包括：

1)权限拓扑:包括用户资源信息管理,用户结构拓扑管理；

2)资源拓扑：包括菜单标识管理,操作标识管理,标识层级关系管理；

3)权限映射：包括权限配置和执行。

4.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述数据源模组包括：

1)连接管理：包括数据源配置,数据源动态管理,数据源状态监控,多数据源并发。

2)协议解析：包括协议配置管理，协议接口管理

3)协议组件：多协议/多形式适配，自定义协议适配。

5.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述分布式实时数据库模组包括：

1)数据能力：包括实时数据查询,操作数据下达,操作记录。

2)数据处理：包括数据初始化,采集数据清洗,数据转换,有效性判定,报警判定,报警记录,公式与函数计算,实时数据缓存；

3)数据存储：实时数据存储，历史数据存储；

4)实时输出：实时数据接口；

5)客户端服务：用户管理，权限管理，登录验证；

6)系统管理服务；自动远程更新,主备用状态切换,日志查询。

6.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述数据服务模组包括：

1)数据引擎：包括接收实时数据,实时数据推送,实时控制命令接收与转发；

2)历史数据服务：历史数据导入服务,统计数据导入服务,历史数据查询,历史数据回放。

7.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：所述算法模型生成模组包括：参数配置,模型控制,数据生成。

8.根据权利要求1所述的一种物联网数据采集处理及分析应用的整体解决方法，其特征是：还包括一种物联网数据实时处理方法，其步骤如下：

步骤1、采用kafka消息队列，异步传递海量数据；

步骤2、采用列式存储、内存数据库、Hadoop等技术，实现海量数据动态存储；

步骤3、采用Storm大数据处理框架，实现数据并行计划、横向扩展，同时数据量达TB级别；

步骤4、实现数据的实时处理。