CN109710678B - 一种工业大数据监测管理的实时数据系统及运行方法 - Google Patents

Abstract

本发明在此提供一种工业大数据的实时数据系统及运行方法；本发明包括，数据采集模块，数据库模块，实时报表模块，趋势监控模块，后台程序监视模块。本发明在此将实时数据格式处理技术和数据库技术相结合，使用了改进的阶段性线性数据压缩算法以及改进的B+数数据索引算法，幵发了实时数据库系统的信息技术，为企业提供一个统一的，全面的企业级实时数据库服务平台，使企业的管理决策过程能够生产实时动态监测和分析，以改善企业的经营状况，及时发现问题，从而降低生产成本和提高产品质量。

Description

一种工业大数据监测管理的实时数据系统及运行方法

技术领域

本发明涉及一种实时数据系统，具体来讲是一种新的工业大数据实时数据系统及运行方法。

背景技术

近年来，随着计算机、网络、过程控制技术的快速发展，各种控制系统（DCS,PLC，智能仪表等），在过程工业中已被广泛使用。这些系统是针对単个系统的设备或装置的，他们管理和操作的是生产过程中的单个设备或装置所产生的数据。生产过程所产生的数据量大、有效期短，在传统的分布式控制系统（DCS）和关系数据库技术不能完全有效处理。DCS的数据存储容量是有限的，和DCS异构企业无法进行有效的数据共享，流行的关系数据库中的数据处理速度低，关系数据模型对生产过程中的数据无法高效的存储。

实时数据库技术是实时系统和数据库技术相结合的产物，利用数据库技术来解决实时系统中的数据管理问题，同时利用实时技术为实时数据库提供时间驱动调和资源分配算法。适用于处理不断更新、快速变化的数据及具有时间限制的事务处理，主要应用于工业监控，如：电力、石化、化工、钢铁、冶金、造纸、交通控制和证券金融等工业领域的监控。

传统的关系数据库系统旨在处理永久、稳定的数据，强调维护数据的完整性、一致性, 其性能目标是高系统吞吐量和低代价,但对处理的定时限制没有严格要求。而实时数据库系统需要结合实时数据处理技术和数据库技术，并同时满足数据实时性和一致性的要求。

关系型数据库在工业监测应用中的缺点就是：

1）无法保证实时的数据处理和监测；

2）关系数据库的读写速度太慢，工业监测的数据吞吐量十分大；

3）没有高效的压缩功能，数据会占用大量的存储空间。

实时数据库采集的数据是巨大，它的数据采集后主要生成两大类即实时数据和历史数据。实时数据存在于内存中，历史数据存储在外存中如硬盘等，内存和外存都是有限的资源，而实时数据和历史数据随着系统的运行是在不断时增长。因此对实时数据库产生的历史数据和实时数据进行数据压缩非常重要，数据压缩质量，将影响到这个系统的效率。

实时数据库大量的历史数据需要存储在外存中，有效管理历史数据存储在外存的结构，是必须的。不同的索引算法是从不同角度考虑问题，没有哪种索引算法是最优秀的，它们都是各有不同的侧重点。

在设计数据库系统的时候，如何对大量数据进行压缩以及数据库检索的方式时整个数据库系统能否保证实时性的关键因素。

发明内容

因此，为了解决上述不足，本发明在此提供一种工业大数据的实时数据系统及运行方法；本发明在此将实时数据处理技术和数据库技术相结合，自主研发了数据格式统一的转换方法，改进了数据库的压缩算法和检索算法，幵发了实时数据库系统的信息技术，为企业提供一个统一的，全面的企业级实时数据库服务平台，使企业的管理决策过程能够生产实时动态监测和分析，以改善企业的经营状况，及时发现问题，从而降低生产成本和提高产品质量。

本发明是这样实现的，构造一种工业监测管理的实时数据系统，其特征在于：包括，数据采集模块：布置在工业现场，用于将工业生产现场的设备状况、生产数据采集处理成数字信号；

数据转换模块：将数据采集模块采集到的数据，转换成统一的格式，通过自主研发的工业传输协议进行加密传输；

数据库模块：将采集到数据按照工业监控的格式存储到实时数据库中，实现工业数据的整合存储，并提供多种应用层接入接口比如数据查询接口、实况监控接口等；

实时报表模块：通过数据库模块提供的接口，在终端上根据需要实时生成生产数据报表，供企业管理者进行实时分析，把控工厂的生产状态；

趋势监控模块：通过数据库模块提供的接口，在终端上设置相应的条件，即可得到生产现场的历史趋势曲线视图，对生产现场的变化做到可视化展示；

后台程序监视模块：通过数据库模块提供的接口，在终端上监视数据库模块的操作记录、工业现场设备的工作状态记录。对整个实时数据系统的工作状况做到实时监测。

一种工业大数据监测管理的实时数据系统的操作方法，其特征在于；按照如下方式进行；

完成数据采集模块的安装，首先根据工业现场的情况，将相应的数据采集模块安装到工业设备上，完成工业监测管理实时数据系统的最底层硬件改造；

数据采集模块安装完成之后，会按照设定的时间周期/触发条件对工作的设备生产数据进行采集，包括设备的工作状态、设备进行的操作、生产的状况、胜场环境的参数如温度、湿度等；采集模块会将模拟数据转换为数字信号，传送给数据转换模块；

数据转换模块接收到来自采集模块的数据之后，根据工业传输协议，将数字信号的数据格式进行格式转换，然后将统一格式的数据通过网络系统传输到数据块模块；

数据库模块接收到数据之后，对数据进行初步地分析管理，筛选掉无效丢包的数据，然后将数据按规则分类存储到数据库中；将数据整合之后，开放不同的数据库接口，可供不同的应用对数据进行查询、整合、分析；

实时报表模块通过数据库接口接入到数据库模块之后，企业管理人员通过设置条件，筛选所需要的数据，然后将数据生成报表，方便进一步的生产分析和生产预测；

趋势监控模块通过数据库接口接入到数据库模块之后，企业管理人员可以设置离散的时间点或者连续的时间段，将历史数据或当前数据生成曲线图，对生产现场的状况进行直观的分析；

后台程序监视模块通过数据库接口接入到数据库模块之后，企业管理人员可是监测到整个实时数据库系统工作的进程，对哪一个用户在什么时间点对数据库执行了什么操作进行监测，对生产现场对数据库进行的执行操作进行监测。

本发明具有如下优点：本发明在此将实时数据处理技术和数据库技术相结合，幵发了实时数据库系统的信息技术，为企业提供一个统一的，全面的企业级实时数据库服务平台，使企业的管理决策过程能够生产实时动态监测和分析，以改善企业的经营状况，及时发现问题，从而降低生产成本和提高产品质量。实时数据库系统采用最先进的技术和架构，有着安全，稳定的控制系统界面，并能够对收集到的数据进行高效的数据压缩和长期的历史记忆。根据用户的需求，实时数据将被提交到数据库中其他的关系型数据库管理系统中与，企业ERP系统的有机结合。同时，强大的可视化过程的图形化配置工具，可以让用户自定义客户端的工作界面，为用户显示出他们需要的各种信息。

实时数据库是“对实时性要求高的时标型信息的数据库管理系统”,实时数据库做为企业信息化的基础数据平台，可直接实时采集、获取企业运行过程中的各种数据，并将其转化为对各类业务有效的公共信息，满足企业生产管理、企业过程监控、企业经营管理之间对实时信息完整性、一致性、安全共享的需求，可为企业自动化系统与管理信息系统间建立起信息沟通的桥梁。帮助企业的各专业管理部门利用这些关键的实时信息，提高生产销售的营运效率。

实时数据库能够处理工业监测过程中数据的大量吞吐，读写速度比关系数据库快几百倍，而且虽然数据吞吐量大，实时数据库的压缩功能能极大地减少占用的存储空间。

附图说明

图1是本发明系统构架图；

图2是本发明实施操作流程图；

图3是本发明改进的压缩算法流程图；

图4是本发明改进的检索算法流程图。

具体实施方式

下面将结合附图1-图4对本发明进行详细说明，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明通过改进在此提供一种工业大数据监测管理的实时数据系统，包括；数据采集模块：布置在工业现场，用于将工业生产现场的设备状况、生产数据采集处理成数字信号。

数据转换模块：将数据采集模块采集到的数据，转换成统一的格式，通过自主研发的工业传输协议进行加密传输。

数据库模块：将采集到数据按照工业监控的格式存储到实时数据库中，实现工业数据的整合存储，并提供多种应用层接入接口比如数据查询接口、实况监控接口等。

实时报表模块：通过数据库模块提供的接口，在终端上根据需要实时生成生产数据报表，供企业管理者进行实时分析，把控工厂的生产状态。

趋势监控模块：通过数据库模块提供的接口，在终端上设置相应的条件，即可得到生产现场的历史趋势曲线视图，对生产现场的变化做到可视化展示。

后台程序监视模块：通过数据库模块提供的接口，在终端上监视数据库模块的操作记录、工业现场设备的工作状态记录。对整个实时数据系统的工作状况做到实时监测。

一种工业大数据监测管理的实时数据系统的运行方法，按照如下方式进行：

完成数据采集模块的安装，首先根据工业现场的情况，将相应的数据采集模块安装到工业设备上，完成工业监测管理实时数据系统的最底层硬件改造。

数据采集模块安装完成之后，会按照设定的时间周期/触发条件对工作的设备生产数据进行采集，包括设备的工作状态、设备进行的操作、生产的状况、胜场环境的参数如温度、湿度等。采集模块会将模拟数据转换为数字信号，传送给数据转换模块。

数据转换模块接收到来自采集模块的数据之后，根据工业传输协议，将数字信号的数据格式进行格式转换，然后将统一格式的数据通过网络系统传输到数据块模块。

数据库模块接收到数据之后，对数据进行初步地分析管理，筛选掉无效丢包的数据，然后将数据按规则分类存储到数据库中。将数据整合之后，开放不同的数据库接口，可供不同的应用对数据进行查询、整合、分析。

实时报表模块通过数据库接口接入到数据库模块之后，企业管理人员通过设置条件，筛选所需要的数据，然后将数据生成报表，方便进一步的生产分析和生产预测。

趋势监控模块通过数据库接口接入到数据库模块之后，企业管理人员可以设置离散的时间点或者连续的时间段，将历史数据或当前数据生成曲线图，对生产现场的状况进行直观的分析。

后台程序监视模块通过数据库接口接入到数据库模块之后，企业管理人员可是监测到整个实时数据库系统工作的进程，对哪一个用户在什么时间点对数据库执行了什么操作进行监测，对生产现场对数据库进行的执行操作进行监测。

本发明专利中，数据库系统架构为；

主要功能包括生产数据的采集、存储、管理和查询（数据采集模块、数据转换模块、数据库模块、实时报表模块、趋势监控模块、后台程序监视模块）。

支持开关量、模拟量、日期时间型、字符床、二进制等多种数据类型。

采集协议支持丰富的设备接口，有效集成多种异构的协议与控制设备，将多种类型的串口数据转换为统一的数据标准后传递，数据解析支持长度可变、数据类型可变，传输的协议可支持加密通信。（采集到的数据通过自主研发的数据转换器进行转换，生成统一格式的数据流）。

监控功能提供实时和历史趋势查看功能，并能对多点或单点多时间段的数据进行分析对比，提供可视化曲线观察功能，对生产过程的变化趋势有更直观的观察。

设备监控功能提供实时设备工作状况，数据与生产现场同步变化，坐在办公室里就能随时了解生产状况。

数据库包括：登陆模块、系统管理模块、系统监控模块。

登陆模块：登陆：在登陆界面输入用户地账号、密码，点击登陆即可进入数据管理系统。

系统管理模块：用户管理（定义维护系统的登陆用户）：通过关键字搜索可以快速查找目标用户；通过增加用户、修改用户信息可以对用户进行管理；用户属性中的角色设置代表了对用户权限的限制。

权限管理（定义维护系统的权限设置）：通过增加权限来定义数据库操作的权限通过修改、删除权限，达到管理数据库操作权限设置的目的。

角色管理（定义维护系统的管理角色）：

通过增加、修改、删除来管理系统的角色配置；每一个角色通过权限绑定，从已定义的权限中选中，完成不同角色的权限设置。

字典管理（定义工业监测中项目字条的名称及状态）：通过搜索可以直接寻找目标项目字条；通过增加字条来定义工业监测中监测项目的名称以及可能的状态；通过修改、删除来管理已有的项目字条。

登陆管理（记录用户登陆的信息）：登陆日中中记录了每一个登陆的用户的地址、登陆方式和登陆时间；通过账号搜索或者日期条件搜索可以快速查询登陆日志。

操作管理（对用户的某些特定操作进行记录）：操作记录中记录了用户在数据系统中进行操作时，操作的类型、操作的用户操作的时间和用户的地址；通过用户名、操作名称、日期等搜索可以对操作记录进行准确查询。

实时监控模块：SQL监控（针对运行的SQL进行监控并分享）：对数据库系统操作的底层执行状况进行监控。

本专利的优点在于：采集协议支持丰富的设备接口，有效集成多种异构的协议与控制设备，将多种类型的串口数据转换为统一的数据标准后传递，数据解析支持长度可变、数据类型可变，传输的协议可支持加密通信；支持大量工业监测数据的实时读写以及实时的观察。使用改进了的数据压缩算法-阶段性线性数据压缩算法，压缩能力更强，压缩效果更好，提高了工业大数据的实时存储能力，提高了整个系统在面对海量的工业数据时的承受能力、响应速度。使用改进了的数据索引算法-改进的B+树索引算法，数据库系统磁盘控件的利用率提高了一倍，但是查找效率没有太大的损失，也就提高了整个系统的冗余量。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种工业大数据监测管理的实时数据系统，其特征在于：包括，

数据采集模块：布置在工业现场，用于将工业生产现场的设备状况、生产数据采集处理成数字信号；

数据转换模块：将数据采集模块采集到的数据，转换成统一的格式，通过自主研发的工业传输协议进行加密传输；

数据库模块：将采集到数据按照工业监控的格式存储到实时数据库中，实现工业大数据的数据压缩存储，使用改进的阶段性线性数据压缩算法，应对工业环境中上万的数据量，并提供多种应用层接入接口，应用层接入接口包括数据查询接口、实况监控接口，对于数据库模块的检索方法，使用改进的B+树数据索引算法，采用2级索引模式，提高了在工业大数据应用中，数据库系统工作的效率；

实时报表模块：通过数据库模块提供的接口，在终端上根据需要实时生成生产数据报表，供企业管理者进行实时分析，把控工厂的生产状态；

趋势监控模块：通过数据库模块提供的接口，在终端上设置相应的条件，即可得到生产现场的历史趋势曲线视图，对生产现场的变化做到可视化展示；

后台程序监视模块：通过数据库模块提供的接口，在终端上监视数据库模块的操作记录、工业现场设备的工作状态记录；对整个实时数据系统的工作状况做到实时监测。

2.一种工业大数据监测管理的实时数据系统的运行方法，其特征在于；按照如下方式进行；

完成数据采集模块的安装，首先根据工业现场的情况，将相应的数据采集模块安装到工业设备上，完成工业监测管理实时数据系统的最底层硬件改造；

数据采集模块安装完成之后，会按照设定的时间周期/触发条件对工作的设备生产数据进行采集，包括设备的工作状态、设备进行的操作、生产的状况、胜场环境的参数如温度、湿度；采集模块会将模拟数据转换为数字信号，传送给数据转换模块；

数据转换模块接收到来自采集模块的数据之后，根据工业传输协议，将数字信号的数据格式进行格式转换，然后将统一格式的数据通过网络系统传输到数据块模块；

数据库模块接收到数据之后，对数据进行初步地分析管理，筛选掉无效丢包的数据，然后将数据按规则分类存储到数据库中；将数据整合之后，开放不同的数据库接口，可供不同的应用对数据进行查询、整合、分析；

实时报表模块通过数据库接口接入到数据库模块之后，企业管理人员通过设置条件，筛选所需要的数据，然后将数据生成报表，方便进一步的生产分析和生产预测；

趋势监控模块通过数据库接口接入到数据库模块之后，企业管理人员可以设置离散的时间点或者连续的时间段，将历史数据或当前数据生成曲线图，对生产现场的状况进行直观的分析；

后台程序监视模块通过数据库接口接入到数据库模块之后，企业管理人员可是监测到整个实时数据库系统工作的进程，对哪一个用户在什么时间点对数据库执行了什么操作进行监测，对生产现场对数据库进行的执行操作进行监测。

Images