CN108415355A - 一种大数据的高效识别系统 - Google Patents

Abstract

本发明公开了一种大数据的高效识别系统，包括数据采集模块、数据传输模块和云计算识别平台；所述数据采集模块从运行设备获取实时数据，或直接从目标数据系统中读取实时数据；所述数据传输模块将所述实时数据发送至所述云计算识别平台；所述云计算识别平台接收的所述实时数据进行数据筛选、转换、计算和对比，得到包含对比结果的数据，并将所述包含对比结果的数据发送给运行设备，以使所述运行设备根据所述包含对比结果的数据，执行对应的控制操作。利用本发明提供的一种大数据的高效识别系统，能够利用大数据云平台，对运行设备进行识别。

Description

一种大数据的高效识别系统

技术领域

本发明涉及电子技术领域，尤其涉及一种大数据的高效识别系统。

背景技术

随着互联网的快速发展，每天产生的数据量非常庞大。在大数据技术问世之前，传统的数据处理遇到了很多的瓶颈。首先，对于传统的数据库当数据量非常大的情况下就会导致存储到达上限，解决办法是换容量更大的硬盘，但是这么做的成本非常高。其次就是计算机无法快速的处理大数据量，在数据处理速度上也会遇到瓶颈。

目前，利用大数据技术可以解决传统的信息技术架构存在的扩展性差、容错性差、性能低、安装部署及维护困难等诸多瓶颈。利用Hadoop的HDFS分布式文件系统对数据进行存储，扩展性好、容错性高。利用Hadoop的MapReduce对大规模数据集(大于1TB)进行并行计算，提高计算速度，性能高。使用Sqoop组件实现传统数据库与Hadoop进行数据的传递。但是现有的大数据技术对于非技术人员使用大数据技术是不太容易的。

发明内容

本发明的目的在于提供一种大数据的高效识别系统，以利用大数据云平台，对运行设备进行识别。

为达到上述目的，本发明实施例公开了一种大数据的高效识别系统，所述系统包括：

数据采集模块、数据传输模块和云计算识别平台；

所述数据采集模块从运行设备获取实时数据，或直接从目标数据系统中读取实时数据；

所述数据传输模块将所述实时数据发送至所述云计算识别平台；

所述云计算识别平台接收的所述实时数据进行数据筛选、转换、计算和对比，得到包含对比结果的数据，并将所述包含对比结果的数据发送给运行设备，以使所述运行设备根据所述包含对比结果的数据，执行所述对比结果对应的、针对设备的控制操作；

作为本发明的一种优选技术方案，所述云计算识别平台包括运算识别模块、对比数据库和预设数量个子数据库。

作为本发明的一种优选技术方案，所述子数据库，用于接收并存储所述数据传输模块发送的实时数据。

作为本发明的一种优选技术方案，所述运算识别模块，用于将各子数据库的数据，分别与所述对比数据库中设定的预设阈值进行对比，若所述子数据库的数据小于等于阈值则判定为正常数据，若所述子数据库的数据大于阈值则判定为异常数据，以实现云平台识别。

作为本发明的一种优选技术方案，所述子数据库用于实时存储各种数据并建立各种表单数据，进行大数据挖掘优化，筛选主要数据、异常数据、变化频繁数据、重要指标数据，将筛选出的数据发送给云计算识别平台分析处理并反馈给用户。

作为本发明的一种优选技术方案，所述子数据库中每个子数据库均存储一个子站点所传输的数据，其中，各子数据库以各自子站点所传输数据的网络协议IP地址为数据库分区方式。

作为本发明的一种优选技术方案，所述云计算识别平台还包括：

故障数据库，用于存储所述异常数据。

作为本发明的一种优选技术方案，所述云计算识别平台包括：

操作数据库和解决方案模块，所述操作数据库用于记录故障数据对应的操作数据，所述解决方案模块用于根据操作数据库的记录生成解决方案。

作为本发明的一种优选技术方案，所述目标数据系统包括：

可编程逻辑控制器PLC、分布式控制系统DCS和/或数据采集与监视控制系统SCADA。

有益效果

现有技术中通常采用APC（Advanced Process Control，先进过程控制）、MES（Manufacturing Execution System，制造执行系统）等，尽管这些技术在确保企业安全生产、降耗提质、提高整体经济效益中发挥了很大作用，但对数据实时分析计算，企业间数据横向对比优化，设备隐患/故障预测等仍无法满足企业需求，本发明通过数据实时采集、传输到云计算识别平台，云计算识别平台对大数据进行筛选、计算、对比、优化，将结果反馈回现场运行设备，及时有效的对工艺条件进行优化，通过对异常数据、故障数据、设备状态的统计，计算出故障频率，实现对故障的预知预判，大大减少非计划停车频率，最终达到数据实时优化、设备故障预知预判，实现长周期、安全、稳定生产，从而能够利用大数据云平台，对运行设备进行识别。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种系统应用环境的硬件架构示意图。

图2是本发明实施例提供的一种系统功能结构示意图。

图3是本发明提供的系统的第三种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例涉及一种大数据的高效识别系统，该系统应用环境的硬件结构如图 1所示，功能结构如图2所示。

一家化工企业为实时优化工艺、安全生产、降耗提质、提高整体经济效益，采用基于云计算的本实施例的大数据的高效识别系统。该大数据的高效识别系统包括数据采集模块、数据传输模块(有线或无线传输模式)、云计算识别平台。所述数据采集模块可以通过实时数据库系统获得，也可以直接从PLC（Programmable Logic Controller，可编程逻辑控制器）、DCS、SCADA（Supervisory Control And Data Acquisition，数据采集与监视控制系统）数据系统读取，数据传输模块将实时数据发送至云计算识别平台，云计算识别平台接收实时数据后进行数据筛选、转换和计算，得到最优化结果，最后将最优化结果反馈给运行设备进行优化操作。

云计算识别平台包含运算识别模块、子数据库、对比数据库、故障数据库，运算识别模块将各子数据库的数据与对比数据库中设定的阈值进行比对，计算子数据库中的数据是否在正常值范围之内并将异常数据传输给故障数据库。

上述技术方案中，通过数据采集模块将生产过程中的各种数据传输到云计算识别平台完成数据统计、分析及计算功能，实现工艺过程的连锁及整个生产过程的识别，以实现测、控、管一体化；数据存储模块用于实时存储各种数据并建立各种表单数据，进行大数据挖掘优化，筛选主要数据、异常数据、变化频繁数据、重要指标数据，将筛选出的数据发送给云计算识别平台分析处理并反馈给用户，实现工业远程识别。上述每个子数据库存储一个子站点所传输的数据，各个子数据库以子站点传输数据的网络协议IP地址为数据库分区方式；对比数据库中存储各子站点所传输的数据的阈值(阈值是预先设定的)；云计算识别平台包含操作数据库和解决方案模块，操作数据库用于记录故障数据对应的操作数据，解决方案模块用于根据操作数据库的记录生成解决方案；云计算识别平台包含跨平台客户端，该跨平台客户端应用在计算机或移动终端上；数据实时采集系统包括流量传感器、温度传感器、压力传感器、液位传感器；云计算识别平台包括显示模块，显示故障发生地址、发生节点及发生时间、数据异常值。

通过实施大数据的高效识别系统，强化工艺实时优化管理的核心思想，消除了各个环节的衔接死区，解决了实时分析计算难、设备隐患/故障预测难、非计划停车频率高等问题，同时工艺参数处于合理区概率由原来的91.8％提高到95％，从而提高了产品产量，降低了能耗。

现有技术中通常采用APC、MES等，尽管这些技术在确保企业安全生产、降耗提质、提高整体经济效益中发挥了很大作用，但对数据实时分析计算，企业间数据横向对比优化，设备隐患/故障预测等仍无法满足企业需求，本发明通过数据实时采集、传输到云计算识别平台，云计算识别平台对大数据进行筛选、计算、对比、优化，将结果反馈回现场运行设备，及时有效的对工艺条件进行优化，通过对异常数据、故障数据、设备状态的统计，计算出故障频率，实现对故障的预知预判，大大减少非计划停车频率，最终达到数据实时优化、设备故障预知预判，实现长周期、安全、稳定生产，从而能够利用大数据云平台，对运行设备进行识别。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种大数据的高效识别系统，其特征在于，所述系统包括：

数据采集模块、数据传输模块和云计算识别平台；

所述数据采集模块从运行设备获取实时数据，或直接从目标数据系统中读取实时数据；

所述数据传输模块将所述实时数据发送至所述云计算识别平台；

所述云计算识别平台接收的所述实时数据进行数据筛选、转换、计算和对比，得到包含对比结果的数据，并将所述包含对比结果的数据发送给运行设备，以使所述运行设备根据所述包含对比结果的数据，执行所述对比结果对应的、针对设备的控制操作。

2.根据权利要求1所述的一种大数据的高效识别系统，其特征在于，所述云计算识别平台包括运算识别模块、对比数据库和预设数量个子数据库。

3.根据权利要求2所述的一种大数据的高效识别系统，其特征在于，所述子数据库，用于接收并存储所述数据传输模块发送的实时数据。

4.根据权利要求2所述的一种大数据的高效识别系统，其特征在于，所述运算识别模块，用于将各子数据库的数据，分别与所述对比数据库中设定的预设阈值进行对比，若所述子数据库的数据小于等于阈值则判定为正常数据，若所述子数据库的数据大于阈值则判定为异常数据，以实现云平台识别。

5.根据权利要求2所述的一种大数据的高效识别系统，其特征在于，所述子数据库用于实时存储各种数据并建立各种表单数据，进行大数据挖掘优化，筛选主要数据、异常数据、变化频繁数据、重要指标数据，将筛选出的数据发送给云计算识别平台分析处理并反馈给用户。

6.根据权利要求3所述的一种大数据的高效识别系统，其特征在于，所述子数据库中每个子数据库均存储一个子站点所传输的数据，其中，各子数据库以各自子站点所传输数据的网络协议IP地址为数据库分区方式。

7.根据权利要求1所述的一种大数据的高效识别系统，其特征在于，所述云计算识别平台还包括：

故障数据库，用于存储所述异常数据。

8.根据权利要求1所述的一种大数据的高效识别系统，其特征在于，所述云计算识别平台包括：

操作数据库和解决方案模块，所述操作数据库用于记录故障数据对应的操作数据，所述解决方案模块用于根据操作数据库的记录生成解决方案。

9.根据权利要求1所述的一种大数据的高效识别系统，其特征在于，所述目标数据系统包括：

可编程逻辑控制器PLC、分布式控制系统DCS和/或数据采集与监视控制系统SCADA。