CN109933568A - 一种工业大数据平台系统及其查询方法 - Google Patents

Abstract

本发明揭示了一种工业大数据平台系统，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：数据采集端、内存缓存区、初级压缩单元、核心压缩单元、数据文件队列单元、数据库备份单元，构成了一种处理高效、准确的工业大数据平台系统。

Description

一种工业大数据平台系统及其查询方法

技术领域

本发明涉及工业数据采集和分析处理的技术，特别是针对水泥行业多组态、时变及大滞后工业系统的一种大数据平台建设方法。

背景技术

随着以FCS、基于位置的服务LBS、工业物联网等为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。

工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。

工业大数据技术是使工业大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法，包括数据规划、采集、预处理、存储、分析挖掘、可视化和智能控制等。工业大数据应用，则是对特定的工业大数据集，集成应用工业大数据系列技术与方法，获得有价值信息的过程。工业大数据技术的研究与突破，其本质目标就是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的新信息，从而促进制造型企业的产品创新、提升经营水平和生产运作效率以及拓展新型商业模式。

发明内容

本发明所要解决的技术问题是实现一种处理高效、准确的工业大数据平台系统。

为了实现上述目的，本发明采用的技术方案为：一种工业大数据平台系统，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：

数据采集端：用于采集工业数据；

内存缓存区：将所采集的工业数据进行缓存并输送至初级压缩单元；

初级压缩单元：对数据序列中的强噪声点进行平滑计算，在传感器的测量误差大于设定标准时进行降低噪声干扰，并记录方式过滤根据组态信息预处理数据序列，保留下需要的数据点；

核心压缩单元：进行时间戳压缩，根据设定的数据类型进行数据量过滤压缩，最后执行结果数据类型转换步骤，完成对所有过程数据的压缩；

数据文件队列单元：将核心压缩单元处理的数据归档存盘；

数据库备份单元：如果用户配置了定期整理策略，则会定期的对数据文件队列单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据文件队列单元中的原始数据。

所述数据采集端所采集的工业数据包括设备参数、采用电子标签对物料、人员、工具、工装进行标识和跟踪的数据、以及利用企业门户、企业服务总线、流程平台构成的数据集成。

所述初级压缩单元，包括：

数据平滑处理单元：在每个数据点的前后各取一个相邻的点，设n个时刻t₁,t₂,...t_n-1,t_n，对应的测量数据为y₁,y₂,...y_n-1,y_n，对上述数据序列采用的平滑公式为：其中，t_n时刻实测数据值y_n经过平滑处理后的平滑值记为α,β为加权因子，且满足α+β<1，之后为加权因子α,β选取适当的值，剔除测量数据中的噪声点；

记录方式过滤单元：针对内存缓存区中统一以4字节进行暂存的历史数据，减少历史数据中数据序列中冗余数据，并将数据分类为开关量、整型量和模拟量。

每个所述数据平台设有一个用于通信的通信服务器，每个通信服务器连接本域内的数据文件队列单元用于调取数据，每个通信服务器连接本域内的数据采集端并将数据输送至内存缓存区存储，通信服务器之间通信信号线连接进线通信。

系统还包括分布式通讯平台，所述分布式通讯平台负责其他单元之间的通信，并负责维护平台内的可用服务列表。

所述分布式通讯平台由多个Router单元构成，其中Router1单元部署有分布式实时数据库的客户应用程序，用于查询、订阅实时或者历史数据，其他Router单元内部署有多个“实时数据库服务”实例，每个“实时数据库服务”实例存储有部分数据文件队列单元内的数据。

基于所述工业大数据平台系统的查询方法：

步骤1、当客户程序发送接入实时数据查询服务请求；Router1单元收到服务查询请求后，判断本地是否能处理请求；不能，则向平台内其他Router单元转发服务请求；若能，则立刻返回成功消息，同时也向平台内其他Router单元转发服务请求，在设定时间内，Router1单元收到其他Routedr单元的处理返回，返回数据表明是否能提供实时数据查询服务；若能，同时提供查询服务的实例名；Router1单元内部缓存“服务实例信息”；

步骤2、客户程序发送查询数据点tag1的请求，Router1单元收到后，根据步骤1保存的“服务实例信息”向特定的Router单元转发数据点查询请求；

步骤3、提供实时数据查询服务的Router单元收到位号查询请求后，转发至目标实时数据服务实例的Master主节点；

步骤4、Master主节点根据请求的数据点名称位号判定是否存在待查数据点，若不存在则立刻返回查询失败消息；若存在，转发请求至目标实时数据服务器。

步骤5、实时数据服务器处理查询请求命令后，直接发送查询结果至客户程序；注意查询结果不经过Master主节点进行转发。

步骤6、客户程序收到请求处理结果，完成本次的查询。

本发明上述系统和方法构成了一种处理高效、准确的工业大数据平台系统。

附图说明

下面对本发明说明书中每幅附图表达的内容作简要说明：

图1为数据存储流程；

图2为分布式数据服务框图；

图3为分布式通讯平台框图。

具体实施方式

工业大数据平台搭建是对组织的工业大数据管理和利用进行评估、指导和监督的体系框架。它通过制定战略方针、建立组织架构、明确职责分工等，实现工业大数据的风险可控、安全合规、绩效提升和价值创造，并提供不断创新的大数据服务。

工业大数据平台建设效果对于确保工业大数据的优化、共享和安全是至关重要的。有效的工业大数据应用可通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。工业大数据平台的作用可概括为四点：(1)有效的工业大数据治理能够促进工业大数据服务创新和价值制造；(2)科学的工业大数据治理框架有助于提升组织的工业大数据管理和决策水平；(3)有效的工业大数据治理能够产生高质量的数据，增强数据可信度，降低成本；(4)有效的工业大数据治理有助于提高合规监管和安全控制，并降低风险。

1.解决DCS、能源管理、质量控制、设备运行、总降管理等工业信息系统数据，无法在同一平台中进行采集存储的问题。

2.解决海量工业信息数据的清洗，存储，分析及展示的效率问题。

基于物联网的数据集成技术主要包括智能装备数据集成技术和异构业务系统数据集成技术。

智能装备数据集成技术：面向车间各类对象的实时监控和管理，底层采用传感器对环境和设备进行信息采集，采用电子标签对物料、人员、工具工装等进行标识和跟踪，通过数据采集和处理实现信息的可靠高效传输，实现人机料法环测等生产要素的状态监控和集成管理。

异构业务系统数据集成技术：面向工厂内部ERP、PDM、MES、QIS、TDM等业务系统，利用企业门户、企业服务总线、流程平台等集成工具实现各业务系统间界面、服务、流程和数据的集成，最终达到跨业务部门和业务系统的数据融合和流程贯通。

基于产品全生命周期数据管理技术，产品全生命周期管理不同于传统的PDM，它将分散在设计单位、生产单位、供应商、客户等地理分散、形式不同的“产品数据”通过工作流平台和产品全生命周期模型，连接为一种单一的、标准的、真正的产品信息资源的能力。它包括产品设计、仿真、试验制造的数据，还集成来自企业内外部数据，如销售、市场、质量、制造、供应商、客户使用、产品报废处理等数据，从而建立起规范的产品信息来源。

这种信息资源保存整个产品开发决策过程的信息，包括产品的特征描述、功能描述以及对设计和资源的考虑，从而跟踪整个项目进度，并为将来启动的新项目或产品改进项目提供知识。

在工业4.0及大数据应用背景下，“智慧工厂”的建设将以大数据中心为平台，辅以智能技术、数字技术、信息技术，构建精益化的大融合研制体系，形成基于知识工程的产品研发设计、仿真、试验、制造、检验、售后等一体化的服务型研制模式，打造具有自主创新能力、透明管控能力、自我优化能力的智慧化生态环境。

智慧工厂“智慧”的体现应涵盖企业的各个业务领域，能够实现科研院所信息流、物流、资金流、知识流、服务流的高度集成与融合，使得企业持续创新，并不断开发新产品、新服务。但工业大数据具有数据量大、来源广泛、形式多样、种类繁杂等特点，传统的数据分析手段难以实现数据分析和利用。所有要实现各业务领域的智慧就必须结合数据挖掘、文本视频挖掘、统计分析、高维可视化等技术实现工业大数据的充分利用。

通过建立工业大数据平台，采用旋转门算法，进行有损压缩、无损压缩和二级压缩相结合的模式，实现数据压缩性能和还原度的最佳匹配。采用多级压缩策略，包括了初级压缩、核心压缩两个阶段以及对数据文件的定期整理压缩。该策略可以描述为：初级压缩过程中，数据平滑处理对数据序列中的强噪声点进行平滑计算，在传感器的测量误差较大时降低噪声干扰；记录方式过滤根据组态信息预处理数据序列，保留下需要的数据点。核心压缩过程中，首先进行时间戳压缩，然后根据不同的数据类型，分别采用不同的方法进行数据量过滤压缩，最后结果数据类型转换步骤，完成对所有过程数据的压缩。如果用户配置了定期整理策略，则会定期地对数据文件进行无损压缩备份，并清理原始数据。

不同于常见的卡尔曼滤波法、指数平滑法、五点三次平滑法、七点二次平滑法等数据平滑处理技术，本方案采用一种简单的三点平滑法，在每个数据点的前后各取一个相邻的点。设n个时刻t₁,t₂,...t_n-1,t_n，对应的测量数据为y₁,y₂,...y_n-1,y_n，对上述数据序列采用的平滑公式为：

其中，t_n时刻实测数据值y_n经过平滑处理后的平滑值记为α,β为加权因子，且满足α+β<1，数据平滑的程度取决于α和β的大小。选取适当的加权因子，能够有效地剔除测量数据中的噪声点，减少测量中统计误差带来的影响。

另外，为了提高历史数据库系统的效率，便于统一管理，在内存缓存中的历史数据统一按照4字节进行暂存，此时并没有考虑信号点的实际数据类型。因而在数据的核心压缩阶段，进行数据压缩和存储格式转换是必不可少的过程。在这个过程中，将减少采样数据序列中冗余数据的过程，称为数据量过滤。数据量过滤是根据开关量、整型量和模拟量三类不同信号的特点，分别设计了有针对性的压缩方法。

本发明设计了一种分布式实时数据库系统。该系统通过分布式通讯平台，确保了多台实时数据服务器可以分布式部署在各种复杂的网络环境；基于哈希表的数据点分配，确保了实时数据库运行时能快速转换数据点的逻辑位置到物理位置；分布式文件存储系统确保了实时数据库系统可以连续保存多年的工艺数据，而不必担心数据存储的可靠性、存储空间耗尽等问题。

“分布式通讯平台”负责各域间的通讯，并负责维护平台内的可用服务列表。各域内各自部署有分布式通讯服务程序，负责域间通讯(Router是分布式通讯服务的执行程序，可合并部署或分开部署在域内任意一台服务器内)。

其中，“域1”部署有分布式实时数据库的客户应用程序(用于查询、订阅实时或者历史数据)；“域2”，“域3”，“域4”内部署有多个“实时数据库服务”实例。“实时数据库服务”实例启动前，先和本域内Router建立通讯并发送服务实例注册请求，Router返回注册成功消息后完成“实时数据库服务”实例上线。

“实时数据库服务”实例包含了一个Master主节点(注：这里的一个Master主节点的含义是一个“实时数据库服务”实例只存在一个逻辑上的Master组件。我们把Master主节点视为一个逻辑上的概念，一个逻辑的Master主节点可以包含1台或者多台的物理服务器)，多台实时数据服务器(实时数据服务器数量根据所在域的规模和需求决定)。

Master主节点支持负载均衡，根据设定的负载均衡算法，动态调整外部的客户请求至合适的实时服务器。这里Master主节点只负责客户请求的转发，请求的应答数据的由数据服务器负责发送。这样做的好处是减轻Master主节点的数据传输压力，提高请求转发效率，避免成为局部性能瓶颈。

Master主节点保存本网络域内所有实时数据点(位号)的位置分布，并要求单个“实时数据库服务”实例内数据点名称(位号)唯一。支持位号重名：根据实际应用的需求可以对重名点配置冗余策略，重名位号通过位号名加所属服务实例名的方式加以区分。

Master主节点通过内建的哈希表保存数据点的位置分布信息，提供快速转换数据点的逻辑位置到物理位置的能力。另外，我们必须减少对Master主节点的请求数，避免成为访问的局部性能瓶颈，客户请求的结果数据不通过Master主节点获得。

利用“图分布式数据服务总览”解释一下一次实时数据的分布式查询过程：

1、客户程序发送接入实时数据查询服务请求；“Router1”收到服务查询请求后，判断本地是否能该服；不能，则向平台内其他Router转发服务请求；若能，则立刻返回成功消息，同时也向平台内其他Router转发服务请求。在设定时间内，“Router1”收到其他Routedr的处理返回，返回数据表明是否能提供实时数据查询服务；若能，同时提供查询服务的实例名；“Router1”内部缓存“服务实例信息”。

2、客户程序发送查询数据点tag1的请求，Router1收到后，根据步骤1保存的“服务信息”向特定的Router转发数据点查询请求；

3、提供实时数据查询服务的Router收到位号查询请求后，转发至目标实时数据服务实例的Master主节点。

4、Master主节点根据请求的数据点名称(位号)判定是否存在待查数据点，若不存在则立刻返回查询失败消息；若存在，转发请求至目标实时数据服务器。

5、实时数据服务器处理查询请求命令后，直接发送查询结果至客户程序；注意查询结果不经过Master主节点进行转发。

6、客户程序收到请求处理结果，完成本次的查询。

分布式数据通讯平台主要由Router、ClientProxy(客户接入管理服务)和客户端DLL、服务端DLL组成。如图3所示，客户程序通过调用ClientInterface.dll模块接入C2SProxy，C2SProxy负责统一管理所有的客户端。客户程序通过向分布式平台而不是向服务器直接获取数据，分布式平台作为一个数据通道将请求转到相关的服务器。根据请求方式的不同分二种情况：

1、客户端指定服务器ID，发送查询请求给C2SProxy，C2SProxy将请求转给Router，由Router转发到指定的服务器；

2、客户端指定服务域名，发送查询请求给C2SProxy，C2SProxy将请求转给Router，Router根据域名返回一个或者多个服务器实例给客户端。

客户端和服务器之间通过建立虚拟的数据通道实现通讯。所谓数据通道是客户端同目标服务器之间的一个数据流向路径，它由多个节点有序组成。由图3可知Client到Server的数据通道可能是：Client->C2SProxy->Router1->Router2->Server。通道建立后，除非数据通道不可用，否则客户端同目标服务器之间的数据都是沿着该路径流转的。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (7)

1.一种工业大数据平台系统，其特征在于，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：

数据采集端：用于采集工业数据；

内存缓存区：将所采集的工业数据进行缓存并输送至初级压缩单元；

初级压缩单元：对数据序列中的强噪声点进行平滑计算，在传感器的测量误差大于设定标准时进行降低噪声干扰，并记录方式过滤根据组态信息预处理数据序列，保留下需要的数据点；

核心压缩单元：进行时间戳压缩，根据设定的数据类型进行数据量过滤压缩，最后执行结果数据类型转换步骤，完成对所有过程数据的压缩；

数据文件队列单元：将核心压缩单元处理的数据归档存盘；

数据库备份单元：如果用户配置了定期整理策略，则会定期的对数据文件队列单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据文件队列单元中的原始数据。

2.根据权利要求1所述的工业大数据平台系统，其特征在于：所述数据采集端所采集的工业数据包括设备参数、采用电子标签对物料、人员、工具、工装进行标识和跟踪的数据、以及利用企业门户、企业服务总线、流程平台构成的数据集成。

3.根据权利要求1或2所述的工业大数据平台系统，其特征在于：所述初级压缩单元，包括：

数据平滑处理单元：在每个数据点的前后各取一个相邻的点，设n个时刻t₁,t₂,...t_n-1,t_n，对应的测量数据为y₁,y₂,...y_n-1,y_n，对上述数据序列采用的平滑公式为：其中，t_n时刻实测数据值y_n经过平滑处理后的平滑值记为α,β为加权因子，且满足α+β<1，之后为加权因子α,β选取适当的值，剔除测量数据中的噪声点；

记录方式过滤单元：针对内存缓存区中统一以4字节进行暂存的历史数据，减少历史数据中数据序列中冗余数据，并将数据分类为开关量、整型量和模拟量。

4.根据权利要求3所述的工业大数据平台系统，其特征在于：每个所述数据平台设有一个用于通信的通信服务器，每个通信服务器连接本域内的数据文件队列单元用于调取数据，每个通信服务器连接本域内的数据采集端并将数据输送至内存缓存区存储，通信服务器之间通信信号线连接进线通信。

5.根据权利要求1或4所述的工业大数据平台系统，其特征在于：系统还包括分布式通讯平台，所述分布式通讯平台负责其他单元之间的通信，并负责维护平台内的可用服务列表。

6.根据权利要求5所述的工业大数据平台系统，其特征在于：所述分布式通讯平台由多个Router单元构成，其中Router1单元部署有分布式实时数据库的客户应用程序，用于查询、订阅实时或者历史数据，其他Router单元内部署有多个“实时数据库服务”实例，每个“实时数据库服务”实例存储有部分数据文件队列单元内的数据。

7.基于权利要求1-6所述工业大数据平台系统的查询方法，其特征在于：

步骤1、当客户程序发送接入实时数据查询服务请求；Router1单元收到服务查询请求后，判断本地是否能处理请求；不能，则向平台内其他Router单元转发服务请求；若能，则立刻返回成功消息，同时也向平台内其他Router单元转发服务请求，在设定时间内，Router1单元收到其他Routedr单元的处理返回，返回数据表明是否能提供实时数据查询服务；若能，同时提供查询服务的实例名；Router1单元内部缓存“服务实例信息”；

步骤2、客户程序发送查询数据点tag1的请求，Router1单元收到后，根据步骤1保存的“服务实例信息”向特定的Router单元转发数据点查询请求；

步骤3、提供实时数据查询服务的Router单元收到位号查询请求后，转发至目标实时数据服务实例的Master主节点；

步骤4、Master主节点根据请求的数据点名称位号判定是否存在待查数据点，若不存在则立刻返回查询失败消息；若存在，转发请求至目标实时数据服务器。

步骤5、实时数据服务器处理查询请求命令后，直接发送查询结果至客户程序；注意查询结果不经过Master主节点进行转发。

步骤6、客户程序收到请求处理结果，完成本次的查询。