CN111241129A - 一种工业生产企业指标数据采集与计算的系统 - Google Patents

Abstract

一种工业生产企业指标数据采集与计算的系统，属于信息化系统技术领域。用于优化计算企业生产绩效指标计算的系统和实现方法。基于动态分析企业数据采集和存储情况、指标计算层次、数据依赖关系建立标准化的数据计算维度，实现标准化的数据采集和抽取，层次化的指标计算网络、支持大数据结构存储和查询优化。优点在于，解决了在企业面临多种复杂基础数据源情况下统计指标数据的优化计算方法，实现多层次、系统化、高效的指标计算。

Description

一种工业生产企业指标数据采集与计算的系统

技术领域

本发明属于信息化系统技术领域，特别是提供了一种工业生产企业指标数据采集与计算的系统，主要解决在企业面临多种复杂基础数据源情况下统计指标数据的优化计算方法，实现多层次、系统化、高效的指标计算。

背景技术

对于评价一个工业生产企业生产经营的好坏，从宏观上看，可以看一个相当长时期的企业生产的产品的成本、产品生产、工艺质量参数综合指标等信息，需要大量的来自生产一线的一级、二级数据，包括传感器和采集仪表、生产台账、外部报表、人工录入等各种类型的基础数据作为支撑。但是在得到基础数据之后，如何系统化、高效地计算企业的整个指标体系是一个比较复杂的难题。企业的生产系统有大量的复杂数据结构作为支撑，内部有着大量的复杂的数据结构和组织结构、数据之间有依赖关系和优先级关系，需要按照一定的规则来组织数据计算结构，确保指标数据的完整性、正确性和相关性。

拿企业吨钢能源消耗来说，首先需要从安装在生产厂区的各种能源仪表和传感器出发，实现基础数据的采集和定时统计计算，具体说来钢铁的产量信息和各种基础能源的消耗信息，然后需要按照用能的部门来分级统计。这样的统计这样的计算不仅工作量大，而且指标需要能够从车间、工段、分厂、总公司完成多级分类统计和相关计算，这是一个艰巨的工作，非常耗时和繁琐。在基础数据发生更改的情况下，很可能整个部门和单位的指标都需要更改，存在数据计算量比较大，数据计算不准确的问题。

企业自身的数据的特点是包含了许多层次，单一平面的数据统计方法的数据量比较大，不管是按照企业自身的组织结构出发还是按照企业数据管理的智能单位划分，系统的数据都需要包括很多层次，每一层专注自身的问题，在每个层次中的数据规模就小了很多，这样就比较方便数据计算、统计和查询，但如何有效地对系统数据进行层次化划分，建立指标统计的局部结果集，还没有成熟的方案。

发明内容

本发明的目的在于提供一种工业生产企业指标数据采集与计算的系统，解决了在企业面临多种复杂基础数据源情况下统计指标数据的优化计算方法，实现多层次、系统化、高效的指标计算。用于优化计算企业生产绩效指标计算的系统和实现方法。基于动态分析企业数据采集和存储情况、指标计算层次、数据依赖关系建立标准化的数据计算维度，实现标准化的数据采集和抽取，层次化的指标计算网络、支持大数据结构存储和查询优化。

本发明包括指标标准化配置模块、基础数据采集模块、基础指标计算模块、综合指标计算模块、指标数据存储模块、指标综合查询模块。其中,指标标准化配置模块是最核心的模块，它分别与基础指标计算模块、综合指标计算模块、综合指标查询模块连接；基础数据采集模块先与工业现场的数据源(如生产一线的自动化数采集设备，如PLC、DCS，网络采集设备，还有人工录入的生产台账信息等)连接，再与基础指标计算模块连接；基础指标计算模块再与综合指标计算模块连接，计算结果再送入指标数据存储模块；指标数据存储模块再与数据库系统连接，最终的指标数据存储在数据库之中。

上述所有的模块部署在企业生产网络的计算机上，计算机通过有线网线或者本地无线网络连接在一起，基础网络通讯协议是TCP/IP。数据库采用标准的关系型数据库。工业现场的数据源和数据库不属于本发明的组成部分。如图1。

指标标准化配置模块是整个系统的核心模块，它管理所有的基础的标准化指标配置信息，从这些基础配置衍生出其他高级指标信息；基础数据采集模块和指标化标准化配置模块连接，抽取到的数据送入基础指标计算模块再生成基础的指标数据，指标综合计算模块和基础指标计算模块、指标标准化配置模块连接，根据基础指标配置和基础指标计算结果，生成层次化的指标综合计算体系；指标数据存储模块采用大数据管理结构实现指标数据的分片存储和维护；综合指标查询模块和指标标准化配置模块连接，根据查询需求，访问指标存储体系，并且根据用户对指标数据的展示需求，能够动态地按照层次结构对数据进行钻取显示。

指标标准化配置模块管理系统所有的标准化的基础数据指标配置，这里的标准化的意思是按照一定的方法对企业的基础数据需求进行标准化定义，这里的标准化包括多种数据维度，比如时间尺度、车间/班组类型、能源/物料类型，数据流向关系、成本计算关系、人员/操作工等，还包括这些数据之间的优先级关系，建立基础的数据结构存储，综合性的指标计算会根据基础的指标实现复杂逻辑运算。指标之间的关系包括上下级、父子关系的表示，也有通过计算模型来关联，在系统中包含计算模型的定义，在相关的参数表格里会记录计算模型和指标之前的计算关系。在实际的操作中，有的时候是从用户的上层的需求出发，然后采用层次化的分解结构，逐层分解到一些基础的指标。这些指标分解过程如果通过人工的方式来进行的话，是非常耗时和费力的，而且在中间过程中会产生一些无用的中间指标，耗费大量的计算资源。本发明提出一种双向基础/综合指标生成的方法，减少无用的指标计算，优化了指标计算结构。

首先，分析用户的需求，先对需求降维，首先我们检索用户数据访问维度，在数据统计上去掉用户不常使用的维度，对于这些维度，我们在实际操作中建立存储的时候就可以极大地降低数据的复杂性；在某些维度，用户可能有着复杂的需求，数据在这个维度有着复杂的波动，我们可以综合考虑计算机的存储资源的前提下，建立几个标准化的量化取值，整个数据空间映射到几种标准的数据存储，整个维度可以通过平移和数据缩放来实现；对于某些小的维度，我们可以将几种维度组合在一起，通过统计维度空间的综合取值，生成一个一维平面的关键字，创建新的统计维度，这样就达到了降维和缩减数据量的目的。

然后，根据企业复杂的组织结构，建立层次化的计算体系树，树的叶子是最基础的标准化计算指标，这些指标对应现场的多个自动化仪表、传感器、销售订单、生产台账，过程质量监控信息等，对应一组数据计算程序，按照现场时间尺度和最底层的组织结构单元来完成最基础数据的计算；在叶子节点上面就是一层层的中间节点，对应车间级、分厂级、公司、总公司等多个节点，所有的中间节点可以通过底层节点的数据计算得到。

建立这种计算层次树的方法是：最初我们建立的是一个大的组织结构，首先按照企业天然的组织结构，我们建立一个分支很多、树的高度很大的组织结构树，囊括所有包含的指标组织信息；然后我们对系统进行初始化，引入优化的组织结构层次化因子，计算出合适的底层组织结构大小，为后面的指标层次化分解做准备；在指标层次化分解阶段，我们从叶子节点开始，根据指标层次化因子找到合适大小的子树从组织结构树上剪枝，剪掉的部分就对应最基础的指标计算子树，用一个综合的指标计算节点替换子树节点，然后建立上层节点和子树节点的数量关系，建立当前层次的数据计算公式；然后上层节点可以继续做剪枝和替换，同样的地得到相邻层次的计算公式。最后，构建的层次树的数据的计算可以采用规模化的计算引擎来处理。

为了完善指标配置，在本发明里面提供了专门的人机界面来配置指标。在指标配置模块提供配置画面，可以在指标配置画面里面通过拖拽的方式配置指标计算的前后、约束、上下级关系，也可以弹出专门的公式配置模块，通过公式定义的方式配置企业指标之间的计算关系。

基础数据采集模块负责采集用于基础指标计算所需要的生产一线数据，包括各种自动化仪表、PLC、DCS控制系统、生产台账、用户专门的数据录入等。这些数据包含了用于计算企业指标系统的各个层次的基础数据，这里的层次包括设备仪表层次、组织结构层次、时间采集粒度等。首先我们根据各种数据的特点，统计建立标准的数据格式，这里面的数据类型包括时序数据、关系型数据、流结构数据，在采集端建立采集通道，采集到的数据集中转换为标准格式；然后我们根据各种数据的相互关系，建立各种数据的优先级关系，对应到了基础指标模块的数据处理，各种基础指标也有了优先级关系；然后我们将各种数据按照优先级关系进行排序，然后将数据送入基础指标计算模块。

基础指标计算模块负责计算企业的基础指标。首先根据基础指标定义，确定基础指标包括哪些组织结构，这些组织结构中又包含哪些数据采集点，采集点之间的关系包括输入、输出、发生、消耗、发散、自用等多种关系，在实际计算的时候需要将数据的关系梳理清楚，建立采集仪表和相应计量点之间的数据关系；某些仪表数据只计量一些总的数据，在公司层面核算的时候需要确定一个分摊系数，得到采集点数据和基础指标和映射关系之后，可以计算得到基础指标的数据，在以后在采集点需要进行计量修正的时候，我们根据基础指标包含的计量点的范围重算相应的基础指标即可，这样可以大大降低基础指标一级后面的综合指标计算的计算量。

综合指标计算模块以基础指标作为基础进行层次化的迭代计算，不过在计算过程中还是需要同时考虑层次化优先级和同级指标计算关系，在实际计算中某些模块有着比其他模块更高的优先级，还有一些指标需要其他指标的计算结果作为输入；如果是固定的优先级，可以在进行指标配置的时候先确定下来，如果某些指标之间的优先级关系是动态的，则需要在计算的时候进行动态计算优先级，需要不断扫描相互依赖的指标节点是否完成计算，负责递归查找指标，查询相关的指标是否完成了计算，否则只能跳过这些节点的计算。

综合指标计算的计算量一般来说计算量非常大也非常耗时，需要采用多线程计算的方式来完成，在计算的时候需要相当数量的指标计算线程和指标计算状态检查线程。指标计算状态检查线程检查一个指标需要依赖的子指标或者相关指标的状态是否完成了计算，系统只能计算那些具备计算条件的指标，在某些情况下，系统缺省可能对这些指标引入默认值或者替代值进行计算，先计算一个估计值，在后面数据完成采集后基础指标数据得到真实计量值之后再重新综合指标的计量值。采用多线程的方式可以大大提高综合指标的计算时间和效率，缺点是在同时计算的时候需要考虑较大的资源消耗和系统并发计算后的处理，避免过大的线程等待或者程序死锁。

指标数据存储模块负责管理指标数据的读写。由于指标体系是分层次存储的，我们给所有的指标分配一个层次化的命名空间，比如车间能源指标的命名可以是/总公司/分厂/工段/车间，这样可以在存储和访问指标数据的时候可以访问相关的命名空间的所有指标数据后经过筛选统计得到。选择存储引擎的时候我们采用支持列族访问的大数据管理平台(如HBASE)作为存储引擎，在列族里面存储组织结构名称，在列里面产品或者能源指标名称，在这个存储层次上面还是一层时间尺度，数据按照时间做切片，有一个专门的数据按照时间切片的切片定义，不同时间尺度的数据存储在不通的表格里面，但里面的数据按照同样的存储结构来存储。

指标综合查询模块是一个综合性的模块，为用户画面提供访问综合指标数据的访问接口。由于企业的指标体系数据非常庞大，常用的方式是为用户提供一个查询接口，查询某个时间段(或者时刻点集合)，指标所在节点名称(组织结构名称、业务分类名称、节点类型名称)、物料或者能源介质的名称、数据计量类型名称、分时计量名称(电的尖峰平谷)，系统从指标配置模块获得指标定义，从指标数据存储模块获得指标数据，在给用户访问数据之前某些数据还会做一些逻辑运算(如加和累计等).用户需要在不通的时间维度、组织结构、产品或者介质分类之间做数据的钻取工作，需要访问大量的数据。为了优化指标查询的速度，在系统中采用了多线程查询的体系结构，并且提供了一个缓存结构，按照时间策略维护一个最近一段时间常用指标的缓存，这样在用户查询的时候命中缓存的几率大大增加，避免数据库的访问压力过大造成系统宕机。

附图说明

图1为工业生产指标数据采集与计算的模块结构图。

图2为某企业的能源指标数据基础数据结构图。

图3为整个系统的网络部署图。

具体实施方式

图2是某企业的能源指标数据采集和访问的系统。该企业是一个大型的钢铁生产制造企业，企业的管理的层次包括设备、工段、车间、分厂、总厂等级别，企业的管理要求数据精细化到工段和车间，有的分厂车间很多，设备很多，有的部门车间较少，设备也较少。车间和车间的距离比较分散，很难用一个统一的网络管理全厂所有数据的采集。传统的企业组织结构图中，往往是根据历史沿革、传统习惯或者天然组织结构划分企业的指标计算体系结构。由于缺乏合适的标准化层次化管理手段，有的部门的数据采集、存储的压力很重，在统计指标的时候速度非常慢，而且很容易出错。

该企业根据本专利的指标配置方法，建立标准化的、层次结构合理的指标计算体系。首先要考虑指标计算的需求，包括产品的成本、合格率、生产时间、能源的各种介质分类、组织结构分类、人员和操作工的当班时间、异常生产事故的故障率、检修和生产停机时间、电的分时消耗等等，分析实际应用过程中可能的指标，对某些维度降维,比如数据存储的时候时候建立统一的时间维度来存储，对于按照某个炉次、产品或者电的分时标准，根据统一的分时配置按照标准时间来切分数据，可以大大降低计算量和数据存储；在最关键的组织结构指标层次化划分上，指标的层次化划分采用标准化的层次化因子，避免某个分厂/车间的数据采集和存储量过大，数据按照层次化结构，首先考虑企业的数据源结构，生成最基础的标准化指标结构，然后按照层次化关系，逐层计算综合指标；指标数据存储采用支持列族的大数据存储结构，如HADOOP和HBASE，而且数据遵从一定的分片规则和数据冗余规则，既保证了数据的可靠性，又降低了数据存储和查询的消耗；在查询的时候采用并发线程的查询、内置合理大小的数据缓存的技术，保证了客户端应用的效率。

在能源管理系统中，通过统计各个车间的仪表数量，设置了合理的指标计算尺寸，建立指标计算层次化结构，同时在系统中创建了多个并发指标计算任务，这些并发计算任务按照指标层次化结构逐层进行指标数据归并计算。经过试运行，该企业的能源计算效率较高，而且在计算过程中采用了缓存结构，对存储指标的数据库造成的压力适中，用户通过人机界面查询能源指标数据查询速度较快，并能通过画面层层钻取从分厂到车间各个层次的数据。

网络实施方式：

图3是整个系统的网络部署图。

本系统中包含了多台数据采集服务器，两台互为主备数据存储服务器，一个应用服务器集群，多个用户终端。数据采集服务器上部署了基础数据采集模块；在数据存储服务器上部署了指标数据存储模块，采用的基础数据引擎是HBASE。应用服务器集群中包含了多个应用服务器，在每台应用服务器上都部署了基础和综合指标计算模块、指标数据查询模块。

Claims (9)

1.一种工业生产企业指标数据采集与计算的系统，其特征在于，包括，指标标准化配置模块、基础数据采集模块、基础指标计算模块、综合指标计算模块、指标数据存储模块、指标综合查询模块；指标标准化配置模块分别与基础指标计算模块、综合指标计算模块、综合指标查询模块连接；基础数据采集模块先与工业现场的数据源连接，再与基础指标计算模块连接；基础指标计算模块再与综合指标计算模块连接，计算结果再送入指标数据存储模块；指标数据存储模块再与数据库系统连接，最终的指标数据存储在数据库之中；

上述所有的模块部署在企业生产网络的计算机上，计算机通过有线网线或者本地无线网络连接在一起，基础网络通讯协议是TCP/IP；数据库采用标准的关系型数据库。

2.根据权利要求1所述的系统，其特征在于，指标标准化配置模块是整个系统的核心模块，它管理所有的基础的标准化指标配置信息，从这些基础配置衍生出其他高级指标信息；基础数据采集模块和指标化标准化配置模块连接，抽取到的数据送入基础指标计算模块再生成基础的指标数据，指标综合计算模块和基础指标计算模块、指标标准化配置模块连接，根据基础指标配置和基础指标计算结果，生成层次化的指标综合计算体系；指标数据存储模块采用大数据管理结构实现指标数据的分片存储和维护；综合指标查询模块和指标标准化配置模块连接，根据查询需求，访问指标存储体系，并且根据用户对指标数据的展示需求，能够动态地按照层次结构对数据进行钻取显示。

3.根据权利要求1所述的系统，其特征在于，指标标准化配置模块管理系统所有的标准化的基础数据指标配置，这里的标准化的意思是按照一定的方法对企业的基础数据需求进行标准化定义，这里的标准化包括多种数据维度，比如时间尺度、车间/班组类型、能源/物料类型，数据流向关系、成本计算关系、人员/操作工等，还包括这些数据之间的优先级关系，建立基础的数据结构存储，综合性的指标计算会根据基础的指标实现复杂逻辑运算；指标之间的关系包括上下级、父子关系的表示，也有通过计算模型来关联，在系统中包含计算模型的定义，在相关的参数表格里会记录计算模型和指标之前的计算关系；在实际的操作中，有的时候是从用户的上层的需求出发，然后采用层次化的分解结构，逐层分解到一些基础的指标；

首先分析用户的需求，先对需求降维，检索用户数据访问维度，在数据统计上去掉用户不常使用的维度，对于这些维度，在实际操作中建立存储的时候就可以极大地降低数据的复杂性；在某些维度，用户可能有着复杂的需求，数据在这个维度有着复杂的波动，能综合考虑计算机的存储资源的前提下，建立几个标准化的量化取值，整个数据空间映射到几种标准的数据存储，整个维度能通过平移和数据缩放来实现；对于某些小的维度，能将几种维度组合在一起，通过统计维度空间的综合取值，生成一个一维平面的关键字，创建新的统计维度，这样就达到了降维和缩减数据量的目的；

然后，根据企业复杂的组织结构，建立层次化的计算体系树，树的叶子是最基础的标准化计算指标，这些指标对应现场的多个自动化仪表、传感器、销售订单、生产台账，过程质量监控信息；对应一组数据计算程序，按照现场时间尺度和最底层的组织结构单元来完成最基础数据的计算；在叶子节点上面就是一层层的中间节点，对应车间级、分厂级、公司、总公司多个节点，所有的中间节点能通过底层节点的数据计算得到。

4.根据权利要求3所述的系统，其特征在于，建立这种计算层次树的方法是：建立的是一个大的组织结构，首先按照企业天然的组织结构，建立一个分支很多、树的高度很大的组织结构树，囊括所有包含的指标组织信息；然后我们对系统进行初始化，引入优化的组织结构层次化因子，计算出合适的底层组织结构大小，为后面的指标层次化分解做准备；在指标层次化分解阶段，从叶子节点开始，根据指标层次化因子找到合适大小的子树从组织结构树上剪枝，剪掉的部分就对应最基础的指标计算子树，用一个综合的指标计算节点替换子树节点，然后建立上层节点和子树节点的数量关系，建立当前层次的数据计算公式；然后上层节点可以继续做剪枝和替换，同样的地得到相邻层次的计算公式；最后，构建的层次树的数据的计算可以采用规模化的计算引擎来处理。

5.根据权利要求1所述的系统，其特征在于，基础数据采集模块负责采集用于基础指标计算所需要的生产一线数据，包括各种自动化仪表、PLC、DCS控制系统、生产台账、用户专门的数据录入；这些数据包含了用于计算企业指标系统的各个层次的基础数据，这里的层次包括设备仪表层次、组织结构层次、时间采集粒度等；首先，根据各种数据的特点，统计建立标准的数据格式，这里面的数据类型包括时序数据、关系型数据、流结构数据，在采集端建立采集通道，采集到的数据集中转换为标准格式；然后我们根据各种数据的相互关系，建立各种数据的优先级关系，对应到了基础指标模块的数据处理，各种基础指标也有了优先级关系；然后我们将各种数据按照优先级关系进行排序，然后将数据送入基础指标计算模块。

6.根据权利要求1所述的系统，其特征在于，基础指标计算模块负责计算企业的基础指标；首先根据基础指标定义，确定基础指标包括哪些组织结构，这些组织结构中又包含哪些数据采集点，采集点之间的关系包括输入、输出、发生、消耗、发散、自用多种关系，在实际计算的时候需要将数据的关系梳理清楚，建立采集仪表和相应计量点之间的数据关系；某些仪表数据只计量一些总的数据，在公司层面核算的时候需要确定一个分摊系数，得到采集点数据和基础指标和映射关系之后，能计算得到基础指标的数据，在以后在采集点需要进行计量修正的时候，根据基础指标包含的计量点的范围重算相应的基础指标即可，这样可以大大降低基础指标一级后面的综合指标计算的计算量。

7.根据权利要求1所述的系统，其特征在于，综合指标计算模块以基础指标作为基础进行层次化的迭代计算，不过在计算过程中还是需要同时考虑层次化优先级和同级指标计算关系，在实际计算中某些模块有着比其他模块更高的优先级，还有一些指标需要其他指标的计算结果作为输入；如果是固定的优先级，能在进行指标配置的时候先确定下来，当某些指标之间的优先级关系是动态的，则需要在计算的时候进行动态计算优先级，需要不断扫描相互依赖的指标节点是否完成计算，负责递归查找指标，查询相关的指标是否完成了计算，否则只能跳过这些节点的计算。

8.根据权利要求1所述的系统，其特征在于，指标数据存储模块负责管理指标数据的读写；由于指标体系是分层次存储的，给所有的指标分配一个层次化的命名空间，车间能源指标的命名是/总公司/分厂/工段/车间，这样能在存储和访问指标数据的时候可以访问相关的命名空间的所有指标数据后经过筛选统计得到；选择存储引擎的时候采用支持列族访问的大数据管理平台HBASE作为存储引擎，在列族里面存储组织结构名称，在列里面产品或者能源指标名称，在这个存储层次上面还是一层时间尺度，数据按照时间做切片，有一个专门的数据按照时间切片的切片定义，不同时间尺度的数据存储在不通的表格里面，但里面的数据按照同样的存储结构来存储。

9.根据权利要求1所述的系统，其特征在于，指标综合查询模块是一个综合性的模块，为用户画面提供访问综合指标数据的访问接口；由于企业的指标体系数据非常庞大，常用的方式是为用户提供一个查询接口，查询某个时间段或者时刻点集合，指标所在节点名称、物料或者能源介质的名称、数据计量类型名称、分时计量名称，系统从指标配置模块获得指标定义，从指标数据存储模块获得指标数据，在给用户访问数据之前某些数据还会做一些逻辑运算，用户需要在不通的时间维度、组织结构、产品或者介质分类之间做数据的钻取工作，需要访问大量的数据；在系统中采用了多线程查询的体系结构，并且提供了一个缓存结构，按照时间策略维护一个最近一段时间常用指标的缓存，这样在用户查询的时候命中缓存的几率大大增加，避免数据库的访问压力过大造成系统宕机。

Images