CN105701148B - 一种基于码表映射配置技术的工业数据多维矩阵化分析方法 - Google Patents
一种基于码表映射配置技术的工业数据多维矩阵化分析方法 Download PDFInfo
- Publication number
- CN105701148B CN105701148B CN201511011262.9A CN201511011262A CN105701148B CN 105701148 B CN105701148 B CN 105701148B CN 201511011262 A CN201511011262 A CN 201511011262A CN 105701148 B CN105701148 B CN 105701148B
- Authority
- CN
- China
- Prior art keywords
- data
- measuring point
- industrial
- dimensional
- dimensional matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于码表映射配置技术的工业数据多维矩阵化分析方法,与现有技术相比解决了异构工业数据难以进行汇集分析的缺陷。本发明包括异构数据的连接,将各工业采集点的异构数据进行通讯组态和协议组态;异构数据的分析,对异构数据进行多维矩阵化分析,所述的异构数据的分析包括以下步骤:数据组态,对工业数据进行工业测点信息的码表映射和配置;数据池化及多维矩阵化处理,对投影后的逻辑测点域LP进行数据池化操作,并进行多维矩阵化处理。本发明通过利用码表映射配置技术将异构数据进行整合,形成统一标准的数据平台。
Description
技术领域
本发明涉及工业数据处理技术领域,具体来说是一种基于码表映射配置技术的工业数据多维矩阵化分析方法。
背景技术
随着中国制造2025和互联网+的提出以及工业4.0(智能化)在全球的铺开,智能化已势不可挡,而智能化在很大程度上取决于大数据的分析应用。正是在这种大环境下,工业生产数据变得越来越重要,从环境监测到道路桥梁,从工厂生产到数据检验,无时无刻无处都离不开工业生产数据,这些数据经过高度的分析应用,可以指导环境改善、企业生产销售、设备更新换代等。
工业数据的采集是复杂多样化的,无论是生产设备、通讯接口、通讯协议,不同的生产厂家各不相同。各软件系统、设备通讯协议不一致、非标准通讯协议转换为标准通讯协议而造成系统通讯连接和数据交换成本加大,给生产企业和监管部门带来巨大的困难。虽然现在已有部分技术能够将不同出口的工业数据针对不同的协议、软件系统等形成统一的数据接入,但其仍然无法将其整合分析。当前的现状是每个生产企业都是从头建设,不同的领域知识断层,导致建设的系统不能充分的使用。
如何给出一种可以不考虑异构通讯数据的组态,也无需考虑数据的存储方式,而只关注于数据业务的应用分析已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中异构工业数据难以进行汇集分析的缺陷,提供一种基于码表映射配置技术的工业数据多维矩阵化分析方法来解决上述问题。
为了实现上述目的,本发明的技术方案如下:
一种基于码表映射配置技术的工业数据多维矩阵化分析方法,包括
异构数据的连接,将各工业采集点的异构数据进行通讯组态和协议组态;
异构数据的分析,对异构数据进行多维矩阵化分析,所述的异构数据的分析包括以下步骤:
数据组态,对工业数据进行工业测点信息的码表映射和配置;
数据池化及多维矩阵化处理,对投影后的逻辑测点域LP进行数据池化操作,并进行多维矩阵化处理。
所述的数据组态包括以下步骤:
针对工业生产设备建立表明其身份的码表域CT(Xi,Si),其中:Xi为物理测点寄存器的地址编码或采集上位机系统对测点的附加编码;Si为业务应用中的逻辑信号标识;
将工业生产设备中真实物理测点域PP(Xi,Vi)通过码表域CT(Xi,Si)投影转换到逻辑测点域LP(Li,Si,Vi,Ti),其投影公式如下:
LP(Li,Si,Vi,Ti)=f:PP(Xi,Vi)->CT(Xi, Si)
其中,Li为位置标识,Si为业务应用中的逻辑信号标识,Xi为物理测点寄存器的地址编码或采集上位机系统对测点的附加编码,Vi为物理测点寄存器中的值,Ti为测点信号类型。
所述的数据池化及多维矩阵化处理包括以下步骤:
设定需要池化处理的类型数据;
对投影后的逻辑测点域LP以同一类型数据进行数据池化处理;
对池化后的数据进行多维矩阵化处理。
还包括多维矩阵数据的汇聚检索,其包括以下步骤:
定义多维矩阵数据汇聚管理策略,其包括数据维度的定义、数据排序的定义和数据冗余的定义;
对多维矩阵化处理后的数据,根据数据提取及应用诱导条件,利用计算机动态资源重分配模式将符合条件的多维矩阵局部数据进行重新划分,并存放入内存池中。
所述的对池化后的数据进行多维矩阵化处理包括以下步骤:
对池化后的测点LP进行维度划分;
按维度进行排序、归并和过滤处理;
生成数据并进行多维矩阵化处理。
有益效果
本发明的一种基于码表映射配置技术的工业数据多维矩阵化分析方法,与现有技术相比通过利用码表映射配置技术将异构数据进行整合,形成统一标准的数据平台。通过将采集的工业生产数据进行池化处理和多维矩阵化操作,减少了工业数据采集存储的复杂度,并为大数据应用提供前提和基础;通过统一访问服务接口的汇聚检索技术,大幅降低了行业用户使用数据的成本。
附图说明
图1为本发明的方法流程图;
图2为本发明中码表映射配置模型及方法原理图;
图3为本发明中数据池化维度划分示例图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识,用以较佳的实施例及附图配合详细的说明,说明如下:
如图1所示,本发明所述的一种基于码表映射配置技术的工业数据多维矩阵化分析方法,包括:
第一步,异构数据的连接。利用现有技术的方法将各工业采集点的异构数据进行通讯组态和协议组态。通讯组态,主要进行动态的通讯接口(如RS485/RS422/RS232、I/O、Ethernet等)及下位机接入测点的配置;协议组态,主要将不同的工业通讯协议(如:Modbus、Profibus、GPRS等)进行配置、加载、转换为统一的互联网传输协议(TCP/UDP)平台。
在工业生产现场,各个通讯单元通过专有网络连接到信号汇集中心,信号汇集中心通过通讯单元将特定的工业测点数据进行标准化编码。信号汇集中心根据工业现场不同工艺及设备要求:按厂区单元、工艺单元、设备单元来分配信号元并建立工业测点访问路径。然后再根据工业测点访问路径选用相应的通讯元来获取工业测点数据并进行计算、分析和转换,如对脉冲信号进行0-1转换、对模拟信号进行数值转换等。异构数据的连接,就是要进行多重组态(通讯组态和协议组态),以便形成一个统一的通讯协议数据转换平台。
第二步,异构数据的分析,对异构数据进行多维矩阵化分析,对转换后的工业测点信息和码表进行映射和配置(即CMC模型-Code Mapping Configuration Mode),以便解决工业测点数据的身份识别。如图2所示,异构数据的分析包括以下步骤:
(1)数据组态,对工业数据进行工业测点信息的码表映射和配置。其包括以下步骤:
A、针对工业生产设备建立表明其身份的码表域CT(Xi,Si),其中:Xi为物理测点寄存器的地址编码或采集上位机系统对测点的附加编码;Si为业务应用中的逻辑信号标识,通常为普通编码区分标识。由于各个工业生产厂商不同,特别不同厂商采用的采集设备品牌、型号均存在不同,因此需要将涉及到的物理测点(物理设备采集点)进行归纳,形成包含所有物理测点的数据库(字典),从而定义成码表域CT,以用于在映射环节中产生逻辑标识。
B、如图2所示,将工业生产设备中真实物理测点域PP(Xi,Vi)通过码表域CT(Xi,Si)投影转换到逻辑测点域LP(Li,Si,Vi,Ti),其投影公式如下:
LP(Li,Si,Vi,Ti)=f:PP(Xi,Vi)->CT(Xi, Si)
其中,Li为位置标识,可以是某个区域、某个工艺或某台设备等,Si为业务应用中的逻辑信号标识,Xi为物理测点寄存器的地址编码或采集上位机系统对测点的附加编码,Vi为物理测点寄存器中的值,即工业测点寄存器中的值,可以是开关量,也可以是某个工艺上的检测化验值,Ti为测点信号类型,如开关量、工艺指标参数或工况指标参数,视具体应用而定。
(2)数据池化及多维矩阵化处理。对投影后的逻辑测点域LP进行数据池化操作,并进行多维矩阵化处理,目的是便于数据的维护、分析和应用。其包括以下步骤:
A、设定需要池化处理的类型数据,根据实际需要选择池化类型,如状态数据、开关量。
B、对投影后的逻辑测点域LP以同一类型数据进行数据池化处理。即采集数据池化处理(PDP-Point Data Pooling),将同一类型数据(状态数据、开关量等)放到同一个数据池中。
C、按现有技术的方法,对池化后的数据进行多维矩阵化处理,如图3所示,先对池化后的测点LP进行维度划分,如划分为空间维,时间维和类型维三个维度;其次,按维度进行排序、归并和过滤处理,去除从数据池中获取的冗余数据;最后对MC算法生成的数据并进行多维矩阵化处理,目的是让用户便于按不同的维度或相关条件进行检索、分析和应用。
第三步,多维矩阵数据的汇聚检索,向行业用户提供统一的标准化访问接口服务,其包括以下步骤:
(1)定义多维矩阵数据汇聚管理策略,其包括数据维度的定义、数据排序的定义和数据冗余的定义等。
(2)对多维矩阵化处理后的数据,根据数据提取及应用诱导条件,利用计算机动态资源重分配模式将符合条件的多维矩阵局部数据进行重新划分,并存放入内存池中。其目的是为了用户快速高效的提取数据并分析应用,使用户只关注自己的业务应用,而不再关注数据的来源,如用户只负责开发自己的移动端或web端应用,而不再考虑如何去组织数据。因此可以采用一种基于维度诱导重建式搜索算法,具体描述如下:在工业测点维度化的基础上,根据数据提取及应用诱导条件,如按时间维度(如某年某月某日某时)或空间维度(如某个区域、某个工艺段、某个设备等),利用计算机动态资源重分配模式将符合条件多维矩阵局部数据进行重新划分并存放到内存池中,供用户分析使用,提供了用户开发业务应用的效率和减少了用户组织数据的成本。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是本发明的原理,在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (4)
1.一种基于码表映射配置技术的工业数据多维矩阵化分析方法,包括
11)异构数据的连接,将各工业采集点的异构数据进行通讯组态和协议组态;
12)异构数据的分析,对异构数据进行多维矩阵化分析,其特征在于,所述的异构数据的分析包括以下步骤:
121)数据组态,对工业数据进行工业测点信息的码表映射和配置;所述的数据组态包括以下步骤:
1211)针对工业生产设备建立表明其身份的码表域CT(Xi,Si),其中:Xi为物理测点寄存器的地址编码或采集上位机系统对测点的附加编码;Si为业务应用中的逻辑信号标识;
1212)将工业生产设备中真实物理测点域PP(Xi,Vi)通过码表域CT(Xi,Si)投影转换到逻辑测点域LP(Li,Si,Vi,Ti),其投影公式如下:
LP(Li,Si,Vi,Ti)=f:PP(Xi,Vi)->CT(Xi, Si)
其中,Li为位置标识,Si为业务应用中的逻辑信号标识,Xi为物理测点寄存器的地址编码或采集上位机系统对测点的附加编码,Vi为物理测点寄存器中的值,Ti为测点信号类型;
122)数据池化及多维矩阵化处理,对投影后的逻辑测点域LP进行数据池化操作,并进行多维矩阵化处理。
2.根据权利要求1所述的一种基于码表映射配置技术的工业数据多维矩阵化分析方法,其特征在于,所述的数据池化及多维矩阵化处理包括以下步骤:
21)设定需要池化处理的类型数据;
22)对投影后的逻辑测点域LP以同一类型数据进行数据池化处理;
23)对池化后的数据进行多维矩阵化处理。
3.根据权利要求1所述的一种基于码表映射配置技术的工业数据多维矩阵化分析方法,其特征在于,还包括多维矩阵数据的汇聚检索,其包括以下步骤:
31)定义多维矩阵数据汇聚管理策略,其包括数据维度的定义、数据排序的定义和数据冗余的定义;
32)对多维矩阵化处理后的数据,根据数据提取及应用诱导条件,利用计算机动态资源重分配模式将符合条件的多维矩阵局部数据进行重新划分,并存放入内存池中。
4.根据权利要求2所述的一种基于码表映射配置技术的工业数据多维矩阵化分析方法,其特征在于,所述的对池化后的数据进行多维矩阵化处理包括以下步骤:
41)对池化后的测点LP进行维度划分;
42)按维度进行排序、归并和过滤处理;
43)生成数据并进行多维矩阵化处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511011262.9A CN105701148B (zh) | 2015-12-30 | 2015-12-30 | 一种基于码表映射配置技术的工业数据多维矩阵化分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511011262.9A CN105701148B (zh) | 2015-12-30 | 2015-12-30 | 一种基于码表映射配置技术的工业数据多维矩阵化分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105701148A CN105701148A (zh) | 2016-06-22 |
CN105701148B true CN105701148B (zh) | 2019-02-22 |
Family
ID=56225999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511011262.9A Active CN105701148B (zh) | 2015-12-30 | 2015-12-30 | 一种基于码表映射配置技术的工业数据多维矩阵化分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105701148B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108280224B (zh) * | 2018-02-09 | 2019-09-10 | 平安科技(深圳)有限公司 | 万级维度数据生成方法、装置、设备以及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理系统 |
CN102768666A (zh) * | 2011-05-05 | 2012-11-07 | 上海可鲁系统软件有限公司 | 一种工业数据存储读取方法及其系统 |
CN103208962A (zh) * | 2013-03-20 | 2013-07-17 | 北京科技大学 | 一种大容量晶闸管变流型矢量控制装置的主动防危系统 |
CN103970914A (zh) * | 2014-04-29 | 2014-08-06 | 合肥城市云数据中心有限公司 | 一种用于污水处理厂之间异构数据的采集存储方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004029828A2 (en) * | 2002-09-24 | 2004-04-08 | Ismartsoft, Inc. | Method and apparatus for data analysis |
-
2015
- 2015-12-30 CN CN201511011262.9A patent/CN105701148B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102768666A (zh) * | 2011-05-05 | 2012-11-07 | 上海可鲁系统软件有限公司 | 一种工业数据存储读取方法及其系统 |
CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理系统 |
CN103208962A (zh) * | 2013-03-20 | 2013-07-17 | 北京科技大学 | 一种大容量晶闸管变流型矢量控制装置的主动防危系统 |
CN103970914A (zh) * | 2014-04-29 | 2014-08-06 | 合肥城市云数据中心有限公司 | 一种用于污水处理厂之间异构数据的采集存储方法 |
Non-Patent Citations (1)
Title |
---|
"一种优化的环境测点信息管理模型及其在环境质量数据管理系统中的应用";李旭文等;《中国环境监测》;20060630;第22卷(第3期);第53-56页,图1-2 |
Also Published As
Publication number | Publication date |
---|---|
CN105701148A (zh) | 2016-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106547882A (zh) | 一种智能电网中营销大数据的实时处理方法及系统 | |
CN109501834A (zh) | 一种道岔转辙机故障预测方法及装置 | |
CN104573184B (zh) | 高速列车产品元模型构建方法和装置 | |
CN109241169A (zh) | 配电网运行信息多源异构数据融合数据库集成方法 | |
CN108460094A (zh) | 存储统计数据的方法和系统 | |
CN109815254A (zh) | 基于大数据的跨地域任务调度方法及系统 | |
CN107239798A (zh) | 一种面向软件缺陷个数预测的特征选择方法 | |
CN108206522B (zh) | 一种电力设备状态监控方法及系统 | |
CN102426525A (zh) | 一种多应用系统的全景建模方法 | |
CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
CN101883015A (zh) | 一种过滤工程告警的方法和装置 | |
CN109254901A (zh) | 一种指标监测方法及系统 | |
CN115458140A (zh) | 基于医疗大数据的互联网医院智慧运营系统 | |
CN109034227A (zh) | 一种输电线路外力破坏智能识别的方法 | |
CN112131216A (zh) | 一种基于物模型的输电线路自适应数据库创建方法及装置 | |
CN115391444A (zh) | 一种异构数据采集与交互方法、装置、设备及存储介质 | |
CN106649363A (zh) | 数据查询方法及装置 | |
CN109101590A (zh) | 基于cmdb的配置项ci拓扑关系可视化方法 | |
CN115908046A (zh) | 基于航站楼bim的可视化配电系统 | |
CN105701148B (zh) | 一种基于码表映射配置技术的工业数据多维矩阵化分析方法 | |
CN106709619A (zh) | 一种应用公共信息模型配置生成能效监测系统的方法 | |
CN106200593A (zh) | 一种智能化连铸过程控制系统及其控制方法 | |
Han | Design and application of educational information management system based on SOA | |
CN117614141B (zh) | 一种用于配电网的多电压层级协调管理方法 | |
CN108228900B (zh) | 基于分层结构的电力设备多光谱数据中心模型建立方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A multidimensional matrix analysis method of industrial data based on code table mapping configuration technology Effective date of registration: 20220324 Granted publication date: 20190222 Pledgee: China Construction Bank Corporation Hefei Shushan sub branch Pledgor: HEFEI CITY CLOUD DATA CENTER Co.,Ltd. Registration number: Y2022980003149 |