CN115391444A - 一种异构数据采集与交互方法、装置、设备及存储介质 - Google Patents
一种异构数据采集与交互方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115391444A CN115391444A CN202211049005.4A CN202211049005A CN115391444A CN 115391444 A CN115391444 A CN 115391444A CN 202211049005 A CN202211049005 A CN 202211049005A CN 115391444 A CN115391444 A CN 115391444A
- Authority
- CN
- China
- Prior art keywords
- data
- resource
- analysis
- equipment
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003993 interaction Effects 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 107
- 238000007405 data analysis Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 27
- 238000013480 data collection Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 9
- 239000000463 material Substances 0.000 claims description 9
- 238000007689 inspection Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000003801 milling Methods 0.000 claims description 4
- 238000004080 punching Methods 0.000 claims description 4
- 230000010354 integration Effects 0.000 abstract description 9
- 230000002457 bidirectional effect Effects 0.000 abstract description 7
- 238000013508 migration Methods 0.000 abstract description 5
- 230000005012 migration Effects 0.000 abstract description 5
- 238000005065 mining Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000012517 data analytics Methods 0.000 abstract description 3
- 230000009466 transformation Effects 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 description 24
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000013500 data storage Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种异构数据采集与交互方法、装置、设备及存储介质,该方法可实现车间内各类车间资源的异构数据解析和转换、数据预处理与预分析、数据双向交互,发挥车间数据价值,满足管理人员对车间实时监控、设备效能分析、工艺参数统计等业务维度的数据需求,实现车间数据资源的价值挖掘与应用,助推企业数字化转型升级。解决了现有车间内异构数据扩展、迁移难度大,数据分析复杂,数据价值利用困难等问题,通过构建车间数据解析模型库对车间内各类资源的解析模型进行统一管理,内嵌预处理与预分析引擎进行数据预处理和预分析,通过标准数据接口实现实时数据、历史数据和预分析数据的集成,满足第三方业务系统的数据应用需求。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种异构数据采集与交互方法、装置、设备及存储介质。
背景技术
车间内包含人、机、料、法、环、测等繁多的各类生产资源,由于各生产资源具有不同的功能特性,导致大都采用不同的控制器,如机床多采用数控系统,仓储设备、自动化生产线采用PLC,物流、检验设备采用工控机等,即使同一类型的生产资源,由于性能参数的不同和不同结构特点,其控制器也存在多种品牌、规格和型号。
随着近年来车间数字化、智能化建设的不断提升,对现场设备的各类设备的状态、工艺、报警等参数的实时性要求也越来越高。基于上述的车间现状,导致车间存在少则十几种,多则上百种类型的控制系统,从而带来的数据结构种类也可能达到数十种,导致车间现场数据自动采集、集成困难,制约了车间数字化能力的提升。
随着工业互联网、智能制造等相关技术在车间的不断深化应用,原有的数据手工记录方式已逐渐转变为半自动或自动采集,但是由于不同车间生产所需的人、机、料、法、环、测等生产资源的类型、状态、控制方式等不同,导致异构数据自动采集存在较大工作量,且实施费用较高。以设备资源为例,现有车间内数据采集多采用单台设备单表存储模式,由于现有采集后的数据多按原始数据进行存储,不仅浪费存储空间,同时也为上位业务系统进行数据利用带来较大的工作量,导致简单的业务分析占用较多计算资源。此外,车间内的第三方业务系统由于面向对象,角色和功能特性的不同,大都采用不同的技术架构,由于数据采集和存储未提供统一的数据交互接口,对接车间异构数据时工作量较大,导致数据分析难度大,数据利用困难。
对多源异构数据进行处理可以在一定程度上解决上述问题。例如,专利申请文件202110135421.5,记载了一种多源异构数据采集系统及采集方法。本发明公开了一种多源异构数据采集系统,包括:数据采集模组、数据识别模块、数据存储模块、网络交换模块、采集操作管控系统和人机交互模块。具体的采集方法为:建立输入设备与数据采集设备之间的通信连接;根据推荐模式选择与输入设备连接的数据采集设备的采集接口;利用数据识别模块确定输入设备的数据来源,并且利用数据存储单元的数据库分割方式将输入设备的数据匹配保存在对应的存储单元;本发明可同步实现对多个数据源的采集工作,且在采集时通过识别数据源来区分保存数据,从而避免数据采集后发生数据紊乱的问题,减少数据二次分类操作,从而保证了数据采集的及时性和便利性。
再例如,专利申请文件202110294350.3,记载了一种基于工业大数据的多源异构数据融合系统及方法。本发明公开了一种基于工业大数据的多源异构数据融合系统及方法,属于大数据处理技术领域,包括数据采集模块、属性分析模块、服务器和储存模块;所述数据采集模块用于从工业大数据中采集多源异构数据,通过数据采集模块的设置,对采集到的多源异构数据进行清洗,由于获取到的数据是最基本的原始数据,不仅结构多样化而且还携带有很多冗余信息,因此需要对获取到的数据进行清洗,将结构多样、内容杂乱的数据清洗成统一标准格式的数据,并在清洗的过程中过滤掉冗余信息;通过第一分类单元的设置,对多源异构数据进行初步分类,再通过对分类后的数据进行去重,删除不需要的数据,提高储存空间使用率。
以上相关现有技术中提供的方案中,均仅实现了部分设备异构数据的集成,扩展性和迁移性较差,且同时由于未实现数据从采集、存储和发布全过程的数据交互机制,导致业务系统在使用时可能存在使用不方便或无法使用的问题,制约了现场数据价值的发挥。
发明内容
鉴于上述问题,本发明提供用于克服上述问题或者至少部分地解决上述问题的一种异构数据采集与交互方法、装置、设备及存储介质。
本发明提供了如下方案:
一种异构数据采集与交互方法,包括:
获取接入的目标资源设备的资源特征;所述目标资源设备为待采集原始资源数据的资源设备;
根据所述资源特征确定数据解析模型库中与所述目标资源设备对应的目标资源解析模型;所述数据解析模型库包括与若干资源特征一一对应的若干资源解析模型,每个所述资源特征对应一种资源设备;若干所述目标资源解析模型具有相同的数据转换协议,所述数据转换协议用于将异构数据转换为具有统一数据格式的标准数据;
获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据;
对所述原始标准数据进行预处理,以便将所述原始标准数据中包含的无效数据点数据进行剔除、替换或填充获得目标标准数据;
通过预设的数据协议将所述目标标准数据共享给第三方系统。
优选地:所述数据解析模型至少包括人员解析模型、设备解析模型、物料解析模型、环境解析模型中的任意一种或几种的组合。
优选地:所述设备解析模型包括多级子解析模型,所述多级子解析模型包括若干一级子解析模型以及与每个所述一级子解析模型对应的若干二级子解析模型;所述一级子解析模型包括加工设备解析模型、装配设备解析模型、检验设备解析模型、测试设备解析模型、仓储设备解析模型、物流设备解析模型中的任意一种或几种的组合;所述加工设备解析模型对应的二级子解析模型包括机床解析模型、铣床解析模型、冲床解析模型中的任意一种或几种的组合。
优选地:所述获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据,包括:
调用工业协议库中的与所述目标资源设备对应的采集驱动程序或总线协议,实现所述原始资源数据的接入和采集;
调用所述目标资源解析模型对所述原始资源数据进行解析和转换,将所述原始资源数据的数据字段、数据类型转换成为统一的数据格式获得所述原始标准数据。
优选地:确定所述原始标准数据的原始数据点与上次缓存的数据点不同,对所述原始标准数据进行预处理。
优选地:对所述目标标准数据包含的至少一个当前数据点进行预分析获得分析后数据点;所述预分析包括对所述当前数据点进行状态保持统计、参数超限记录、多数据点叠加计算;通过各个数据点的点名标识将各个所述当前数据点与各个分析后数据点进行数据关联。
优选地:采用预设的数据传输协议将所述目标标准数据共享给第三方系统并接收所述第三方系统发送的调度指令以及工艺参数下发指令,所述数据传输协议包括数据表共享、Socket、HTTP、MQTT。
一种异构数据采集与交互装置,所述装置包括:
资源特征获取单元,用于获取接入的目标资源设备的资源特征;所述目标资源设备为待采集原始资源数据的资源设备;
目标资源解析模型确定单元,用于根据所述资源特征确定数据解析模型库中与所述目标资源设备对应的目标资源解析模型;所述数据解析模型库包括与若干资源特征一一对应的若干资源解析模型,每个所述资源特征对应一种资源设备;若干所述资源解析模型具有相同的数据转换协议,所述数据转换协议用于将异构数据转换为具有统一数据格式的标准数据;
原始标准数据转换单元,用于获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据;
预处理单元,用于对所述原始标准数据进行预处理,以便将所述原始标准数据中包含的无效数据点数据进行剔除、替换或填充获得目标标准数据;
共享单元,用于通过预设的数据协议将所述目标标准数据共享给第三方系统。
一种数据采集与交互设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述的异构数据采集与交互方法。
一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述的异构数据采集与交互方法。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本申请实施例提供的一种异构数据采集与交互方法、装置、设备及存储介质,该方法可实现车间内各类车间资源的异构数据解析和转换、数据预处理与预分析、数据双向交互,发挥车间数据价值,满足管理人员对车间实时监控、设备效能分析、工艺参数统计等业务维度的数据需求,实现车间数据资源的价值挖掘与应用,助推企业数字化转型升级。
解决了现有车间内异构数据扩展、迁移难度大,数据分析复杂,数据价值利用困难等问题,通过构建车间数据解析模型库对车间内各类资源的解析模型进行统一管理,内嵌预处理和与预分析引擎进行数据预处理和预分析,通过标准数据接口实现实时数据、历史数据和预分析数据的集成,满足第三方业务系统的数据应用需求。
当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种异构数据采集与交互方法的流程图;
图2是本发明实施例提供的一种异构数据采集与交互方法的示意图;
图3是本发明实施例提供异构数据转换的示意图;
图4是本发明实施例提供的数据预处理的示意图;
图5是本发明实施例提供的数据预分析的示意图;
图6是本发明实施例提供的一种异构数据采集与交互装置的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本发明保护的范围。
为解决车间内繁多种类生产资源的数据自动采集、集成共享的问题,实现现场数据的有效利用,现场数据价值的充分发挥,本申请提供了一种可以用于车间使用的异构数据采集与交互方法,通过对车间内各生产资源的组成和特点进行梳理,建立典型数据解析模型库,通过模型调度与数据采集,将不同生产资源的异构数据统一转换为标准的数据形式,内嵌数据预处理引擎,对异构数据中的空值、异常值等数据进行剔除,内嵌数据预分析引擎,通过数据点状态翻转等方式,实现单数据点、多数据点的状态时长统计和分析,满足例如设备开机时长、报警时长、加工时长等数据的预分析和存储,建立数据发布引擎,通过统一的数据认证机制,满足第三方业务系统对于实时数据、历史数据、预先分析数据的使用需求,从而实现车间数据的产生、存储和利用的全过程闭环管理。
参见图1,为本发明实施例提供的一种异构数据采集与交互方法,如图1所示,该方法可以包括:
S101:获取接入的目标资源设备的资源特征;所述目标资源设备为待采集原始资源数据的资源设备;本申请实施例提供的资源设备可以是企业车间人、机、料、法、环、测等生产资源设备,其中的资源特征指的是用于指示相对的资源设备类型标识的特征。
S102:根据所述资源特征确定数据解析模型库中与所述目标资源设备对应的目标资源解析模型;所述数据解析模型库包括与若干资源特征一一对应的若干资源解析模型,每个所述资源特征对应一种资源设备;若干所述目标资源解析模型具有相同的数据转换协议,所述数据转换协议用于将异构数据转换为具有统一数据格式的标准数据;具体的,所述数据解析模型至少包括人员解析模型、设备解析模型、物料解析模型、环境解析模型中的任意一种或几种的组合。所述设备解析模型包括多级子解析模型,所述多级子解析模型包括若干一级子解析模型以及与每个所述一级子解析模型对应的若干二级子解析模型;所述一级子解析模型包括加工设备解析模型、装配设备解析模型、检验设备解析模型、测试设备解析模型、仓储设备解析模型、物流设备解析模型中的任意一种或几种的组合;所述加工设备解析模型对应的二级子解析模型包括机床解析模型、铣床解析模型、冲床解析模型中的任意一种或几种的组合。
可以理解是,本申请实施例提供的各个解析模型分别对应一种资源设备,在确定资源设备的资源特征后即可对该资源设备的类型做出判断,进而可以根据资源特征调用与其对应的解析模型,对该设备提供的资源数据进行解析最终转换成具有统一格式的标准数据。
S103:获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据;具体的,调用工业协议库中的与所述目标资源设备对应的采集驱动程序或总线协议,实现所述原始资源数据的接入和采集;
调用所述目标资源解析模型对所述原始资源数据进行解析和转换,将所述原始资源数据的数据字段、数据类型转换成为统一的数据格式获得所述原始标准数据。
S104:对所述原始标准数据进行预处理,以便将所述原始标准数据中包含的无效数据点数据进行剔除、替换或填充获得目标标准数据;具体的,确定所述原始标准数据的原始数据点与上次缓存的数据点不同,对所述原始标准数据进行预处理。在原始数据点与上次缓存的数据点相同时则无需进行预处理。
为了可以对目标标准数据进行预分析,方便后续控制使用。本申请实施例还可以提供对所述目标标准数据包含的至少一个当前数据点进行预分析获得分析后数据点;所述预分析包括对所述当前数据点进行状态保持统计、参数超限记录、多数据点叠加计算;通过各个数据点的点名标识将各个所述当前数据点与各个分析后数据点进行数据关联。
S105:通过预设的数据协议将所述目标标准数据共享给第三方系统。为了可以保证更多的第三方系统可以应用本申请提供的目标标准数据,本申请实施例可以提供采用预设的数据传输协议将所述目标标准数据共享给第三方系统并接收所述第三方系统发送的调度指令以及工艺参数下发指令,所述数据传输协议包括数据表共享、Socket、HTTP、MQTT。
本申请提供一种车间异构数据采集与交互方法,针对现阶段企业车间人、机、料、法、环、测等生产资源存在不同数据结构,导致数据转换、集成和共享困难,制约车间数据价值发挥等问题,在构建上述生产资源的数据解析模型库,将原有异构数据按照模型库中的标准车间资源模型进行统一转换,解决了异构数据的转换和集成困难问题,同时,数据库支持根据不同的车间特点和组成进行扩充,以满足接入生产资源快速扩展和系统快速迁移的需求,以适用于更多的车间。
通过内嵌数据预处理引擎,实现异常数据的剔除,确保存储数据的正确性,同时内嵌数据预分析引擎,实现单数据或多数据条件下的数据状态保持统计和分析,降低后续数据应用的计算量和调用复杂度,通过构建标准的数据交互接口,支持车间内单个资源或多个资源的实时数据、历史数据和预分析数据发布,满足第三方业务系统对现场实时数据的需求,通过对上述车间异构数据的转换、分析、存储和集成,实现现场生产资源的异构数据统一转换和数据多维度的应用,满足车间管理人员对现场数据利用需求,辅助人员进行产能评估和生产资源协调调度,以提高车间内各资源的协同效率,提升车间生产效率,方法如图2所示。
具体通过以下几个步骤实现。
异构数据转换:
参加图3,根据典型车间内生产资源组成,构建车间生产资源异构数据转换用数据解析模型库,数据解析模型可以分为人员模型、设备模型、物料模型、环境模型和其他模型等。其中,各类模型根据应用面的不同可进行进一步划分,例如设备模型可下分为加工设备模型、装配设备模型、检验设备模型、测试设备模型、仓储设备模型、物流设备模型等,其中,加工设备模型可进行下一级模型定义,分为机床、铣床、冲床等多种类型,以确保数据表征的准确性和唯一性。数据解析模型可按照数据维度分为状态、报警、工艺、效能等维度,以便用于数据分类和分级存储。
当进行异构数据采集时,数据采集软件或系统通过内部的模型调度和数据采集引擎对数据解析模型库和工业协议库进行调用,人工配置或通过参数属性定义关联两者。
进行数据采集时,首先调用工业协议库中的对应采集驱动程序或总线协议,实现对应资源数据的接入和采集,之后调用数据解析模型库中的对应资源模型进行解析和转换,将原始资源数原有不同数据结构的数据字段、数据类型转换成为统一的数据格式获得原始标准数据,便于后续的数据存储与利用。
为保证异构数据采集过程具有较好的扩展性和迁移性,数据解析模型库支持根据实际情况进行扩充,以适应各类新型设备的接入和管理。
数据预处理:
由于车间现场异构数据的不确定性,普遍存在空值、异常值等问题,后续业务系统若直接对原始数据进行应用,存在调用数据量大,计算过程复杂等问题。为降低数据存储到数据库后的IO资源占用和存储空间浪费,数据预处理过程支持数据更新校验供能。
参见图4,将原始标准数据的本次采集数据点与上次缓存数据点进行比较,有变化则再进行预处理流程,此外,数据预处理内嵌数据预处理相关逻辑和算法,通过去空值、异常点判定、数据范围筛选等技术手段,实现无效数据点数据的剔除、替换或填充获得目标标准数据,确保存储数据的正确性和有效性。数据原始点和数据预处理后的点之间一一对应,通过自动生成的数据点名标识进行关联,确保数据的可追溯性。
数据预分析:
车间内原始数据点位多、维度杂、实时性高,使得原始数据点具有维度多,数据量大等特征,导致后续业务系统直接使用数据点存在逻辑转换复杂,占用计算资源多等现状,制约了车间数据价值的发挥。
参见图5,通过内嵌数据预分析引擎,将目标标准数据包含的单个原始数据点或多个原始数据点的状态进行统计和记录,实现原始点的状态保持统计、参数超限记录、多数据点叠加计算等预分析,并将预分析数据点进行持久化存储。原始点与数据预分析后的点之间存在一对一、多对一或一对多的多种对应关系,通过自动生成的数据点点名标识进行数据关联,确保数据的可追溯性。
数据交互:
车间包含SCADA、MES、EMS等业务系统,对车间数据所需的维度、实行性都不相同,由于上述业务系统大都采用不同开发框架和技术架构,导致数据集成困难。结合上述现状,数据交互支持数据表共享、Socket、HTTP、MQTT等多种数据协议,定义了标准的数据校验和数据传输机制,实现实时数据、历史数据和预分析数据与第三方业务系统的集成和共享,满足各业务系统对数据使用的需求。数据交互支持数据双向传输,可实现指定的第三方业务系统下发暂停、挂起、取消的调度指令和工艺参数下发到指定生产资源,从而实现直接控制生产现场资源的状态和相关参数。
本申请实施例提供的方法,其从异构数据解析模型库管理、数据预处理和预分析、数据交互等过程的车间数据从产生、采集、存储和分析应用全过程的实现思路,通过对车间现场人、机、料、法、环、测等各类资源的异构数据采集、处理、分析和接口发布,满足管理人员对车间不同维度的数据需求,辅助人员进行产能评估和生产资源调度,以提升车间生产效率。
异构数据统一转换,针对不同车间的资源组成不同,构建了可扩展的车间异构数据解析统一转换用数据解析模型库,可根据资源类型,资源特征进行数据解析模型选择,通过调用工业协议库的数据驱动程序,实现现场异构数据的统一转化,以便满足后续数据处理和分析需求。
数据预处理和预分析,针对转换后的车间资源各类状态、工艺和报警数据,内嵌预处理引擎对数据空值、异常值进行剔除,确保数据存储的正确性和有效性,内嵌预分析引擎,对单数据或多数据项的状态保持时间等进行统计和记录,满足后续设备利用率、开机时长等有业务维度的数据应用需求,降低后续数据利用的计算复杂度。
数据交互,针对预处理后存储的历史数据和预分析后的业务数据,通过建立统一的数据表进行存储,采用标准数据接口输出,满足对单台、多台或全部生产资源的部分数据、全量数据的使用需求,实现对业务系统的车间数据利用的有效支撑,同时,支撑双向数据传输,满足第三方系统紧急下发停止、挂起、取消等相关指令,确保生产过程管理和关键控制的一体化贯通,实现数据双向交互,最终满足车间现场资源的实时可控。
为解决现有车间内异构数据采集困难、存储资源浪费、接口调用困难等问题,本申请提供的实施例通过建立对车间内资源特征进行梳理,构建可扩充的车间资源数据模块库,在此基础上,采用统一的数据格式进行设备标准数据定义,按照状态、效能、工艺等维度进行拆分和存储,通过内嵌的数据预处理引擎,对异常数据进行处理,实现异常数据的过滤,确保存储数据的有效性,通过数据预分析引擎,对车间资源的单个参数或多个参数状态保持、状态翻转时间进行记录,满足业务系统数据利用的需求,降低业务系统利用车间数据的计算复杂度。构建统一的数据交互接口,提供实时数据、历史数据、效能数据的对外输出,支持第三方业务系统获取单个、多个或全部资源的相关数据,实现车间现场监控,车间效能分析等业务功能。
本申请实施例提供的方法内嵌可扩展的数据解析模型库,可根据不同车间进行快速扩充和迁移,满足不同车间的数据接入需求,内嵌数据预处理引擎和预分析引擎,确保存储数据的有效性,实现对部分业务数据预分析,降低后续数据利用的难度,提供标准的数据双向交互接口,满足不同业务系统不同维度的现场数据使用需求,本方法可有效的降低车间数据使用的难度和计算法复杂度,实现车间现场数据的业务应用和价值挖掘。
总之,本申请实施例提供的方法,解决了现有车间内异构数据扩展、迁移难度大,数据分析复杂,数据价值利用困难等问题,通过构建车间数据解析模型库对车间内各类资源的解析模型进行统一管理,内嵌预处理和与预分析引擎进行数据预处理和预分析,通过标准数据接口实现实时数据、历史数据和预分析数据的集成,满足第三方业务系统的数据应用需求。
可实现车间内各类车间资源的异构数据解析和转换、数据预处理与预分析、数据双向交互,发挥车间数据价值,满足对管理人员对车间实时监控、设备效能分析、工艺参数统计等业务维度的数据需求,实现车间数据资源的价值挖掘与应用,助推企业数字化转型升级。
参见图6,本申请实施例还可以提供一种异构数据采集与交互装置,如图6所示,所述装置包括:
资源特征获取单元201,用于获取接入的目标资源设备的资源特征;所述目标资源设备为待采集原始资源数据的资源设备;
目标资源解析模型确定单元202,用于根据所述资源特征确定数据解析模型库中与所述目标资源设备对应的目标资源解析模型;所述数据解析模型库包括与若干资源特征一一对应的若干资源解析模型,每个所述资源特征对应一种资源设备;若干所述目标资源解析模型具有相同的数据转换协议,所述数据转换协议用于将异构数据转换为具有统一数据格式的标准数据;
原始标准数据转换单元203,用于获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据;
预处理单元204,用于对所述原始标准数据进行预处理,以便将所述原始标准数据中包含的无效数据点数据进行剔除、替换或填充获得目标标准数据;
共享单元,用于通过预设的数据协议将所述目标标准数据共享给第三方系统。
本申请实施例还可以提供一种数据采集与交互设备,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行上述的异构数据采集与交互方法。
本申请实施例还可以提供一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行上述的异构数据采集与交互方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加上必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种异构数据采集与交互方法,其特征在于,所述方法包括:
获取接入的目标资源设备的资源特征;所述目标资源设备为待采集原始资源数据的资源设备;
根据所述资源特征确定数据解析模型库中与所述目标资源设备对应的目标资源解析模型;所述数据解析模型库包括与若干资源特征一一对应的若干资源解析模型,每个所述资源特征对应一种资源设备;若干所述目标资源解析模型具有相同的数据转换协议,所述数据转换协议用于将异构数据转换为具有统一数据格式的标准数据;
获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据;
对所述原始标准数据进行预处理,以便将所述原始标准数据中包含的无效数据点数据进行剔除、替换或填充获得目标标准数据;
通过预设的数据协议将所述目标标准数据共享给第三方系统。
2.根据权利要求1所述的异构数据采集与交互方法,其特征在于,所述数据解析模型至少包括人员解析模型、设备解析模型、物料解析模型、环境解析模型中的任意一种或几种的组合。
3.根据权利要求2所述的异构数据采集与交互方法,其特征在于,所述设备解析模型包括多级子解析模型,所述多级子解析模型包括若干一级子解析模型以及与每个所述一级子解析模型对应的若干二级子解析模型;所述一级子解析模型包括加工设备解析模型、装配设备解析模型、检验设备解析模型、测试设备解析模型、仓储设备解析模型、物流设备解析模型中的任意一种或几种的组合;所述加工设备解析模型对应的二级子解析模型包括机床解析模型、铣床解析模型、冲床解析模型中的任意一种或几种的组合。
4.根据权利要求1所述的异构数据采集与交互方法,其特征在于,所述获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据,包括:
调用工业协议库中的与所述目标资源设备对应的采集驱动程序或总线协议,实现所述原始资源数据的接入和采集;
调用所述目标资源解析模型对所述原始资源数据进行解析和转换,将所述原始资源数据的数据字段、数据类型转换成为统一的数据格式获得所述原始标准数据。
5.根据权利要求1所述的异构数据采集与交互方法,其特征在于,确定所述原始标准数据的原始数据点与上次缓存的数据点不同,对所述原始标准数据进行预处理。
6.根据权利要求1所述的异构数据采集与交互方法,其特征在于,对所述目标标准数据包含的至少一个当前数据点进行预分析获得分析后数据点;所述预分析包括对所述当前数据点进行状态保持统计、参数超限记录、多数据点叠加计算;通过各个数据点的点名标识将各个所述当前数据点与各个分析后数据点进行数据关联。
7.根据权利要求1所述的异构数据采集与交互方法,其特征在于,采用预设的数据传输协议将所述目标标准数据共享给第三方系统并接收所述第三方系统发送的调度指令以及工艺参数下发指令,所述数据传输协议包括数据表共享、Socket、HTTP、MQTT。
8.一种异构数据采集与交互装置,其特征在于,所述装置包括:
资源特征获取单元,用于获取接入的目标资源设备的资源特征;所述目标资源设备为待采集原始资源数据的资源设备;
目标资源解析模型确定单元,用于根据所述资源特征确定数据解析模型库中与所述目标资源设备对应的目标资源解析模型;所述数据解析模型库包括与若干资源特征一一对应的若干资源解析模型,每个所述资源特征对应一种资源设备;若干所述资源解析模型具有相同的数据转换协议,所述数据转换协议用于将异构数据转换为具有统一数据格式的标准数据;
原始标准数据转换单元,用于获取所述原始资源数据,通过所述目标资源解析模型将所述原始资源数据转换为原始标准数据;
预处理单元,用于对所述原始标准数据进行预处理,以便将所述原始标准数据中包含的无效数据点数据进行剔除、替换或填充获得目标标准数据;
共享单元,用于通过预设的数据协议将所述目标标准数据共享给第三方系统。
9.一种数据采集与交互设备,其特征在于,所述设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行权利要求1-7任一项所述的异构数据采集与交互方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码用于执行权利要求1-7任一项所述的异构数据采集与交互方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211049005.4A CN115391444A (zh) | 2022-08-30 | 2022-08-30 | 一种异构数据采集与交互方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211049005.4A CN115391444A (zh) | 2022-08-30 | 2022-08-30 | 一种异构数据采集与交互方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115391444A true CN115391444A (zh) | 2022-11-25 |
Family
ID=84124844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211049005.4A Pending CN115391444A (zh) | 2022-08-30 | 2022-08-30 | 一种异构数据采集与交互方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115391444A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116225682A (zh) * | 2022-12-06 | 2023-06-06 | 北京瑞风协同科技股份有限公司 | 一种合标数据服务器及合标数据处理方法 |
CN116405976A (zh) * | 2023-06-06 | 2023-07-07 | 中国民用航空飞行学院 | 基于ads-b的数据双向通信优化方法及系统 |
CN117171534A (zh) * | 2023-11-03 | 2023-12-05 | 济南二机床集团有限公司 | 一种数控机床多源异构数据获取方法、系统、装置及介质 |
CN118446428A (zh) * | 2024-05-29 | 2024-08-06 | 北京星航机电装备有限公司 | 面向航天离散制造的数据治理方法及系统 |
-
2022
- 2022-08-30 CN CN202211049005.4A patent/CN115391444A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116225682A (zh) * | 2022-12-06 | 2023-06-06 | 北京瑞风协同科技股份有限公司 | 一种合标数据服务器及合标数据处理方法 |
CN116405976A (zh) * | 2023-06-06 | 2023-07-07 | 中国民用航空飞行学院 | 基于ads-b的数据双向通信优化方法及系统 |
CN116405976B (zh) * | 2023-06-06 | 2023-09-22 | 中国民用航空飞行学院 | 基于ads-b的数据双向通信优化方法及系统 |
CN117171534A (zh) * | 2023-11-03 | 2023-12-05 | 济南二机床集团有限公司 | 一种数控机床多源异构数据获取方法、系统、装置及介质 |
CN117171534B (zh) * | 2023-11-03 | 2024-03-19 | 济南二机床集团有限公司 | 一种数控机床多源异构数据获取方法、系统、装置及介质 |
CN118446428A (zh) * | 2024-05-29 | 2024-08-06 | 北京星航机电装备有限公司 | 面向航天离散制造的数据治理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115391444A (zh) | 一种异构数据采集与交互方法、装置、设备及存储介质 | |
CN105608144B (zh) | 一种基于多层模型迭代的大数据分析平台装置及方法 | |
CN100444121C (zh) | 批量任务调度引擎及调度方法 | |
CN112016828B (zh) | 基于流式大数据的工业设备健康管理云平台架构 | |
CN105323111A (zh) | 一种运维自动化系统及方法 | |
CN105427193A (zh) | 一种基于分布式时序数据服务的大数据分析装置及方法 | |
CN113220776B (zh) | 一种工业数据处理系统和方法 | |
CN112462696A (zh) | 一种智能制造车间数字孪生模型构建方法与系统 | |
CN108009258A (zh) | 一种可在线配置的数据采集与分析平台 | |
CN113448693B (zh) | 一种数字化工厂saas云平台 | |
CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
CN111650912A (zh) | 一种面向智慧工厂/车间的智能制造生产管理平台 | |
CN111538720B (zh) | 电力行业基础数据清理的方法及系统 | |
CN114238388A (zh) | 一种基于多协议的异构数据收集及检索系统 | |
CN112817958A (zh) | 电力规划数据采集方法、装置及智能终端 | |
CN112559634A (zh) | 一种基于计算机云计算大数据用数据管理系统 | |
CN112732802A (zh) | 一种基于大数据的企业数据挖掘系统及方法 | |
CN115908046A (zh) | 基于航站楼bim的可视化配电系统 | |
CN113392154A (zh) | 基于soa构架与分布式部署的数据库的数据系统 | |
CN115730015A (zh) | 基于任务标识编码解析的工业数据管理方法 | |
CN113535837B (zh) | 统一数据开发与分布式的调度系统 | |
CN115081679A (zh) | 基于cdc的工业数据动态变化自动感知处理系统 | |
CN114969183A (zh) | 一种应用于高速公路建设的信息化管理服务平台 | |
CN112433511A (zh) | 智能工厂用产品流程控制系统 | |
CN115185242B (zh) | 一种智能工厂管控平台的建模方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |