发明内容
本发明的主要目的在于提供一种工业互联网大数据平台及数据处理方法,旨在解决在工业生产过程中有效提炼数据进行分析的技术问题。
为实现上述目的,本发明提供一种工业互联网大数据平台,所述工业互联网大数据平台包括:数据采集模块、日志获取模块、设备确认模块以及数据获取模块;
所述数据采集模块,用于在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件;
所述日志获取模块,用于若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集;
所述设备确认模块,用于获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备;
所述数据获取模块,用于根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据。
可选的,所述数据采集模块还用于获取预设周期规则,根据所述预设周期规则在目标接口采集待处理工业数据;
将所述待处理工业数据存入预设存储空间中;
在所述预设存储空间中根据预设阈值判断所述待处理工业数据是否有效。
可选的,所述日志获取模块还用于获取所述待处理工业数据中所有数据来源接口信息;
根据所述数据来源接口信息确定对应的待匹配工业设备;
根据所述待匹配工业设备确定工业设备信息;
获取所述工业设备信息中的工业设备日志集。
可选的,所述设备确认模块还用于获取关键事件规则标识,根据所述关键事件规则标识获取匹配条件;
在所述工业设备日志集中根据所述匹配条件确定第二工业设备集合;
在所述第二工业设备集合中获取所有工业设备对应的事件信息;
根据所述关键事件规则标识和所述事件信息在所述第二工业设备集合中获取目标设备。
可选的,所述设备确认模块还用于获取所述关键事件规则标识对应的关键事件,确定所述关键事件对应的预设匹配属性集合;
将所述事件信息在所述预设匹配属性集合中进行匹配;
根据匹配结果确定目标设备。
可选的,所述设备确认模块,还用于获取所述关键事件规则标识对应的规则语法,对所述规则语法进行词法分析,根据词法分析结果将存在词法错误的规则语法删除,得到待处理规则语法;
对所述待处理规则语法进行语法分析,根据语法分析结果将存在语法错误的规则语法删除得到目标语法规则;
根据所述目标语法规则获取对应的关键事件,确定关键事件对应的预设匹配属性集合。
可选的,所述数据获取模块还用于获取所述待处理工业数据中的标识信息,建立所述标识信息与工业设备的关系映射表;
获取预设冗余设备标识信息,并在所述关系映射表中删除所述冗余设备标识信息以更新关系映射表;
在所述关系映射表中结合所述目标设备对应的目标设备标识进行匹配以获得有效工业数据。
进一步地,为实现上述目的,本发明还提供一种数据处理方法,所述数据处理方法应用于工业互联网大数据平台,所述方法包括:
在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件;
若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集;
获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备;
根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据。
可选地,所述在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件包括:
获取预设周期规则,根据所述预设周期规则在目标接口采集待处理工业数据;
将所述待处理工业数据存入预设存储空间中;
在所述预设存储空间中根据预设阈值判断所述所述待处理工业数据是否有效。
可选地,所述根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集包括:
获取所述待处理工业数据中所有数据来源接口信息;
根据所述数据来源接口信息确定对应的待匹配工业设备;
根据所述待匹配工业设备确定工业设备信息;
获取所述工业设备信息中的工业设备日志集。
本发明在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件;若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集;获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备;根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据;在满足预设条件的情况下根据待处理工业数据获取待处理工业设备信息并确定工业设备日志集,通过关键事件规则标识在工业设备日志集中获取目标设备,根据目标设备以匹配有效工业数据,实现了在工业生产过程中有效提炼数据的技术效果。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明工业互联网大数据平台第一实施例的结构框图。所述工业互联网大数据平台包括:数据采集模块10、日志获取模块20、设备确认模块30以及数据获取模块40。
所述数据采集模块10,用于在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件。
需要说明的是,本实施例的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备,例如智能手机、平板电脑、个人电脑等,也可以是其他能够实现上述功能的设备,本实施例对此不作限制。本实施例及下述各实施例将以数据处理设备为例进行具体说明。
需要说明的是,所述预设周期是指在根据实际需要所预先配置的预设周期,所述预设周期可以是20小时之内也可以是1小时之内,本实施例在此不做限制。
可以理解的是,所述待处理工业数据是指在工业领域中,围绕典型智能制造模式,从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心,极大延展了传统工业数据范围,同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类:第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。
需要说明的是,预设条件是指为了判断所述待处理工业数据是否满足接下来执行的操作而设定的条件。
在具体实施中,在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件是通过获取预设周期,在预设周期的时刻起点一直道时刻终点采集待处理工业数据,在获取到待处理工业数据之后根据预设条件对所述待处理工业数据进行判断。
进一步地,为了增加所述待处理工业数据判断的准确性,所述数据采集模块还用于获取预设周期规则,根据所述预设周期规则在目标接口采集待处理工业数据;将所述待处理工业数据存入预设存储空间中;在所述预设存储空间中根据预设阈值判断所述所述待处理工业数据是否有效。
需要说明的是,工业大数据除具有一般大数据的特征(数据量大、多样、快速和价值密度低)外,还具有时序性、强关联性、准确性、闭环性等特征。
(1)数据容量大 (Volume):数据的大小决定所考虑的数据的价值和潜在的信息;工业数据体量比较大,大量机器设备的高频数据和互联网数据持续涌入,大型工业企业的数据集将达到PB级甚至EB级别。
(2)多样 (Variety):指数据类型的多样性和来源广泛;工业数据分布广泛,分布于机器设备、工业产品、管理系统、互联网等各个环节;并且结构复杂,既有结构化和半结构化的传感数据,也有非结构化数据。
(3)快速 (Velocity):指获得和处理数据的速度。工业数据处理速度需求多样,生产现场级要求时限时间分析达到毫秒级,管理与决策应用需要支持交互式或批量数据分析。
(4)价值密度低 (Value):工业大数据更强调用户价值驱动和数据本身的可用性,包括:提升创新能力和生产经营效率,及促进个性化定制、服务化转型等智能制造新模式变革。
(5)时序性 (Sequence):工业大数据具有较强的时序性,如订单、设备状态数据等。
(6)强关联性 (Strong-Relevance):一方面,产品生命周期同一阶段的数据具有强关联性,如产品零部件组成、工况、设备状态、维修情况、零部件补充采购等;另一方面,产品生命周期的研发设计、生产、服务等不同环节的数据之间需要进行关联。
(7)准确性 (Accuracy):主要指数据的真实性、完整性和可靠性,更加关注数据质量,以及处理、分析技术和方法的可靠性。对数据分析的置信度要求较高,仅依靠统计相关性分析不足以支撑故障诊断、预测预警等工业应用,需要将物理模型与数据模型结合,挖掘因果关系。
(8)闭环性 (Closed-loop):包括产品全生命周期横向过程中数据链条的封闭和关联,以及智能制造纵向数据采集和处理过程中,需要支撑状态感知、分析、反馈、控制等闭环场景下的动态持续调整和优化。由于以上特征,工业大数据作为大数据的一个应用行业,在具有广阔应用前景的同时,对于传统的数据管理技术与数据分析技术也提出了很大的挑战。
所述日志获取模块20,用于若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集。
需要说明的是,待处理工业设备信息即产生所述待处理工业数据对应的设备信息,所述待处理工业设备信息可以是在生产制造过程中的管理终端设备,也可以是生产车间中的组装机器,本实施例在此不做限制。
可以理解的是,所述工业设备日志集即工业设备对应的工作日志集合,在每一工作日志中,记录了对应设备的工作任务输出,同时包括工作时间、工作对象、具体工作方式等。
在具体实施中,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集是通过通过所述待处理工业数据获取对应的待处理工业设备信息,在工业设备信息中获取每一工业设备对应的工作日志以生成工作日志集合。
进一步地,为了在获取目标设备时排除不符合条件的相关设备,所述设备确认模块还用于获取关键事件规则标识,根据所述关键事件规则标识获取匹配条件;在所述工业设备日志集中根据所述匹配条件确定第二工业设备集合;在所述第二工业设备集合中获取所有工业设备对应的事件信息;根据所述关键事件规则标识和所述事件信息在所述第二工业设备集合中获取目标设备。
需要说明的是,所述关键事件规则标识是指工业设备的工作日志集中的数据携带的标识,在工作日志集进行处理关键事件时,相对应的工业数据就会被赋予关键事件规则标识。
可以理解的是,所述第二工业设备集合的范围比所述工业设备信息更小,是为了在所述工业设备信息中进一步缩小判定范围生成的集合。
需要说明的是,匹配条件是指对应的关键事件是否经过处理的条件。
可以理解的是,事件信息是指在工作日志集中具体的工作内容,通过获取工作日志集可以对应获取所有时间段内的事件信息内容。
需要说明的是,目标设备是指在本实施例中对应产生有效工业数据的工业设备,通过在所有设备信息中获取目标设备可以实现获取有效工业数据。
在具体实施中,获取关键事件规则标识,根据所述关键事件规则标识获取匹配条件;在所述工业设备日志集中根据所述匹配条件确定第二工业设备集合;在所述第二工业设备集合中获取所有工业设备对应的事件信息;根据所述关键事件规则标识和所述事件信息在所述第二工业设备集合中获取目标设备是通过获取关键事件规则标识以在其中获取对应的匹配条件,在所述工业设备日志集中将满足匹配条件的设备组成第二工业设备集合;在第二工业设备集合中将所有工业设备对应的事件信息进行获取。
进一步地,为了在确定工业设备日志集的过程中更加准确,所述日志获取模块还用于获取所述待处理工业数据中所有数据来源接口信息;根据所述数据来源接口信息确定对应的待匹配工业设备;根据所述待匹配工业设备确定工业设备信息;获取所述工业设备信息中的工业设备日志集。
所述设备确认模块30,用于获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备。
所述数据获取模块40,用于根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据。
进一步地,为了排除在获取有效工业数据的过程中出现的冗余数据,所述数据获取模块还用于获取所述待处理工业数据中的标识信息,建立所述标识信息与工业设备的关系映射表;获取预设冗余设备标识信息,并在所述关系映射表中删除所述冗余设备标识信息以更新关系映射表;在所述关系映射表中结合所述目标设备对应的目标设备标识进行匹配以获得有效工业数据。
本实施例在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件;若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集;获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备;根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据;在满足预设条件的情况下根据待处理工业数据获取待处理工业设备信息并确定工业设备日志集,通过关键事件规则标识在工业设备日志集中获取目标设备,根据目标设备以匹配有效工业数据,实现了在工业生产过程中有效提炼数据的技术效果。
参照图2,本发明工业互联网大数据平台提供一种数据处理方法,图2为本发明数据处理方法第一实施例的流程示意图,所述数据处理方法包括:
步骤S10:在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件。
在具体实施中,获取预设周期规则,根据所述预设周期规则在目标接口采集待处理工业数据;将所述待处理工业数据存入预设存储空间中;在所述预设存储空间中根据预设阈值判断所述所述待处理工业数据是否有效。
步骤S20:若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集。
在具体实施中,获取所述待处理工业数据中所有数据来源接口信息;根据所述数据来源接口信息确定对应的待匹配工业设备;根据所述待匹配工业设备确定工业设备信息;获取所述工业设备信息中的工业设备日志集。
步骤S30:获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备。
步骤S40:根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据。
在具体实施中,获取所述待处理工业数据中的标识信息,建立所述标识信息与工业设备的关系映射表;获取预设冗余设备标识信息,并在所述关系映射表中删除所述冗余设备标识信息以更新关系映射表;在所述关系映射表中结合所述目标设备对应的目标设备标识进行匹配以获得有效工业数据。
需要说明的是,所述预设冗余设备标识信息是指根据预设冗余设备信息获取的预设冗余设备标识,在制造生产中一些不需要对其数据进行分析的无关设备可以增添冗余设备标识,将其对应产生的数据标记为冗余数据进行忽略或者删除。
本实施例在预设周期内采集待处理工业数据,判断所述待处理工业数据是否满足预设条件;若所述待处理工业数据满足所述预设条件,根据所述待处理工业数据获取待处理工业设备信息,并确定工业设备日志集;获取关键事件规则标识,通过所述关键事件规则标识在所述工业设备日志集中对所述所有工业设备信息进行匹配,以获得目标设备;根据所述目标设备对应的目标设备标识在所述待处理工业数据中进行匹配以获得有效工业数据;在满足预设条件的情况下根据待处理工业数据获取待处理工业设备信息并确定工业设备日志集,通过关键事件规则标识在工业设备日志集中获取目标设备,根据目标设备以匹配有效工业数据,实现了在工业生产过程中有效提炼数据的技术效果。
参考图3,图3为本发明数据处理方法第二实施例的流程示意图。
基于上述实施例,本实施例数据处理方法的所述步骤S30包括:
步骤S301:获取关键事件规则标识,根据所述关键事件规则标识获取匹配条件。
步骤S302:在所述工业设备日志集中根据匹配条件确定第二工业设备集合;
步骤S303:在所述第二工业设备集合中获取所有工业设备对应的事件信息;
步骤S304:根据所述关键事件规则标识和所述事件信息在所述第二工业设备集合中获取目标设备。
在具体实施中,所述根据所述关键事件规则标识和所述事件信息在所述第二工业设备集合中获取目标设备包括:获取所述关键事件规则标识对应的关键事件,确定关键事件对应的预设匹配属性集合;将所述事件信息在所述预设匹配属性集合中进行匹配;根据匹配结果确定目标设备。
在具体实施中,所述获取所述关键事件规则标识对应的关键事件,确定关键事件对应的预设匹配属性集合包括:获取所述关键事件规则标识对应的规则语法,对所述规则语法进行词法分析,根据词法分析结果将存在词法错误的规则语法删除,得到待处理规则语法;对所述待处理规则语法进行语法分析,根据语法分析结果将存在语法错误的规则语法删除得到目标语法规则;根据所述目标语法规则获取对应的关键事件,确定关键事件对应的预设匹配属性集合。
本实施例通过获取关键事件规则标识,根据所述关键事件规则标识获取匹配条件;在所述工业设备日志集中根据匹配条件确定第二工业设备集合;在所述第二工业设备集合中获取所有工业设备对应的事件信息;根据所述关键事件规则标识和所述事件信息在所述第二工业设备集合中获取目标设备;通过根据关键事件规则获取匹配条件,在工业设备日志集中根据匹配条件确定第二工业设备集合,并获取所有工业设备对应的事件信息;根据关键事件规则标识和事件信息在第二工业设备集合中获取目标设备实现了对目标设备精确获取的技术效果。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。