CN112069220A - 一种工业大数据平台快速查询方法 - Google Patents
一种工业大数据平台快速查询方法 Download PDFInfo
- Publication number
- CN112069220A CN112069220A CN202010782179.6A CN202010782179A CN112069220A CN 112069220 A CN112069220 A CN 112069220A CN 202010782179 A CN202010782179 A CN 202010782179A CN 112069220 A CN112069220 A CN 112069220A
- Authority
- CN
- China
- Prior art keywords
- node
- data
- service
- subgraph
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000009776 industrial production Methods 0.000 claims description 19
- 238000003860 storage Methods 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Abstract
本发明涉及一种工业大数据平台快速查询方法,该方法包括:获取查询需求;在预先建立的工业大数据平台中,确定与查询需求对应的查询对象;基于查询对象,得到查询结果;其中,工业大数据平台包括:数据采集单元,数据存储单元,数据处理单元;数据采集单元,用于控制各控制系统采集原始工业数据;数据存储单元,用于存储原始工业数据;数据处理单元,用于对原始工业数据进行处理,且处理结果存储与数据存储单元。本发明提供的方法可以从分散采集的数据中进行快速查询。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种工业大数据平台快速查询方法。
背景技术
随着大数据技术的发展与进步,大数据分析技术正在工业生产过程中占有越来越重要的地位,然而工业生产过程通常涉及不同的控制系统,每个控制系统对其产生的数据进行采集,对于分散采集到的数据,如何进行快速查询,成为当下面临的首要问题。
发明内容
(一)要解决的技术问题
为了解决上述问题,本发明提供一种工业大数据平台快速查询方法。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
一种工业大数据平台快速查询方法,所述方法包括:
S101,获取查询需求;
S102,在预先建立的工业大数据平台中,确定与所述查询需求对应的查询对象;
S103,基于所述查询对象,得到查询结果;
其中,所述工业大数据平台包括:数据采集单元,数据存储单元,数据处理单元;
所述数据采集单元,用于控制各控制系统采集原始工业数据;
所述数据存储单元,用于存储所述原始工业数据;
所述数据处理单元,用于对所述原始工业数据进行处理,且处理结果存储与所述数据存储单元。
可选地,所述数据采集单元控制各控制系统采集原始工业数据的过程包括:
数据采集单元向各控制系统发送采集时间参数,以使各控制系统根据所述采集策略采集原始工业数据,并反馈采集的原始工业数据。
可选地,所述时间参数包括如下的一种或多种:采集起始时间,采集终止时间,采集频率,一次采集时长。
可选地,所述数据采集单元向各控制系统发送采集策略之后,还包括:
获取各控制系统反馈的控制系统标识和控制系统类型;
其中,所述工业系统包括多个节点,每个节点对应一个控制系统;所述控制系统类型为控制系统所对应节点的类型;
节点的类型为智能设备或非智能设备,以及,如下的一种:工业生产设备、工业控制设备、工业虚拟设备。
可选地,所述数据处理单元对所述原始工业数据进行处理的过程包括:
S201,获取工业系统的拓扑结构以及业务逻辑,所述业务逻辑,用于描述各业务涉及的节点,以及各业务执行顺序;
S202,根据所述拓扑结构和业务逻辑,确定各控制系统之间的业务关系;
S203,根据业务关系将所述原始工业数据进行归类;
S204,将每类原始工业数据进行融合,将融合后的数据进行存储,存储时以<key,value>结构进行存储,其中该类对应的业务关系标识作为key,该类所有原始工业数据作为value。
可选地,所述value为该类所有原始工业数据的存储位置标识。
可选地,所述S202具体包括:
对于每一个业务逻辑,
S202-1,确定其涉及的节点,并根据业务执行顺序确定各节点的顺序;
S202-2,从所述拓扑结构中获取其业务节点所对应的结构,并将所对应的结构形成逻辑无向图,其中逻辑无向图中每个节点唯一对应一个节点,若两个节点之间连接,则的两节点之间存在一条边;
S202-3,基于各节点的顺序,形成业务有向图,其中业务有向图中每个点唯一对应一个节点,若两个节点之间有直接的业务关系,则两节点之间存在一条边,且边的方向与业务顺序方向一致;
S202-4,基于逻辑无向图中以及业务有向图确定该业务逻辑所包括的节点所对应的控制系统之间的业务关系。
可选地,所述S202-4具体包括:
对比逻辑无向图以及业务有向图,对于结构相同的子图,选择业务有向图;
对于结构不同的子图,确定其涉及节点所对应的控制系统类型;若所述控制系统类型中仅包括非智能设备,则选择业务有向图部分;若所述控制系统类型中包括智能设备,则若所述控制系统类型中还包括工业生产设备,则选择业务有向图部分,若所述控制系统类型中不包括工业生产设备,但包括工业控制设备,则选择逻辑无向图部分,若所述控制系统类型中仅包括工业虚拟设备,则选择融合图,所述融合图是基于逻辑无向图中结构不同的子图以及业务有向图中结构不同的子图得到的;
将选择的结构相同的子图以及结构不同的子图形成一幅图,形成的图确定为该业务逻辑所包括的节点所对应的控制系统之间的业务关系。
可选地,所述融合图确定方法包括:
对于第一子图中各节点,确定其在第二子图中是否存在对应的节点;所述第一子图为业务有向图中结构不同的子图,所述第二子图为逻辑无向图中结构不同的子图;
对于第一节点,1)若所述第一节点在第二子图中存在对应的节点,则,
1.1)确定第一节点的度D1,并确定第一节点在第二子图中对应的节点的度D2;所述第一节点为第一子图中的点,且所述第一节点在第二子图中存在对应节点;所述第一节点的度为所述第一节点的出度+所述第一节点的入度;
1.2)确定与第一节点存在边的各第一关联节点,确定各第一关联节点的度D3,所述第一关联节点的度=第一关联节点的出度+第一关联节点的入度;
1.3.1)若存在一个第一关联节点的D3*D1/D2不小于D2,则将第一节点与其第一关联节点形成的子图作为所述第一节点在融合图的子图;
1.3.2)若不存在任何一个第一关联节点的D3*D1/D2不小于D2,则确定第一节点在第二子图中对应的节点存在边的各第二关联节点;
1.3.2.1)对于任一第二关联节点,若所述任一第二关联节点在第一关联节点中存在相同节点,则忽略;
1.3.2.2)若所述任一第二关联节点在第一关联节点中不存在相同节点,则将所述任一第二关联节点加入第一节点与其第一关联节点形成的子图中,并将所述任一第二关联节点与所述第一节点连接,若第一节点的入度大于出度,则所述任一第二关联节点与所述第一节点之间的连接方向为从所述第一节点指向所述任一第二关联节点;若第一节点的入度不大于出度,则所述任一第二关联节点与所述第一节点之间的连接方向为从所述任一第二关联节点指向所述第一节点;并将处理后的图为作为所述第一节点在融合图的子图。
2)若所述第一节点在第二子图中不存在对应的节点,则将第一节点与其在第一子图中存在边的各节点形成的子图作为所述第一节点在融合图的子图。
可选地,所述S102具体包括:
S102-1,根据查询需求确定待查询业务;
S102-2,确定查询业务对应的业务关系标识;
S102-3,将以所述查询业务对应的业务关系标识为key对应的value作为查询对象。
(三)有益效果
本发明的有益效果是:通过获取查询需求,在预先建立的工业大数据平台中,确定与查询需求对应的查询对象,基于查询对象,得到查询结果,实现分散采集的数据中的快速查询。
附图说明
图1为本申请一实施例提供的一种工业系统的结构示意图;
图2为本申请一实施例提供的一种工业系统的拓扑结构示意图;
图3为本申请一实施例提供的一种确定该业务逻辑所包括的节点所对应的控制系统之间的业务关系的示意图;
图4为本申请一实施例提供的另一种确定该业务逻辑所包括的节点所对应的控制系统之间的业务关系的示意图;
图5为本申请一实施例提供的另一种确定该业务逻辑所包括的节点所对应的控制系统之间的业务关系的示意图;
图6为本申请一实施例提供的一种工业大数据平台快速查询方法的流程示意图。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施方式,对本发明作详细描述。
随着大数据技术的发展与进步,大数据分析技术正在工业生产过程中占有越来越重要的地位,然而工业生产过程通常涉及不同的控制系统,每个控制系统对其产生的数据进行采集,对于分散采集到的数据,如何进行快速查询,成为当下面临的首要问题。
基于此,本发明提供一种工业大数据平台快速查询方法,通过获取查询需求,在预先建立的工业大数据平台中,确定与查询需求对应的查询对象,基于查询对象,得到查询结果,实现分散采集的数据中的快速查询。
本发明所针对的工业大数据平台与多个控制系统连接。控制系统以控制系统标识作为身份的唯一标识,不同控制系统的类型可以相同也可以不同。任一控制系统的类型包括2个,第一个标识该控制系统的智能化程度,具体为智能设备或者非智能设备,第二个标识该控制系统的设备类型,具体为工业生产设备,或者,工业控制设备,或者,工业虚拟设备。
将工业系统和控制系统抽象成图,则可以如图1所示,工业系统为一个节点(图1中的黑色点),每个控制系统为一个节点(图1中的白色点),工业系统与每个控制系统之间连接一条线(如图1中黑点与白点之间的线),即工业系统对每个控制系统均能进行通信以及单独控制。
若控制系统之间存在连接关系,可以进行通信,那么其对应的节点之间也会存在一条线(如图1中白点之间的线)。
由于控制系统具体有控制系统标识和控制系统的类型,相应的,工业系统包括多个节点,每个节点对应一个控制系统。控制系统类型为控制系统所对应节点的类型。节点的类型为智能设备或非智能设备,以及,如下的一种:工业生产设备、工业控制设备、工业虚拟设备。
该工业大数据平台包括:数据采集单元,数据存储单元,数据处理单元。
1、数据采集单元
数据采集单元,用于控制各控制系统采集原始工业数据。
具体的,数据采集单元向各控制系统发送采集时间参数,以使各控制系统根据采集策略采集原始工业数据,并反馈采集的原始工业数据。
时间参数包括但不限于如下的一种或多种:采集起始时间,采集终止时间,采集频率,一次采集时长。
例如,数据采集单元向各控制系统发送:2020-01-01至2020-07-31,每隔一天采集一次,每次采集10分钟。或者,数据采集单元向各控制系统发送,每天不间断的每隔10分钟采集一次,每次采集2分钟等。
上述例子仅做示例,不对实际中数据采集单元发送的内容和格式进行任何限定。
各控制系统根据采集策略在对应的时间采集原始工业数据,采集后会将采集到的数据反馈给数据采集单元。
另外,由于控制系统具有类型属性,控制系统在收到数据采集单元发送的采集策略之后,还会反馈控制系统标识和控制系统类型。
数据采集单元获取各控制系统反馈的控制系统标识和控制系统类型。
具体的,控制系统反馈控制系统标识和控制系统类型的时间与方式本实施例不做限定。可以在接收到数据采集单元发送的采集策略之后立即发送,也可以在反馈采集到的原始工业数据时,与反馈的数据一起反馈控制系统标识和控制系统类型。
2、数据存储单元
数据存储单元,用于存储原始工业数据。
3、数据处理单元
数据处理单元,用于对原始工业数据进行处理,且处理结果存储与数据存储单元。
其中,数据处理单元对原始工业数据进行处理的过程包括:
S201,获取工业系统的拓扑结构以及业务逻辑。
其中,拓扑结构可以为如图2(a)所示的结构。
业务逻辑,用于描述各业务涉及的节点,以及各业务执行顺序。
如对于节点A的数据经节点B的安全验证后存储至节点C为例,业务逻辑为:节点A处理后的数据先发送至节点B,在获取到B的确认消息后,节点A将发送至节点B的数据发送至节点C。
S202,根据拓扑结构和业务逻辑,确定各控制系统之间的业务关系。
对于每一个业务逻辑,
S202-1,确定其涉及的节点,并根据业务执行顺序确定各节点的顺序。
以上述例子为例,该业务逻辑涉及的节点为节点A、B、C,根据业务执行顺序确定各节点的顺序为A-B-C。
S202-2,从拓扑结构中获取其业务节点所对应的结构,并将所对应的结构形成逻辑无向图。
其中逻辑无向图中每个节点唯一对应一个节点,若两个节点之间连接,则的两节点之间存在一条边。
此处的逻辑无向图即为拓扑结构中相应节点对应的部分,如图2(b)所示。
S202-3,基于各节点的顺序,形成业务有向图。
其中业务有向图中每个点唯一对应一个节点,若两个节点之间有直接的业务关系,则两节点之间存在一条边,且边的方向与业务顺序方向一致。
因为节点A处理后的数据先发送至节点B,在获取到B的确认消息后,节点A将发送至节点B的数据发送至节点C,因此,节点A和B之间是双方向的,节点A和C之间是从节点A指向节点C的,得到的业务有向图如图2(c)所示。
需要说明的是,本实施例图2中为了区分通信连接(即工业系统与控制节点之间的连接、控制系统之间的连接)和业务连接(即节点A、B、C之间的连接),将两者对应的线用实线(表示通信连接,如图2(b)中所示)和虚线(表示业务连接,如图2(c)中所示)表示,在实际应用中,可以均为实线,或者均为虚线,可以线形相同但颜色不同,图2中的线仅为示例,其实与虚不代表任何含义,实际中也不对各种线的表现形式做限定。
S202-4,基于逻辑无向图中以及业务有向图确定该业务逻辑所包括的节点所对应的控制系统之间的业务关系。
具体的,
一、对比逻辑无向图以及业务有向图,对于结构相同的子图,选择业务有向图。
如图3中节点D、E构成的子图,其逻辑无向图(图3(a))以及业务有向图(图3(b))结构相同,则节点D、E之间选择图3(b)中的结构。
此处的结构相同,只表示两个节点之间是否有线连接,并不关注线的方向。
逻辑无向图描述了节点(节点对应的控制系统)之间实际的拓扑关系,即二者可以进行通信连接,则之间存在一条线,不能进行通信连接,二者之间就没有线。业务有向图描述了节点(节点对应的控制系统)之间的业务关系,两个节点(节点对应的控制系统)虽然没有物理上的连接,但是二者可以存在业务上的联系,如果子图的逻辑无向图以及业务有向图相同,代表了具有业务联系的两个节点(节点对应的控制系统)之间也存在沟通渠道,则业务连接能更好的反应两个节点(节点对应的控制系统)之间的关系,因此,选择业务有向图。
二、对于结构不同的子图,确定其涉及节点所对应的控制系统类型。
(2.1)若控制系统类型中仅包括非智能设备(即子图中所有所对应的控制系统类型均为非智能设备),则选择业务有向图部分。
如图2中节点A、B、C构成的子图,其逻辑无向图(图2(b))以及业务有向图(图2(c))结构不相同,若节点A、B、C均为非智能设备,则节点A、B、C之间选择图2(c)中的结构。
逻辑无向图描述了节点(节点对应的控制系统)之间实际的拓扑关系,即二者可以进行通信连接,则之间存在一条线,不能进行通信连接,二者之间就没有线。业务有向图描述了节点(节点对应的控制系统)之间的业务关系,两个节点(节点对应的控制系统)虽然没有物理上的连接,但是二者可以存在业务上的联系,如果子图的逻辑无向图以及业务有向图不相同,代表了具有业务联系的两个节点(节点对应的控制系统)之间可能不存在沟通渠道,或者,建立沟通去的两个节点(节点对应的控制系统)之间没有业务联系,则鉴于非智能设备不具备智能逻辑以及智能处理能力,因此,业务连接能更好的反应两个节点(节点对应的控制系统)之间的关系,选择业务有向图。
(2.2)若控制系统类型中包括智能设备(即子图中存在至少一个节点对应的控制系统类型为智能设备),则
·若控制系统类型中还包括工业生产设备(即只要子图中至少一个节点为工业生产设备),则选择业务有向图部分。
如图2中节点A、B、C构成的子图,其逻辑无向图(图2(b))以及业务有向图(图2(c))结构不相同,若节点A为智能设备,那么节点A、B、C中,存在至少一个节点是工业生产设备,则节点A、B、C之间选择图2(c)中的结构。
逻辑无向图描述了节点(节点对应的控制系统)之间实际的拓扑关系,即二者可以进行通信连接,则之间存在一条线,不能进行通信连接,二者之间就没有线。业务有向图描述了节点(节点对应的控制系统)之间的业务关系,两个节点(节点对应的控制系统)虽然没有物理上的连接,但是二者可以存在业务上的联系,如果子图的逻辑无向图以及业务有向图不相同,代表了具有业务联系的两个节点(节点对应的控制系统)之间可能不存在沟通渠道,或者,建立沟通去的两个节点(节点对应的控制系统)之间没有业务联系,则鉴于智能设备具备智能逻辑以及智能处理能力,且工业生产设备以业务生成为主要目的,因此,业务连接能更好的反应两个节点(节点对应的控制系统)之间的关系,选择业务有向图。
·若控制系统类型中不包括工业生产设备,但包括工业控制设备(即子图中没有一个节点为工业生产设备,但至少一个节点为工业控制设备),则选择逻辑无向图部分。
如图2中节点A、B、C构成的子图,其逻辑无向图(图2(b))以及业务有向图(图2(c))结构不相同,若节点A为智能设备,那么节点A、B、C中,均不是工业生产设备,但是存在至少一个节点是工业控制设备,则节点A、B、C之间选择图2(b)中的结构。
逻辑无向图描述了节点(节点对应的控制系统)之间实际的拓扑关系,即二者可以进行通信连接,则之间存在一条线,不能进行通信连接,二者之间就没有线。业务有向图描述了节点(节点对应的控制系统)之间的业务关系,两个节点(节点对应的控制系统)虽然没有物理上的连接,但是二者可以存在业务上的联系,如果子图的逻辑无向图以及业务有向图不相同,代表了具有业务联系的两个节点(节点对应的控制系统)之间可能不存在沟通渠道,或者,建立沟通去的两个节点(节点对应的控制系统)之间没有业务联系,则鉴于智能设备具备智能逻辑以及智能处理能力,且工业控制设备以控制为主要目的,控制是基于物理连接实现的,因此,物理连接能更好的反应两个节点(节点对应的控制系统)之间的关系,选择逻辑无向图部分。
·若控制系统类型中仅包括工业虚拟设备(即子图中所有节点均为工业虚拟设备),则选择融合图。
其中,融合图是基于逻辑无向图中结构不同的子图以及业务有向图中结构不同的子图得到的。
将选择的结构相同的子图以及结构不同的子图形成一幅图,形成的图确定为该业务逻辑所包括的节点所对应的控制系统之间的业务关系。
如图2中节点A、B、C构成的子图,其逻辑无向图(图2(b))以及业务有向图(图2(c))结构不相同,若节点A为智能设备,那么节点A、B、C中,均为工业虚拟设备,则节点A、B、C之间选择融合图。
具体的,融合图确定方法包括:
对于第一子图中各节点,确定其在第二子图中是否存在对应的节点。第一子图为业务有向图中结构不同的子图,第二子图为逻辑无向图中结构不同的子图。
即依次选择图2(c)中的每一个点,确定其在图2(b)中是否存在对应的点。
对于第一节点(此处第一节点为图2(c)中选择的那个点),
1)若第一节点在第二子图中存在对应的节点,则,
1.1)确定第一节点的度D1,并确定第一节点在第二子图中对应的节点的度D2。
其中,第一节点为第一子图中的点,且第一节点在第二子图中存在对应节点。
第一节点的度为第一节点的出度+第一节点的入度。
以选择图2(c)中的A节点(即第一节点)为例,图2(c)中的A节点的度(D1)为1(入度)+2(出度)=3。
图2(c)中的A节点在图2(b)中对应的节点A的度(D2)=2。
1.2)确定与第一节点存在边的各第一关联节点,确定各第一关联节点的度D3。
其中,第一关联节点的度=第一关联节点的出度+第一关联节点的入度。
与第一节点存在边的各第一关联节点为图2(c)中的节点B和图2(c)中的C,其中图2(c)中的节点B的度(D3)=1(入度)+1(出度)=2,图2(c)中的节点C的度(D3)=1(入度)。
1.3.1)若存在一个第一关联节点的D3*D1/D2不小于D2,则将第一节点与其第一关联节点形成的子图作为第一节点在融合图的子图。
对于图2(c)中的节点B,其D3*D1/D2=2*3/2=3。
对于图2(c)中的节点C,其D3*D1/D2=1*3/2=1.5。
由于D2为2,因此,存在一个第一关联节点的D3*D1/D2不小于D2,则将第一节点与其第一关联节点形成的子图作为第一节点在融合图的子图,如图2(c)所示。
因为第一节点为第一子图中的点,第一子图为业务有向图中结构不同的子图(即第一节点为图2(c)中的点),因此第一节点与其第一关联节点形成的子图也为图2(c)中的子图。
1.3.2)若不存在任何一个第一关联节点的D3*D1/D2不小于D2,则确定第一节点在第二子图中对应的节点存在边的各第二关联节点。
此处以图4为例,若第一节点为图4(b)中选择的F点,图4(b)中的F节点的度(D1)为1(入度)+2(出度)=3。
图4(b)中的F节点在图4(a)中对应的节点F的度(D2)=3。
与第一节点(图4(b)中选择的F点)存在边的各第一关联节点为图4(b)中的节点E和4(b)中的G,其中图4(b)中的节点E的度(D3)=1(入度)+1(出度)=2,图4(b)中的节点G的度(D3)=1(入度)。
对于图4(b)中的节点E,其D3*D1/D2=2*3/3=2。
对于图4(b)中的节点G,其D3*D1/D2=1*3/3=1。
由于D2为3,因此,不存在第一关联节点的D3*D1/D2不小于D2(即所有的第一关联节点的D3*D1/D2均小于D2),则确定第一节点(图4(b)中选择的F点)在第二子图(即图4(a))中对应的节点存在边的各第二关联节点(图4(a)中E、G、H、O,其中O点为工业大数据平台所对应的点)。
因为第一节点为第一子图中的点,第一子图为业务有向图中结构不同的子图(即第一节点为图4(b)中的点),第二子图为逻辑无向图中结构不同的子图(即图4(a)),因此第一节点在第二子图中对应的节点存在边的各第二关联节点为图4(a)中的点。
1.3.2.1)对于任一第二关联节点,若任一第二关联节点在第一关联节点中存在相同节点,则忽略。
对于任一第二关联节点(如图4(a)中E),图4(a)中E在第一关联节点中存在相同节点(即图4(b)中E),则忽略图4(a)中E。
1.3.2.2)若任一第二关联节点在第一关联节点中不存在相同节点,则将任一第二关联节点加入第一节点与其第一关联节点形成的子图中,并将任一第二关联节点与第一节点连接。
·若第一节点的入度大于出度,则任一第二关联节点与第一节点之间的连接方向为从第一节点指向任一第二关联节点。
·若第一节点的入度不大于出度,则任一第二关联节点与第一节点之间的连接方向为从任一第二关联节点指向第一节点。
并将处理后的图为作为第一节点在融合图的子图。
对于任一第二关联节点(图4(a)中H)在第一关联节点中不存在相同节点,则将图4(a)中H加入第一节点与其第一关联节点形成的子图中(成为图4(c)中的节点H),并将图4(c)中H与第一节点连接。
第一节点(图4(b)中的F)入度为1,出度为2,则第一节点的入度不大于出度,此时则图4(c)中H与图4(b)中的F之间的连接方向为从图4(c)中H指向图4(b)中的F。
并将处理后的图(图4(c))为作为第一节点在融合图的子图。
2)若第一节点在第二子图中不存在对应的节点,则将第一节点与其在第一子图中存在边的各节点形成的子图作为第一节点在融合图的子图。
如第一节点为图5(b)中的E,其在第二子图(图5(a))中不存在对应的节点,则将第一节点(图5(b)中的E)与其在第一子图(图5(b))中存在边的各节点形成的子图作为第一节点在融合图的子图(如图5(c))。
S203,根据业务关系将原始工业数据进行归类。
即同一业务关系的原始工业数据归为一类。如对于节点A的数据经节点B的安全验证后存储至节点C为例,则将采集到的节点A、B、C的原始工业数据归为一类。
S204,将每类原始工业数据进行融合,将融合后的数据进行存储。
存储时以<key,value>结构进行存储,其中该类对应的业务关系标识作为key,该类所有原始工业数据作为value。
其中,value可以为所有的数据,还可以为该类所有原始工业数据的存储位置标识。
基于上述工业大数据平台结构,本实施例提供一种工业大数据平台快速查询方法,参见图6,该方法为:
S101,获取查询需求。
例如,获取查询节点A对应的控制系统的数据。
S102,在预先建立的工业大数据平台中,确定与查询需求对应的查询对象。
具体的,
S102-1,根据查询需求确定待查询业务。
根据上述查询需求确定待查询的业务为:节点A的数据经节点B的安全验证后存储至节点C。
S102-2,确定查询业务对应的业务关系标识。
确定节点A的数据经节点B的安全验证后存储至节点C业务对应的业务关系标识,如标识1。
S102-3,将以查询业务对应的业务关系标识为key对应的value作为查询对象。
基于标识1查抄到对应的value,如果value是具体数据,则将该数据作为查询对象,如value是该类所有原始工业数据的存储位置标识,则将存储位置标识作为查询对象。
S103,基于查询对象,得到查询结果。
如果查询对象为具体数据,则将具体数据为查询结果。若查询对象为存储位置标识,则将存储位置标识对应位置存储的数据作为查询结果。
当然,如果查询需求还包括时间段或者其他具体筛选条件,此时,会在得到数据(如果查询对象为具体数据,则得到数据为查询对象的具体数据。若查询对象为存储位置标识,则得到数据为存储位置标识对应位置存储的数据)之后,对其进行筛选,将筛选后的数据作为查询结果。
有益效果:通过获取查询需求,在预先建立的工业大数据平台中,确定与查询需求对应的查询对象,基于查询对象,得到查询结果,实现分散采集的数据中的快速查询。
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
最后应说明的是:以上所述的各实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或全部技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种工业大数据平台快速查询方法,其特征在于,所述方法包括:
S101,获取查询需求;
S102,在预先建立的工业大数据平台中,确定与所述查询需求对应的查询对象;
S103,基于所述查询对象,得到查询结果;
其中,所述工业大数据平台包括:数据采集单元,数据存储单元,数据处理单元;
所述数据采集单元,用于控制各控制系统采集原始工业数据;
所述数据存储单元,用于存储所述原始工业数据;
所述数据处理单元,用于对所述原始工业数据进行处理,且处理结果存储与所述数据存储单元。
2.根据权利要求1所述的方法,其特征在于,所述数据采集单元控制各控制系统采集原始工业数据的过程包括:
数据采集单元向各控制系统发送采集时间参数,以使各控制系统根据所述采集策略采集原始工业数据,并反馈采集的原始工业数据。
3.根据权利要求2所述的方法,其特征在于,所述时间参数包括如下的一种或多种:采集起始时间,采集终止时间,采集频率,一次采集时长。
4.根据权利要求3所述的方法,其特征在于,所述数据采集单元向各控制系统发送采集策略之后,还包括:
获取各控制系统反馈的控制系统标识和控制系统类型;
其中,所述工业系统包括多个节点,每个节点对应一个控制系统;所述控制系统类型为控制系统所对应节点的类型;
节点的类型为智能设备或非智能设备,以及,如下的一种:工业生产设备、工业控制设备、工业虚拟设备。
5.根据权利要求4所述的方法,其特征在于,所述数据处理单元对所述原始工业数据进行处理的过程包括:
S201,获取工业系统的拓扑结构以及业务逻辑,所述业务逻辑,用于描述各业务涉及的节点,以及各业务执行顺序;
S202,根据所述拓扑结构和业务逻辑,确定各控制系统之间的业务关系;
S203,根据业务关系将所述原始工业数据进行归类;
S204,将每类原始工业数据进行融合,将融合后的数据进行存储,存储时以<key,value>结构进行存储,其中该类对应的业务关系标识作为key,该类所有原始工业数据作为value。
6.根据权利要求5所述的方法,其特征在于,所述value为该类所有原始工业数据的存储位置标识。
7.根据权利要求6所述的方法,其特征在于,所述S202具体包括:
对于每一个业务逻辑,
S202-1,确定其涉及的节点,并根据业务执行顺序确定各节点的顺序;
S202-2,从所述拓扑结构中获取其业务节点所对应的结构,并将所对应的结构形成逻辑无向图,其中逻辑无向图中每个节点唯一对应一个节点,若两个节点之间连接,则的两节点之间存在一条边;
S202-3,基于各节点的顺序,形成业务有向图,其中业务有向图中每个点唯一对应一个节点,若两个节点之间有直接的业务关系,则两节点之间存在一条边,且边的方向与业务顺序方向一致;
S202-4,基于逻辑无向图中以及业务有向图确定该业务逻辑所包括的节点所对应的控制系统之间的业务关系。
8.根据权利要求7所述的方法,其特征在于,所述S202-4具体包括:
对比逻辑无向图以及业务有向图,对于结构相同的子图,选择业务有向图;
对于结构不同的子图,确定其涉及节点所对应的控制系统类型;若所述控制系统类型中仅包括非智能设备,则选择业务有向图部分;若所述控制系统类型中包括智能设备,则若所述控制系统类型中还包括工业生产设备,则选择业务有向图部分,若所述控制系统类型中不包括工业生产设备,但包括工业控制设备,则选择逻辑无向图部分,若所述控制系统类型中仅包括工业虚拟设备,则选择融合图,所述融合图是基于逻辑无向图中结构不同的子图以及业务有向图中结构不同的子图得到的;
将选择的结构相同的子图以及结构不同的子图形成一幅图,形成的图确定为该业务逻辑所包括的节点所对应的控制系统之间的业务关系。
9.根据权利要求8所述的方法,其特征在于,所述融合图确定方法包括:
对于第一子图中各节点,确定其在第二子图中是否存在对应的节点;所述第一子图为业务有向图中结构不同的子图,所述第二子图为逻辑无向图中结构不同的子图;
对于第一节点,1)若所述第一节点在第二子图中存在对应的节点,则,
1.1)确定第一节点的度D1,并确定第一节点在第二子图中对应的节点的度D2;所述第一节点为第一子图中的点,且所述第一节点在第二子图中存在对应节点;所述第一节点的度为所述第一节点的出度+所述第一节点的入度;
1.2)确定与第一节点存在边的各第一关联节点,确定各第一关联节点的度D3,所述第一关联节点的度=第一关联节点的出度+第一关联节点的入度;
1.3.1)若存在一个第一关联节点的D3*D1/D2不小于D2,则将第一节点与其第一关联节点形成的子图作为所述第一节点在融合图的子图;
1.3.2)若不存在任何一个第一关联节点的D3*D1/D2不小于D2,则确定第一节点在第二子图中对应的节点存在边的各第二关联节点;
1.3.2.1)对于任一第二关联节点,若所述任一第二关联节点在第一关联节点中存在相同节点,则忽略;
1.3.2.2)若所述任一第二关联节点在第一关联节点中不存在相同节点,则将所述任一第二关联节点加入第一节点与其第一关联节点形成的子图中,并将所述任一第二关联节点与所述第一节点连接,若第一节点的入度大于出度,则所述任一第二关联节点与所述第一节点之间的连接方向为从所述第一节点指向所述任一第二关联节点;若第一节点的入度不大于出度,则所述任一第二关联节点与所述第一节点之间的连接方向为从所述任一第二关联节点指向所述第一节点;并将处理后的图为作为所述第一节点在融合图的子图。
2)若所述第一节点在第二子图中不存在对应的节点,则将第一节点与其在第一子图中存在边的各节点形成的子图作为所述第一节点在融合图的子图。
10.根据权利要求9所述的方法,其特征在于,所述S102具体包括:
S102-1,根据查询需求确定待查询业务;
S102-2,确定查询业务对应的业务关系标识;
S102-3,将以所述查询业务对应的业务关系标识为key对应的value作为查询对象。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010782179.6A CN112069220B (zh) | 2020-08-04 | 2020-08-04 | 一种工业大数据平台快速查询方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010782179.6A CN112069220B (zh) | 2020-08-04 | 2020-08-04 | 一种工业大数据平台快速查询方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112069220A true CN112069220A (zh) | 2020-12-11 |
CN112069220B CN112069220B (zh) | 2023-11-10 |
Family
ID=73657247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010782179.6A Active CN112069220B (zh) | 2020-08-04 | 2020-08-04 | 一种工业大数据平台快速查询方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112069220B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104391889A (zh) * | 2014-11-11 | 2015-03-04 | 西安交通大学 | 一种面向有向-加权网络的社区结构发现方法 |
US20150317376A1 (en) * | 2014-05-01 | 2015-11-05 | International Business Machines Corporation | Method, system and computer program product for automating expertise management using social and enterprise data |
CN106021170A (zh) * | 2016-05-19 | 2016-10-12 | 中国科学技术大学 | 采用半监督低秩表示模型的图构建方法 |
CN107479514A (zh) * | 2017-07-10 | 2017-12-15 | 昆明理工大学 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
CN109492773A (zh) * | 2018-10-17 | 2019-03-19 | 南京昊瀛天成信息技术有限公司 | 一种基于工业大数据的智能决策系统 |
CN111258996A (zh) * | 2020-01-15 | 2020-06-09 | 东北大学 | 一种面向工业大数据的产品质量多源深度融合预报方法 |
CN111324635A (zh) * | 2020-01-19 | 2020-06-23 | 研祥智能科技股份有限公司 | 工业大数据云平台数据处理方法及系统 |
-
2020
- 2020-08-04 CN CN202010782179.6A patent/CN112069220B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150317376A1 (en) * | 2014-05-01 | 2015-11-05 | International Business Machines Corporation | Method, system and computer program product for automating expertise management using social and enterprise data |
CN104391889A (zh) * | 2014-11-11 | 2015-03-04 | 西安交通大学 | 一种面向有向-加权网络的社区结构发现方法 |
CN106021170A (zh) * | 2016-05-19 | 2016-10-12 | 中国科学技术大学 | 采用半监督低秩表示模型的图构建方法 |
CN107479514A (zh) * | 2017-07-10 | 2017-12-15 | 昆明理工大学 | 一种工业大数据过程控制数据采集和传输系统与实现方法 |
CN109492773A (zh) * | 2018-10-17 | 2019-03-19 | 南京昊瀛天成信息技术有限公司 | 一种基于工业大数据的智能决策系统 |
CN111258996A (zh) * | 2020-01-15 | 2020-06-09 | 东北大学 | 一种面向工业大数据的产品质量多源深度融合预报方法 |
CN111324635A (zh) * | 2020-01-19 | 2020-06-23 | 研祥智能科技股份有限公司 | 工业大数据云平台数据处理方法及系统 |
Non-Patent Citations (2)
Title |
---|
JOHN L.PFALTZ: "A graph similarity relation defined by graph transformation", 《2018 INTERNATIONAL CONFERENCE ON APPLIED MATHEMATICS & COMPUTATIONAL SCIENCE(ICAMCS.NET)》, pages 1 - 2 * |
李继蕊 等: "物联网环境下数据转发模型研究", 《软件学报》, vol. 29, no. 1, pages 196 - 224 * |
Also Published As
Publication number | Publication date |
---|---|
CN112069220B (zh) | 2023-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109067617B (zh) | 一种v2x协议一致性测试方法、装置及系统 | |
CN111552246B (zh) | 应用于智慧园区的设备生产线调度方法及云计算服务器 | |
CN112350846B (zh) | 一种智能变电站的资产学习方法、装置、设备及存储介质 | |
CN111199359A (zh) | 一种网络资源约束下的多智能体任务分配方法 | |
CN105025099A (zh) | 智能摄像机网络系统及摄像机网络动态任务分配方法 | |
CN111083676B (zh) | 无线联动监控方法、装置及系统 | |
CN114205282B (zh) | SRv6 Policy的调度方法、系统、路由器和控制器 | |
CN114513379A (zh) | 一种智能家居设备的绑定方法和终端 | |
CN111817935B (zh) | 一种互联网智能家居数据处理方法及系统 | |
CN112069220A (zh) | 一种工业大数据平台快速查询方法 | |
CN111427590B (zh) | 边缘计算App的部署方法和装置 | |
CN105187490B (zh) | 一种物联网数据的中转处理方法 | |
CN112333798A (zh) | 一种智能设备的控制方法及装置 | |
CN115086381B (zh) | 标签数据采集方法、装置、采集设备及标签数据采集系统 | |
CN111148136A (zh) | 无线物联网边缘协同感知方法、装置及系统 | |
CN110875945B (zh) | 用于在通用服务实体上进行任务处理的方法、装置和介质 | |
CN111049934B (zh) | 无线物联网边缘协同监控方法、装置及系统 | |
CN110557679B (zh) | 一种视频内容识别方法、设备、介质和系统 | |
CN106649678B (zh) | 一种数据处理方法及系统 | |
CN112491596B (zh) | 一种基于云端的故障处理方法及装置 | |
CN111935089B (zh) | 基于大数据和边缘计算的数据处理方法及人工智能服务器 | |
CN105847978B (zh) | 一种基于智能电视的信息收集方法及系统 | |
CN106411618A (zh) | 一种网管设备数据比对实时更新方法 | |
CN108737522B (zh) | 一种消息的处理方法、装置和系统 | |
EP3273704B1 (en) | Stub network establishing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |