CN110799997B - 工业数据服务、数据建模、以及数据应用平台 - Google Patents
工业数据服务、数据建模、以及数据应用平台 Download PDFInfo
- Publication number
- CN110799997B CN110799997B CN201780092695.2A CN201780092695A CN110799997B CN 110799997 B CN110799997 B CN 110799997B CN 201780092695 A CN201780092695 A CN 201780092695A CN 110799997 B CN110799997 B CN 110799997B
- Authority
- CN
- China
- Prior art keywords
- data
- elements
- graph
- layer
- data modeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 95
- 238000013499 data model Methods 0.000 claims abstract description 45
- 238000010801 machine learning Methods 0.000 claims abstract description 18
- 238000013468 resource allocation Methods 0.000 claims abstract description 18
- 239000010410 layer Substances 0.000 claims description 139
- 230000008569 process Effects 0.000 claims description 81
- 238000004519 manufacturing process Methods 0.000 claims description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 12
- 239000011229 interlayer Substances 0.000 claims description 11
- 230000004044 response Effects 0.000 claims 2
- 238000012517 data analytics Methods 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 80
- 238000011161 development Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000000605 extraction Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 238000007405 data analysis Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 239000000126 substance Substances 0.000 description 9
- 238000004140 cleaning Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 238000002360 preparation method Methods 0.000 description 6
- PPBRXRYQALVLMV-UHFFFAOYSA-N Styrene Chemical compound C=CC1=CC=CC=C1 PPBRXRYQALVLMV-UHFFFAOYSA-N 0.000 description 4
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 238000012797 qualification Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000013067 intermediate product Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Economics (AREA)
- Computational Linguistics (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
用于控制工业操作的工业数据服务、数据建模和应用。公开了一种平台,用于基于二维数据建模流数据结构和多层资源分配图,向协作的专家群组分配数据建模请求,以获取用于控制工业操作的数据模型。二维数据建模流数据结构和多层资源分配图是使用各种数据分析学和机器学习技术从工业图知识库来建立。
Description
技术领域
本公开涉及用于在工业环境中提供数据服务、数据建模、以及数据应用开发的电子平台。
背景技术
诸如化工厂的工业设施涉及复杂的自发且非常规的数据服务和建模任务,其与商务、供应链、工程、生产、销售、以及其他类型的数据有关。这些任务通常需要对多样的工业数据集进行标识、处理、和建模。因此,这些任务涉及在有序且受控的以数据为中心的(datacentric)工作流中,具有多样的专业知识的人员的协作。人工的数据标识、任务指派、和工作流控制是效率低下且不准确。
附图说明
图1示出了用于提供工业数据服务、数据建模、以及数据应用开发的一个示例性平台。
图2示出了用于实现工业数据服务、数据建模、以及数据应用开发平台的计算系统。
图3示出了用于提供工业数据服务、数据建模、以及数据应用开发的平台的一个示例性逻辑和数据流。
图4示出了在图3的平台中使用的示例性数据分析和建模组件库。
图5示出了用于生成二维数据建模模板的示例性逻辑和数据流。
图6示出了用于生成多层协作图的示例性逻辑和数据流。
图7示出了示例性多层协作图。
图8示出了应用于特定数据建模请求的多层协作图。
具体实施方式
工厂的操作可能涉及到具有复杂关系的大量实体。这些实体可以包括例如,不同的性质和特点的物理项和抽象项,这些物理项和抽象项包括但不限于域过程(domainprocess)、设施、装备、传感器/传感器参数、人员层级、供应链、原材料、中间产品、最终产品、关键性能度量、客户、功率消耗、排放物、以及法规合规。诸如关系数据库的传统数据库不能提供高效的方式,来捕获这些不同实体之间的这些复杂关系。相反,表示这些实体及它们的关系的数据可以被用来构建工厂的多维定制图知识库。这种工业图知识库的一个示例在由相同申请人于2017年8月2日在中国国家知识产权局递交的PCT国际专利申请No.PCT/CN2017/095619中详细描述(该PCT国际专利申请通过引用结合于此)。这种工业图知识库例如可以包括用于存储数据项的图数据库,这些数据项包括表示各种预定维度的工业实体的各种节点(或数据元素)、以及表示在这些维度内、或横跨这些维度的工业实体之间的关系的边(edge)。这种工业图知识库可以进一步提供从图数据库开发出的中间数据存储库,用于促进外部数据应用对该图知识库的高效利用和快速访问。工业图知识库可以附加地包括应用程序接口,该应用程序接口用于图知识库外部的应用访问该图数据库、以及中间数据存储库中存储的数据。这些应用可以提供数据查询功能以及用于监控、控制、以及优化工厂的其他数据服务。
工厂可以进一步生成操作数据,该操作数据不适合存储在图数据库中。例如,当被布置在化工厂中的传感器可以作为数据元素,连同其与各种其他数据元素(例如,该各种其他数据元素表示装备、域过程、关键生产指标、以及负责人员)的关系一起被包括在图数据库中时,该传感器在工厂操作期间监控的参数(例如,温度、压力、或流速)的日志可能不适合被存储在图数据库中。这种操作数据可以备选地以适当格式被维持在另一适当数据库中,本文被称为工业操作数据库。
被维持在工业操作数据库中的工业操作数据对于工厂的经营者非常重要,因为它们包含这样的信息,该信息可以被提取且被建模,用于优化、预测、以及控制工业操作。例如,由相同申请人于2016年8月23日在中国国家知识产权局递交的PCT国际专利申请No.PCT/CN2016/096386(该国际专利申请通过引用结合于此)描述了一种复杂数据模型,该数据模型用于使用各种机器学习算法基于分析当前和历史的传感器和生产数据,来预测炼油加工厂中的苯乙烯生产。基于这种和其他类型的数据模型的数据应用可以进一步被开发,以支持由经营者对工厂的操作进行有效监控和优化。例如,数据模型的输出可以被自动反馈给工厂中的装备,用于控制且实现用于例如,苯乙烯生产的优化操作参数。
这些数据模型和数据应用中的每一者的开发、维护、以及改进通常需要具有各种类型的专业知识的个体的协作,其来自结构化数据建模流程中的工业操作中的各种角色的。数据流可以遵循预定义的一组常规步骤,该一组常规步骤基于每个数据建模请求的性质被特别化。特定数据建模请求中涉及的个体可以例如包括但不限于过程专家、现场或地面(floor)工程师、以及数据科学家。用于处理特定数据建模请求的适当的一组协作个体可以基于数据建模请求的性质、以及如下信息而被标识,该信息被包含在、且被提取自被存储在工业图知识库的图数据库中的数据元素和关系。所标识出的这些个体被指派给用于所请求的数据模型的开发的结构化数据流,并且所标识出的这些个体可以分别或联合地为以下项负责:标识相关工业操作数据、预处理所标识出的工业操作数据、确定适当的数据建模算法和数据分析组件、建立数据模型、以及基于数据模型开发应用。另外,对于这种数据模型和数据应用的需求会在任何时间出现。这些数据模型的生命周期可以显著地从一次性请求变化到用于重复使用的永久安装。因此,期望建立用于使这些数据模型和数据应用的开发流线化(streamlined)的自动化平台。将在下面更详细地公开的示例性平台能够分析数据建模请求、确定数据流、标识对数据流的每个步骤负责的个体,提供数据建模和分析组件的选项,以及根据数据流自动地将数据建模请求从一个个体传递到另一个体。因此,这种平台桥接了各种数据库(包括工业图知识库和其他工业操作数据库)和个体,以提供用于请求、开发、维护、以及优化数据模型和数据应用的自动化系统。
尽管本公开在下面使用了数据建模请求到个体的协作群组的分配,但是这些个体可以被一般地看作用于工业操作的特定类型的资源(人力资源)。因此,本公开在下面可以被看作通用资源的分配的一个具体示例。这样,下面的实现的潜在原理可以被广泛应用并且实现在分配人力资源以外的资源中。
图1示出了系统100,该系统100用于提供用于开发工厂的工业数据模型和数据应用的平台。系统100包括工业图知识库120和工业操作数据库130。系统100进一步包括用于托管工业数据模型、以及应用开发平台的数据平台服务器102、104、106、和108(备选地称为数据平台)。数据平台和数据平台服务器可以由个体和他们的计算设备112、114、116、和118访问。计算设备112-118、数据平台服务器102-108、工业图知识库120、以及工业操作数据库130可以经由公共或专用通信网络101连接。数据平台服务器102-108、工业图知识库120、以及工业操作数据库130可以是集中式的也可以是跨各种地理区域分布的。计算设备112-118可以是任何能够经由通信网络101访问数据平台服务器102-108、工业图知识库120、以及工业操作数据库130的电子设备。该访问可以通过在计算设备112-118上运行的网络浏览器中可访问的网页来提供,或者可以备选地经由计算设备112-118上运行的专用客户端应用程序来提供。
在图2中,图1的数据平台服务器102-108被示出为包括一群组的集中式或分布式计算机201,诸如,计算机203、205、和207。计算机201可以包括通信接口202、系统电路系统204、输入/输出(I/O)接口206、存储设备209、以及显示电路系统208,显示电路系统208本地生成机器界面210、或生成机器界面210用于例如在远程机器上运行的网络浏览器中的远程显示。机器界面210和I/O接口206可以包括GUI、触敏显示器、语音或面部识别输入、按钮、开关、扬声器、以及其他用户界面元件。I/O接口206的附加示例包括麦克风、视频和静止图像相机、耳机和麦克风输入/输出插孔、通用串行总线(USB)连接器、存储卡插槽、以及其他类型的输入。I/O接口206可以进一步包括磁性或光学介质接口(例如,CDROM或DVD驱动器)、串行和并行总线接口、以及键盘和鼠标接口。
通信接口202可以包括无线发射机和接收机(“收发机”)212和任意天线214,其被收发机212的发射和接收电路系统使用。收发机212和天线214可以支持例如,IEEE 802.11的任意版本下(例如,802.11n或802.11ac)的Wi-Fi网络通信。通信接口202还可以包括有线收发机216。有线收发机216可以提供用于各种不同通信协议中的任意通信协议的物理层接口,这些通信协议是诸如,以太网、有线数据业务接口规范(DOCSIS)、数字订户线(DSL)、同步光网络(SONET)、或其他协议中的任意类型。数据平台服务器102-108的计算机201可以经由通信接口202和通信网络101,与工业图知识库120和工业操作数据库130通信。
存储设备209可以被用来存储各种初始、中间、或最终数据或模型,其用于开发各种数据模型和数据应用。工业图知识库120可以包括如下图数据库,该图数据库用于存储多维节点(数据元素)和边,其表示针对工厂的关系和实体。关于图数据库的术语“实体”可以被备选地称为数据实体。存储设备209可以是集中式或分布式的。例如,存储设备209可以由云计算服务提供商远程地托管。
系统电路系统204可以包括硬件、软件、固件、或以任意组合的其他电路系统。系统电路204可以利用例如,一个或多个片上系统(SoC)、专用集成电路(ASIC)、微处理器、离散模拟和数字电路、以及其他电路系统来实现。系统电路系统204是与构建并且维护工业数据模型和数据应用有关的任意期望功能的实现的一部分。仅作为一个示例,系统电路系统204可以包括一个或多个指令处理器218和存储器220。存储器220存储例如,控制指令224和操作系统222。在一种实现中,指令处理器218执行控制指令224和操作系统222,以执行与各种工业数据模型和数据应用的开发和维护有关的任意期望功能。
图3示出了用于数据平台300的示例性逻辑和数据流,其用于开发工业数据模型和数据应用。数据平台300中的逻辑和数据流可以由图1的数据平台服务器102-108实现。图3的圆柱形被用来表示数据结构,同时图3的矩形被用来表示处理步骤。由圆柱形表示的数据结构例如,可以是矩形表示的处理步骤的输入或输出。数据结构可以通过处理步骤被预先限定或生成,并且可以被存储在各种类型的存储器中。
在图3中,数据分析和建模组件库310包含实现数据平台300的各种功能所需要的数据分析和处理工具和组件。如图4进一步详细示出的,这些组件被提供作为包括但不限于以下各项的组件群组:统计建模组件群组420、机器学习组件群组450、图概率建模组件群组410、马尔科夫逻辑网络建模组件群组430、关系学习与建模组件群组440、数据过滤组件群组460、数据变换组件群组470(例如,傅里叶变换)、自然语言处理(NLP)组件群组480、以及图像处理组件群组490。建模组件库310中的数据处理组件可以在任意时间被更新,并且可以经由例如功能调用来由数据平台300的其余部分访问。以上的每个组件群组可以进一步包括各种独立的数据处理组件。例如,机器学习组件群组450中可以存在多个分开且独立的机器学习算法。机器学习算法可以包括诸如主成分回归和独立成分分析的降维算法。机器学习算法可以进一步包括基于回归算法(诸如,随机森林回归、线性回归、逻辑回归)的分类器和朴素贝叶斯分类器。这些机器学习算法组件中的一些机器学习算法组件可以备选地被提供作为具有不同选项的单个组件,该不同选项由输入参数指定。以上的建模组件库310的数据处理组件中一些数据处理组件可以属于相同类型(type)但是是不同种类(species)的数据处理组件。例如,数据过滤组件群组460中可以存在多个分开且独立的数据过滤组件,这些数据过滤组件可以是相同类型但是是不同种类的(例如,卡尔曼过滤器的不同种类)。
返回图3,数据平台300可以进一步包括用户界面360,该用户界面用于向工厂320和370-380的人员及他们的计算设备提供对数据平台300的访问。该访问可以通过用户名/密码或其他安全措施来被许可(例如,被保护)。工厂的人员可以包括请求者320,该请求者320可以经由数据建模请求界面322向数据平台300提交特定的数据建模请求。在一种实现中,该许可可以被给予工厂的一组预定义人员群组,用于提交数据建模请求。如下面将描述的,个体协作群组370-380可以被数据平台300标识,并且可以根据如图3的箭头390所示的由数据平台300规定的过程流,以有序的形式参与开发所请求的数据模型、以及参与开发与该数据模型相关联的应用。
图3的用户界面360可以经由网页来提供,该网页是由工厂人员320和370-380经由在他们的计算设备上运行的网络浏览器可访问的。相应地,数据平台300可以包括用于托管这些网页的网络服务器。备选地,用户界面360可以包括数据平台300的服务器侧软件组件,并且相应地,工厂人员的计算设备可以安装有客户端侧软件组件,其用于经由服务器侧软件组件访问数据平台300。
在图3中,数据平台300进一步包括数据结构302和304,其用于预定义的二维工业数据建模模板(302)、以及与一组数据处理模块相对应的一组预定义的数据处理模块标识符(304)。预定义的二维工业数据建模模板302可以备选地被称为数据建模流数据结构。这些预定义的数据结构可以促进如下框架的建立,该框架用于工业数据模型和数据应用的开发。
在一种实现中,图3的一组预定义的数据处理模块标识符304可以包括对应于一组数据处理模块的标识符。每个数据处理模块可以是用于实现特定的数据建模任务的处理单元。每个数据建模请求可以涉及在一组工业操作数据上以特定顺序执行一组数据处理模块。数据处理模块可以包括数据质量分析模块、数据6模块、数据过滤模块、分类器模块等。每个数据处理模块可以由数据分析和建模组件库310中的一个或多个数据处理组件支持。
图3的预定义的二维工业数据建模模板302进一步由图5的示例性数据建模模板501示出。二维工业数据建模模板501可以在逻辑上包含多个行和列。如列502所示,二维工业数据建模模板501的行维度(资源维度)表示在数据模型和相应数据应用的开发中,针对个体的各种预定义类型的角色。这些角色的定义和分离可以是预先定义的,并且是基于工业操作的性质和数据建模任务的一般性质。例如,参与数据模型和相应应用的开发的个体角色可以被宽泛地分类为三个不同类型,这三个类型包括过程(或域过程)专家类型510、地面或现场专家类型512、以及数据专家或科学家类型514。过程专家类型510可以包括熟悉工厂中的域过程的总体操作的个体。地面或现场专家类型512可以包括熟悉域过程的特定装备、设备、或子域的个体。数据专家类型514可以包括熟悉数据建模工具和算法的个体(诸如数学家和统计学家)。
以上的具体专家划分仅是诸多示例中的一个示例。图5具体地包括数据工程师或科学家类型514,因为工业数据建模所需要的一些数据分析和处理任务通常涉及以数据为中心的而非工业特有的技术。因此,对工业域过程不知情但是具有处理数据的技能的专家(例如,数学家、统计学家等)可以被具体地标识为多个类型的专家中的一种。
继续参考图5,预定义的二维工业数据建模模板501的列维度(数据建模阶段维度或数据建模流维度)504表示在开发数据模型和数据应用中的各种处理流阶段(或预定义的数据建模阶段)。数据建模流维度可以是根据工业操作的性质和特性而被预先确定的。在图5的示例中,这些处理流阶段可以包括要求提取阶段520、数据准备阶段522、数据清理阶段524、数据建模阶段526、以及应用开发阶段528。在要求提取阶段520期间,例如,针对数据建模的请求可以被分析,并且各种数据和处理要求可以从该请求中被提取。在数据准备阶段522期间,例如,与来自各种工业操作数据库的数据建模请求相关的工业操作数据可以被标识,并且被加载到数据平台中。在数据清理阶段524期间,来自数据分析和建模组件库中的各种数据过滤组件可以被使用以在被加载的相关工业操作数据上执行例如降噪、降维等。在数据建模阶段526期间,数据模型是基于例如各种机器学习算法被开发,并且在应用开发阶段528期间,基于数据模型的应用被开发并且被测试。
对于每个数据建模请求,图5的空的二维工业数据建模模板502可以进一步用各种数据处理模块标识符填充,各种数据处理模块标识符在图3的数据结构304中和以上所讨论的被预先定义。模板的每个单元,其包括行530和列540,可以用数据结构304中的数据处理模块标识符中一个或多个数据处理模块标识符来填充。一旦被填充,二维工业数据建模模板501表示配对的预定义的一组数据建模阶段和专家的预定义类型、与一组数据处理模块之间的关联,并且提供针对特定数据建模开发流程的蓝图。
在一种实现中,二维工业数据建模模板501的行510、512、和514中的一些行可以包含两个以上子行。在图5的示例中,数据专家行514和地面专家行512分别包括两个子行,这表示多个数据处理模块可以在特定的处理流阶段针对特定类型的角色被指定。类似地,流阶段520-528中每个流阶段可以包含子列,用于允许在特定处理阶段内的多个处理子阶段。在一种实现中,行或子行中针对特定阶段或子阶段指定的数据处理模块可以以任意顺序执行、或并行地执行。在另一实现中,行或子行中针对特定阶段或子阶段指定的数据处理模块可以以预定义顺序(例如,循序地从顶部行或顶部子行到底部行或底部子行)执行。另外,在一种实现中,列或子列520-526中指定的数据模块可以从二维工业数据建模模板501的左到其右而被循序地执行。
返回图3,当请求者320经由数据建模请求界面322向数据平台300提交了数据建模请求时,该请求随后被请求处理器324处理。请求处理器324可以经由要求提取界面342向工厂人员370发送经处理的请求,用于提取针对数据建模请求的各种要求。所提取的要求可以由数据平台300维持在用于数据建模要求326(备选地被称为多个数据建模要求326)的数据结构中。数据建模要求326例如,可以包括预定义的数据处理模块标识符304的集中的数据处理模块标识符的子集,其是完成数据建模请求所需要的。数据建模要求326可以附加地包括数据处理阶段或子阶段,在该数据处理阶段或子阶段期间,对应于该数据处理模块标识符的子集的数据处理模块应该被处理。数据建模要求326可以进一步包括如下类型的专家,其负责处理对应于数据处理模块标识符的子集的数据处理模块。因此,除了预定义的数据处理模块标识符304以外,请求处理器324和要求提取界面342可能还需要使用预定义的二维工业数据建模模板302作为输入。
数据建模要求326可以进一步包括与所请求的数据建模任务有关的一组工业域过程。相关工业域过程的确定可以依赖于工业图知识库中(尤其是在与域过程有关的数据元素、以及它们与图数据库中的其他数据元素的关系中)包含的信息。因此,用于请求处理器324和要求提取界面342的输入可以附加地包括工业图知识库120。
另外,在图3中,预定义的数据处理模块标识符304的集合中的数据处理模块标识符的子集是开发所请求的数据模型所需要的,并且被包括在数据建模要求326中,该数据处理模块标识符的子集可以与未被填充的二维工业数据建模模板302一起,是流构建器(flowbuilder)中的输入。如图5所示,流构建器306负责根据与数据处理模块标识符的子集相关联的专家类型、以及阶段/子阶段,用数据处理模块标识符的子集填充二维数据建模模板。流构建器306的输出可以是流矩阵308。示例性流矩阵308由图5的551示出。只有图5的流矩阵551(或图3的流矩阵308)的、被填充有数据建模模块标识符的单元将作为开发所请求的数据模型和应用中的处理流的部分。
参考图3,数据平台300可以进一步负责根据流矩阵308,来标识工厂人员的协作群组,该工厂人员的协作群组具有的匹配专业性和可用性以开发所请求的数据模型。该标识过程可以作为流控制器330的部分功能来实现。标识过程可以基于数据建模要求326和多层协作图312。在一种实现中,多层协作图可以是经由图3的协作建模过程311从工业图知识库120、预定义的二维工业数据建模模板302、以及预定义的数据处理模块标识符304得出的。
图6示出了用于得出多层协作图312的以上示例性实现的细节,图7示出了多层协作图312的一个示例。多层协作图312表示应用于人力资源分配场景的通用资源分配图结构的一个示例。多层协作图312包括各种节点,其备选地被称为图元素。在一种实现中,如图7所示,多层协作图包含三个层700、720、和740。第一层(资源层)700包含工厂的个体人员的图元素(资源图元素或人力资源图元素)。第一层可以包含图元素的角色群组702、704、和706,其对应于图5中的二维工业数据建模模板501的角色维度502中指定的角色的多个类型(或人力资源的多个类型)。角色群组702、704、和706例如,可以包括分别对应于过程专家、地面/现场专家、以及数据专家/科学家的图元素。第二层720包括并列子层722和724。子层722(工业过程层)包括各种工业域过程的图元素。子层724包括数据处理模块的图元素。第一层700中的图元素与如方向箭头750所示的第二层720中的图元素有关。第三层(数据建模阶段层)740包括表示开发数据模型、和基于数据模型来开发应用中的流程步骤的图元素。第二层720中的图元素与根据方向箭头760的第三层740中的图元素有关。因此,箭头750和760表示多层协作图312的各种图元素之间的层间关系。
如图6所示,作为协作建模过程311的主要来源的工业图知识库120可以包含各种维度的知识库,这些知识库包括但不限于装备知识库602、劳动力知识库606、以及工业过程知识库604。这些知识库中的每个知识库可以包含相应维度的数据元素。例如,工厂的劳动力或人员的数据元素(工业人力资源数据元素、或更一般地工业资源数据元素)、以及及它们与其他工业实体的关系可以被存储在劳动力知识库下的图数据库中,该其他工业实体可以是在工业图知识库的劳动力维度内的、或是跨劳动力维度和其他维度的。再例如,工业过程数据元素、以及它们与其他数据元素的关系可以被存储在工业过程维度下的图数据库中。在一些实现中,数据建模处理模块的数据元素对应于预定义的数据处理模块标识符304,该数据建模处理模块的数据元素可以作为单独维度被存储在图数据库中,并且因此,工业图知识库120的图数据库可以包括这些数据建模处理模块与其他维度的数据元素(例如,劳动力或人员数据元素)之间的关系。工业图知识库120可以进一步包含中间数据存储库610。中间数据存储库610可以包含没有被直接存储在图数据库中的数据项。它们可以是从被包含在图数据库中的信息提取且被处理的数据项,并且可以经由平台和应用接口620对知识库外部的系统(例如,数据平台300)是可利用的。因此,中间数据存储库610中包括的数据项是立刻可利用的并且不需要在被请求时被再处理。
继续参考图6,协作建模过程311与工业图知识库120、预定义的二维工业数据建模模板302、以及预定义的数据处理模块标识符304交互,以通过执行各种处理功能生成多层协作图312。这些处理功能例如,可以包括实体和关系提取功能632、基于链路的预测功能634、多关系建模功能636、基于例如各种机器学习算法来获取分类器模型638的分类器建模功能637、以及其他功能。在执行这些处理功能时,协作建模过程311可以利用来自数据分析和建模组件库310的各种组件。
协作建模过程311例如,可以从工业图知识库120提取劳动力数据元素,过滤劳动力数据元素以保留相关个体数据元素,经请求时,该相关个体数据元素可以被征募以参与开发数据模型。这些个体数据元素可以被分类为图3和图5的二维工业数据建模模板的角色维度的各种角色类型,或者被分类为图7的多层协作图312的第一层中的群组702、704、和706。
相关个体到角色群组702、704、和706的分类可以由图6的分类器模型638来执行。分类器模型638可以由分类器建模功能637开发。即使图7的示例性第一层700包含三个不同的角色群组702、704、和706,每个个体也可以被分类到这些角色群组中的一个以上角色群组中。因此,对于图6和图7中的示例,分类器模型638可以预先建立7个角色类而不是3个角色类,这7个角色类包括仅过程专家(702),仅地面专家(704),仅数据专家(706),过程和地面专家(702和704),过程和数据专家(702和706),地面和数据专家(704和706),过程、地面和数据专家(702、704、和706),以及非专家。因此,针对具有多个类型的专业知识的个体的图元素可以出现在角色群组702、704、和706中的多个群组中。
分类器建模过程637可以基于各种机器学习算法,诸如,随机森林回归和逻辑回归。当工业图知识库不包含关于与数据建模的相关的个体专家的任何直接信息时,或者仅包含针对部分个体的、与数据建模的相关的直接专业知识信息时,基于机器学习算法的分类器是特别适用的。个体数据元素的语料库可以建立,这些个体数据元素均用这7个角色分类中的一个分类标记。该语料库可以通过利用已知的专业知识对图数据库中的个体数据元素进行标记,而被人工建立。备选地,该语料库可以通过遍历图数据库、并且标识包含指示特定专业知识的属性或关系的那些个体数据元素来自动地建立。随后包含经标记的个体数据元素的语料库可以被划分为学习组和测试组。学习组可以被用作分类器建模功能637的输入,用于开发分类模型(或分类器模型)638。
具体地,这些经标记的个体数据元素可以与工业图知识库的图数据库中的各种维度的其他数据元素有关。这些个体数据元素与其他数据元素之间的相关性可以通过分类器建模功能637使用任意选择的机器学习算法,而被标识为用于开发分类器模型638的特征。机器学习算法例如可以由数据分析和建模组件库310提供。由例如一组分类器模型参数表示的分类器模型638可以通过以下操作来测试:计算语料库的测试组中的数据元素的特征和分类器模型参数,使用分类器模型对这些个体进行分类,并且将所计算出的分类和现有标记相比较。分类器模型参数、以及因此分类器模型638可以通过递归地运行分类器建模功能637而被改善,用于实现语料库的测试组的更好的分类精确度。
一旦分类器模型638达到预定精确度水平,其随后即可以被用来基于工业图知识库和对应的图数据库中包含的信息,通过计算其他未经标记的个体的特征来对这些未经标记的个体数据元素进行分类。随后经分类的个体数据元素可以根据该分类而被分组,以形成多层协作图312的第一层700的图元素。由于个体可以拥有对应于角色群组702、704、和706的多种专业知识,所以同一个体可以出现在两个以上角色群组中。例如,角色群组702的过程专家1与角色群组706的数据专家2可以是同一个体。
图6的协作建模过程311可以进一步被用来从工业图知识库120和预定义的数据处理模块标识符304提取信息,以形成多层协作图312的第二层720。例如,图7的工业过程子层722的过程图元素可以从图6的图数据库的工业过程知识库604被直接提取。类似地,如图6的650所示的,图7的数据过程子层724中的图元素可以从预定义的数据处理模块标识符304被直接提取。
在一种实现中,数据过程子层724可以不包括所有的预定义的数据处理模块标识符304。相反,其可以仅包括表示如下数据处理模块的标识符,该数据处理模块是以数据为中心的、并且至少需要地面专家或数据专家来执行。例如,在图5的流矩阵551中所示的数据模块中,只有与数据清理和数据建模有关的数据处理模块(例如,高降维模块、随机森林回归模块等)可以被包括作为数据过程子层724中的图元素。如流矩阵511的“要求提取”、“数据准备”、以及“应用开发”列所示的、与数据准备、导入、以及要求提取有关的数据处理模块可以不被包括作为数据过程子层724中的图元素。因此,数据过程子层724可以备选地被称为数据科学子层(由于其需要数据科学知识)。
如图6的650所示,图6的协作建模过程311可以进一步被用来从预定义的二维工业数据建模模板302的数据建模阶段维度(图5的504)提取信息,以形成图7中的多层协作图312的第三层740。
图7中的多层协作图312的方向箭头或关系750和760可以通过图6的协作建模过程311来进一步建立。这些关系可以是二态的(binary),其中两个图元素之间的关系要么存在要么不存在。备选地且优选地,这些关系中的每个关系可以通过如与图7中的箭头相关联的数字所示的关系程度值来量化。跨图7的多层协作图的各个层的图元素之间的这些关系可以基于经验信息建立。例如,可以已知来自第一层700的特定组的个体拥有子层722中的工业过程中的特定工业过程已知程度的专业知识、或拥有子层724中的数据处理模块中的特定数据处理模块的已知程度的专业知识。
备选地且附加地,图7的多层协作图312的第一层700中的图元素、与工业过程子层722中的图元素之间的关系可以基于图6的工业图知识库120中包含的信息,而被提取并且量化。具体地,工业图知识库包含在个体劳动力维度分个体的数据元素、以及它们与劳动力维度内的、或跨维度的其他数据元素之间的关系,其形成图网络。基于工业图知识库中的数据元素网络中的各种连接路径,劳动力维度中的特定个体数据元素到例如特定工业域过程数据元素的连接的程度可以被测量。因此,经由实体和关系提取功能632、基于链路的预测功能634、多关系建模功能636、以及图6的协作建模过程311的其他功能,并且基于工业图形知识库120,图7的多层协作图312的第一层700中的图元素与工业过程子层722中的图元素之间的关系可以被标识并且被量化。
在一种实现中,诸如箭头750所示的那些的层间关系的量化可以使用针对多层协作图312的图模型来建立。图模型可以基于贝叶斯网络结构,其表示概率模型中的随机变量之间的依赖度。概率模型所需要的分析组件可以由图3中的数据分析和建模组件库310提供。
在一种实现中,图7中的多层协作图312的数据处理子层724的图元素可以已经被包括作为图6的工业图知识库120的部分。多层协作图312的第一层700中的图元素与数据处理子层724中的图元素之间的关系的提取和量化可以通过图6的协作建模过程311以如下方式来确定,该方式类似于多层协作图312的第一层700中的图元素与工业过程子层722中的图元素之间的关系的提取和量化。
在另一实现中,工业图知识库120可以不包括数据处理模块的直接数据元素,其对应于多层协作图312的数据处理子层724中的图元素。在这种情况下,基于机器学习算法的分类器可以被用来将第一层700中的图元素分类到由图7的多层协作图312的数据处理子层724中的图元素定义的类中。具体地,语料库首先可以通过用数据处理模块(类)对第一层700中的图元素子集进行标记来建立。然后,工业图知识库120的图网络中包含的信息可以被用来开发特征和分类器模型,用于将第一层700中未经标记的图元素分类到各种数据处理模块的各种类中。分类器模型优选地是非二态的。因此,第一层中的图元素到数据处理模块中的分类可以与权重值相关联。这些权重值可以被用来表征以上讨论的、并且由与箭头750相关联的数字示出的连接的程度。在一种实现中,以上讨论的图和概率模型可以被用来对第一层700的图元素与数据处理子层724的图元素之间的关系进行量化。
在图7的多层协作图312中,第三层740包括数据建模阶段图元素,该数据建模阶段图元素是通过图6所示的协作建模过程311从预定义的二维工业数据建模模板302的列维度提取的。例如,第三层740中的图元素可以包括要求提取图元素742、数据准备图元素744、数据清理图元素746、数据建模图元素748、以及应用开发图元素749。在一种实现中,图7的多层协作图321的第二层720和第三层740中的图元素之间的关系可以是预定的。例如,要求提取、数据准备、数据清理、和应用开发可能需要与工业域过程有关的输入,但是不需要与数据处理模块有关的输入。因此,第三层740的图元素742、744、746、和749可以与图7所示的工业过程子层722有关。这些关系可以在第三层740中的个体图元素、与作为整体的工业过程子层722之间的层次。在特定数据建模请求中可能涉及工业过程子层722内的哪个个体过程可以经由图3中的要求提取界面342来确定。
再例如,只有图7的层740的数据清理和数据建模与图7的第二层720的数据处理子层724中的各种数据处理模块图元素有关。如图7的部分箭头760所示,这些关系可以独立于特定数据建模任务,在第三层740中的图元素与子层724中的个体图元素之间被预定和指定。例如,子层724中用于数据过滤和降噪的数据模块可以与层740的数据清理图元素746有关。在图3的要求提取过程期间,对于特定数据建模任务,是否需要第二层720的子层724中的特定数据处理模块具有到第三层740中的图元素的预定关系可以被确定。
在一种实现中,由图7中的第二层720和第三层740之间的箭头760表示的关系可以是二态的,即,该关系要么存在要么不存在。因此,图7中的多层协作图312的第二层720与第三层740之间的箭头760可以不与用于测量这些关系的任意值相关联。
返回图3,以上讨论的多层协作图312、数据建模要求326、以及流矩阵308可以被输入到流控制器330中。流控制器330负责从数据建模要求326,确定针对特定请求的数据建模任务的、所需要的数据处理模块和相关域过程,以及结合多层协作图312标识个体专家群组,该个体专家群组协作地参与数据模型和应用开发的各种流程阶段。流控制器330进一步负责经由用户界面360自动地在所标识出的协作群组中,从个体到个体指配数据建模请求。
在一种实现中,流控制器330可以首先确定图7的多层协作图312的第二层720中的相关图元素,并且简化/编辑多层协作图312。图8示出了针对特定数据建模任务的示例性的经简化/编辑的多层协作图800。具体地,在图8的第二层中变成灰色的数据模块和工业过程不是数据建模要求326的部分,而呈深色的工业过程和数据模块是在针对特定数据建模任务的数据建模要求326中。因此,第二层中的呈灰色图元素和连接到这些灰色图元素并且来源于这些灰色图元素的任意箭头(关系)可以被移除。另外,不与第二层720中的至少一个深色图元素相关的第一层中的任意图元素、以及源自它们的箭头可以被移除,例如,地面专家2和数据专家N3。
流控制器330随后可以基于图8的经简化/编辑的多层协作图800,来确定针对数据建模请求的协作专家群组。在图8的示例中,数据建模请求被确定与工业过程1和3有关。根据图5的示例流矩阵551,需要过程专家来执行“商业需求”分析。这种分析可以不是数据过程或数据科学子层724的部分。根据经简化/编辑的多层协作图800,流控制器330因此继续到标识过程专家1以执行关于过程1的“商业需求”分析(过程专家1是过程专家群组720内根据图8中的量化关系而具有资格的专家)。流控制器330进一步标识过程专家N1作为过程专家群组702中处理关于过程3的“商业需求”分析的最有资格的专家。在一种备选实现中,流控制器330可以考虑过程专家1与过程专家N1之间对于过程3的绝对或相对资格差异(在本示例中,0.7相对于0.8),并且在权衡了使单个专家执行关于过程1和过程3的“商业需求”分析的优点比对资格差异之后,可以选择专家1而不是专家N1来处理关于过程3的“商业需求”分析。
流控制器330进一步根据图5的示例流矩阵551确定需要一个或多个地面专家来分析“数据可用性”,来执行“数据导入”和“数据质量分析”。再次,这些数据处理模块可能不是数据科学子层724的部分。因此并且基于图8中的示例,流控制器330可以选择地面专家1来执行所有的这些分析,因为地面专家1是地面专家群组中关于过程1和过程3有资格的唯一一个专家。如果其他地面专家与过程1和/或过程3有关,则选择可以通过类似于从在以上的过程专家1和过程专家N1之间进行选择方式来进行。
流控制器330随后根据图5的示例流矩阵551确定需要数据专家来执行“数据清理”。流控制器330可以标识出数据专家1是数据专家群组706中与数据科学子层724中的数据模型1(数据清理)有关的唯一专家。流控制器330进一步确定“降维”需要由数据专家执行。可以标识出数据专家1和数据专家2是关于降维知识渊博的、并且数据专家1更有资格。在这种情况下,因为数据专家1更有资格(具有与数据模块2更合格的关系)、并且因为使单个专家(数据专家1)执行数据模块1(数据清理)和数据模块2(降维)二者是有利的,流控制器330可以选择数据专家1来执行降维。
最后,流控制器330确定需要过程专家来基于数据模型完成构建应用。应用开发可以不涉及数据专家,因此过程专家可以通过类似于在选择用于分析“商业需求”的过程专家时的上述方式来选择。
在由流控制器330执行的以上示例性选择过程中,假设图5的示例流矩阵551中的每个数据模块将由一个专家执行。在一些实现中,流控制器330可以指定执行每个数据模块所需要的数个专家。专家的选择随后可以基于这些专家的组合的资格被执行。另外,专家的日程可以被维持,并且被用作通过流控制器330的专家选择过程中的约束。流控制器330进一步基于示例流矩阵551自动地且循序地控制数据建模过程到序列中的选择的专家。当经由该过程开发出了所请求的数据模型和应用,则该数据模型或应用随后可以被用来控制工业操作。例如,如由相同申请人于2016年8月23日在中国国家知识产权局递交的PCT国际专利申请No.PCT/CN2016/096386的数据模型所示,工厂的操作参数可以基于用于优化特定产品的生产的数据模型来控制。具体地,在综合化工厂中,预测模型可以使用以上涉及各种过程专家、数据专家、以及流专家的流控制,通过使用各种数据处理组件和机器学习算法来对历史产量和传感器数据分析,以提供化学产品的生产率的精确且实时的预测。用于最大化化学产品的产量的、诸如温度、压力、和化学混合物比例的优化操作参数可以根据预测模型来确定。反馈机制可以被采用以控制化工厂中的各种活动元件(例如,加热器和化学品排放器),以使得这些参数被控制在由化工厂中的各种传感器测量出的优化值周围的预定范围内。
以上描述的方法、设备、处理、和逻辑可以通过很多不同方式来实现,并且被实现在硬件和软件的诸多不同组合中。例如,所有或部分实现可以是包括指令处理器的电路系统,诸如,中央处理单元(CPU)、微控制器、或微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、或现场可编程门阵列(FPGA);或包括离散逻辑或其他电路组件的电路系统,其包括模拟电路组件、数字电路组件、或它们二者、或它们的任意组合。作为示例,该电路可以包括离散互连硬件组件和/或可以例如被组合在单个集成电路裸片上、分布在多个集成电路裸片中、或实现在通用包中的多个集成电路裸片中的多晶片模组(MCM)。
电路系统可以进一步包括或访问供该电路执行的指令。这些指令可以被存储在暂时信号以外的有形存储介质中,诸如,闪存、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM))中,或者被存储在磁盘或光盘上,诸如,压缩盘只读存储器(CDROM)、硬盘驱动(HDD)、或其他磁盘或光盘;或者被存储在其他机器可读介质中或在其上。诸如计算机程序产品的产品可以包括存储介质和存储在该介质中或上的指令,并且这些指令在被设备中的电路执行时,可以使得该设备实现以上描述的或图中所示的任意处理。
这些实现可以分布作为在系统组件中(诸如多个处理器和存储器中,可选地包括多个分布式处理系统)的电路系统。参数、数据库、和其他数据结构可以被单独存储和管理,可以被结合在单个存储器或数据库中,可以通过很多不同方式被逻辑且物理地组织,并且可以通过包括诸如链接列表、哈希表、阵列、记录、对象、或隐式存储机构在内的诸多不同方式实现。程序可以是单个程序的部分(例如,子例程)、跨多个存储器和处理器分布的分开的程序,或者通过诸如库(例如,共享库(例如,动态链接库(DLL))的诸多不同方式实现。DLL例如可以存储指令,其在被电路系统执行时,执行以上描述的或图中所示的任意处理。
已经具体描述了各种实现。但是,很多其他实现也是可能的。
Claims (20)
1.一种用于控制工业操作的系统,包括:
图知识库,包含被链接到工业操作的数据元素、以及所述数据元素之间的关系;
存储器,包括资源分配图结构,所述资源分配图结构包含图元素的资源层、工业过程层和数据建模阶段层、以及所述图元素之间的层间关系,其中所述数据建模阶段层中的图元素与预定义的一组数据建模阶段对应;以及
系统电路系统,被配置为:
从所述图知识库提取被分类为资源的预定义类型的资源数据元素和工业过程数据元素,以获取针对所述资源层和所述工业过程层的所述图元素、以及所述资源分配图结构的所述图元素之间的所述层间关系;
响应于接收到数据建模请求:
从所述图知识库确定与所述数据建模请求相关联的一组工业过程;以及
基于所述一组工业过程、以及所述资源分配图结构的所述层间关系,在所述预定义的一组数据建模阶段中的每个数据建模阶段处,向从所述资源层被选择的图元素群组自动地分配所述数据建模请求用于对操作数据进行建模以获取数据模型,所述操作数据来自针对所述工业操作的操作数据的日志;以及
基于所述数据模型控制所述工业操作。
2.根据权利要求1所述的系统,其中所述资源层的所述图元素包括可分配人力资源图元素。
3.根据权利要求2所述的系统,其中所述资源层的所述可分配人力资源图元素被分组到人力资源图元素的多个预定义类型中,并且从所述资源层被选择的所述图元素群组包括至少一个图元素,所述至少一个图元素来自所述人力资源图元素的多个预定义类型中的每个预定义类型。
4.根据权利要求3所述的系统,其中所述可分配人力资源图元素在从所述图知识库被提取时使用分类器被分类到所述人力资源图元素的多个预定义类型中,所述分类器基于机器学习算法从所述图知识库被建立。
5.根据权利要求3所述的系统,其中所述人力资源图元素的多个预定义类型包括与工业操作数据的数据建模相关联的专业知识类型。
6.根据权利要求3所述的系统,其中所述系统电路系统进一步被配置为:根据所述数据建模请求在预定义的数据建模任务集中选择一组数据建模任务,以及自动地将所述数据建模请求分配给被选择的所述图元素群组中的每个图元素,以用于执行所述一组数据建模任务中的至少一个数据建模任务。
7.根据权利要求6所述的系统,所述存储器进一步包括数据建模流数据结构,所述数据建模流数据结构包括表示所述预定义的一组数据建模阶段和所述人力资源图元素的多个预定义类型的数据建模阶段维度和资源维度,并且其中所述数据建模流数据结构进一步指定以下项:成对的所述预定义的一组数据建模阶段和所述人力资源图元素的预定义类型、与所述一组数据建模任务之间的关联。
8.根据权利要求7所述的系统,其中所述系统电路系统被配置为进一步根据所述数据建模流数据结构,自动地分配所述数据建模请求。
9.根据权利要求6所述的系统,进一步包括针对所述工业操作的操作数据的日志,并且其中所述系统电路系统进一步被配置为从所述日志确定一组操作数据,作为针对所述一组数据建模任务的输入。
10.根据权利要求1所述的系统,其中所述图元素之间的所述层间关系基于所述图知识库中的所述数据元素和关系被量化,并且所述系统电路系统被配置为进一步基于经量化的所述层间关系,自动地分配所述数据建模请求。
11.一种用于控制工业操作的方法,包括:
从图知识库提取被分类为资源的预定义类型的资源数据元素和工业过程数据元素,以获取针对资源分配图结构的资源层和工业过程层的图元素,并且以获取所述资源分配图结构的所述图元素之间的层间关系,所述图知识库包含被链接到工业操作的数据元素、以及所述数据元素之间的关系,其中所述资源分配图结构还包括数据建模阶段层,所述数据建模阶段层中的图元素与预定义的一组数据建模阶段对应;
响应于接收到数据建模请求:
从所述图知识库确定与所述数据建模请求相关联的一组工业过程;以及
基于所述一组工业过程、以及所述资源分配图结构的所述层间关系,在预定义的一组数据建模阶段中的每个数据建模阶段处,向从所述资源层被选择的图元素群组自动地分配所述数据建模请求用于对操作数据进行建模以获取数据模型,所述操作数据来自针对所述工业操作的操作数据的日志;以及
基于所述数据模型控制所述工业操作。
12.根据权利要求11所述的方法,其中所述资源层的所述图元素包括可分配人力资源图元素。
13.根据权利要求12所述的方法,其中所述资源层的所述可分配人力资源图元素被分组到人力资源图元素的多个预定义类型中,并且从所述资源层被选择的所述图元素群组包括至少一个图元素,所述至少一个图元素来自所述人力资源图元素的多个预定义类型中的每个预定义类型。
14.根据权利要求13所述的方法,其中所述可分配人力资源图元素在从所述图知识库被提取时使用分类器被分类到所述人力资源图元素的多个预定义类型中,所述分类器基于机器学习算法从所述图知识库被建立。
15.根据权利要求13所述的方法,其中所述人力资源图元素的多个预定义类型包括与工业操作数据的数据建模相关联的专业知识类型。
16.根据权利要求13所述的方法,进一步包括:根据所述数据建模请求在预定义的数据建模任务集中选择一组数据建模任务,以及自动地将所述数据建模请求分配给被选择的所述图元素群组中的每个图元素,以用于执行所述一组数据建模任务中的至少一个数据建模任务。
17.根据权利要求16所述的方法,进一步包括:维护数据建模流数据结构,所述数据建模流数据结构包括表示所述预定义的一组数据建模阶段和所述人力资源图元素的多个预定义类型的数据建模阶段维度和资源维度,以及根据所述数据建模流数据结构,自动地分配所述数据建模请求,其中所述数据建模流数据结构进一步指定以下项:成对的所述预定义的一组数据建模阶段和所述人力资源图元素的预定义类型、与所述一组数据建模任务的关联。
18.根据权利要求16所述的方法,进一步包括:从针对所述工业操作的操作数据的日志,确定一组操作数据作为针对所述一组数据建模任务的输入。
19.根据权利要求11所述的方法,其中所述图元素之间的所述层间关系基于所述图知识库中的所述数据元素和关系被量化,并且所述方法进一步包括基于经量化的所述层间关系,自动地分配所述数据建模请求。
20.一种用于控制工业操作的系统,包括:
图知识库,包含被链接到工业操作的数据元素、以及所述数据元素之间的关系;
针对所述工业操作的操作数据的日志;
存储器,用于存储:
预定义的数据建模模板,所述数据建模模板包括数据建模阶段维度和资源维度,所述数据建模阶段维度和所述资源维度表示针对数据建模任务的、预定义的数据建模阶段以及资源的预定义类型;以及
资源分配图结构,具有被组织到资源层、过程层、以及数据建模阶段层的图元素,其中所述数据建模阶段层中的所述图元素对应于所述预定义的数据建模阶段;以及
系统电路系统,被配置为:
从所述图知识库提取被分类到所述资源的预定义类型中的资源数据元素,以获取针对所述资源分配图结构的所述资源层的所述图元素;
从所述图知识库提取工业过程数据元素,以获取针对所述资源分配图结构的所述过程层的所述图元素;
基于所述图知识库,获取所述资源分配图结构的所述资源层中的所述图元素与所述过程层中的所述图元素之间的关系、以及所述资源分配图结构的所述过程层中的所述图元素与所述数据建模阶段层中的所述图元素之间的关系;
在接收到针对数据建模任务的请求时:
确定与所述数据建模任务相关联的一组工业过程;
基于所述一组工业过程、以及所述资源层中的所述图元素与所述过程层中的所述图元素之间的所述关系,从所述资源分配图结构选择资源图元素群组;以及
根据所述资源分配图结构,自动地向所选择的所述资源图元素群组分配所述数据建模任务,以用于在所述预定义的数据建模阶段中的每个数据建模阶段处,对来自所述日志的所述操作数据进行建模,以获取数据模型;以及
基于所述数据模型控制所述工业操作。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/107977 WO2019080086A1 (en) | 2017-10-27 | 2017-10-27 | INDUSTRIAL DATA SERVICE, DATA MODELING, AND DATA APPLICATION PLATFORM |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110799997A CN110799997A (zh) | 2020-02-14 |
CN110799997B true CN110799997B (zh) | 2024-01-26 |
Family
ID=66246156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780092695.2A Active CN110799997B (zh) | 2017-10-27 | 2017-10-27 | 工业数据服务、数据建模、以及数据应用平台 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11410112B2 (zh) |
CN (1) | CN110799997B (zh) |
WO (1) | WO2019080086A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11507069B2 (en) | 2019-05-03 | 2022-11-22 | Chevron U.S.A. Inc. | Automated model building and updating environment |
US11249462B2 (en) * | 2020-01-06 | 2022-02-15 | Rockwell Automation Technologies, Inc. | Industrial data services platform |
EP4075298A4 (en) * | 2020-01-19 | 2023-09-20 | Siemens Aktiengesellschaft | SYSTEM, DEVICE AND METHOD FOR CONSTRUCTING A GRAPH-BASED INDUSTRIAL FLOW MODEL |
CN111539162B (zh) * | 2020-04-26 | 2022-03-08 | 西南科技大学 | 一种Web化多目标气动数据分析系统 |
CN111611236A (zh) * | 2020-05-28 | 2020-09-01 | 宁波和利时智能科技有限公司 | 一种数据分析方法及系统 |
US20220027685A1 (en) * | 2020-07-24 | 2022-01-27 | International Business Machines Corporation | Automated generation of optimization model for system-wide plant optimization |
US11954484B2 (en) * | 2021-02-03 | 2024-04-09 | Jpmorgan Chase Bank, N.A. | Method and system for graph-based application modeling |
US20220343233A1 (en) * | 2021-04-23 | 2022-10-27 | Volantsys Analytics Inc. | Systems and Methods for Data Analytics |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6067548A (en) * | 1998-07-16 | 2000-05-23 | E Guanxi, Inc. | Dynamic organization model and management computing system and method therefor |
US6101479A (en) * | 1992-07-15 | 2000-08-08 | Shaw; James G. | System and method for allocating company resources to fulfill customer expectations |
US7185016B1 (en) * | 2000-09-01 | 2007-02-27 | Cognos Incorporated | Methods and transformations for transforming metadata model |
CN101872166A (zh) * | 2009-04-24 | 2010-10-27 | 洛克威尔自动控制技术股份有限公司 | 利用部件特定的消耗数据的过程仿真 |
CN103037110A (zh) * | 2011-09-30 | 2013-04-10 | 塔塔咨询服务有限公司 | 预测呼叫中心的性能 |
CN104049595A (zh) * | 2013-03-15 | 2014-09-17 | 洛克威尔自动控制技术股份有限公司 | 用工业自动化系统的组织模型确定能量信息的系统及方法 |
CN105988367A (zh) * | 2015-03-16 | 2016-10-05 | 洛克威尔自动控制技术股份有限公司 | 云中的工业自动化环境的建模 |
US9594849B1 (en) * | 2013-06-21 | 2017-03-14 | EMC IP Holding Company LLC | Hypothesis-centric data preparation in data analytics |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9047565B2 (en) | 2010-09-17 | 2015-06-02 | Fluor Technologies Corporation | Intelligent plant development library environment |
US8539018B2 (en) * | 2010-11-04 | 2013-09-17 | International Business Machines Corporation | Analysis of IT resource performance to business organization |
US20130024229A1 (en) * | 2011-07-19 | 2013-01-24 | HCL America Inc. | Automatic bill of talent generation |
US20140058789A1 (en) * | 2012-08-24 | 2014-02-27 | Markus Doehring | Process model generation and weak-spot analysis from plain event logs |
CN104732310A (zh) | 2013-12-23 | 2015-06-24 | 北京索为高科系统技术有限公司 | 基于统一数据模型的数据集成方法 |
EP2902930A3 (en) * | 2014-02-04 | 2015-11-11 | Ingersoll-Rand Company | System and method for modeling, simulation, optimization, and/or quote creation |
CN105426521B (zh) | 2015-12-04 | 2019-04-23 | 深圳大学 | 具有三级索引结构的海图数据库及其数据读取方法 |
-
2017
- 2017-10-27 CN CN201780092695.2A patent/CN110799997B/zh active Active
- 2017-10-27 WO PCT/CN2017/107977 patent/WO2019080086A1/en active Application Filing
- 2017-10-27 US US16/621,089 patent/US11410112B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6101479A (en) * | 1992-07-15 | 2000-08-08 | Shaw; James G. | System and method for allocating company resources to fulfill customer expectations |
US6067548A (en) * | 1998-07-16 | 2000-05-23 | E Guanxi, Inc. | Dynamic organization model and management computing system and method therefor |
US7185016B1 (en) * | 2000-09-01 | 2007-02-27 | Cognos Incorporated | Methods and transformations for transforming metadata model |
CN101872166A (zh) * | 2009-04-24 | 2010-10-27 | 洛克威尔自动控制技术股份有限公司 | 利用部件特定的消耗数据的过程仿真 |
CN103037110A (zh) * | 2011-09-30 | 2013-04-10 | 塔塔咨询服务有限公司 | 预测呼叫中心的性能 |
CN104049595A (zh) * | 2013-03-15 | 2014-09-17 | 洛克威尔自动控制技术股份有限公司 | 用工业自动化系统的组织模型确定能量信息的系统及方法 |
US9594849B1 (en) * | 2013-06-21 | 2017-03-14 | EMC IP Holding Company LLC | Hypothesis-centric data preparation in data analytics |
CN105988367A (zh) * | 2015-03-16 | 2016-10-05 | 洛克威尔自动控制技术股份有限公司 | 云中的工业自动化环境的建模 |
Non-Patent Citations (3)
Title |
---|
Zhengxing Huang等.A Task Operation Model for Resource Allocation Optimization in Business Process Management.《IEEE Transactions on Systems, Man, and Cybernetics - Part A: Systems and Humans》.2012,第42卷(第5期),1256-1270. * |
薄洪光 ; 黄文秋 ; 陈胜武 ; .基于作业过程的钢铁企业制造资源清单模型.工业工程与管理.2011,第16卷(第6期),50-54. * |
郭双宙 ; 梁金兰 ; .基于PMBOK2004项目人力资源管理的系统开发.计算机工程.2006,第32卷(第20期),264-266. * |
Also Published As
Publication number | Publication date |
---|---|
WO2019080086A1 (en) | 2019-05-02 |
US11410112B2 (en) | 2022-08-09 |
US20200201293A1 (en) | 2020-06-25 |
CN110799997A (zh) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110799997B (zh) | 工业数据服务、数据建模、以及数据应用平台 | |
US20220066772A1 (en) | System and Method for Code and Data Versioning in Computerized Data Modeling and Analysis | |
Lee et al. | Autonomic machine learning platform | |
US10268753B2 (en) | System and method for optimized query execution in computerized data modeling and analysis | |
US20180240041A1 (en) | Distributed hyperparameter tuning system for machine learning | |
US10394532B2 (en) | System and method for rapid development and deployment of reusable analytic code for use in computerized data modeling and analysis | |
US20230072862A1 (en) | Machine learning model publishing systems and methods | |
CN108713205A (zh) | 用于自动映射与数据流环境一起使用的数据类型的系统和方法 | |
CN103136337A (zh) | 用于复杂网络的分布式知识数据挖掘装置和挖掘方法 | |
WO2019200480A1 (en) | Method and system for model auto-selection using an ensemble of machine learning models | |
Vinod et al. | Simulation-based metamodels for scheduling a dynamic job shop with sequence-dependent setup times | |
WO2018236886A1 (en) | SYSTEM AND METHOD FOR MANAGING CODE AND DATA VERSIONS IN COMPUTERIZED DATA MODELING AND ANALYSIS | |
Zheng et al. | Applying data mining techniques to address critical process optimization needs in advanced manufacturing | |
CN110489749B (zh) | 一种智能办公自动化系统的业务流程优化方法 | |
US10963802B1 (en) | Distributed decision variable tuning system for machine learning | |
CN114868092A (zh) | 数据管理平台、智能缺陷分析系统、智能缺陷分析方法、计算机程序产品和用于缺陷分析的方法 | |
CN110249312A (zh) | 数据集成作业转换 | |
KR20090046741A (ko) | 제조 설비에 관련된 예보를 생성하기 위한 시뮬레이션 사용 | |
Jun et al. | Cloud-based big data analytics platform using algorithm templates for the manufacturing industry | |
Lin et al. | [Retracted] Probabilistic Hesitant Fuzzy Methods for Prioritizing Distributed Stream Processing Frameworks for IoT Applications | |
Geiger et al. | Knowledge-based machine scheduling under consideration of uncertainties in master data | |
CN112817560B (zh) | 一种基于表函数的计算任务处理方法、系统及计算机可读存储介质 | |
CN112463532A (zh) | 构建snn工作负载自动映射器的方法及自动映射器 | |
US20220374801A1 (en) | Plan evaluation apparatus and plan evaluation method | |
Gupta et al. | Challenges and issues in data analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |