CN116894573A - 用于为工程项目推荐模块的方法和系统 - Google Patents
用于为工程项目推荐模块的方法和系统 Download PDFInfo
- Publication number
- CN116894573A CN116894573A CN202310332295.1A CN202310332295A CN116894573A CN 116894573 A CN116894573 A CN 116894573A CN 202310332295 A CN202310332295 A CN 202310332295A CN 116894573 A CN116894573 A CN 116894573A
- Authority
- CN
- China
- Prior art keywords
- node
- class
- modules
- module
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 5
- 238000007639 printing Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000010749 BS 2869 Class C1 Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000010750 BS 2869 Class C2 Substances 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000004760 Pimpinella anisum Species 0.000 description 1
- 241000139306 Platt Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
- G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Stored Programmes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种为工程项目推荐模块的方法和系统。基于存储由模块组成的工程项目的当前状态的图,图神经网络计算每个节点的嵌入。分类器针对每个节点嵌入确定每个类的初步置信度得分,其表示可以添加到工程项目的模块类型。至少为当前中心节点计算基于拓扑的度量。取决于基于拓扑的度量,将空白节点分派到箱。后处理器通过应用取决于所分派的箱的缩放因子来校准空白节点的所有初步置信度得分。最后,用户接口至少输出具有空白节点的最高校准置信度得分的类以及相应校准置信度得分。根据基于拓扑的度量,该方法的分箱方案将图结构考虑在内并允许自适应校准,例如,取决于在使用已完成的工程项目集作为训练数据的先前训练阶段期间观察到的每个箱中的节点特性。
Description
技术领域
本发明涉及一种用于为工程项目推荐模块的方法和系统,例如用于向正在诸如工业自动化系统的复杂工程项目上工作的用户推荐模块的方法和系统。
背景技术
在过去的二十年中,工业自动化的进步已经改变了几个行业中的工厂车间和过程,从流程工业(例如,石油和天然气、电力和公用事业、水和废水)到混合工业(例如,食品和饮料、风力)到离散工业(例如,汽车制造、航空航天、机器人技术)。
这些行业中的任何一个的自动化过程都需要工程师来设计和配置工业自动化解决方案,换句话说,需要工程师来完成复杂系统的工程项目,所述复杂系统由大量单独的模块组成,所述模块的相互作用满足从预期应用产生的功能要求。必要模块的选择典型地使用由其制造商提供的配置软件来完成。在这些工程项目上工作还要求由用户指定所选模块之间的连接。
工程项目的其他示例包括印刷电路板和自主车辆。在那些用例之中是电子系统设计上下文中的模块推荐,包括兼容模块的选择、模块在电路板上的正确放置的规范,以及布线方案的最优连接的标识。另一个应用是Simcenter Amesim,它允许创建复杂的机电系统,一旦设计完成,就可以通过将模块相互连接来模拟所述复杂的机电系统。关于模块的端口兼容性的信息是可用的,并且集成在推荐过程中。
这些系统,比如上述的工业自动化解决方案,可能是复杂的,并且包括大量不同的模块。复杂工程项目的配置可以包括迭代过程,其中用户递增地选择模块(用于构建工程项目的硬件和/或软件组件)。这些所选模块的组合可以满足工程项目的功能要求,同时也相互兼容。复杂工程项目的配置不是一项简单的任务,并且要求时间、努力、经验和一定量的领域特定知识来由用户正确完成。
为了加速设计过程并减轻执行这样的复杂工程过程的用户的信息过载,推荐系统被广泛部署以在各种各样的应用(包括工业应用)中执行个性化信息过滤,诸如用于工程系统的产品配置器、用于多领域系统的建模和分析的模拟软件、示意图绘制软件或医疗保健领域中的临床推荐系统。这些推荐系统基于关于现有设计和背景知识的信息来建议适当的模块以支持用户。
所有上述复杂系统都可以建模为图(graph),其中模块被表示为节点,并且模块之间的交互或连接表示为边。图是一种合适的表示选择,因为模块之间的链接结构在识别系统的功能属性中扮演重要的角色。
WO 2021037603 A1公开了一种推荐引擎,用于自动提供推荐以支持用户完成工程项目。该文献的全部内容通过引用并入本文。
WO 2020120123 A1也公开了一种推荐引擎,用于自动提供推荐以支持用户完成工程项目。该文献的全部内容通过引用并入本文。
发明内容
本发明的目的是提供一种提供现有技术的替代物的方法和系统。
本发明的目的由独立权利要求解决。在相应的从属权利要求中阐述了本发明的进一步有利的布置和实施例。
根据用于为工程项目推荐模块的计算机实现的方法,以下操作由组件执行,其中所述组件是由一个或多个处理器和/或硬件组件执行的软件组件:
-在数据库中存储,
-类集,其中每个类表示一种类型的模块,并且其中每个模块由可以在工程项目中使用的硬件模块和/或软件模块组成,以及
-利用节点和边表示工程项目的当前状态的图,
-其中每个节点表示模块及其先前为工程项目选择的技术属性,
-其中每条边表示工程项目中先前选择的模块之间的连接,
-其中当前中心节点表示新模块应该连接到的先前选择的模块之一,其中连接到当前中心节点的节点是当前中心节点的邻居,
-其中空白节点表示新模块,其中空白节点不具有技术属性,并且
-其中边将当前中心节点连接到空白节点,
-通过图神经网络计算每个节点或至少当前中心节点及其邻居在潜在空间中的嵌入,
-由分类器为每个节点嵌入确定每个类的初步置信度得分,
-至少为当前中心节点计算基于拓扑的度量,
-取决于已经为当前中心节点计算的基于拓扑的度量,将空白节点分派给来自箱(bin)集中的箱,
-由后处理器通过应用取决于所分派的箱的缩放因子来校准空白节点的所有初步置信度得分,以及
-通过用户接口至少输出具有空白节点的最高校准置信度得分的类以及相应的校准置信度得分。
根据该方法,用于为工程项目推荐模块的系统包括一个或多个处理器、数据库、图神经网络(GNN)、分类器(f)、后处理器和用户接口,其中这些组件中的至少一些是硬件组件,并且其中所有这些组件被配置用于根据该方法执行相应的操作。
以下优点和解释不一定是独立权利要求的目的的结果。相反,它们可能是仅适用于某些实施例或变型的优点和解释。
关于本发明,除非在说明书中另有声明,否则术语“训练”、“生成”、“计算机辅助”、“计算”、“确定”、“推理”、“再训练”以及诸如此类优选地涉及改变和/或生成数据和/或将数据转换成其他数据的动作和/或过程和/或处理步骤,该数据特别地是物理量或者能够被表示为物理量,例如电脉冲。
术语“计算机”应当被尽可能广义地解释,特别是覆盖具有数据处理特性的所有电子设备。因此,计算机可以是例如个人计算机、服务器、客户端、可编程逻辑控制器(PLC)、手持计算机系统、掌上PC设备、移动无线电设备、智能手机、能够利用计算机支持处理数据的设备或任何其他通信设备、用于数据处理的处理器和其他电子设备。计算机特别地可以包括一个或多个处理器和存储器单元。
关于本发明,“存储器”、“存储器单元”或“存储器模块”以及诸如此类可以意指例如随机存取存储器(RAM)形式的易失性存储器,或者诸如硬盘或磁盘的永久性存储器。
潜在空间是低维向量空间。例如,数据库可以存储在RAM中、硬盘上或固态驱动器上。数据库可以通过简单地存储一组数据集来实现,或者通过任何其他种类的数据库来实现,例如关系数据库或图数据库。更进一步地,数据库可以包含几个数据库,例如用于图的图数据库和用于其他信息的一组数据集。
在基于拓扑的度量的基础上,该方法的分箱(binning)方案将图结构考虑在内,并且允许自适应校准,例如,取决于在使用已完成的工程项目集作为训练数据的先前训练阶段期间已经观察到的每个箱中的节点属性。
每个校准置信度得分指示完成工程项目需要相应类的模块的似然性。例如,0.8的校准置信度得分允许用户解释相应的类具有80%的估计似然性是完成工程项目所必需,在某种意义上,基于先前的工程项目,已经计算出用户将为当前项目选择该类的模块的概率为80%。
所述方法和系统或者它们的实施例中的至少一些提供了一种取决于相邻节点的输出来缩放置信度得分的拓扑感知校准方法。校准的得分增加了模型的可解释性,并且因此导致推荐系统的更大可信度。与当前工程项目不兼容的模块应该通过它们对应的低置信度得分而变得明显。进一步地,如果正确的模块仅具有低确定性,则其指示仅有不充分的信息可用,因此应当收集关于该模块或领域的另外的数据,以改进推荐系统。在没有校准的情况下,用户可能错误地接受推荐,即使推荐系统没有充足的证据来做出有信心的决策。这能够导致具有糟糕的功能特性的工程系统,或者甚至潜在地对其用户有害的工程系统。
与直接输出预测和置信度得分的现有推荐系统相比,所述方法和系统,或者它们的实施例中的至少一些,添加了校准步骤以使置信度得分更加可解释。校准步骤基于多类方法,所述多类方法校准所有置信度得分,而不仅仅是由大多数现有校准方法完成的具有最高得分的顶部预测。进一步地,校准步骤考虑拓扑信息,并且取决于节点特性校准置信度得分。
所述方法和系统,或者它们的实施例中的至少一些,将合适模块的推荐公式化为(多标签)节点分类任务,其中目标是预测在由当前中心节点表示的工程项目的当前状态中应该连接到现有模块的模块类型。为了更好地利用图结构,使用了图神经网络(GNN),其学习用于节点分类的实体嵌入。
GNN在准确性方面实现了良好的性能,但是与预测相关联的置信度得分通常没有被校准。校准步骤允许置信度得分反映所预测的类的基准真值概率,这使得用户更容易解释置信度得分。尽管初步置信度得分已经引致可以用于通过相关性对推荐的模块类型进行排序的次序,但是校准步骤还校正了置信度得分的实际大小,并使它们更加有意义,使得可以确定特定阈值,该特定阈值允许跨不同的中心节点对相关和不相关的模块进行区分。与机器学习算法的现有校准方法相比,校准步骤考虑了图的结构,这对于校准是有用的。
在该方法的一个实施例中,输出操作包括输出校准置信度得分的排序列表以及空白节点的相应类。
在该方法的一个实施例中,只有高于给定阈值的校准置信度得分被包括在排序列表中。
例如,对于阈值t=0.1,将仅显示估计有至少10%的机会被用户选择的类。
该方法的一个实施例包括附加的操作,即通过用户接口识别选择推荐类或推荐类之一的用户交互,以及通过用数据库中的所选类的模块替换空白节点来自动完成工程项目。
该方法的一个实施例包括通过如下各项自动产生工程项目的附加步骤:特别是通过利用3D打印机打印工程项目,或者通过自动配置自主机器,特别是通过配置自主机器的软件模块,以便产生工程项目,或者通过自动分派自主机器以作为工程项目的模块来执行,特别是通过安装和/或激活和/或配置自主机器的软件模块。
例如,如果工程项目由3D打印机可打印,则该步骤由利用3D打印机自动打印工程项目来组成。如果工程项目是工业自动化解决方案,则该步骤由通过合适的自动化系统自动分派和配置自主机器以便实现工业自动化解决方案来组成。
在该方法的另一实施例中,基于拓扑的度量是同类邻居比率,其被计算为当前中心节点的邻居的比例,对于该比例,具有最高的所确定初步置信度得分的类与当前中心节点的具有最高的所确定初步置信度得分的类相同。
该实施例允许以相似的方式校准具有相似邻域结构和对应置信度得分的节点。
该方法的一个实施例包括如下初始步骤:使用已完成工程项目的几个图作为训练数据,随机删除训练数据中的节点,以及根据训练目标来调整图神经网络和分类器的可训练参数,该训练目标对于替换已删除节点的空白节点,最大化已删除节点的类的校准置信度得分。
该方法的一个实施例包括通过确定单独的温度作为每个箱的缩放因子来训练后处理器针对每个箱的温度缩放的初始步骤。
该实施例学习每个箱的温度,以便重新缩放和校准该箱中节点的置信度得分。
在该方法的另一实施例中,工程项目是工业工程项目,特别是工业自动化系统。
该计算机程序产品具有用于执行根据方法权利要求之一的方法的程序指令。
根据前述权利要求所述的计算机程序产品的提供设备,其中,提供设备存储和/或提供计算机程序产品。
附图说明
当关于随附附图阅读时,从下面的详细描述中可以最好地理解本发明的前述和其他方面。出于说明本发明的目的,在附图中示出了目前优选的实施例,然而,应该理解,本发明不限于所公开的具体手段。所述实施例可以彼此组合。更进一步地,实施例可以与上述特征中的任何一个相组合。除非另外声明,否则附图之间相同的附图标记标示相同的特征或功能相同的元件。附图中包括以下各图:
图1示出了第一实施例,
图2示出了另一个实施例,
图3示出了基于拓扑的度量的计算,以及
图4示出了用于为工程项目推荐模块的实施例。
具体实施方式
在以下描述中,将描述本发明及其实施例的各种方面。然而,本领域技术人员应当理解,实施例可以利用其仅一些方面或所有方面来实践。出于解释的目的,阐述了具体的数字和配置,以便提供透彻的理解。然而,对于本领域技术人员来说,显然可以在没有这些具体细节的情况下实践所述实施例。
所描述的组件可以每个是硬件组件或软件组件。例如,软件组件可以是诸如软件库的软件模块;单独的过程、子例程或函数;或者取决于编程范例,实现软件组件功能的软件代码的任何其他部分。特别地,如果根据本发明的一些效果优选排他地由专用硬件(例如,ASIC或FPGA形式的处理器)实现,并且一些其他部分由软件实现,则可以出现硬件组件和软件组件的组合。
在下文中,术语“组件”用于执行该方法的组件,而术语“模块”用于构成工程项目的模块。尽管专门使用了这些术语,但是这两个术语都只是指代模块/组件的一般概念,其可以以硬件、软件或这两者的组合来实现。
图1示出了本发明的计算机实现的样本结构,包括:
(101)计算机系统
(102)处理器
(103)内存
(104)计算机程序(产品)
(105)用户接口。
在本发明的该实施例中,计算机程序产品104包括用于执行本发明的程序指令。计算机程序104存储在存储器103中,存储器103除了其他之外还使存储器和/或其相关的计算机系统101成为计算机程序产品104的供应设备。系统101可以通过由处理器102执行计算机程序104的程序指令来执行本发明。发明的结果可以呈现在用户接口105上。可替代地,它们可以存储在存储器103中或用于存储数据的另外的合适的部件上。
图2示出了本发明的计算机实现的另一样本结构,包括:
(201)供应设备
(202)计算机程序(产品)
(203)计算机网络/互联网
(204)计算机系统
(205)移动设备/智能手机。
在该实施例中,供应设备201存储计算机程序202,该计算机程序202包括用于执行本发明的程序指令。供应设备201经由计算机网络/互联网203提供计算机程序202。举例来说,计算机系统204或移动设备/智能手机205可以加载计算机程序202,并且通过执行计算机程序202的程序指令来执行本发明。
优选地,图3和图4所示的实施例可以利用如图1或图2所示的结构来实现。
以下实施例将合适模块的推荐公式化为(多标签)节点分类任务,其中目标是预测在工程项目的当前状态下应该连接到现有模块的模块类型。图中的中心节点(术语“中心”并不暗示着图中的任何特别定位)表示该现有模块。为了更好地利用图结构,采用了图神经网络(GNN),其学习用于节点分类的实体嵌入。
与直接输出预测和置信度得分的现有推荐系统相比,以下实施例添加了校准步骤,以使置信度得分更加可解释。
更具体地,该方法的一个实施例使用图的拓扑,因为它提供了对校准有用的结构信息。在节点分类中,节点的邻居的类标签对节点的分类具有重要影响。在推荐系统上下文中,类表示模块或模块类型。该实施例背后的主要思想是具有相似邻域结构和对应置信度得分的节点应该以相似的方式校准。为了实现这一点,该实施例定义了被称为同类邻居比率的基于拓扑的度量,同类邻居比率是与中心节点i具有相同类的邻居的比例。更进一步地,该实施例使用新颖的分箱方案,该方案基于用于校准的估计的同类邻居比率将样本分组到箱中。该分箱方案考虑了图结构,并且允许取决于每个箱中的节点特性进行自适应校准。
令G=(V,E)是一个无向图,其中V是节点集,并且E是边集。节点表示模块和模块之间的边连接。被定义为图中节点i的邻居集。每个节点与d维特征向量/>相关联,所述向量描述了相应模块的特定特性。例如,如果模块是诸如电阻器的电子组件,则特征向量可以描述物理尺寸(长度、宽度、质量)和电阻值。
节点分类任务的目标是为每个节点i∈V分派类标签其中k代表类的总数。在推荐系统上下文中,类表示模块或模块类型。
图神经网络(GNN)针对每个节点计算嵌入它将用作分类器f的输入:分类器f针对节点i输出概率向量pi:=f(hi),其中/>表示向量中的第k个元素,并且是初步置信度得分。然后,节点i的预测类标签是/>其中类k的对应置信度得分是/>
图神经网络(GNN)可以被实现为如下中所描述的GCN:Kipf、Thomas N.和MaxWelling的“Semi-supervised classification with graph convolutional networks"(arXiv预印本arXiv:1609.02907,2016)。该文献的全部内容通过引用并入本文。
可替代地,图神经网络(GNN)可以实现为如下中描述的GAT:Petar等人的“Graph attention networks”(arXiv预印本arXiv:1710.10903,2017)。该文献的全部内容通过引用并入本文。
图神经网络(GNN)将图中当前节点的d维特征向量取作输入,例如以特征矩阵/>(其中N是节点的数量)和邻接矩阵A∈[0,1]N×N(其中1代表两个节点之间的边,并且0代表没有边)的形式。如果边与权重相关联,则非二进制A∈[0,1]N×N也将是可能的。邻接矩阵表示工程项目的当前结构以及工程项目中模块之间的连接,换句话说,当前图。
分类器f可以被实现为例如具有全连接层的神经网络,或者被实现为多层感知器(MLP)。一些替代实现是逻辑回归或朴素贝叶斯分类器。
对于未校准的模型,初步置信度得分引致推荐模块类型的排序。进而,许多推荐系统关于其置信度得分降序显示其推荐。然而,如果置信度得分被校准,则人们可以确定阈值t∈(0,1)并且仅显示具有/>的模块。例如,对于t=0.1,将仅显示估计有至少10%的机会被用户选择的类(模块类型)。
对于校准步骤,该实施例将节点i的同类邻居比率定义为图中与节点i具有相同类的邻居的比例
图3示出了具有两个类,第一类C1和第二类C2,的两个示例。中心节点属于第一类C1。通过将与中心节点具有相同类的邻居的数量除以中心节点的邻居总数来计算同类邻居比率。作为结果,左侧示例中的同类邻居比率为1,而右侧示例中的同类邻居比率为1/3。
由于节点的基准真值标签并且因此同类邻居比率通常不是对所有节点都可用的,所以该实施例首先近似每个节点的同类邻居比率。然后,它将节点分组到M个箱中,并且学习每个箱的温度,以重新缩放和校准置信度得分。
节点i的估计同类邻居比率被定义为
其中,是节点i的预测类,并且/>是节点i的邻居数量。
换句话说,仅使用邻居的类k的初步置信度得分来计算节点i的估计的同类邻居比率,其中k是节点i的具有最高置信度得分的类。
对于基于比率的分箱方案,令{Bm|1≤m≤M}是均匀划分区间[0,1]的一组箱。在计算了所有节点的输出(初步置信度得分)之后,每个节点i根据其估计的同类邻居比率被分派到一个箱,即/>并且对于m∈{2,3,...,M},
令节点i的分类器f的输出的形式为f(hi)=σ(zi),其中σ是softmax函数,并且是在归一化之前的输出逻辑。对于每个箱Bm,m∈{1,2,...,M},在训练期间学习用于重新缩放的温度Tm>0。如果j∈Bm,则在部署期间测试节点j的校准置信得分由/>给出。
该校准步骤的输入是整个分类向量(用于相应节点嵌入的分类器f的输出),包含每个类的初步置信度得分,并且校准步骤重新缩放所有初步置信度得分,从而产生每个类的校准置信度得分。
该实施例应用温度缩放来校准每个箱中的节点,但是替代实施例可以应用其他后处理校准方法来获得校准置信度得分。例如,还可以使用直方图分箱、Platt校准、矩阵和向量缩放或Beta校准来校准每个箱中的节点,如除了其他之外在Alex Dyakonov的“Confidence Calibration Problem in Machine Learning”中所描述的那样,该文献于2022年3月30日在互联网上的https://dasha.ai/en-us/blog/confidence-calibratien-problem-in-machine-learning可获得。该文献的全部内容通过引用并入本文。
类似地,替代实施例可以代替同类邻居比率使用不同的基于拓扑的度量。例如,替代实施例可以使用取决于特征向量xi或中心节点的n跳邻域内的节点嵌入hi的度量,例如,计算每个邻居和中心节点的特征向量之间的绝对差,并且然后对所有特征和邻居进行平均,以获得用于分组的标量值。如果需要,可以包括归一化步骤。
模型训练:
令训练数据由过去配置的N个历史工业设计(已完成的工程项目)组成。这意味着,/>其中每个Gi对应于已完成工程项目的图表示。启发式地说,该实施例首先删除Gi中的一些节点(并且进而删除涉及被删除节点的边),并且然后目的在于通过该实施例中描述的推荐系统来恢复这些节点。特别地,该实施例通过其将项目完成为如它们在删除步骤之前被预先配置的那样的能力来训练和验证推荐系统(主要是图神经网络(GNN)和分类器f)。更具体地,该实施例训练图神经网络(GNN)和分类器f的参数,以推荐Vi中先前删除的节点。这可以通过根据训练目标优化图神经网络(GNN)和分类器f的可训练参数来实现,该训练目标最大化被删除节点的正确类的校准置信度得分。
部署:
图4示出了用于为工程项目推荐模块的实施例。尽管训练阶段可以预先完成,但是所有先前描述的实施例都可以用于或集成到如图4中描绘的推荐过程中。
在部署期间,当用户向工程项目(例如工业自动化系统)相继添加模块时,实施例产生建议。具体地,假设用户已经选择了现有模块,则该模块成为中心节点,并且合适模块的预测与它们对应的校准置信度得分被一起示出给用户,用户决定在下一步骤中将哪个模块添加到工程项目中。可替代地,如上所述,该实施例的变型可以确定阈值,并且仅向用户显示具有高于阈值的校准置信度得分的模块。然后,用户(从推荐集或任何其他模块中)选择模块,并且重复该程序,直到工程项目完成。
更详细地,该实施例从存储步骤1开始,在数据库中存储类集,其中每个类表示一种类型的模块,并且其中每个模块由可以在工程项目中使用的硬件模块和/或软件模块组成。还存储了利用节点和边表示工程项目的当前状态的图,其中每个节点表示先前已经为该工程项目选择的模块及其技术属性,其中每个边表示工程项目中先前选择的模块之间的连接,其中当前中心节点表示新模块应该连接到的先前选择的模块之一,其中连接到当前中心节点的节点是当前中心节点的邻居,其中空白节点表示新模块,其中空白节点不具有技术属性,并且其中边将当前中心节点连接到空白节点。
图神经网络(GNN)执行计算步骤2,计算每个节点或至少当前中心节点及其邻居的潜在空间中的嵌入。
分类器执行确定步骤3,为每个节点嵌入确定每个类的初步置信度得分。
在计算步骤4中,至少为当前中心节点计算基于拓扑的度量。
在分派步骤5中,取决于已经为当前中心节点计算的基于拓扑的度量,将空白节点分派给来自一组箱中的箱。
后处理器执行校准步骤6,通过应用取决于所分派的箱的缩放因子来校准空白节点的所有初步置信度得分。
用户接口执行输出步骤7,输出至少空白节点的具有最高校准置信度得分的类以及相应的校准置信度得分。
在识别步骤8中,用户接口识别选择推荐类或推荐类之一的用户交互。
该实施例然后可以跳回到存储步骤1,通过利用对应于用户已经选择的类的模块实例化空白节点,并且通过将该实例化的节点定义为新的当前中心节点,来更新图。所述步骤可以以该方式迭代,直到利用最终模块完成工程项目为止。
为此,该实施例可以执行自动完成步骤9,通过利用数据库中所选类的模块替换空白节点来自动完成工程项目。
实施例的变型可以继续自动生产步骤10,其通过如下各项自动生产工程项目:特别是通过利用3D打印机打印工程项目,或者通过自动配置自主机器,特别是通过配置自主机器的软件模块,以便生产工程项目,或者通过自动分派自主机器以作为工程项目的模块来执行,特别是通过安装和/或激活和/或配置自主机器的软件模块。
换句话说,当呈现推荐时,该实施例使用由用户当前选择的模块(例如,用户最后添加的模块)作为约束。推荐的模块是将被连接到当前选择的模块的模块,当前选择的模块被用作用于计算下一个推荐的当前中心节点。
例如,后处理器可以使用温度来重新缩放每个箱。在图神经网络(GNN)和分类器f的训练期间已经学习了温度。当部署模型(主要由图神经网络(GNN)和分类器f组成)时,每个箱的温度(标度值)已经基于训练数据固定。
在部署之后,只有基于拓扑的度量和节点分类基于演进图被迭代地重新计算,其中在每次迭代中,节点基于结果被动态地分派到箱。对于每次迭代,箱内的最终重新缩放步骤使用先前在训练期间确定的固定缩放值。
尽管在部署阶段期间存在不同的等同方式来实现预测步骤,但是优选实施例如下:
用户首先选择新模块应该连接的现有模块。图中表示现有模块的节点被用作以下计算的当前中心节点。可替代地,当前中心节点可以自动设置为用户最后添加的模块。在图中在当前中心节点和图中添加的新的空白节点之间添加新的边。该空白节点被初始化为没有节点特征(没有技术属性,或者零向量作为空白节点的特征向量),因为我们没有关于该节点的任何信息。将图神经网络(GNN)应用于图,以获得每个节点的节点嵌入。然后,分类器f用于计算空白节点的分类向量,包含每个类的初步置信度得分。取决于当前中心节点的同类邻居比率(或另外的基于拓扑的度量),空白节点的分类向量被校准。具有最高校准置信度得分的类指示推荐系统输出给用户作为其推荐的模块。可替代地,向用户示出完整的类列表,该类列表按照递减的校准置信度得分排序,并且可能被阈值截断。然后,用户可以从该列表中选择要添加的模块。
例如,该方法可以由一个或多个处理器执行。处理器的示例包括微控制器或微处理器、专用集成电路(ASIC)或神经形态微芯片,特别是神经形态处理器单元。处理器可以是任何种类的计算机的一部分,包括诸如平板计算机、智能手机或膝上型计算机的移动计算设备,或者可以是控制室或云中服务器的一部分。
上述方法可以经由计算机程序产品来实现,所述计算机程序产品包括一个或多个计算机可读存储介质,其上存储有由计算系统的一个或多个处理器可执行的指令。所述指令的执行使计算系统执行与上述方法的动作相对应的操作。
用于实现本文描述的过程或方法的指令可以在非暂时性计算机可读存储介质或存储器上提供,诸如高速缓存、缓冲器、RAM、闪速存储器、可移动介质、硬盘驱动器或其他计算机可读存储介质。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。可以响应于存储在计算机可读存储介质中或其上的一个或多个指令集来执行各图中图示或本文所述的功能、动作或任务。所述功能、动作或任务可以独立于特定类型的指令集、存储介质、处理器或处理策略,并且可以由单独或组合地操作的软件、硬件、集成电路、固件、微代码以及诸如此类来执行。同样,处理策略可以包括多处理、多任务、并行处理以及诸如此类。
已经参照本发明的实施例和示例详细描述了本发明。然而,在权利要求所涵盖的本发明的精神和范围内,可以进行变化和修改。表述“A、B和C中的至少一个”作为替代表达可以规定可以使用A、B和C中的一个或多个。
Claims (12)
1.一种用于为工程项目推荐模块的计算机实现的方法,包括以下操作,其中所述操作由组件执行,并且其中所述组件是由一个或多个处理器和/或硬件组件执行的软件组件:
-在数据库中,存储(1),
-类集,其中每个类表示一种类型的模块,并且其中每个模块由可以用于工程项目的硬件模块和/或软件模块组成,以及
-利用节点和边表示工程项目的当前状态的图,
-其中每个节点表示模块及其先前为工程项目选择的技术属性,
-其中每条边表示工程项目中先前选择的模块之间的连接,
-其中当前中心节点表示新模块应该连接到的先前选择的模块之一,其中连接到当前中心节点的节点是当前中心节点的邻居,
-其中空白节点表示新模块,其中空白节点不具有技术属性,并且
-其中边将当前中心节点连接到空白节点,
-通过图神经网络计算(2)每个节点或至少当前中心节点及其邻居在潜在空间中的嵌入,
-由分类器为每个节点嵌入确定(3)每个类的初步置信度得分,
-至少为当前中心节点计算(4)基于拓扑的度量,
-取决于已经为当前中心节点计算的基于拓扑的度量,将空白节点分派(5)给来自箱集中的箱,
-由后处理器通过应用取决于所分派的箱的缩放因子来校准(6)空白节点的所有初步置信度得分,以及
-通过用户接口至少输出(7)具有空白节点的最高校准置信度得分的类以及相应的校准置信度得分。
2.根据权利要求1所述的方法,
其中输出操作(7)包括输出校准置信度得分的排序列表以及空白节点的相应类。
3.根据权利要求2所述的方法,
其中只有高于给定阈值的校准的置信度得分被包括在排序列表中。
4.根据前述权利要求中任一项所述的方法,具有如下附加操作
-通过用户接口识别(8)选择推荐类或推荐类之一的用户交互,以及
-通过利用数据库中所选类的模块替换空白节点,来自动完成(9)工程项目。
5.根据权利要求4所述的方法,
-具有自动产生(10)工程项目的附加步骤,特别是
-通过利用3D打印机打印工程项目,或
-通过自动配置自主机器,特别是通过配置自主机器的软件模块,以便产生工程项目,或者
-通过自动分派自主机器以作为工程项目的模块来执行,特别是通过安装和/或激活和/或配置自主机器的软件模块。
6.根据前述权利要求中任一项所述的方法,
-其中基于拓扑的度量是同类邻居比率,其被计算为当前中心节点的邻居的比例,对于该比例,具有最高确定的初步置信度得分的类与当前中心节点的具有最高确定的初步置信度得分的类相同。
7.根据前述权利要求中任一项所述的方法,具有如下初始步骤
-使用几个已完成工程项目的图作为训练数据,
-随机删除训练数据中的节点,以及
-根据训练目标调整图神经网络和分类器的可训练参数,该训练目标针对替换被删除节点的空白节点,最大化被删除节点的类的校准置信度得分。
8.根据前述权利要求中任一项所述的方法,具有如下第一步骤
-通过将单独温度确定为每个箱的缩放因子,针对每个箱的温度缩放训练后处理器。
9.根据前述权利要求中任一项所述的方法,
-其中工程项目是工业工程项目,特别是工业自动化系统。
10.一种用于为工程项目推荐模块的系统,包括根据权利要求1所述的一个或多个处理器、数据库、图神经网络(GNN)、分类器(f)、后处理器和用户接口,其中这些组件中的至少一些是硬件组件,并且其中所有这些组件被配置用于执行根据权利要求1所述的相应操作。
11.具有用于执行根据方法权利要求之一的方法的程序指令的计算机程序产品。
12.根据前述权利要求的计算机程序产品的供应设备,其中所述供应设备存储和/或提供计算机程序产品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22165798.4 | 2022-03-31 | ||
EP22165798.4A EP4254268A1 (en) | 2022-03-31 | 2022-03-31 | Method and system for recommending modules for an engineering project |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116894573A true CN116894573A (zh) | 2023-10-17 |
Family
ID=81392700
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310332295.1A Pending CN116894573A (zh) | 2022-03-31 | 2023-03-30 | 用于为工程项目推荐模块的方法和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230316204A1 (zh) |
EP (1) | EP4254268A1 (zh) |
CN (1) | CN116894573A (zh) |
DE (1) | DE102023202593A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220188674A1 (en) * | 2020-12-15 | 2022-06-16 | International Business Machines Corporation | Machine learning classifiers prediction confidence and explanation |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3667567A1 (en) | 2018-12-11 | 2020-06-17 | Siemens Aktiengesellschaft | Platform for selection of items used for the configuration of an industrial system |
EP3786851A1 (en) | 2019-08-29 | 2021-03-03 | Siemens Aktiengesellschaft | Method and apparatus for providing recommendations for completion of an engineering project |
-
2022
- 2022-03-31 EP EP22165798.4A patent/EP4254268A1/en active Pending
-
2023
- 2023-03-22 DE DE102023202593.0A patent/DE102023202593A1/de active Pending
- 2023-03-24 US US18/125,946 patent/US20230316204A1/en active Pending
- 2023-03-30 CN CN202310332295.1A patent/CN116894573A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230316204A1 (en) | 2023-10-05 |
DE102023202593A1 (de) | 2023-10-05 |
EP4254268A1 (en) | 2023-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Elhoone et al. | Cyber-based design for additive manufacturing using artificial neural networks for Industry 4.0 | |
Panzer et al. | Deep reinforcement learning in production systems: a systematic literature review | |
Kuhnle et al. | Design, implementation and evaluation of reinforcement learning for an adaptive order dispatching in job shop manufacturing systems | |
US20220198269A1 (en) | Big automation code | |
CN116894573A (zh) | 用于为工程项目推荐模块的方法和系统 | |
Zhang et al. | A new fuzzy QoS-aware manufacture service composition method using extended flower pollination algorithm | |
EP3657403A1 (en) | Computing device and method | |
Nassehi et al. | Review of machine learning technologies and artificial intelligence in modern manufacturing systems | |
Marchal et al. | Application of fuzzy cognitive maps and run-to-run control to a decision support system for global set-point determination | |
Liu et al. | Multi-objective design optimization of reconfigurable machine tools: a modified fuzzy-Chebyshev programming approach | |
Khadivi et al. | Deep reinforcement learning for machine scheduling: Methodology, the state-of-the-art, and future directions | |
Shroff et al. | Prescriptive information fusion | |
Workneh et al. | Learning to schedule (L2S): Adaptive job shop scheduling using double deep Q network | |
EP4235516A1 (en) | Method and system for semi-automatic completion of an engineering project | |
Fujita | Deep Reinforcement Learning Approach for Maintenance Planning in a Flow-Shop Scheduling Problem | |
Kιran et al. | Supplier Selection with Machine Learning Algorithms | |
Xiao et al. | Tile Networks: Learning Optimal Geometric Layout for Whole-page Recommendation | |
Fazlollahtabar et al. | Modified branching process for the reliability analysis of complex systems: Multiple-robot systems | |
Atighehchian et al. | An environment-driven, function-based approach to dynamic single-machine scheduling | |
Zhang et al. | Digital Twin Enhanced Reinforcement Learning for Integrated Scheduling in Automated Container Terminals | |
WO2021176674A1 (ja) | モデル生成プログラム及び方法並びに情報処理装置 | |
Vainio et al. | Estimating the production time of a PCB assembly job without solving the optimised machine control | |
CN111563548B (zh) | 一种基于强化学习的数据预处理方法、系统及相关设备 | |
Kıran et al. | Machine learning in scm | |
Helal et al. | Digital Twins Approaches and Methods Review |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |