CN113614656A - 从工程数据源中自动提取资产数据 - Google Patents

Abstract

用于控制工业过程自动化和控制系统的系统和方法可以通过使用机器学习(ML)模型和算法，从工程图和其他工厂工程数据源中自动提取工厂资产。该系统和方法可以建立资产关系以创建工厂资产注册表，并根据工厂资产来构建资产层级结构。该系统和方法可以根据工厂资产层级来生成本体知识库，并基于工厂资产层级结构和本体知识库提供用于控制工业过程的HMI。

Description

从工程数据源中自动提取资产数据

相关申请的交叉引用

本专利申请要求2019年3月25日提交的，题为“Systems and Methods forPerforming Industrial Plant Diagnostics and Operations”的第62/823,469号美国临时申请的优先权；2019年5月3日提交的，题为“Systems and Methods for PerformingIndustrial Plant Diagnostics”的第62/842,929号美国临时申请的优先权；以及2019年3月25日提交的，题为“Systems and Methods for Detecting and Predicting Faults inan Industrial Process Automation System”的第62/823,377号美国临时申请的优先权，并通过引用将上述临时申请并入本文。本申请的主题还与2018年6月28日提交的，题为“Machine Learning Analysis of Piping and Instrumentation Diagrams”的第16/021,867号美国非临时申请相关，并通过引用结合将该申请并入本文。

技术领域

本公开的方面一般涉及工业过程(process)自动化和控制系统。更具体地，本公开的方面涉及用于以下的系统和方法：从工程图和其他工程数据源中提取工厂资产(asset)；根据工厂资产创建工厂资产层级结构(hierarchy)；根据工厂资产层级结构和与其他资产的资产关联关系来构建本体(ontological)知识库；以及基于工厂资产层级结构和本体知识库提供用于控制工业过程自动化和控制系统的人机界面(“HMI”)。

背景技术

工厂操作员的任务是确保工厂正常运行。例如，这需要监视和解决由工厂组件(例如，泵、阀、罐、传感器)触发的警报，对工厂组件执行操作(例如，关闭组件和启动组件)，并且通常监督工厂的正确运行。为了执行这些任务，工厂操作员可以使用HMI，该HMI为工厂操作员提供工厂组件和从工厂组件收集的数据的可视化表示。HMI可以允许工厂操作员与工厂组件交互(例如，执行诸如关闭组件的操作)。

可以针对特定工厂设计HMI，以捕获工厂内的组件，显示用来运行工厂的数据，并提供用于启动工厂操作员可能需要的操作的界面。设计HMI可能既昂贵又耗时，并且可能需要工厂和过程工程的专业知识。如今，工厂HMI是使用以过程为中心的方法创建的，该方法关注于过程定义。另一方面，工厂操作员对工厂具有以资产为中心的视角，其关注于自动化控制定义(例如，工厂、区域、单元、设备、装置、特定设备的设定点等)。因此，工厂操作员可能会发现当前的工厂HMI不直观且难以使用。

因此，在工业工厂调试和运行的领域中需要改进。

发明内容

本公开的实施例提供了用于控制工业过程自动化和控制系统的系统和方法。该方法和系统自动地并且通过使用机器学习(machine learning，ML)模型和算法，从工程图和其他工厂工程数据源中提取工厂资产；建立资产关系以创建工厂资产注册表(registry)并根据工厂资产来构建资产层级结构；根据工厂资产层级结构来生成本体知识库；以及基于工厂资产层级结构和本体知识库提供用于控制工业过程的HMI。

总的来说，在一个方面，本公开的实施例涉及用于工业工厂的控制系统及其对应的方法。控制系统(及其方法)尤其包括一个或多个处理器和通信耦合到一个或多个处理器的存储单元。存储单元存储处理器可执行指令，当该指令被一个或多个处理器执行时，使得控制系统：输入工业工厂的单元的工程图，该工程图包括表示工业工厂的资产的符号；并且使用机器学习从工程图中提取一个或多个资产以识别该一个或多个资产。该一个或多个资产包括设备、仪器、连接器和线路，这些线路将设备、仪器和连接器彼此相关。处理器可执行指令还使得控制系统使用机器学习来确定设备、仪器、连接器和线路之间彼此的一个或多个关系，来识别该一个或多个关系。处理器可执行指令还使控制系统根据设备、仪器、连接器和线路以及设备、仪器、连接器和线路之间的关系，创建流程图(flow graph)。

根据前述实施例中的任何一个或多个，从工程图中提取一个或多个资产的过程包括基于几何的提取过程和基于机器学习的分类过程。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统基于设备、仪器、连接器和线路中的一个或多个，从工程图中提取一个或多个控制回路(loop)。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统：从工程图中提取单元标识符，其中单元标识符从工业工厂中的多个单元之中唯一地标识特定单元；和/或从工程图中提取图号和修订(revision)号，图号从工业工厂中的多个工程图之中唯一地标识该工程图，并且修订号指示工程图的修订，每当工程图中有变化时，修订号递增。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统使用来自工程图的单元标识符，为工程图的每个设备、仪器、连接器和线路分配唯一标识符。根据前述实施例中的任何一个或多个，确定设备、仪器、连接器和线路之间的一个或多个关系的过程包括：生成线路-线路图的过程、生成设备-线路图的过程、生成连接器-线路图的过程、以及生成仪器-线路图的过程。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统：通过执行将线路-线路图、设备-线路图、连接器-线路图和仪器-线路图彼此合并的过程，来创建工程图的流程图；和/或合并来自工业工厂的多个工程图的流程图，来创建工业工厂的流程图。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统在资产层级结构中显示设备、仪器、连接器和线路以及设备、仪器、连接器和线路之间的关系。

总的来说，在另一方面，本公开的实施例涉及用于工业工厂的控制系统及其对应方法。控制系统(及其方法)尤其包括一个或多个处理器和通信耦合到一个或多个处理器的存储单元。存储单元存储处理器可执行指令，当该指令被一个或多个处理器执行时，使得控制系统：输入来自工业工厂的多个工程数据源的数据，该数据包括结构化和非结构化数据，并且从结构化和非结构化数据中提取一个或多个域实体。处理器可执行指令还使得控制系统从结构化和非结构化数据中提取一个或多个域实体的实例，并接收基于一个或多个域实体和一个或多个域实体的实例而构建的语义模型。处理器可执行指令进一步使控制系统基于语义模型来创建和存储知识图谱，并从知识图谱中提取信息以构建用于工业工厂的机器界面(machine interface，HMI)显示和控制应用。

根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统：使用机器学习从非结构化数据中提取工业工厂的一个或多个资产，以识别该一个或多个资产；和/或使用唯一地标识每个资产的命名空间，将工业工厂的一个或多个资产存储在资产层级结构中。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统提供资产注册表应用编程界面(application programming interface，API)，以允许用户和外部系统访问和使用资产注册表。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统通过输入以下一个或多个以输入来自多个工程数据源的数据:警报数据、机柜装载报告、控制数据库、交叉布线报告、现场布线索引、历史数据、仪器索引、资产层级结构、嵌套装载报告、工厂资产索引、过程控制叙述和HMI规范。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统：将知识库显示为多个互连的标记属性节点，每个节点代表一个域实体；和/或当每个节点被用户选择时显示该节点的属性和关系的过程。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统允许用户使用自然语言查询来进行知识库的搜索；显示响应于该搜索的节点以及这些节点共有的资产；和/或在颜色编码的基础上显示节点的图例。

总的来说，在又一方面，本公开的实施例涉及用于工业工厂的控制系统及其对应方法。控制系统(及其方法)尤其包括一个或多个处理器和通信耦合到一个或多个处理器的存储单元。存储单元存储处理器可执行指令，当该指令被一个或多个处理器执行时，使得控制系统输入来自工业工厂的多个工程数据源的数据，并且使用机器学习从数据中提取工业工厂的一个或多个资产以识别该一个或多个资产。处理器可执行指令还使得控制系统根据资产来创建HMI(human-machine interface，HMI)资产模型，该HMI资产模型将资产布置在层级结构中；并且根据HMI资产模型来生成HMI显示，该HMI显示显示出了代表工业工厂的一个或多个资产的符号和代表资产之间的过程、连接和数据链路的线路。处理器可执行指令还使得控制系统向用户显示该HMI显示，并允许用户沿着该显示垂直和水平地导航，其中该HMI显示基于用户在该HMI显示上的位置的变化来动态地改变哪些资产被显示。

根据前述实施例中的任何一个或多个，处理器可执行指令还使控制系统识别当前针对工业工厂发出的所有警报以及对应于警报的资产，并在HMI显示上显示警报；和/或显示工厂级的HMI显示，该工厂级显示出针对工业工厂所识别的所有当前发出的警报和对应于警报的资产。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统在用户选择对应于这些警报之一的资产时确定并在HMI显示上显示作为警报的潜在根本原因的资产，其中该控制系统通过找到彼此连接的也具有警报的所有资产来确定作为潜在根本原因的资产；和/或允许用户在HMI显示上手动校正警报的根本原因，并将来自用户的根本原因作为反馈提供给控制系统。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统基于用户在HMI屏幕上的位置的变化来自动放大或缩小显示在HMI显示上的资产。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统将HMI显示的资产显示为二维视图，其中该HMI显示允许用户在二维视图内垂直和水平地导航。根据前述实施例中的任何一个或多个，处理器可执行指令还使得控制系统基于资产上发生的警报来动态地改变显示在HMI显示上的资产；和/或基于以下之一在运行时在HMI显示上显示资产：基于资产在资产层级结构中的位置而分配给资产的静态权重、以及基于正在资产处发出的警报而分配给资产的动态权重。

总的来说，在又一方面，本公开的实施例涉及存储计算机可读指令的计算机可读介质，存储计算机可读指令用于使一个或多个处理器执行根据前述实施例中的任何一个或多个的方法。

附图说明

通过参考各种实施例，可以获得上文简要概述的本公开的更详细描述，其中一些实施例在附图中示出。虽然附图图示了本公开的选定实施例，但是这些附图不应被认为是对其范围的限制，因为本公开可以允许其他同等有效的实施例。

图1示出了根据本公开实施例的示例性工厂资产层级结构；

图2示出了根据本公开的实施例的可用于构建工厂资产层级结构的示例性工程图；

图3示出了可用于根据本公开实施例处理的示例性工业工厂控制系统；

图4示出了可以与根据本公开实施例的工业工厂控制系统一起使用的示例性智能处理模块；

图5示出了可以与根据本公开实施例的工业工厂控制系统一起使用的示例性HMI应用；

图6示出了根据本公开实施例的示例性基于ML的资产提取和关系建立；

图7A-图7B示出了根据本公开实施例的示例性箭头提取；

图8示出了根据本公开实施例的示例性泵提取；

图9和图9A-图9C示出了根据本公开实施例的示例性连接器提取；

图10A-图10B示出了根据本公开实施例的示例性线路-线路图；

图11示出了根据本公开实施例的示例性设备提取；

图12A-图12B示出了根据本公开实施例的示例性设备-线路图；

图13A-图13B示出了根据本公开实施例的示例性连接器-线路图；

图14A-图14B示出了根据本公开实施例的示例性仪器-线路图；

图15A-图16B示出了根据本公开实施例的PI&D流程图；

图16A-图15B示出了根据本公开实施例的移除了装置的示例性线路-线路图；

图17示出了根据本公开实施例的示例性控制回路；

图18示出了根据本公开实施例的用于构建工厂工程域本体的示例性方法；

图19示出了根据本公开实施例的示例性警报数据；

图20示出了根据本公开实施例的示例性机柜装载报告；

图21示出了根据本公开实施例的示例性控制数据库；

图22示出了根据本公开实施例的示例性交叉布线报告；

图23示出了根据本公开实施例的示例性现场布线索引；

图24示出了根据本公开实施例的示例性历史数据；

图25示出了根据本公开实施例的示例性仪器索引；

图26示出了根据本公开实施例的示例性资产层级结构；

图27示出了根据本公开实施例的示例性嵌套加载报告；

图28示出了根据本公开实施例的示例性工厂资产索引；

图29示出了根据本公开实施例的示例性过程控制叙述；

图30示出了根据本公开实施例的用于数据提取的示例性表格格式；

图31示出了根据本公开实施例的用于使用实体类型来构建语义模型的示例性用户界面；

图32示出了示出根据本公开实施例的知识图谱的示例性HMI显示屏幕；

图33示出了根据本公开实施例的示出用户查询结果的示例性HMI显示屏幕；

图34示出了根据本公开实施例的示例性HMI设计规范；

图35示出了根据本公开实施例的用于构建HMI模型的示例性输入；

图36示出了示例性HMI屏幕，示出了根据本公开实施例的警报根本原因确定；

图37示出了示例性HMI屏幕，示出了根据本公开实施例的工厂级警报聚集；

图38示出了根据本公开实施例的根据HMI屏幕上的用户位置的示例性动态缩放；

图39示出了根据本公开实施例的示出动态缩放的示例性HMI屏幕；和

图40A-图40B示出了根据本公开实施例的HMI进行的示例性工厂级警报聚集。

在可能的情况下，使用了相同的附图标记来表示附图中共用的元件。然而，在一个实施例中公开的元件可以有益地用于其他实施例，而无需具体叙述。

具体实施方式

该描述和附图说明了本公开的示例性实施例，并且不应该被认为是限制性的，权利要求限定了本公开的范围，包括等同物。在不脱离本说明书和权利要求书的范围(包括等同物)的情况下，可以进行各种机械、组成、结构、电气和操作上的改变。在一些情况下，没有详细示出或描述公知的结构和技术，以免混淆本公开。此外，只要可行，参考一个实施例详细描述的元件及其相关方面可以包括在并未具体示出或描述它们的其他实施例中。例如，如果参考一个实施例详细描述了元件，而没有参考第二实施例描述该元件，则该元件仍然可以被声明为包括在第二实施例中。

现在参考图1，示出了可以根据本公开的实施例而创建的一种工业工厂资产层级结构100的示例。这里使用的术语“工厂资产”通常指工业工厂中通常使用的任何工厂设备、仪器、其群组、与其相关联的装置等。在资产层级结构100的底部是仪器(O)102，例如传感器、监视器、致动器等。仪器102的正上方是设备(D)104，例如容器(vessel)、加热器、交换器、泵、马达、混合器等。一个或多个仪器102可以连接到一个或多个设备104，以形成闭环或开环控制回路106，其执行工厂过程中的一些子过程，例如混合、加热、沸腾等。几种类型的设备104和仪器102可以组合形成单元(U)108，其服务于工厂过程中的一些功能，例如气体合成器单元。多个这样的单元108组成区域(A)110，而多个区域110组成工厂站点(S)112，并且多个站点112形成企业(N)114。

另外，一般来说，虽然层级结构100中的每个节点可以具有子节点和父节点，但是每个子节点通常只能具有一个父节点。但是，像管道和电线这样的资产可以被视为设备，这样一个从/向两个资产运送材料的管道可以在逻辑上分成两个管道。一个装置或仪器只能连接到一个设备。这种层级结构100以一种合乎逻辑的方式来布置和组织工厂资产，并且对于工厂控制系统和工厂操作员来说更容易理解和使用。

图2示出了根据本公开的实施例的可用于构建资产层级结构100(或其部分)的示例性工程制图或工程图200。工程图200可以是任何图表(diagram)，例如过程流程图(process flow diagram，PFD)或管道和仪器图(piping and instrument diagram，P&ID)，其图形地描绘了工厂中的各种仪器102(例如，传感器)和设备104(例如，容器)如何相互连接。该示例中的示例图表200是P&ID，每个P&ID显示多个符号，这些符号表示为实现一个单元108通常所需要的装置或仪器、设备和其他组件。贯穿图表200定位的连接器202指定了各个PI&D(即，单元)如何连接在一起以形成区域、站点等。每个图表200通常还具有通常在右下角的信息框204，该信息框204显示制图标识符206、单元标识符和有助于唯一地标识PI&D的其他信息(例如，修订号)。这里没有明确提及的PI&D的其他公知部分包括标签(tag)号、线路(例如，过程、电气、数据链路等)、回路等等。

图3示出了根据本公开实施例的可用于处理工程图200和其他工厂工程数据源的示例性工业工厂控制系统300。可以看出，示例性系统300包括一个或多个处理器302、内部输入和/或输出(“I/O”)接口304和存储器306，所有这些都彼此通信耦合和/或电连接。这些组件允许系统300：从工程图200、线路(例如，过程、电气、数据链路等)中提取各种仪器102、设备104、控制回路106、单元108、区域110和站点112；建立资产之间的关系以构建工厂资产层级结构100；根据工厂资产层级结构100生成本体知识库；并提供用于控制工厂本体知识库的HMI；等等。

系统300可以通信耦合和/或电连接到外部I/O组件308。外部I/O组件308允许系统300与用户和外部系统交互和通信。通信可以通过连接到I/O组件308的一个或多个通信网络(未明确示出)来完成。通信网络可以包括广域网(wide area network，WAN)和/或局域网(local area network，LAN)，其中局域网可连接到其他电信网络，包括其他WAN、LAN和/或互联网或内联网的一部分。通信网络可以是便于数据交换的任何电信网络，例如根据IEEE802.3(例如，以太网)和/或IEEE 802.11(例如，Wi-Fi)协议而操作的那些网络。在另一个实施例中，通信网络是允许数据通过串行或并行通信信道(例如，铜线路、光纤、计算机总线、无线路通信信道等)物理传输的任何介质。

系统300的各种组件的操作在本领域中是公知的，因此在此仅简单提及。处理器302可以适于执行存储在存储器306中的处理器可执行指令。存储器306可以适于根据请求向处理器302提供处理器可执行指令。存储在存储器306上的指令中包括工业工厂控制应用310。工业工厂控制应用310可以包括多个功能模块，这些功能模块一起工作以提取资产、建立资产关系、构建资产层级结构、生成知识库以及提供HMI等。这些功能模块可以包括例如图像转换器312、过滤算法314、符号提取器模块316、标签预处理算法318、标签提取器模块320、规则引擎322、线路提取器模块324、智能处理模块326和HMI应用328。

图像转换器312被配置成将图表200转换成图像格式。在一些实施例中，图像转换器312获得便携式文档文件(Portable Document File，PDF)或其他电子数据格式的图表200，并将图表转换成另一种图像格式，例如便携式网络图形(Portable NetworkGraphics，PNG)、联合图像专家组(Joint Photographic Experts Group，JPEG)、图形交换格式(Graphics Interchange Format，GIF)等。在一些实施例中，图像转换器312创建两个图像文件：一个用于显示、一个用于计算(例如，通过过滤算法314、符号提取316、标签预处理318、标签提取器320、规则引擎322、线路提取器324和智能处理326)。

过滤算法314被配置成处理计算图像以获得其中符号的近似大小。示例性符号包括但不限于那些符合国际自动化协会(ISA)标准的用于设备、控制/显示元件、可编程逻辑控制器(PLC)、阀门、泵等的符号。在一些实施例中，符号包括标识字母(例如，“FIC”)和标签号(例如，“123”)。获得符号的近似大小有助于为了机器学习的目的(经由智能处理326)对符号进行归一化，如本文后面所讨论的(例如，为了避免针对不同大小的符号创建训练数据)。

符号提取器316被配置为检测从图像中提取的符号。在一些实施例中，符号提取器316应用图像处理算法来识别图像中符号的可能区域，然后通过粗略符号识别技术来检测图像中的符号类型和位置。符号提取器316保持对新检测到的符号的运行计数，以便跟踪检测到的符号的数量，并确定在给定的执行循环期间是否检测到任何新的符号。

标签预处理318被配置为从计算图像中检测到的符号中移除符号线路，从而仅留下标签组件。在一些实施例中，这涉及将符号居中，然后从符号中移除符号线路，从而仅留下标签组件。对连接的像素进行群集(cluster)，从而移除任何小于标准文本大小和大于标准文本大小的像素。每个像素群集都被分配了一个边界框，该边界框为处理目的而定义了该群集周围的边界。标签预处理210然后垂直地并按照从左到右的顺序找到相同级别的边界框。这允许标签预处理210移除非标签像素和噪声。

标签提取器320被配置为提取计算图像中的符号的标签组件，例如标签名称和标签号。在某些情况下，标签名称和/或标签号中的相邻字符相互接合(join)，并且应该被分开。在这些情况下，标签提取器320检查标签的字符中的垂直间隙并对字符进行分割，然后使用机器学习技术(经由智能处理326)执行字符识别。当不存在垂直间隙时，标签提取器320确定给定字符集的宽高比是否大于预定阈值(例如，0.6等)。如果宽高比大于预定阈值，标签提取器320在垂直方向上使用像素密度来应用分割。示出了白色像素峰值的区域是接合的字符中的潜在分割区域。此后，标签提取器320使用机器学习技术执行字符识别。

规则引擎322被配置成基于一个或多个规则来验证从计算图像中提取的标签。在一些实施例中，规则基于ISA符号标准，并且被分为两类:主要符合性检查(例如，红色类别)和次要符合性检查(例如，橙色类别)。示例性的主要符合性检查包括但不限于：验证符号是有效类型之一(例如，现场装置、控制室显示器等)并验证标签名称具有一个或多个标识字母。示例性的次要符合性检查包括但不限于：验证标签名称中的标识字母不包含任何数字，并且标签名称中的标签号除结尾之外不包含任何字母字符。

线路提取器324被配置为提取计算图像中符号之间的线路。在一些实施例中，提取的线路包括管道和连接符号，例如管道、过程连接、电信号、气动信号、数据链路、用于填充系统的毛细管、液压信号线路以及导向电磁或声波信号。如本领域普通技术人员将理解的，使用几何线路拟合算法从图像中提取线路。一旦线路被提取，线路的一部分经受一个或多个机器学习模型(经由智能处理326)以获得如上所提及的线路的类型。关于模块312-324的操作的附加细节可以在上述第16/021,867号美国非临时申请中找到，并通过引用结合于此。智能处理326和HMI应用328将在下面进一步讨论。

图4示出了根据本公开实施例的智能处理326的示例性实施方式。如所讨论的，该模块326实现机器学习模型和算法来识别计算图像中的符号。在一些实施例中，智能处理326将深度神经网络应用于通过在整个图像上推进滑动窗口而获得的该图像的特定区域。在图4的示例中，智能处理326包括数据输入组件402、一个或多个机器学习模型404、自动反馈/校正组件406、用户应用408、手动反馈/校正组件410和分析器412。

在一般操作中，数据输入组件402接收表示图表(例如，P&ID、PFD等)的数据，并且在适当的预处理之后，将数据馈送给一个或多个机器学习模型404。机器学习模型404使用机器学习和图像处理技术来从输入数据中提取相关信息，例如名称、数字、符号、线路、回路等。机器学习模型404还可以使用图像处理和/或几何算法来降低噪声并提高精度。自动反馈/校正组件406应用规则和算法，这些规则和算法被配置成检测从机器学习模型404接收的输出中的错误。这些错误被用来自动校正模型输出，并通过分析器412将其反馈给机器学习模型404，从而更新机器学习模型404的学习。然后经由用户应用408(例如，HMI应用328)，将来自自动反馈/校正组件406的经处理的输出显示给用户以进行验证。用户做出的校正被手动反馈/校正组件410捕获，并经由分析器412将其反馈到机器学习模型404中，以更新机器学习模型404的学习。以这种方式，智能处理326可以不断演进和改进对输入数据的评估和从中进行相关信息的提取。

如上所述，在一些实施例中，智能处理326将深度神经网络应用于所获得的图像的特定区域。深度神经网络处理导致了对符号候选的多类分类。在一些实施例中，按照ISA符号系统对符号进行分类。示例性符号包括但不限于仪器、控制/显示元件、可编程逻辑控制器(programmable logic controllers，PLC)、阀门、泵等。在一些实施例中，智能处理326利用至少三种类型的卷积神经网络来识别各种符号候选。这三种类型包括：判定输入是单个字符还是多个字符的判定网络；识别单个字母和数字字符的单字符网络；以及识别多个字符或单词的多字符网络。在一些实施例中，智能处理326还利用基于上下文的预测来区分相似的字符，例如将大写字母“I”与数字“1”区分，以及将数字“0”与字母“O”区分等。

图5是根据本公开实施例的HMI应用328的示例性实施方式。HMI应用328通常从框504开始，其将来自各种工厂工程数据源的数据输入到工业工厂控制系统300中，这些工厂工程数据源包括工厂工程图(例如，PI&D、PFD等)。在框506，对数据进行处理以从数据中提取相关信息和资产，例如名称、数字、符号、线路、回路等。经由智能处理316和其中的ML模型，使用机器学习来完成资产提取。使用这里描述的基于ML的资产提取来处理数据构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。这里描述的处理系统和方法可以通过允许图像识别模型(该模型识别图表中的工厂组件)更有效和准确地运行来改进HMI设计的过程。这可以通过输入图像来实现，该图像被预处理模块预先确定为可能导致图像识别模型的肯定性识别。这也可以允许更好地训练模型，从而提高模型的精度。

在框508，将提取的资产和其他相关信息用作资产关系建立过程的输入，以构建资产层级结构，如本文后面更详细描述的。资产关系的建立也借助于智能处理316和其中的ML模型来完成。在HMI设计领域中，使用这里描述的基于ML的资产关系构建过程来构建资产层级结构并非是众所理解的、惯例的或常规的。使用这里描述的方法和系统构建资产层级结构构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。

在框510，可以将资产层级结构用于基于语义模型来创建知识图谱(knowledgegraph)，如本文稍后更详细描述的。使用这里描述的方法和系统创建知识图谱在HMI设计领域并非是众所理解的、惯例的或常规的。使用这里描述的方法和系统创建知识图谱构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。

在框512，将知识图谱用于生成HMI资产模型(例如，使用计算机自动地生成)，如本文稍后更详细描述的。使用这里描述的方法和系统生成知识图谱在HMI设计领域并非是众所理解的、惯例的或常规的。使用这里描述的方法和系统生成知识图谱构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。

在框514，可以将HMI资产模型用于提供或构建HMI(例如，使用计算机自动地生成)，如本文稍后更详细描述的。使用这里描述的方法和系统生成HMI在HMI设计领域并非是众所理解的、惯例的或常规的。使用这里描述的方法和系统提供HMI构成了实际应用(例如，使用专门的自动化设计系统为工业工厂设计HMI)。

图6更详细地示出了来自图5的示例性的基于ML的资产提取过程506和基于ML的资产关系构建过程508。

基于ML的资产提取506通常开始于框602，在框602，将工程图(例如，PI&D、PFD等)从PDF转换为图像格式。在框604，用户输入标识出正在使用每个图表的工厂站点和区域的信息。在框606，找到图表中的所有文本，并且在框608，找到图表的单元标识符。

在一些实施例中，找到单元标识符涉及：在图表的信息框或图表的其他预定部分中搜索某些关键词，例如“制图”或“单元”或“部分”或其变体。预定部分可以基于对先前图表的分析而被自动识别(例如，最右边的区域，其宽度是P&ID和PFD宽度的20％；以及最底侧的区域，其高度是P&ID和PFD高度的20％)，或者该部分可以由用户指定。在找到关键词(例如，“单元”)时，系统检查与关键词相关联的文本，如果有表格，该文本可以与单词“单元”在同一单元格中，或者在单词的右边，或者在单词的下面。一旦已经确定了单元标签(label)，可以将确定的标签显示给用户进行验证。在一些实施例中，该过程可以针对相对较少数量的图表(例如，大约20个)来执行。在这种情况下，所确定的标签的位置可以被用于确定其他图表中的后续标签，而不需要或建议对该确定进行验证。

在框610，图表中的所有装置和仪器(例如，标签、阀门、传感器、致动器等)被找到，并且在框612，将所有找到的装置和仪器以及文本从图表中移除或以其他方式加以抑制。该过程可以包括在要被移除的图表特征周围生成边界框，并将所有内部像素设置为图表的背景颜色(例如，白色或黑色)。在框614，文本和装置的移除使得更容易找到图表中的所有线路。

在一些实施例中，可以通过缩小图表并将它们转换成灰度，来找到图表中的线路。然后可以通过检测和删除沿X轴和Y轴延伸超过预定长度(例如，分别是图表的宽度和高度的0.7倍)的黑色像素(在白色背景的情况下)，来移除长的水平线路和垂直线路。一旦这样做了，可以通过搜索黑色像素群集(在白色背景的情况下)，来找到剩余的水平线路和垂直线路。群集是一组像素，这些像素的间隔少于预定数量的像素(例如，少于四个像素)。一旦找到，可以通过组合群集的所有共线(co-linear)的点来连接群集，从而创建水平线路和垂直线路。可以移除小于预定长度(例如，16个像素)的线路。在移除线路之前对图表进行了缩放的实施例中，移除的线路可以被缩放回它们的原始尺寸。这可能允许在确定工厂组件之间的连接和关系时，能存储和参考原始线路坐标。可以识别各种线路类型，包括管道和连接符号，例如管道、过程连接、电信号、气动信号、数据链路、用于填充系统的毛细管、液压信号线路和导向电磁或声波信号。在一些实施例中，上述线路提取可以使用几何线路拟合算法来完成。

一旦线路被提取，线路的一部分经受一个或多个机器学习模型，以获得如上所提及的线路的类型。在一些实施例中，线路提取器包括包含在存储存储器装置上的处理器可执行指令，以通过软件环境提供线路提取器。例如，线路提取器可以作为处理器可执行指令来提供，该指令包括过程、函数、例程、方法和/或子程序。

继续到框616，可以为每个图表找到图表中的所有箭头。这些箭头表示图表中的流向。参考图7A和图7B描述了用于识别图表中箭头的示例性技术。

参考图7A和图7B，示出了示例性箭头702。为了分析箭头702，在一些实施例中，如图7A所示的检测到的线路704被分配有边界框706，该边界框706具有例如垂直于线路的方向的宽度，该宽度是预定数量的像素宽(例如，40个像素)。为了确定线路704是否是箭头，可以将线路的每一端上的两个正方形708、710可以绘制成其边长等于所生成的边界框706的高度。在一些实施例中，正方形708、710的边可以具有不同的长度。方块708、710的内容可以使用机器学习模型或算法来分析，该机器学习模型或算法被训练来确定箭头712的存在和箭头的方向。ML算法可以是例如卷积神经网络。可以通过按特定的尺寸(例如，40×40像素)将识别的线段(segment)的头部和尾部进行裁剪，来创建用于算法的训练数据。这些经裁剪的图像可以被存储，并且稍后被分类为左箭头、右箭头、上箭头、下箭头或无箭头。这种分类可以由例如人类来完成。可以从从不同来源(例如，不同客户端)接收的图表中选择识别的线段。在一些实施例中，大约200个训练图像可以用于训练。如果两个正方形708、710都具有箭头，则箭头702可以被认为是双向的。如果两个正方形708、710中只有一个有箭头，箭头702可以被认为是单向的。

返回参考图6，在箭头被识别之后，在框618，找到图表中的所有设备(例如，罐、泵、锅炉、热交换器等)。然后为设备分配一个有助于唯一地标识该设备的名称。取决于特定的行业，可以使用几种命名约定中的一种。例如，可以使用以下命名约定：<设备类型>-<设备名称/ID>，其中连字符或空格用作分隔符。在上面图2的示例中，分配给容器的名称可以是“C-1119”，其中C是设备的类型，而1119是图表中装置的标识符。然后，出于搜索目的，该名称可以作为罐的Regex(正则表达式)予以保存。类似的命名约定可以应用于其他图表组件。

在一些实施例中，找到设备就是将基于几何或几何的识别方法与机器学习或基于ML的分类相结合。

通过以下方式来执行基于几何的设备识别：首先从图表中移除所有仪器(例如，通过使仪器背景化)以简化该过程，然后找到满足一个或多个标准的所有平行线路。然后找到与平行线路接合的路径，并将其用于连接成对的这种平行线路。例如，可以通过搜索平行线路并连接那些满足一个或多个标准的成对线路来找到罐。然后可以在这样连接的每对周围定义边界框。一个标准可以要求两条线路在彼此的预定距离内。在一些实施例中，预定距离可以在两条线路之中较大长度的大约10％与120％之间。这种线路的最小长度可以被设置为图表的宽度的大约4％。这种线路的最大长度可以设置为图表的宽度的大约50％。这两条线路的长度之差可以小于两条线路之中较大长度的大约15％。两条线路的起点和终点(即，四个点)可以用来制作该框。该框的宽度和/或高度可以扩展预定的百分比。例如，如果宽高比小于约0.3，宽度可以扩展约80％。如果宽高比在大约0.3到大约0.4之间，宽度可以扩展大约60％。如果宽高比大于约0.4，宽度可以扩展约40％。如果框要扩展到图形边界之外，则扩展可能以在图形边界处停止。所得经扩展框可以是边界框。罐的图像可以在边界框处裁剪。在一些实施例中，可以通过使例如一个或多个边的大约4个像素为白色(在白色背景的情况下)来擦除经裁剪的图像边界。

然后，可以将基于ML的分类用于识别设备类型。例如，可以使用机器学习模型或算法来分析所得图像中罐的存在并识别罐的类型。ML模型或算法可以被训练来检测和分类罐。

在一些实施例中，可以分析所得图像以确定是否要将它输入到模型中。例如，如果图像具有包括连接的像素(例如，具有大约2个像素的最大间隙的像素)的群集，该群集所具有的经扩展边界框的最大尺寸大于该群集的非扩展边界框的最大尺寸，并且包括在罐识别过程中较早识别出的两条平行线路的起点和终点，则可以将该图像输入到模型中。在一些实施例中，可以通过基于该过程中较早识别的宽高比来扩展非扩展边界框的一个或多个长度，从而生成经扩展边界框。输入到模型中的图像可以是例如170×170像素的黑白图像。该模型可以用例如1950幅图像的训练数据集来训练。替代地或附加地，可以使用增强的训练数据。例如，46312幅图像可用于训练，而2518幅用于验证。下面的表1示出了本领域普通技术人员可以理解的示例性训练数据增强的细节。

表1:示例性训练数据增强

本领域技术人员还将理解，上面的表格或类似的表格可以用于为这里描述的任何其他基于ML的过程提供训练数据增强。

现在参考图8，也可以识别其他设备，例如泵。可以通过创建包含图表中一条或多条水平线路的端点的边界框来识别泵。图8示出了示例性泵800，围绕该泵800可以创建边界框。为了创建边界框，可以在垂直于线路802的每个方向上从水平线路802的端点(例如，P1)遍历像素，直到找到黑色像素(例如，P2)。可以计算P1和P2之间的距离(例如，D)。如果距离在预定值(例如，100像素和200像素)之间，则可以创建边界框，使得P1和P2位于边界框的相对边的中心。边界框的宽度可以等于距离D。边界框可以向P2点扩展20％的长度。图表可以在边界框处被裁剪。通过创建像素群组，可以从经裁剪的图像中生成连接的像素群集，其中每个群组具有水平地、垂直地或对角地连接在一起的所有像素。对于长度或宽度高于预定阈值(例如，150像素)的群集，可以确定群集的面积。可以通过例如找到群集中x和y坐标的最小值和最大值，来确定具有最大面积的群集的边界框。x和y坐标的最小值可以确定边界框的左上角。x和y坐标的最大值可以确定边界框的右下角。图像可以在此群集的边界框处被裁剪。可以使用例如被训练成检测和分类泵的机器学习算法，来分析所得图像中泵的存在及其类型。例如，可以使用类似的CNN架构。

再次返回图6，在框620，还可以识别图表中的连接器及其相关信息。回顾上文，连接器表示位于不同图表上的组件之间的连接。

图9示出了示例性连接器902。如可以看到的，连接器902的后端903(没有箭头的一端)具有与其连接的线路904，其指示发生了以下流动：从由源标识符906标识的组件、通过线路904；以及通过连接器902、到达由目的地标识符908标识的组件。连接器的前端909(带有箭头的一端)连接有线路，其可以指示以下流动的发生：从由源标识符标识的组件、通过该连接器；通过该线路、到达由目的地标识符标识的组件。连接器902内的连接器标识符910可以指示包含用目的地标识符908标识的组件的图表的图表标识符(单元标签)。类似地，连接器902内的连接器标识符910可以指示包含用相关联的源标识符标识的组件的图表的图表标识符。可以通过在识别的线路中过滤长度在大约20像素到大约40像素之间线路，来识别连接器。可以分析起点间隔小于例如四个像素、终点间隔小于例如四个像素的成对线路，以确定它们是否是连接器的一部分。如果一对中的一条线路的长度大于该对中的另一条线路的长度，并且该对之间的距离大于较长线路的长度的大约0.1倍并且小于该较长线路的长度的大约0.5倍，则可以分析该对以确定它们是否是连接器的一部分。可以创建包含这两条线路的紧密拟合边界框，并且每条边扩展了两条线路之间距离的一半。图9A、图9B和图9C分别在912、914和916示出了三个所得示例性连接器图像。所得图像可以被输入到机器学习模型中，该模型被训练来识别连接器的存在和方向。

注意，源标识符906可以被突出显示或以其他方式强调，以便于用户查看。该技术可以应用于整个HMI，以引起用户对特定特征的注意。

为了识别与连接器902相关联的信息，可以在连接器902内的文本910周围生成边界框(未明确示出)，以确定它是否是连接标识符。如果连接器902的边界框包含该边界框，则该文本可以被识别为连接标识符910。位于连接器902的边界框上方的文本，例如在连接器902的平行线路(例如，连接到箭头的两条平行线路)之间的距离的四倍内，可以被识别为包含在908中的目的地标识符。在一些实施例中，替代地或附加地，单词“去往(To)”之前和之后的文本可以分别被识别为材料名称和目的地标识符908。在这种情况下，材料名称可以标识流经管道或其他材料载体的材料。在一些实施例中，替代地或附加地，单词“来自(From)”之前和之后的文本可以分别被识别为材料名称和来源标识符。为了识别包含在906中的管道标识符，可以在线路904的方向上从连接器902的边界框起跨出一步幅。在一些实施例中，步幅可以是连接器902的边界框长度的两倍。当移位的连接器边界框与单词的边界框相交时，该单词可以被识别为包含在906中的管道标识符。如果多个单词的边界框相交，具有最大数量字符的单词可以被识别为包含在906中的管道标识符。如果连接器902具有连接到其前端的线路，则可以使用一种或多种前述方法来识别源标识符和/或目的地标识符。

再次返回图6，在基于ML的资产提取过程506已经结束之后，基于ML的资产关系构建过程508可以针对提取的资产开始。在提取的资产之间构建关系的这个过程可以涉及：创建线路连接图，该线路连接图捕获图表(例如，PI&D、VFD等)中所示的连接；然后合并这些线路连接图以创建复合流程图。被合并的图可以包括：表示连接到仪器的图表线路的图、表示连接到连接器的图表线路的图、和/或表示连接到仪器组件(例如标签)的图表线路的图。此外，还可以生成线路连接图，例如线路-线路(线路到线路)图，以便于确定各种组件是如何连接的。

在框622，可以通过检测连接到组件的边界框的线路、并检查这些线路的共线性或垂直度，来生成线路-线路(线路到线路)图。如果检测到共线性或垂直度，并且一条线路的起点或终点与另一条线路的起点或终点之间的距离小于预定值(例如，32个像素)，则这些线路可以被延伸，使得它们的末端相遇。可以通过移除两侧端点都位于组件的边界框内的那些线路，来移除形成组件(例如，设备)一部分的线路。为了给线段分配索引并保持跟踪线路连接，线路可以被分割。如果一个装置(例如标签、阀门等)正位于线路之上，则将线路分割成两段是特别有用的。为此，到垂直线路的起点和终点的距离可以从水平线路开始进行测量。在一些实施例中，水平线路的起点和终点可以从该测量中排除。如果测量的距离小于预定距离(例如，32个像素)，则可以在水平线路中、在水平线路与垂直线路的起点或终点之间的最近点处进行分割。对于垂直线路，可以重复该过程；如果从垂直线路到水平线路的起点或终点的距离小于预定数量(例如，32个像素)，则可以在垂直线路中、在垂直线路与水平线路的起点或终点之间的最近点处进行分割。在一些实施例中，从垂直线路到水平线路的起点或终点的距离可以排除垂直线路的起点和终点。线路可以被分配索引号。当一条线路在一点处被分割时，两个新创建的段可以被分配索引号。可以生成表示线路连接的邻接矩阵。

图10A示出了示例性邻接矩阵1002。邻接矩阵1002可以具有n×n的大小，其中n是线路的总数。邻接矩阵1002中位置[第一线路索引，第二线路索引]处的值可以是“0”，以指示分别具有第一和第二线路索引的线路没有彼此连接。该位置的值可以是“1”，以表示这些线路是连接的。应当理解，可以使用其他值。因此，邻接矩阵1002可以指示两条线路是否相互连接。例如，从左到右，节点L2在节点L1和节点L3处有“1”，以表示L2连接到L1和L3。为了构建线路-线路图，可以生成节点-边(节点到边)图，其中线路索引被分配给节点，并且连接线路索引被分配给节点之间的边。

图10B示出了对应于邻接矩阵1002的示例性线路图1004。在图中，节点E1和E2代表两台设备，并且节点L1、L2、L3、L4和L5代表线段。可以看出，线段L1、L2、L3、L4和L5以邻接矩阵1002所反映的方式，将E1和E2连接在一起。

回到图6，在框624，作为基于ML的资产关系构建过程508的一部分，可以从图表中生成表示设备-线路(设备到线路)连接的图。图11和图12A-图12B示出了根据一些实施例构建设备-线路图的示例。

图11示出了一台设备1102的示例。可以看出，出于计算目的，在设备1102周围放置了边界框1104。为了构建设备-线路图，通过增加每条边的长度，例如增加2.5％，以在每条边上扩展该边界框。然后，找到端点位于经扩展边界框中的线路1106，并且为每条线路生成相关联的节点(例如，L1、L2、L3等)。在一些实施例中，如果两条这样的线路彼此连接，则可以针对端点更靠近边界框中心的线路，来生成相关联的节点。还可以针对设备1102，来生成相关联的节点(例如，E1、E2、E3等)。此后，可以针对设备-线路对，来生成相关联的边(例如，(E1、L1)，(E2、L2)，(E3、L3)等等)。

图12A示出了显示设备-线路连接的示例性表格。该图示出了：设备-线路表1202，其列出与设备1102和线段1106相关联的各种节点(例如，L1、L2、L3等)和(例如，E1、E2、E3等)；以及边表1204，其列出与这些节点相关联的边(例如，(E1、L1)，(E2、L2)，(E3、L3)等)。

图12B示出了与设备-线路表1202和边表1204对应的示例性设备-线路图1206。可以看到，有五条边：边1、2、3、4和5，其反映了线路L1、L5、L6、L7和L9连接到设备E1、E2、E3和E4的五个点。

为了找到两台设备之间的路径，可以通过将表示连接到设备的图表线路的图1206与邻接矩阵1002合并，来识别连接到各台设备的线路。如果在两个设备之间发现多条路径，则可以在图上使用最短路径算法(例如，Dijkstra最短路径算法)，来识别两台设备之间的路径。与路径的线路相关联的箭头方向可以指示设备之间的材料流动方向，并指定哪个设备是目的地、而哪个设备是源。

再次返回图6，在框626，作为基于ML的资产关系构建过程508的一部分，可以从图表中生成表示连接器-线路(连接器到线路)连接的图。以下是根据本公开的实施例构建连接器-线路图的示例。

为了构建连接器-线路图，如参考图9所讨论的，围绕连接器放置边界框。然后，边界框可以使其长边扩展，例如扩展其长度的0.1倍。如果连接器是传入连接器，则扩展可以是在箭头方向上的；如果连接器是外出连接器，则扩展可以是在相反方向上的。然后，可以识别端点位于经扩展边界框内的线路。然后可以为连接器生成节点，例如C1；并且还可以为连接到连接器的线路生成节点，例如Lc1。然后，可以为连接器-线路对(例如(C1，Lc1))生成有向边，其中边方向由线路是连接到连接器的头部还是尾部而确定的。为了确定设备是否连接到连接器，可以在图上使用最短路径算法(例如，Dijkstra最短路径算法)，用于确定连接到设备的线路与连接到连接器的线路之间的路径。如果确定了连接，则可以使用连接到连接器节点的边的方向，来确定设备与连接器之间的流动方向。

图13A示出了显示出连接器-线路连接的示例性表格。该图示出了：连接器线路表1302，其列出与连接器和线段相关联的各种节点(例如，C1、C2、Lc1、Lc2等)的连接器-线路表1302；以及边表1304，其列出与这些节点相关联的边(例如，(C1、Lc1)、(C2、Lc2)等)。

图13B示出了与连接器-线路表1302和边表1304对应的示例性连接器-线路图1306。可以看到，有五个连接器：C1、C2、C3、C4和C5，其通过线路L1-L16所在的线段连接到两个设备：E1和E2。表1308示出了使用图1306而生成的路径。

再次返回图6，在框628，作为基于ML的资产关系构建过程508的一部分，可以从图表中生成表示装置或设备-线路(装置/仪器到线路)连接的图。以下是根据本公开的实施例构建装置/仪器-线路图的示例。

可以通过在装置周围提供边界框，来生成表示连接到装置或设备(例如标签、传感器等)的线路的图。然后，可以识别端点位于边界框内的线路。如果每个边界框发现了少于两个线路，则边界框的一条或多条边的长度可以增加，例如增加50％。然后，可以为装置生成节点，诸如D1；并且还可以为连接到该装置的线路生成节点，诸如L1。可以针对成对的仪器和与之相连的线路，来生成相关联的边。为了确定仪器和一台设备是否连接，可以在图上使用最短路径算法(例如，Dijkstra最短路径算法)，以确定连接到仪器的线路与连接到设备的线路之间的路径。

图14A示出了显示装置/设备-线路连接的示例性表。该图示出了：装置/仪器-线路表1402，其列出与装置和线段相关联的各种节点(例如，D1、D2、L1、L2、L3、L4、L5等)；以及边表1404，其列出与这些节点相关联的边(例如，(D1、L1)、(D1、L2)、(D2、L3)、(D2、L4)、(D2、L5)等)。

图14B示出了与连接器-线路表1402和边表1404对应的示例性装置/设备线路图1406和1408。如在图形1406中可以看到的，装置D1具有与其连接的两条线段：L1和L2。在曲线路图1408中，装置D2具有与其连接的三个线段：L3、L4和L5。

再次回到图6，到目前为止，仅讨论了有向图或具有特定流向的图。除了有向图，图表中也可能有无向图。作为基于ML的资产关系构建过程508的一部分，在框630，任何这样的无向图可以被改变为有向图。以下是根据本公开的实施例将无向图改变为有向图的示例。

为了给图(如线路-线路图、设备-线路图和装置-线路图)指派方向，需要识别设备-线路图中的所有线路节点。对于这些线路中的每一个，线路-线路图中所有可能的路径都被遍历，直到连接到连接器或另一台设备的线路。然后，路径可以被分割成段，并且这些段中的线路可以被分配方向。这可以基于连接的连接器的方向、箭头的存在或相邻路径中的线路的方向(例如，连接到连接器的线路)来完成。例如，如果一个路径是A->B->C->D，而另一个路径是A->B->E，那么将这些路径分割三个路径：A->B，B->C->D和B->E。然后，可以如下指派两种方向。如果路径中的一条线路连接到连接器，则将连接器的方向(传入或外出)指派给该路径中的所有线路。如果路径中的至少一条线路有箭头，则将箭头的方向指派给该路径中的所有线路。如果路径中的所有线路都没有箭头并且该路径没有连接到连接器，则检查连接到连接器的相邻路径并将相邻路径的方向指派给该路径中的所有线路。

再次返回图6，从框612回顾，所有装置和仪器(以及文本)都从图表中移除了，从而导致了仅示出从设备到设备以及设备到连接器的连接的线路-线路图。作为基于ML的资产关系构建过程508的一部分，在框632，现在可以更新线路-线路图以包括那些装置和仪器。例如，这可以通过将装置恢复到它们被移除的所在点而实现。

图15A示出了示例性线路-线路图1502和边数据表1504，其中已根据图6的框612而移除了装置。可以看出，装置是从连接器(C)和设备(E)之间的点而被移除的，此时两个虚线圆位于该些点处，并且该些点由两个对应的边替换，即：边5(L3，L6)和边6(L6，L7)。

图15B示出了在进行更新从而恢复了装置之后的、相同的示例性线路-线路图1502和边缘数据表1504。可以看到，两个装置(D)现在位于连接器(C)和设备(E)之间，取代了两个边(L3，L6)和(L6，L7)。这使得线路连接图不仅能反映设备到设备和连接器到设备的连接，还能反映装置到设备、装置到连接器和装置到装置的连接。

再次回到图6，在框634，作为基于ML的资产关系构建过程508的一部分，对于给定的图表(例如，PI&D、PFD等)，可以将针对该图表而生成的各种线路连接图进行合并。例如，如果图表是PI&D，那么所有的线路连接图可以被合并以创建PI&D流程图。

图16A示出了示例性PI&D流程图1602，该流程图1602是由基于ML的资产关系构建过程508对于针对给定PI&D而生成的各种线路连接图的合并而生成的。该PI&D流程图1602与其组成图不同，其包含PI&D中的所有连接器、装置或仪器以及设备以及它们之间的连接。因此，PI&D流程图1602捕获从给定PI&D中提取的所有资产之间的关系。

图16B示出了包含经合并的PI&D流程图1602的数据的示例性表格1604。表格1604包括针对每个线路连接图(例如，线路-线路、设备-线路、连接器-线路、装置-线路等)的节点和边。表1604还包含经合并的PI&D流程图1602的节点和边。然后，作为生成HMI的一部分，可以使用这样的表格。

再次返回图6，在框636，作为基于ML的资产关系构建过程508的一部分，可以将针对给定图表(例如，PI&D、PFD等)的控制回路添加到经合并的PI&D流程图1602中。如前所述，控制回路执行工厂过程中的一些子过程，并且可以是闭环或开环控制回路。大多数控制回路涉及几个一起工作的装置，包括传感器、致动器、控制器等。通常有两种类型的控制回路:简单控制回路和复杂控制回路。简单控制回路有输入、输出和控制器，而复杂控制回路由几个简单控制回路组成。图17中描绘了根据本公开的实施例识别控制回路的示例。

图17示出了包含简单控制回路的示例图表1700的一部分。为了说明的目的，四个符号已经被识别并标记为1702、1704、1706和1708，每个符号代表一个装置(例如，传感器、致动器、控制器等)或者一台设备。在本例中，识别控制回路开始于：识别符号内部的所有标签和符号外部的所有单词。接下来，对于符号外的每个单词，找到符号内最近的标签。例如，对于1702处的符号，符号内最近的标签是“TIC 1803”。对于给定的符号，可以忽略距离大于例如符号宽度1.2倍的所有单词(即，与其他符号相关联的单词)。然后，对照来自诸如ISA的行业标准的单词列表，来检查单词(例如，使用规则引擎)，以确定单词是否代表例如警报、信号、标签等。如果单词是标签，那么最近的标签的标签号被分配给该单词。例如，对于1702处的符号，标签号“1803”被分配给单词“TE”和“TT”，以生成“TE 1803”和“TT 1803”。这些被标记的单词随后被添加到该符号的标签列表中。给定符号的标签包括该符号内部和外部的所有标签。

一旦识别出符号内部和外部的所有标签，具有相同起始标识字母和相同标签号的所有标签被分组在一起。在图17的示例中，标签“TIC 1803”、“TV1803”、“TE 1803”和“TT1803”被分组在一起。这些标签用于定义简单的回路1710，可以包括该回路以作为图表1700的提取资产。

再次返回图6，在块638，工厂资产被组织在资产注册表中，以便于随后的访问和使用。使用命名空间来组织资产，以便唯一地标识每个资产。如本领域普通技术人员所理解的，命名空间是用于标识对象的一组名称，因此当具有不同来源但相同名称的对象混合在一起时没有歧义。

在框640，作为基于ML的资产关系构建过程508的一部分，每个图表的经合并流程图可以被合并，以创建整个工厂的单个工厂流程图。回顾类似PI&D或PFD的图表表示了组成一个单元的仪器或装置以及设备，并且回顾上面讨论的资产提取过程导致了给定单元的设备名称具有相同的单元前缀并且因此是可唯一地标识的。装置名称同样是通过加上单元名称的前缀来创建的。连接器名称也是可唯一地标识的，因为每个连接器名称都包含源设备的名称、目标设备的名称和管道名称。

线路索引或索引号(例如，1、2、3等)对于每个图表都是局部的，并且因此需要使线路索引或索引号是跨多个图表而可唯一地标识的。例如，这可以通过在线路索引前面加上前缀而实现，该前缀是单元名称或对应的图表、后接制图号。例如，如果单元名称为“UNIT1”，图表制图号为“1116”，则线路索引编号“15”可以更改为“UNIT1_1116_15”。

为了为整个工厂创建单个工厂流程图，可以如上所述，生成工厂中每个图表的流程图。在需要的地方，如上所述，可以使线路索引是跨不同图表而可唯一地标识的。然后可以通过将来自每个图表流程图(或其表格表示)的所有节点和边插入到工厂流程图(或其表格表示)，来合并各种图表的流程图。相互直接连接的图表将具有带有相同名称的连接器节点。出现这种情况时，将移除重复的连接器节点，并通过连接要由被移除的连接器连接的线路，来在工厂流程图中创建新的边。所有其他节点和边应该保持相同。

可以将所得的工厂流程图用于生成类似于图1所示的资产层级结构100的资产层级结构的可视表示。资产层级结构和资产层级结构下的关系然后可以被存储为结构化数据，例如，存储在一个或多个JSON(JavaScript对象表示法)文件中，以供工业工厂控制系统300的后续访问和使用。

在一些实施例中，工业工厂控制系统300可用于将资产层级结构和资产关系的结构化数据合并到如上所述的本体知识库中。然后，该系统根据工厂工程数据源(其在工厂生命周期阶段演进)动态地构建工厂工程域本体。这通常涉及:(1)(由该系统)使用来自非结构化数据源的元数据和机器学习技术，从结构化数据源中提取域实体(即，类型和数据)；(2)(由域专家)使用实体类型构建语义模型，并且还添加实体之间的关联关系；(3)(由该系统)动态地提取实体数据，并基于语义模型来构建知识图谱；以及(4)(由该系统)为用户提供导航资产命名空间和关系以提取相关信息的能力。这种布置有许多好处。

作为一个好处，可以使用过程叙述(narrative)来执行自动化控制配置。目前，控制配置是一个耗时的手动过程，并且需要很强的控制工程背景。利用这里描述的工业工厂控制系统300，不熟悉控制工程概念的人也应该能够容易地配置该系统。这源于该系统使用由工厂工程师使用的普通语言组成的“过程叙述”。该系统自动将过程叙述转换为控制策略和配置。可以通过利用名词-动词对，诸如自动化ML(参见IEC 62714)和基于状态的控制(参见ISA 106、ISA 88和ISA 95)中的“资产.操作(Asset.Operation)”，来将过程叙述可以转换为多个控制叙述。该系统使用来自资产模板、它们的关系、命名空间、控制策略模板和规则的信息，将过程叙述转换成控制逻辑。

作为另一个好处，可以基于过程叙述和文档化验证，来自动地自生成测试案例。工业工厂控制系统300使用过程叙述、控制配置和资产本体，来自动地生成测试案例。然后，系统运行自动化测试场景来模拟该过程，以便验证控制应用。

现在参考图18，示出了示例性方法1800的流程图，该方法1800可以与工业工厂控制系统300一起使用，以从工厂工程数据源中动态地构建工厂工程域本体。该方法通常从框1802开始，其中工厂工程数据源被输入到系统中。数据源可以包括用于生成上述工厂资产层级结构和资产关系的PI&D和PDF，以及AutoCAD、SmartPlant和Aveva工程图。其他工厂工程数据源可以包括模拟(simulation)模型、仪器索引、电缆一览表(schedule)、I/O分配列表、配置数据、交叉布线表、机柜加载(cabinet loading)报告、系统审计报告、历史数据、警报和事件等。

图19-图29示出了可以被用于生成资产层级结构和/或知识图谱的示例性工厂工程数据源。这些工厂工程数据源对于本领域技术人员来说是熟悉的。例如，图19在1900处示出了示例性警报数据。图20示出了示例性机柜装载报告2000。图21在2100处示出了示例性控制数据库。图22在2200处示出了示例性交叉布线报告。图23在2300处示出了示例性现场布线索引。图24在2400处示出了示例性历史数据(标签数据)。图25在2500处示出了示例性仪器索引。图26在2600处示出了示例性资产层级结构。图27在2700处示出了示例性嵌套加载(nest loading)报告。图28在2800处示出了示例性工厂资产索引。图29在2900处示出了示例性过程控制叙述。然后可以将这样的数据源和其他工厂工程数据源，包括HMI规范(参见图34)，用于生成资产层级结构和/或知识图谱。

回到图18，在框1804，系统从工厂工程数据源中提取域实体和域实体的实例。数据源可以包括结构化和非结构化数据源。例如，可以从数据源中提取实体(也称为类型或类)、属性(也称为性质)和关系。可以将实体用于指定本体的域(domain)和范围(range)，并且可以将属性值用于指定本体模型的范围。语义模型可以包括根据本体的域和范围而构建的一组三元组(triple)。三元组可以指定主语实体、谓语关系或属性、以及宾语实体或值。主语实体可以是来自本体的域的实体。宾语实体或值可以是来自本体的范围的实体或值。实体和值的实例可以从数据源中提取。例如，语义模型可以用主语“单元”、“谓语“有”和宾语“装置”来指定三元组。由对应的主语和宾语的实例组成的三元组可以包括“单元01”(实体“单元”的实例)“有”(谓语)“控制阀01”(实体“装置”的实例)。

可以对来自工厂工程数据源中的每个数据源(结构化和非结构化两者)，使用多种数据提取技术。系统可以根据文件格式或数据库类型，来区分结构化和非结构化数据。非结构化数据文件(例如，电子邮件、文字处理文档、视频、图像、网页等)经常包括没有任何模式(schema)的文本和多媒体内容，而结构化数据文件(如电子表格、CSV文件、XML文件、RDBMS、时间序列、图数据库等)包含模式或元数据。系统可以使用该模式或元数据，从这些结构化数据源中提取域实体。例如，在CSV文件格式中，纯文本数据用逗号分隔，其中CSV文件中的每一个新行代表一个新的数据库行，并且每个数据库行有用逗号分隔的一个或多个字段。系统可以使用这个模式，从数据源中提取域实体。在图25中可以看到一个示例，其中域实体是从CSV格式的示例性仪器索引数据源中提取的。如该表的第一行所示，从该数据源中提取的域实体和关联关系包括工厂、区域、单元、回路、标签、过程功能等。这些域实体的实例显示在后续的行中。

对于非结构化数据，诸如P&ID、PFD、过程控制叙述(Proces Control Narrative，PCN)和其他图像或非结构化文本格式，该系统使用机器学习，将来自非结构化数据源中的域实体和关联关系提取为结构化数据。作为参考，过程控制叙述(PCN)是一种功能性陈述，其描述了应该如何对装置安装控制件、面板安装控制件、PLC、HMI和其他基于处理器的过程控制系统组件进行配置和编程，以便控制和监视特定的过程、过程区域或设施。PCN是过程设计和控制系统设计之间必不可少的链接。对于PCN，该系统使用命名实体识别(NamedEntity Recognition，NER)技术，以从过程叙述中提取域实体，诸如泵、阀门、位置、警报条件等。NER是一种在用非结构化文本进行信息处理中所使用的技术。这种技术标记了文本中的单词的序列，这些单词是事物的名称，诸如事物、人名、组织、位置、时间表达、数量、货币值、百分比。

图30是示出了域实体类型和实例数据的示例的表3000，这些域实体类型和实例数据被提取到具有表格格式的文件中。表中的域实体类型包括控制器、复合、块、标签等，而对应的实例数据包括(对于第一行)CP2801、CF101_011900、PT038、011900PV038等。

回到图18，一旦已经提取了域实体和关系，则在框1806，用户(例如，域专家)使用所提取的实体类型和关联关系来构建语义模型。图31示出了可以由域专家用来构建语义模型的用户界面的示例。

在图31中，示出了允许用户指定从数据源中提取的实体之间的语义关系的用户界面2100。从这个界面，用户可以从各种数据源手动浏览实体类型，并且过滤语义模型所需的实体。例如，用户可以选择两个实体，诸如源和目标，并且在其之间创建命名关系。模式(schema)可以在概念层级下定义，其为逻辑模型。然后，用户可以指定从数据源中提取实体之间的特定于域的关系。典型的关系是代表父-子关系的“is-a(是…)”、代表包容关系的“has-a(具有…)(part-of(是…的一部分))”等等。在该示例中，用户通过关系“具有区域”，来指定源“工厂”与目标“区域”是相关的。用户还可以添加额外的上下文信息，作为实体属性。例如，用户可以添加类型、严重性、优先级，作为警报实体的属性。

在一些实施例中，代替或除了由用户定义之外，还可以根据例如关系数据库管理系统(Relational Database Management System，RDBMS)元组或XML文档中的父-子节点中所指定的主键(primary key)和外键(foreignkey)关系，来自动确定语义关系。可以添加属性，来提供附加的上下文信息(例如，对于实体“警报”，可以添加属性“类型”、“严重性”或“优先级”)。可以对照一组预定的规则来验证所得到的语义模型。这些规则可以由例如标准ISA-106(“连续处理操作的程序自动化”)来定义。使用ISA-106，三元组“装置具有单元”可能会在验证期间被标记为要校正，因为标准指定的是单元具有装置，而不是相反。代替标准或作为标准的补充，还可以将字典文件中的公共本体和词汇用于验证。

回到图18，一旦语义模型已经建立，那么在框1808，模型被验证。语义验证是指验证数据元素在逻辑上是否有效的过程。例如，像“设备具有区域”这样的数据元素在ISA 106模式下将会是无效的，因为设备不会具有区域(语义模型通常根据行业标准来使实体关系类型标准化)。在一些实施例中，系统自动地验证在框1806中所创建的实体之间的特定于域的关系。为此，系统可以维持标准术语、它们的定义、以及对字典文件中的公共本体和词汇的参考，这些都可以作为验证的参考。系统还提供了由域专家手动地验证和修改系统生成的关系的选项。

在框1810，经验证的语义模型被保存，以创建本体。在一些实施例中，根据以下公知的语义模型格式之一来保存语义模型：OWL/XML、JOSO-LD和RDF/JSON。作为替代方案，可以通过将模型转换成GaphSON格式的标记属性图(Labeled Property Graph Model)模型，来持久化该语义模型。如果将语义模型转换成W3C本体，那么就可以将语义模型知识图谱持久化在RDF三元组存储中，如AllegroGraph、Stardog或者Amazon Neptune。如果语义模型被转换成LPG(标记属性图)，那么针对此的知识图谱就可以持久化为图形数据库(GraphDatabase)格式，诸如GraphDB或Neo4j或Azure Cosmos DB。

在框1812，系统可以使用语义模型来构建和部署知识图谱。如上所述，知识图谱基本上是可用于导航和可视化组件之间的关系的图(即，数据的物理模型)。语义模型在概念层级上，定义了知识图谱中的源实体和目标实体之间的关系(例如，“区域-具有-单元”)。系统提取与本体类相关的实例，并且使用关联关系和上下文信息来构建知识图谱。因此，知识图谱代表了互连(interlinked)实体的集合，其增强了用户搜索所需信息的能力。可以在数据库系统中使用LPG、RDF或类似的图模型，来表示知识图谱。图32中描绘了知识图谱的示例性可视化。

参考图32，可以看到知识图谱3200的可视化，其中实体和关系被示为多个标记属性(labeled-property)节点，其中一个被指示为3202。节点及其关系两者都被命名，并且可以存储由键/值对(key/value pair)所表示的属性。节点可以被标记，以便容易地与相似的节点进行分组。表示关系的边(edge)有两个主要性质：它们总是有一个开始节点和一个结束节点，并且它们是有向的，使图成为有向图。关系也可以有属性，这有助于为节点的关系提供额外的元数据和语义。图例3204在颜色编码的基础上(on a color-coded basis)，提供了每个节点3202代表什么的指示，例如，蓝色表示标签索引列表，绿色表示嵌套加载报告，橙色表示机柜加载报告等等。根据本公开的实施例，可以通过选择图视图选项3206来选择知识图谱3200，并且知识图谱3200是可以从HMI获得的几个显示屏幕之一。用户可以通过选择针对其他显示屏幕的选项，来从HMI选择其他显示屏幕，例如用于上传数据的上传数据选项3206和用于搜索数据的查询引擎选项3208。

图33示出了根据本公开实施例的可以从HMI获得的查询显示屏幕幕3300的示例。在该屏幕中，用户可以通过将自然语言查询键入搜索框3302来搜索数据。例如，用户可以通过将查询“启动序列期间的预期警报是什么？”输入至搜索框3302，来要求HMI显示出或以其他方式指示出在正常工厂启动过程期间通常被触发的警报。作为响应，HMI可以以图形方式(带有虚线圆圈的节点)显示出请求的警报，或者，HMI可以通过显示警报的标识符以文本形式显示出请求的警报。用户还可以选择代表用户期望的数据类型的节点并将其拖动到搜索框3302中。在所示的示例中，用户可以将返回的六个警报拖放到搜索框3302中。借助于知识图谱，HMI可以快速突出显示(highlight)针对六个警报的所有公共资产，其由没有虚线圆圈的节点指示；并且HMI将所有其他节点变灰(gray out)或将其抑制到背景中。返回的公共资产可以包括：警报被处理的位置处的控制过程器、这些警报共享的资产、对警报进行处理的I/O模块等，并且返回的公共资产指示警报的可能根本原因。

在一些实施例中，用户和工厂操作员也可以输入命令来启动操作。HMI可以解释用自然语言编写的命令。例如，为了指示HMI开始填充标记为“罐01”的组件，可以将命令“填充罐01”输入到命令栏中(未明确示出)。

回到图18，一旦本体被构建，则在框1814，系统可以提供资产命名空间注册表API，以便让不同的应用对数据进行消耗(consume)。回顾上文前面的内容(图6)，工厂资产是使用命名空间而被组织到资产注册表中的。在一些实施例中，可以生成RESTful应用程序界面(例如，Azure活动目录图API)，以允许下游应用从知识图谱中提取信息。

在框1816，系统提供了让用户基于过程叙述来检索数据的方式。在一些实施例中，用户可以使用自然语言问题来检索数据以便搜索数据。该系统可以将自然语言查询翻译成例如SPARQL查询或Gremlin查询。下游应用可以包括例如这样一种HMI，即，通过该HMI可以发出来自经转换的过程叙述和/或其他自然语言命令的命令。

在框1818，可以设计和开发工厂控制过程和用于该过程的HMI(即，控制和HMI工程)，以允许用户使用系统300来控制工厂和各种工厂资产。这涉及处理来自资产模型中的工厂资产和资产关系，以创建HMI资产模型。HMI资产模型以层级结构来布置资产(见图37)，不同于本质上离散的传统解决方案(即，基于单个P&ID图而创建的)。然后，HMI可以使用HMI资产模型来自动创建独特的、连续的HMI显示，其类似于工厂级的二维平面图，包括每个资产的符号以及表示过程、电气连接、数据链路等的线路，这些线路在符号之间延伸。然后，工厂操作员可以水平和垂直地导航，并且可以放大和缩小(即，沿着Z轴)该二维视图，以便跨不同的资产而进行移动并且验证其行为。

在一些实施例中，HMI可以基于用户在HMI屏幕上的位置的变化和运行时(runtime)生成的警报，来动态改变向用户显示的资产。运行时显示的HMI资产可以主要基于两个因素来决定：(i)静态权重，其是基于工程图(例如，PFD、P&ID等)中可用的资产层级结构细节而分配给资产的；以及(ii)动态权重，其是分配给发出警报的每个设备的。因此，在运行时，HMI可以显示包括具有更大权重的资产的视图，或者如果存在警报，则显示具有警报的资产。HMI还可以动态更改该视图，以包括最近发出警报的资产。关键设备上的警报将被给予“高”或“高-高”指示(例如，感叹号、红色等)并将获得更多关注，并且完整的警报链将在运行时获得最高权重。为了设计HMI，需要建立HMI的设计规范。

图34示出了根据本公开实施例的HMI的示例性设计规范3400。规范3400规定了HMI的层级结构，其允许HMI按照层级结构布置来显示某些过程控制细节，包括过程设备细节和仪器控制细节。在该示例中，HMI被布置在几个层级结构显示级别3402、3404、3406、3408中。级别1显示过程区域概述，包括诸如操作KPI(关键绩效指标)、警报计数器、旁路信号计数器、趋势、整个工厂状态等信息。下一级，即级别2，显示过程单元控制，包括控制器、警报、趋势和状态。下一级，即级别3，显示过程单元详细信息，包括较小的设备群组、控制器、警报、趋势、ESD显示、设备、诊断和状态。下一级，即级别4，显示过程单元支持细节，包括联锁、细节、“先出”过程、文件和帮助。其他HMI设计规范可以包括与图形显示相关的规范，例如警报优先级颜色(例如，红色、黄色、橙色等)、以及指示状态(例如，停止服务等)和功能(例如，反馈、趋势线等)的颜色。也可以规定图标、符号和线路(例如，实线、虚线、点划线等)的含义以及工程单元(例如公制、英制等)等等。然后，这些HMI规范以及如上所述从各种工厂工程数据源中提取的数据和信息可以被用于构建HMI资产模型。

图35示出了根据本公开实施例的示例性HMI资产模型3500。HMI资产模型，顾名思义，包括由HMI处理和使用以显示给用户的资产模型。为了当前的目的，HMI资产模型包括前面讨论的工厂资产和关系(资产层级结构)、本体知识库和各种工厂工程数据源。HMI资产模型因此由以下组成：PFD 3502(例如，高级设备、仪器、连接等)，PI&D和仪器索引3504(例如，设备、仪器、它们之间的关联、警报、管道、维护超控图形(maintenance overridegraphics，MOS)和因果(cause and effect，C&E)细节等)，HMI规范3506(如导航要求、警报汇总、历史化、诊断细节等)，控制叙述3508(例如，控制和监视参数、设定点、警报、范围、工程单元等)，以及经由工程显示3510所捕获的知识(例如，从维护记录、先前的校正动作、用户体验等中所捕获的)。随着各种数据源的内容的变化以及资产的添加和/或删除，该模型会自动更新，从而使该模型成为动态HMI资产模型。

一旦建立了HMI资产模型3500(或者更确切地说，其内容)，该模型可以用于开发根据本公开实施例的HMI。基于HMI资产模型来开发HMI可以涉及：为各种资产(例如，仪器、设备、复合及其组合等)创建模板3514。这些模板可以包括：例如，级别符号(例如，级别2、级别3等)、仪器和设备的细节显示、仪器属性和动作、动画脚本、控制工程模板、泵、阀门等的综合细节。从HMI资产模型中开发HMI还可以涉及：创建其他资产模型3516，其中所有区域和单元被表示为区域对象，每个复合和/或复杂的仪器组合从它们的模板中被实例化。该过程可以涉及相对于其他设备和装置给一些设备和装置分配更多的权重，其中后者被图形化地强调。可以增加新的设备和装置(例如通过控制叙述而引入的)，并且对应地调整资产层级结构。设备和装置可以根据它们在这些资产模型中的关联而被分组。

除上述内容外，HMI资产模型还可用于构建控制应用，该控制应用用来控制各种工厂资产的操作。如前所述，可以使用机器学习从工程图等非结构化数据中提取工厂资产，以识别一个或多个资产。该过程还可以基于一个或多个设备、仪器、连接器和线路，从工程图中提取一个或多个控制回路，以构建动态HMI资产模型。然后，可以将自动控制生成过程用于从动态资产模型中读取一个或多个控制回路，并为控制应用生成控制逻辑。控制逻辑将控制应用与实际工厂设备相连接，以便允许控制应用读取或以其他方式获取过程值并且控制设备、装置、设备等的操作。换句话说，HMI处理资产和资产关系，并且创建HMI资产模型，从而以层级结构布置资产。该过程还将每个HMI资产的属性与对应的控制I/O参考链接起来，以便在运行时，如果操作员在HMI中打开控制应用中的阀门，其控制值将经由该控制I/O参考(链接在HMI资产中)传播到工厂中的对应装置，从而打开工厂中的阀门。

例如，从HMI资产模型中开发的HMI可以被用户用来监视各种显示，并容易地找到警报的根本原因。在一些实施例中，这种HMI可以使用HMI开发平台来开发，诸如可从得克萨斯州休斯顿的Wonderware West获得的系统平台2017InTouch OMI(操作管理界面)。在本公开的范围内，当然可以使用其他HMI开发平台。

接下来参考图36，在一些实施例中，根据本公开的HMI可以处理由各种装置发出的警报，并自动识别警报的根本原因。HMI主要通过两个因素来确定警报的根本原因:(i)工程图中定义的过程/材料流；以及(ii)工程图和任何控制叙述中定义的控制流程。在过程流的情况下，HMI首先找到引起不同警报的装置节点。对于每个装置节点，HMI检索对应于该装置节点的设备节点。对于该设备节点，HMI检索连接到该设备节点的任何上游设备节点，该上游设备节点也具有发出警报的装置。对相邻节点重复该步骤，直到HMI找到具有警报的、无连接的装置的所连设备。这就形成了警报链，其使HMI能够通过找到该链中最高级别处的、具有警报的设备，来确定警报的根本原因。

在图36的示例中，工厂级的二维平面图由HMI显示在屏幕3600上，屏幕3600包括表示资产的符号3602、3604、3606和3608，以及在符号之间延伸的、表示过程、电连接、数据链路等的线路3610、3612和3614。然后，工厂操作员可以在二维视图中水平导航并且放大和缩小，以跨不同的资产进行移动并验证他们的行为。在本例中，材料从设备E1215(泵)流向设备E1214(锅炉)，并且设备E1214(锅炉)的入口处存在压降。压力下降导致设备E1214(锅炉)入口处的装置(测量仪器)发出警报。该问题可能伴随设备E1215或伴随设备E1209。但是设备E1209处没有警报，所以HMI判定问题是在设备E1215(泵)处。在这个示例中，设备E1215(泵)的吞吐量已经减少，因此在连接的下游设备E1214(锅炉)处存在压降。因此，尽管警报是由锅炉E1214处的测量仪器发出的，但在这种情况下，HMI会将警报的根本原因识别为泵E1215。HMI为该设备分配额外的权重用于显示目的，并在该设备旁边放置警报灯泡3616。在3618处，聚集表示由HMI发现的其他警报的其他警报灯泡。

此后，HMI可以允许工厂操作员校正该系统识别出的根本原因分析。例如，操作员可以手动选择不同的设备，并将该设备设置为警报的根本原因，而不是系统所识别的根本原因，并且在一些实施例中还可以手动识别对应的警报链。操作员所做的这些校正可以反馈到系统，以动态更新机器学习算法，从而使系统对于后续的警报根本原因分析更加准确。

现在参考图37，在一些实施例中，根据本公开的HMI可以聚集工厂中的警报，并提供示出经聚集的警报的工厂级视图的显示屏幕3700。在一些实施例中，系统可以通过获得生成警报的所有设备的列表并从列表中识别第一设备来聚集警报。系统将该设备添加到新的警报集群(cluster)中，并检查相邻设备是否也在生成警报。如果是，则系统将该相邻设备添加到当前警报集群中。对列表中的下一设备重复该过程，直到所有设备和相邻设备都已被处理。在所示示例中，工厂级的经聚集警报被描绘为屏幕3700的指定区域(例如，左上角)中的一系列灯泡3702，尽管不同的位置或不同的图标或图形符号当然可以被用于这些警报。每个灯泡3702对应于对应的组件(例如，装置、设备等)，在工厂中针对该对应的组件发出了警报。可以看出，有五个组件3704a、b、c、d、e，针对该些组件发出了警报，每个组件带有灯泡图标3706以指示该组件处的警报状况。

选择(例如，通过点击、双击等)组件3704a-e之一，使HMI显示关于该组件的信息，包括哪些下游组件可能是警报的潜在根本原因。在一些实施例中，系统可以通过以下方式来确定该警报的潜在根本原因：在最高设备级别处识别警报，然后找到连接到该设备的、也有警报的源设备。然后，该系统向下深入到该源设备上，以找到也有警报的、连接的后续设备。重复该过程，直到找到有警报的最底连接的设备。

图38图示了可以根据用户/观察者在资产层级结构屏幕上的位置，来动态放大(和缩小)资产的HMI的实施例。观察者在层级结构屏幕上的位置主要由两个因素决定:(1)由屏幕坐标(例如，x和y坐标)决定的在地面上的位置，以及(2)观察者离地面的高度。基于观察者在屏幕上的位置，提供资产模型周围的相关信息以供查看。例如，考虑当用户相对于HMI屏幕位于区域1，并且在设备5、设备3、装置2和装置4处存在警报条件时。在本例中，HMI屏幕将显示设备7、1、2、4、5和6以及关于设备的任何相关信息，但不显示设备8、9或3，也不显示连接到设备3的任何装置。假设用户现在进行放大，使得用户的位置在单元3处。在该示例中，HMI屏幕将像以前一样显示设备7、1、2、4、5和6，但也将显示设备8、9或3。一旦用户进一步向下移动到设备5，那么HMI屏幕将显示装置1、2、3、4和5以及关于这些装置的任何相关信息。HMI屏幕会自动移除处于用户的级别以上的任何设备。

图39示出了根据本公开实施例的可以根据用户/观察者的位置，来动态放大(和缩小)资产的示例性HMI显示屏幕3900。基于由用户的当前位置和工厂中的当前活动警报而确定的缩放(zoom)水平，该动态HMI显示屏幕3900显示围绕资产模型的相关信息。在图39左侧的示例中，HMI显示屏幕3900显示了资产3902和3904之间的连接。在中间的示例中，用户已经进行放大(zoomin)，因此HMI显示屏幕3900重新映射(remap)连接，以在屏幕上显示附加资产3906。在右边的示例中，用户已经进一步进行放大，因此HMI显示屏幕3900再次重新映射连接，以在屏幕上显示又一个附加资产3908。

现在参考图40A和图40B，除了上面讨论的工厂级的警报聚集之外，根据本公开实施例的HMI还可以执行区域级的警报聚集。图40A图示了这种HMI的示例性实施例，其中HMI使用工厂资产的二维视图来显示区域级警报聚集。从左边的示例开始，实线(如线路4002)表示平面内的水平连接，虚线(如线路4004)表示跨多个平面(即，二维视图)的垂直连接。可以看出，区域级资产A1和A2具有分别由高警报图标和危急警报图标指示的警报状况。当用户选择A2时(例如，通过轻敲、点击等)，HMI会将用户带到右侧的示例，其中用户会在资产U3处发现危急警报并在资产U2处发现高警报。

如果用户选择U2，HMI将用户带到图40B左侧的示例，其中用户在设备U3E2处发现危急警报。从这里，用户将能够直观地在U2E1处查看到该危急警报的源，该源通过U3E1以及U3E2级联。假设用户选择U2E1，HMI将用户带到图40B右侧的示例，其中将向用户显示装置级资产，包括导致警报的问题的源D1。选择D1将为用户提供关于该装置的信息、在该装置上所见的任何趋势、该装置可用的任何支持和指导，以及关于该装置捕获的任何知识。

因此，如本文所述，本公开的实施例提供了用于控制工业过程自动化和控制系统的系统和方法。该方法和系统自动地并且通过使用机器学习(ML)模型和算法，从工程图和其他工厂工程数据源中提取工厂资产；建立资产关系以创建工厂资产注册表并根据工厂资产来构建资产层级结构；根据工厂资产层级结构来生成本体知识库；并且基于工厂资产层级结构和本体知识库提供用于控制工业过程的HMI。

本公开的这些实施例可以包括专用计算机，该专用计算机包括各种计算机硬件，如下面更详细描述的。本公开的范围内的实施例还包括用于承载或具有存储在其上的计算机可执行指令或数据结构的计算机可读介质。此类计算机可读介质可以是可以由专用计算机访问的任何可用介质，并且包括计算机存储介质和通信介质。通过示例而非限制的方式，计算机存储介质包括以任何方法或技术实施的用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可移除和不可移除介质两者。计算机存储介质是非暂时性的，并且包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)、数字多功能磁盘(DVD)或其它光盘存储设备、固态驱动器(SSD)、磁带盒、磁带、磁盘存储设备或其它磁存储设备，或可以用于承载或存储呈计算机可执行指令或数据结构形式的期望的非暂时性信息并且可以被计算机访问的任何其它介质。当通过网络或另一种通信连接(硬连线、无线或硬接线或无线的组合)向计算机传递或提供信息时，计算机适当地将连接视为计算机可读介质。因此，将任何此类连接适当地称为计算机可读介质。上述组合也应包括于计算机可读介质的范围内。计算机可执行指令包括例如使通用计算机、专用计算机或专用处理设备执行某个功能或功能组的指令和数据。

以下讨论旨在提供对可以在其中实施本公开的各方面的合适计算环境的简要、一般描述。尽管不是必需的，但是将在由网络环境中的计算机执行的计算机可执行指令(诸如程序模块)的一般上下文中描述本公开的各方面。通常，程序模块包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令、相关联的数据结构和程序模块表示用于执行本文公开的方法的步骤的程序代码部件的示例。此类可执行指令或相关联的数据结构的特定序列表示用于实施在此类步骤中描述的功能的对应动作的示例。

本领域技术人员应当理解，本公开的各方面可以在具有许多类型的计算机系统配置的网络计算环境中实践，该计算机系统配置包括个人计算机、手持设备、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机等。本公开的各方面还可以在分布式计算环境中实践，在该分布式计算环境中，任务由通过通信网络链接(通过硬连线链路、无线链路或通过硬连线或无线链路的组合)的本地和远程处理设备执行。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备两者中。

用于实施本公开的各方面的示例性系统包括呈常规计算机形式的专用计算设备，包括处理单元、系统存储器和将包括系统存储器的各种系统组件耦合到处理单元的系统总线。系统总线可以是多种类型的总线结构中的任何一种，包括存储器总线或存储器控制器、外围总线和使用多种总线架构中的任何一种的本地总线。系统存储器包括计算机存储介质，包括非易失性和易失性存储器类型。基本输入/输出系统(BIOS)可以存储在ROM中，该基本输入/输出系统包含帮助在计算机内的元件之间(诸如在启动期间)传递信息的基本例程。此外，计算机可以包括能够从互联网无线接收IP地址或将IP地址无线地发送到互联网的任何设备(例如，计算机、膝上型计算机、平板计算机、PDA、手机、移动电话、智能电视等)。

计算机还可以包括用于从磁性硬盘读取和写入其中的磁性硬盘驱动器、用于从可移除磁盘读取或写入其中的磁盘驱动器，以及用于从可移除光盘(诸如CD-ROM或其它光学介质)读取或写入其中的光盘驱动器。磁性硬盘驱动器、磁盘驱动器和光盘驱动器分别通过硬盘驱动器接口、磁盘驱动器接口和光驱接口连接到系统总线。驱动器及其相关联的计算机可读介质为计算机提供对计算机可执行指令、数据结构、程序模块和其它数据的非易失性存储。尽管本文描述的示例性环境采用磁性硬盘、可移除磁盘和可移除光盘，但是也可以使用用于存储数据的其它类型的计算机可读介质，包括磁带、闪存卡、数字视频盘、伯努利磁带盒、RAM、ROM、SSD等。

通信介质通常以诸如载波或其它传输机制之类的调制数据信号体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息递送介质。

包括一个或多个程序模块的程序代码设备可以存储在硬盘、磁盘、光盘、ROM和/或RAM上，包括操作系统、一个或多个应用程序、其它程序模块和程序数据。用户可以通过键盘、定点设备或其它输入设备(诸如麦克风、操纵杆、游戏手柄、卫星天线、扫描仪等)将命令和信息输入计算机中。这些和其它输入设备通常通过耦合到系统总线的串行端口接口连接到处理单元。替代地，输入设备可以通过诸如并行端口、游戏端口或通用串行总线(USB)之类的其它接口连接。监视器或另一种显示设备也经由诸如视频适配器之类的接口连接到系统总线。除了监视器之外，个人计算机通常还包括其它外围输出设备(未示出)，诸如扬声器和打印机。

本公开的一个或多个方面可以体现在作为应用程序、程序模块和/或程序数据存储在系统存储器或非易失性存储器中的计算机可执行指令(即，软件)、例程或函数中。替代地，该软件可以远程存储，诸如存储在具有远程应用程序的远程计算机上。通常，程序模块包括在由计算机或其它设备中的处理器执行时执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令可以存储在一个或多个有形、非暂时性计算机可读介质(例如，硬盘、光盘、可移除存储介质、固态存储器、RAM等)上并由一个或多个处理器或其它设备执行。如本领域技术人员应当理解，在各种实施例中，程序模块的功能性可以根据需要进行组合或分布。另外，该功能性可以全部或部分地体现在固件或硬件等效物(诸如集成电路、专用集成电路、现场可编程门阵列(FPGA)等)中。

计算机可以使用与一台或多台远程计算机的逻辑连接在联网环境中操作。远程计算机可以各自是另一台个人计算机、平板计算机、PDA、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且通常包括上文相对于计算机描述的许多或所有元件。逻辑连接包括在这里通过示例而非限制的方式呈现的局域网(LAN)和广域网(WAN)。此类联网环境在办公室范围或企业范围的计算机网络、内部网和互联网中很常见。

当在LAN联网环境中使用时，计算机通过网络接口或适配器连接到本地网络。当在WAN联网环境中使用时，计算机可以包括调制解调器、无线链路或用于在广域网(诸如互联网)上建立通信的其它部件。调制解调器(其可以是内部的也可以是外部的)经由串行端口接口连接到系统总线。在联网环境中，相对于计算机描绘的程序模块或其部分可以存储在远程存储器存储设备中。应当理解，所示的网络连接是示例性的，并且可以使用在广域网上建立通信的其它部件。

优选地，计算机可执行指令存储在诸如硬盘驱动器之类的存储器中并由计算机执行。有利地，计算机处理器具有实时执行所有操作(例如，执行计算机可执行指令)的能力。

除非另有说明，否则本文示出和描述的本公开的实施例中的操作的执行(execution/performance)顺序不是必要的。即，除非另有说明，否则可以任何顺序执行操作，并且本公开的实施例可以包括比本文公开的那些操作更多或更少的操作。例如，可预期在另一操作之前、在其同时或之后执行特定操作在本公开的各方面的范围内。

本公开的实施例可以用计算机可执行指令来实施。计算机可执行指令可以被组织成一个或多个计算机可执行组件或模块。本公开的各方面可以用任何数量和组织的此类组件或模块来实施。例如，本公开的各方面不限于特定的计算机可执行指令或图中所示出和本文描述的特定组件或模块。本公开的其它实施例可以包括不同的计算机可执行指令或组件，其具有比本文所示出和描述的更多或更少的功能性。

当介绍本公开的各方面的元件或其实施例时，冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或多个元件。术语“包括(comprising、including)”和“具有”旨在是包含性的，并且意味着可以存在除所列元件之外的其它元件。

在已经详细描述了本公开的各方面之后，显而易见的是，在不脱离如所附权利要求限定的本公开的各方面的范围的情况下，可进行许多修改和改变。由于在不脱离本公开的各方面的范围的情况下可在上述结构、产品和方法中做出各种改变，因此希望在以上描述中包含并且在附图中所示的所有内容应被解释为说明性的而不是限制性的意义。

Claims (21)

1.一种用于工业工厂的控制系统，包括：

一个或多个处理器；以及

存储单元，所述存储单元通信地耦合到所述一个或多个处理器并在其上存储处理器可执行指令，所述处理器可执行指令在被所述一个或多个处理器执行时使得所述控制系统：

执行输入来自所述工业工厂的多个工程数据源的数据的过程，所述数据包括结构化和非结构化数据；

执行从所述结构化和非结构化数据中提取一个或多个域实体的过程；

执行从所述结构化和非结构化数据中提取所述一个或多个域实体的实例的过程；

执行接收基于所述一个或多个域实体和所述一个或多个域实体的实例而构建的语义模型的过程；

执行基于所述语义模型来创建并存储知识图谱的过程；以及

执行从所述知识图谱中提取信息以构建用于所述工业工厂的机器界面(HMI)显示和控制应用的过程。

2.根据权利要求1所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行使用机器学习从所述非结构化数据中提取所述工业工厂的一个或多个资产以识别所述一个或多个资产的过程。

3.根据权利要求2所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行使用命名空间将所述工业工厂的所述一个或多个资产存储在资产层级结构中的过程，所述命名空间唯一地标识每个资产。

4.根据权利要求3所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行提供资产注册表应用编程界面(API)的过程，以允许用户和外部系统访问和使用所述资产注册表。

5.根据权利要求1所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统通过执行输入以下中的一个或多个的过程，以输入来自所述多个工程数据源的数据：警报数据、机柜装载报告、控制数据库、交叉布线报告、现场布线索引、历史数据、仪器索引、资产层级结构、嵌套装载报告、工厂资产索引、过程控制叙述和HMI规范。

6.根据权利要求1所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行将知识库显示为多个互连的标记属性节点的过程，每个节点代表域实体。

7.根据权利要求6所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行当每个节点被用户选择时显示该节点的属性和关系的过程。

8.根据权利要求7所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行允许用户使用自然语言查询来进行所述知识库的搜索的过程。

9.根据权利要求8所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行显示响应于所述搜索的节点以及所述节点共有的资产的过程。

10.根据权利要求9所述的控制系统，其中，所述处理器可执行指令还使得所述控制系统执行在颜色编码的基础上为所述节点显示图例的过程。

11.一种控制工业工厂的方法，包括：

输入来自所述工业工厂的多个工程数据源的数据，所述数据包括结构化和非结构化数据；

从所述结构化和非结构化数据中提取一个或多个域实体；

从所述结构化和非结构化数据中提取一个或多个域实体的实例；

接收基于所述一个或多个域实体和所述一个或多个域实体的实例而构建的语义模型；

基于所述语义模型创建并存储知识图谱；以及

从所述知识图谱中提取信息以构建用于所述工业工厂的机器界面(HMI)显示和控制应用。

12.根据权利要求11所述的方法，还包括使用机器学习从所述非结构化数据中提取所述工业工厂的一个或多个资产以识别所述一个或多个资产。

13.根据权利要求12所述的方法，还包括使用唯一地标识每个资产的命名空间将所述工业工厂的一个或多个资产存储在资产层级结构中。

14.根据权利要求13所述的方法，还包括提供资产注册表应用编程界面(API)，以允许用户和外部系统访问和使用所述资产注册表。

15.根据权利要求11所述的方法，其中输入来自所述多个工程数据源的数据包括输入以下中的一个或多个：警报数据、机柜装载报告、控制数据库、交叉布线报告、现场布线索引、历史数据、仪器索引、资产层级结构、嵌套装载报告、工厂资产索引、过程控制叙述和HMI规范。

16.根据权利要求11所述的方法，还包括将知识库显示为多个互连的标记属性节点，每个节点代表域实体。

17.根据权利要求16所述的方法，还包括当每个节点被用户选择时显示该节点的属性和关系。

18.根据权利要求16所述的方法，还包括允许用户使用自然语言查询来进行所述知识库的搜索。

19.根据权利要求16所述的方法，还包括显示响应于所述搜索的节点以及所述节点共有的资产。

20.根据权利要求16所述的方法，还包括在颜色编码的基础上显示所述节点的图例。

21.一种存储计算机可读指令的计算机可读介质，所述计算机可读指令用于使一个或多个处理器执行根据权利要求11至20中任一项所述的方法。

Images