CN115427968A - 边缘计算设备中的鲁棒人工智能推理 - Google Patents

边缘计算设备中的鲁棒人工智能推理 Download PDF

Info

Publication number
CN115427968A
CN115427968A CN202080099350.1A CN202080099350A CN115427968A CN 115427968 A CN115427968 A CN 115427968A CN 202080099350 A CN202080099350 A CN 202080099350A CN 115427968 A CN115427968 A CN 115427968A
Authority
CN
China
Prior art keywords
neural network
network model
computing device
edge computing
digital twin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080099350.1A
Other languages
English (en)
Inventor
伊内斯·乌加尔德·迪亚斯
海科·克劳森
胡安·L·阿帕里西奥·奥赫亚
马丁·泽尔
欧根·索洛乔
温成涛
夏魏喜
于小文
沙尚克·塔马斯卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of CN115427968A publication Critical patent/CN115427968A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

一种用于支持在与物理过程或工厂相关联的边缘计算设备中的人工智能推理的系统,该系统包括神经网络训练模块、神经网络测试模块和物理过程或工厂的数字孪生。神经网络训练模块被配置用于基于从边缘计算设备接收的包括基线训练数据和现场数据的数据来训练用于部署到边缘计算设备的神经网络模型。神经网络测试模块被配置用于在部署到边缘计算设备之前通过利用物理过程或工厂的数字孪生来验证经训练的神经网络模型。

Description

边缘计算设备中的鲁棒人工智能推理
技术领域
本公开总体上涉及用于在边缘计算设备中支持人工智能(AI)推理的技术。本公开的实施例提供了一种系统和方法,用于通过利用过程或工厂的数字孪生进行与过程或工厂相关联的边缘计算设备中的有鲁棒性的AI推理。
背景技术
处理器技术和AI的最新进展已经使得在边缘计算设备上运行的实时操作系统能够有效地执行来自驻留在AI核心的神经网络模型的预测(也称为“推理”)。对研究人群的样本数据进行神经网络模型的训练。鉴于此,在部署之后保证神经网络模型的准确性和性能具备挑战性。例如,在动态变化的生产环境中,神经网络模型可能面对未被广泛训练的输入,并且可能产生不准确的预测。
发明内容
本公开的各方面涉及一种用于通过利用过程或工厂的数字孪生进行与过程或工厂相关联的边缘计算设备中的有鲁棒性的人工智能推理的技术。
根据本公开的第一方面,提供了一种用于支持在与物理过程或工厂相关联的边缘计算设备中的人工智能推理的系统。该系统包括神经网络训练模块,该神经网络训练模块被配置用于基于从边缘计算设备接收的包括基线训练数据和现场数据的数据来训练用于部署到边缘计算设备的至少一个神经网络模型。该系统还包括神经网络测试模块,该神经网络测试模块被配置用于在部署到边缘计算设备之前评估经训练的神经网络模型的准备情况。该系统还包括物理过程或工厂的数字孪生,该数字孪生包括被配置用于执行物理过程或工厂的模拟的模拟平台。该神经网络测试模块被配置用于:向该数字孪生提供模拟输入,该模拟输入包括涉及该经训练的神经网络模型的一个或多个测试场景,该测试场景是利用该现场数据生成的,并且基于从该数字孪生获得的模拟输出来验证该经训练的神经网络模型。
根据本公开的第二方面,提供了一种用于支持在与物理过程或工厂相关联的边缘计算设备中的人工智能推理的计算机实现的方法。该方法包括基于从边缘计算设备接收的包括基线训练数据和现场数据的数据来训练用于部署到边缘计算设备的至少一个神经网络模型。该方法还包括在部署到边缘计算设备之前,通过采用物理过程或工厂的数字孪生来评估经训练的神经网络模型的准备。数字孪生包括被配置用于执行物理过程或工厂的模拟的模拟平台。评估经训练的神经网络模型的准备状态包括:向该数字孪生提供模拟输入,该模拟输入包括涉及该经训练的神经网络模型的一个或多个测试场景,该测试场景是利用该现场数据生成的,并且基于从该数字孪生获得的模拟输出来验证该经训练的神经网络模型。
本公开的其他方面在计算系统和计算机程序产品中实现上述方法的特征。
通过本公开的技术能够实现附加技术特征和益处。本公开的实施例和方面在本文中详细描述并且被认为是所要求保护的主题的一部分。为了更好地理解,参考详细描述和附图。
附图说明
当结合附图阅读时,从以下详细描述最佳地理解本公开的前述方面和其他方面。为了容易地识别对任何元件或动作的讨论,参考数字中的最高有效的一个或多个数位是指该元件或动作首先被引入其中的图号。
图1示出了根据本公开的实施例的用于远程支持边缘计算设备中的AI推理的系统的示意性框图。
图2示出了用于验证用于部署到边缘计算设备的经训练的神经网络模型的计算机实现的例程的实例。
图3示出了由智能边缘计算设备实现的示例性例程。
图4示出了能够在其中实现本公开的各实施例的示例性计算环境。
具体实施方式
能够利用云计算服务来训练部署到边缘计算设备的神经网络(NN)模型。云资源还使得能够存储大数据或执行计算密集型软件。在工业中,数字孪生提供物理过程或工厂的数字图像或复制品作为优化其性能的手段。此类数字图像也能够驻留在云中。在其他方面中,数字孪生能够利用强大的模拟软件来验证和优化生产特性。
为了使部署到边缘计算设备的神经网络模型提供高精度结果,希望对新收集的数据定期地重新训练模型。当大多数使用情况需要高性能精度时,这在工业设置中是特别相关的。例如,在工业机器人应用中,如果机器人臂的移动路径中的移动与关键设备碰撞,则该移动可能具有灾难性后果。本文所示的本公开的实施例提供了一种利用诸如神经网络训练能力、数字孪生和模拟软件等云资源来鲁棒边缘计算设备中的推理的技术。
现在参考图1,示出了用于支持与物理过程或工厂122相关联的边缘计算设备120中的AI推理的系统102。在所示实施例中,系统102在云计算环境中实现,以利用相当大的计算能力、巨大的存储容量和运行高保真模拟软件的能力。在可替代实施例中,系统102能够在专用服务器上实现,而不必驻留在云中。系统102广义上包括以下功能模块,即:神经网络训练模块104(以下称为训练模块104),其被配置用于训练要部署到边缘计算设备120的一个或多个神经网络模型;神经网络测试模块108(以下称为测试模块108),其被配置用于在部署到边缘计算设备120之前评估从训练模块104获得的经训练的神经网络模型的准备;和物理过程或设备122的数字孪生110,其能够由测试模块108用来在部署之前验证经训练的神经网络模型。
数字孪生110能够包括过程或工厂122的高保真模型,在本文称为过程/工厂模型112。过程/工厂模型112能够利用例如表示过程或工厂122的物理设备(称为现场设备)的CAD模型。过程/工厂模型112还能够包括与各个物理设备相关联的最新传感器数据。例如,CAD绘图包可用于创建过程或工厂122的数字模型,然后过程控制系统可使用CAD模型来创建过程/工厂模型112。该软件能够提供数字孪生传感器和现实世界中的控制之间的链接。在其他实施例中,代替采用CAD模型,能够利用诸如成像数据的传感器数据来生成现场设备的数字表示。数字孪生110还能够包括模拟平台114,该模拟平台被配置用于使用过程/工厂模型112来执行物理过程或工厂122的模拟。模拟平台114能够包括适当的物理库,用于基于定义的约束解决物理过程或工厂122的物理和/或过程模拟。
边缘计算设备120能够包括具有靠近物理过程或工厂122的现场设备部署的计算能力的任何设备。例如,边缘计算设备120能够包括可编程逻辑控制器(PLC)或耦合到PLC的计算模块。边缘计算设备120能够被配置用于从与现场设备相关联的传感器接收传感器输入142、利用一个或多个神经网络模型基于传感器输入14运行AI推理或预测,并且生成输出任务146,其能够包括用于与现场设备相关联的致动器的命令。在一个实施例中,边缘计算设备120能够包括硬件加速器(AI加速器),该硬件加速器被专门设计为有效地执行来自深度神经网络的预测或推理。这些AI加速器的计算能力允许它们在嵌入式设备中的已经训练的神经网络模型上运行推理(正向传递)。适用于该实施例的AI加速器的非限制性实例是由Siemens AG制造的SIMATICTMTM NPU(神经处理单元)。
训练模块104能够使用一个或多个神经网络模型骨架124(即,训练之前的神经网络模型)和来自数据存储库106的数据150来生成一个或多个经训练的神经网络模型126。用于训练的数据150能够包括在神经网络模型的初始训练中使用的基线训练数据,以及从边缘计算设备120接收的现场数据130。现场数据130能够从与现场设备相关联的传感器数据142导出。由边缘计算设备120中继的现场数据130能够至少包括由边缘计算设备120标识为“故障数据”的现场数据。“故障数据”能够包括例如来自传感器的输入数据,其导致来自边缘计算设备120运行的神经网络模型的不准确或低置信度输出(通常是预测或推理)。不准确的推理将导致一个或多个现场设备无法以令人满意的方式实现根据该推理生成的任务。在一些实施例中,如果通信带宽允许,则由边缘计算设备120中继的现场数据130除了“故障数据”之外还能够包括“成功数据”。此类“成功数据”能够包括例如来自传感器的输入数据,其导致来自边缘计算设备120运行的神经网络模型的高精度或高置信度输出。边缘计算设备120能够被配置用于将中继的现场数据130标记为“故障数据”或“成功数据”。
训练模块104的基本训练能够包括例如数据准备(例如,包括归一化、滤波和特征化,以及其他步骤)和经由反向传播的神经网络权重计算。训练模块104能够另外采用高级或后训练技术,包括例如用于不准确预测数据样本的数据扩充(作为模型重新训练规范的一部分,如下所述)、模型修剪、正则化等。经训练的神经网络模型126被传递到测试模块108。
测试模块108能够包括例如高保真沙箱,该高保真沙箱能够122的数字孪生110的新经训练的神经网络模型126执行安全测试。测试模块108能够生成涉及经训练的神经网络模型126的一个或多个测试场景。能够利用现场数据130来生成测试场景。在一个实施例中,可特别强调“故障数据”(即,导致先前不准确推理的输入数据)来产生测试场景。一旦准备了测试场景,就将它们作为模拟输入132提供给数字孪生110。
基于模拟输入132,数字孪生110能够由模拟平台114利用最新的过程/工厂模型112来执行物理过程或工厂122的模拟。具体地,能够基于约束来执行模拟,该约束诸如从结合测试场景由经训练的神经网络模型126生成的预测或推理导出的任务/动作。数字孪生110将模拟输出134返回到测试模块108。模拟输出134能够包括例如与每个经训练的神经网络模型126相关联的性能指标。性能指标能够例如基于对所述预测或推理的模拟响应来量化由训练的网络模型126生成的预测或推理的准确度或置信度水平。
基于来自数字孪生110的模拟输出134,测试模块108能够确定测试是否令人满意。例如,测试模块108能够根据定义的阈值(例如,量化的置信水平或准确度)来确定模拟输出134中的性能指标是否是可接受的。如果性能指标被认为是不可接受的,则测试模块108能够基于重新训练规范136请求训练模块104对经训练的神经网络模型的重新训练。重新训练规范136能够表示训练模块104在下一次训练迭代中将考虑的制法。制法中的示例性项目能够是对模拟输入132中的某些性能不足的数据执行数据扩充以相对于此类数据鲁棒神经网络模型的请求。性能不足的数据能够包括例如导致输出中的故障的输入数据,如通过模拟所确定的。在此类情况下,重新训练规范136能够请求对发生故障的输入数据进行数据扩充,以便更紧密地适合故障情况,从而允许神经网络模型为这些情况产生正确的预测或推理。
训练模块104对神经网络模型的重新训练和利用数字孪生110的测试模块108对重新经训练的神经网络模型的验证能够以迭代方式执行。测试模块108能够例如基于如上所述的性能指标来评估重新经训练的神经网络模型的可接受性,并且在已经执行了指定次数的迭代或者实现了可接受性能指标之后终止重新训练过程。一旦被验证,神经网络模型就被认为是部署准备的。能够将部署准备神经网络模型138推送到模型存储器118。模型存储器118能够包括已经被验证并且准备部署到边缘计算设备120的一组神经网络模型。能够将一组神经网络模型140从模型存储器118部署到边缘计算设备120。根据边缘计算设备120的容量,所部署的神经网络模型140的集合能够是模型存储器118中的经验证的神经网络模型的子集或整个集合。模型存储器118能够例如通过添加新验证的神经网络模型和/或丢弃过时的或未使用的模型来周期性地更新。
作为支持边缘计算设备120中的AI推理的附加特征,系统102能够被配置用于在某些情况下从边缘计算设备120接收高精度输出请求146,诸如时间容差中的带宽,或来自所部署的神经网络模型的低置信度输出等。在此类情况下,系统102能够使用数字孪生110来将高精度推理148返回到边缘计算设备120。为此,数字孪生110能够包括未部署的神经网络模型116,其可能比部署到边缘计算设备120的神经网络模型具有更大权重(即,计算强度)。重型神经网络模型116可用于生成高精度推理,该高精度推理可在返回到边缘计算设备120之前使用数字孪生110的模拟能力来测试。
图2示出了用于验证用于部署到与物理过程或工厂相关联的边缘计算设备的经训练的神经网络模型的方法200的流程图。方法200能够包括计算机实现的例程。方法200能够实现为例如在云计算环境中实现的与物理过程或工厂相关联的边缘计算设备的维护服务的一部分。作为维护服务的一部分,方法200能够以指定的频率周期性地执行,或者能够以基于事件的方式执行,例如由工厂操作员触发。图2的流程图不旨在指示方法200的框将以任何特定顺序执行,或者方法200的所有框将被包括在每种情况中。另外,方法200能够包括任何合适数量的附加操作。
方法200的框202涉及训练神经网络模型。训练能够使用包括基线训练数据和从边缘计算设备接收的现场数据的数据来实现。在训练中使用的字段数据能够至少包括由边缘计算设备标识为“故障数据”的字段数据。然后,方法200使用物理过程或工厂的数字孪生来评估要部署到边缘计算设备的经训练的神经网络模型的准备。数字孪生能够包括执行物理过程或工厂的模拟的模拟平台。
方法200的框204涉及生成涉及经训练的神经网络模型的一个或多个测试场景。能够利用现场数据生成测试场景,并且在一些实施例中,特别强调“故障数据”,即导致先前不准确推理的输入数据。
在框206,将测试场景作为模拟输入发送到数字孪生。
方法200的框208涉及通过数字孪生来执行物理过程或工厂的模拟。这能够包括基于由经训练的神经网络模型结合一个或多个测试场景生成的推理来执行物理过程或工厂的模拟。
方法200的框210涉及从数字孪生获得模拟输出。模拟输出134能够包括例如与经训练的神经网络模型相关联的性能指标。
方法200的框212涉及关于性能指标是否可接受的决定。该决定能够例如根据定义的阈值来实现。
如果在框212认为性能指标不可接受,则控制进行到框214,其涉及生成重新训练规范。然后控制返回到块202,其包括基于重新训练规范重新训练神经网络模型。在迭代循环中执行重新训练过程,直到在框212确定重新经训练的神经网络模型产生可接受的性能指标。可替代地,能够在指定次数的迭代之后终止重新训练循环。对神经网络模型进行了验证。
方法200的框216涉及将经验证的神经网络模型部署到边缘计算设备。
图3示出了能够由与物理过程或工厂相关联的智能边缘计算设备实现的例程或方法300的实例。图3的流程图不旨在指示方法300的框将以任何特定顺序执行,或者方法300的所有框将被包括在每种情况中。另外,方法300能够包括任何合适数量的附加操作。
方法300的框302涉及从过程或工厂的现场设备接收输入数据。输入数据能够从连接到现场设备的传感器收集,并且例如利用视觉和/或信号处理技术在边缘计算设备中准备。
方法300的框304涉及通过运行部署到边缘计算设备的一个或多个神经网络模型来从输入数据生成预测或推理。
方法300的框306涉及在向边缘计算设备的输出接口提供预测或推理之前评估由本地部署的神经网络模型提供的推理或预测的质量。具体地,框306涉及关于是否指示高精度推理的决定。高精度推理能够在以下非限制性的示例性场景中的一个或多个中指示,即:(1)下一个动作输出能够容忍云请求的增加的等待时间,(2)边缘计算设备的神经网络模型的输出具有低于指定阈值的置信度,以及(3)边缘计算设备已经连续多次尝试在相同的输入数据上成功,并且需要高质量的解决方案来退出循环。
如果在框306处确定没有指示高精度推理,则控制进行到框312。如果在框306处确定指示了高精度推理,则控制前进到框308,框308涉及将高精度输出请求发送到物理过程或工厂的数字孪生。数字孪生能够驻留在云计算环境中。当在云中接收到高精度输出请求时,数字孪生可使用其过程或工厂的当前模型、高精度模拟工具和潜在的重型神经网络模型来计算和测试推理。方法300的框310涉及从数字孪生接收高精度推理。
方法300的框312涉及将预测或推理转换为输出任务,其能够包括用于与现场设备相关联的致动器的命令。
图4示出了其中能够实现本公开的各实施例的示例性计算环境400。诸如计算机系统402和计算环境400等计算机和计算环境是本领域技术人员已知的,因此在此简要描述。应当注意,在云计算环境中实现本公开的实施例的情况下,包括在示例性计算环境400中的一些项目(例如,键盘436)可能不适用。
如图4所示,计算机系统402能够包括诸如系统总线404的通信机制或用于在计算机系统402内传送信息的其他通信机制。计算机系统402还包括与系统总线404耦合的用于处理信息的一个或多个处理器406。处理器406能够包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或本领域已知的任何其他处理器。
计算机系统402还包括耦合到系统总线404的系统存储器408,用于存储信息和待由处理器406执行的指令。系统存储器408能够包括易失性和/或非易失性存储器形式的计算机可读存储介质,诸如只读存储器(ROM)910和/或随机存取存储器(RAM)912。系统存储器RAM 412能够包括其他动态存储设备(例如,动态RAM、静态RAM和同步DRAM)。系统存储器ROM410能够包括其他静态存储设备(例如,可编程ROM、可擦除PROM和电可擦除PROM)。此外,系统存储器408可用于在处理器406执行指令期间存储临时变量或其他中间信息。包含有助于诸如在启动期间在计算机系统402内的元件之间传递信息的基本例程的基本输入/输出系统414(BIOS)能够存储在系统存储器ROM 410中。系统存储器RAM 412可包含可由处理器406立即访问和/或当前正由处理器406操作的数据和/或程序模块。系统存储器408可另外包括例如操作系统416、应用程序418、其他程序模块420和程序数据422。
计算机系统402还包括磁盘控制器424,该磁盘控制器耦合到系统总线404以控制用于存储信息和指令的一个或多个存储设备,诸如磁硬盘426和可移动介质驱动器428(例如软盘驱动器、光盘驱动器、磁带驱动器和/或固态驱动器)。能够使用适当的设备接口(例如,小型计算机系统接口(SCSI)、集成设备电子器件(IDE)、通用串行总线(USB)或火线)将存储设备添加到计算机系统402。
计算机系统402还能够包括耦合到系统总线404的显示控制器430以控制显示器432(诸如阴极射线管(CRT)或液晶显示器(LCD)等等)以用于向计算机用户显示信息。计算机系统402包括用户输入接口434和一个或多个输入设备(诸如键盘436和点击设备438)用于与计算机用户交互并向一个或多个处理器406提供信息。点击设备438例如能够是鼠标、光笔、跟踪球或指向杆,用于向一个或多个处理器406传送方向信息和命令选择,并且用于控制显示器432上的光标移动。显示器432能够提供触摸屏界面,该触摸屏界面允许输入以补充或替代点击设备438对方向信息和命令选择的通信。
计算机系统402能够响应于一个或多个处理器406执行包含在诸如系统存储器408的存储器中的一个或多个指令的一个或多个序列来执行本公开的实施例的处理步骤的一部分或全部。此类指令能够从另一计算机可读介质(诸如磁硬盘426或可移动介质驱动器428)读入系统存储器408。硬磁盘426能够包含本公开的实施例所使用的一个或多个数据存储库和数据文件。数据存储内容和数据文件能够被加密以提高安全性。处理器406也能够用在多处理配置中,以执行包含在系统存储器408中的一个或多个指令序列。在可替代实施例中,硬连线电路能够代替软件指令或与软件指令结合使用。因此,实施例不限于硬件电路和软件的任何特定组合。
计算机系统402能够包括至少一个计算机可读介质或存储器,用于保存根据本公开的实施例编程的指令并用于包含数据结构、表、记录或本文所述的其他数据。在本文使用的术语“计算机可读介质”是指参与向一个或多个处理器406提供指令以供执行的任何介质。计算机可读介质能够采取许多形式,包括但不限于非暂时性、非易失性介质、易失性介质和传输介质。非易失性介质的非限制性实例包括光盘,固态驱动器、磁盘和磁光盘,诸如磁硬盘426或可移动介质驱动器428。易失性介质的非限制性实例包括动态存储器,诸如系统存储器408。传输介质的非限制性实例包括同轴电缆、铜线和光纤,包括构成系统总线404的导线。传输介质也能够采用声波或光波的形式,诸如在无线电波和红外数据通信期间产生的声波或光波。
计算环境400还可包括使用到诸如远程计算设备444等一个或多个远程计算机的逻辑连接在联网环境中操作的计算机系统402。远程计算设备444能够是个人计算机(笔记本或台式)、移动设备、服务器、路由器、网络PC、对等设备或其他常见的网络节点,并且通常包括以上相对于计算机系统402描述的许多或所有元件。当在联网环境中使用时,计算机系统402可包括用于通过诸如因特网等网络440建立通信的调制解调器442。调制解调器442能够经由网络接口446或经由其他适当的机制连接到系统总线404。
网络440能够是本领域中公知的任何网络或系统,包括因特网、内联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、直接连接或一系列连接、蜂窝电话网络、或能够便于计算机系统402和其他计算机(例如,远程计算设备444)之间的通信的任何其他网络或介质。网络440能够是有线的、无线的或其组合。有线连接能够使用以太网、通用串行总线(USB)、RJ-6或本领域公知的任何其他有线连接来实现。无线连接能够使用Wi-Fi、WiMAX和蓝牙、红外、蜂窝网络、卫星或本领域公知的任何其他无线连接方法来实现。另外,若干网络可单独工作或彼此通信以促进网络440中的通信。
本公开的实施例能够用硬件和软件的任何组合来实现。此外,本公开的实施例能够被包括在具有例如计算机可读非暂时性介质的制品(例如,一个或多个计算机程序产品)中。该介质中包含例如用于提供和促进本公开的实施例的机制的计算机可读程序代码。该制品可作为计算机系统的一部分被包括在内或单独出售。
虽然本文已经公开了各种方面和实施例,但是其它方面和实施例对于本领域技术人员将是显而易见的。本文公开的各个方面和实施例是为了说明性的目的,而非旨在限制,由所附权利要求指示出真实的范围和主题。
在本文的功能和处理步骤能够响应于用户命令自动地、全部或部分地执行。响应于一个或多个可执行指令或设备操作来执行自动执行的活动(包括步骤),而无需用户直接启动该活动。
附图的系统和过程不是排他性的。能够根据本公开的原理导出其他系统、过程和菜单以实现相同的目的。尽管已经参考特定实施例描述了本公开,但是应当理解,本文示出和描述的实施例和变型方案仅用于说明目的。在不脱离本公开的范围的情况下,本领域技术人员能够实现对当前设计的修改。

Claims (20)

1.一种用于支持在与物理过程或工厂相关联的边缘计算设备中的人工智能推理的系统,所述系统包括:
神经网络训练模块,所述神经网络训练模块被配置用于基于从所述边缘计算设备接收的包括基线训练数据和现场数据的数据来训练用于部署到所述边缘计算设备的至少一个神经网络模型;
神经网络测试模块,所述神经网络测试模块被配置用于在部署到所述边缘计算设备之前评估经训练的所述神经网络模型的准备情况;和
所述物理过程或工厂的数字孪生,所述数字孪生包括被配置用于执行所述物理过程或工厂的模拟的模拟平台;
其中,所述神经网络测试模块被配置用于:
向所述数字孪生提供模拟输入,所述模拟输入包括涉及经训练的所述神经网络模型的一个或多个测试场景,所述测试场景是利用所述现场数据生成的,以及
基于从所述数字孪生获得的模拟输出来验证经训练的所述神经网络模型。
2.根据权利要求1所述的系统,其中,从所述边缘计算设备接收的所述现场数据至少包括由所述边缘计算设备标识为“故障数据”的现场数据。
3.根据权利要求2所述的系统,其中,所述测试场景是使用所述“故障数据”生成的。
4.根据权利要求1所述的系统,其中,所述数字孪生被配置用于通过基于由经训练的所述神经网络模型结合一个或多个所述测试场景生成的推理来执行所述物理过程或工厂的模拟,而生成所述模拟输出。
5.根据权利要求1所述的系统,
其中,来自所述数字孪生的所述模拟输出包括经训练的所述神经网络模型的性能指标,以及
其中,所述神经网络测试模块被配置用于通过根据定义的阈值确定所述性能指标是否可接受来验证经训练的所述神经网络模型。
6.根据权利要求5所述的系统,其中,在所述性能指标不可接受的情况下,所述神经网络测试模块被配置用于请求由所述神经网络训练模块基于重新训练规范来重新训练所述神经网络模型。
7.根据权利要求6所述的系统,其中,所述重新训练规范包括对所述模拟输入中的性能不足的数据执行数据扩充的请求。
8.根据权利要求6所述的系统,其中,所述神经网络测试模块被配置用于在部署到所述边缘计算设备之前迭代地请求重新训练所述神经网络模型并验证重新经训练的所述神经网络模型,直到:
执行指定次数的迭代,或
达到了可接受的性能指标。
9.根据权利要求1所述的系统,其中,所述数字孪生被配置用于响应于来自所述边缘计算设备的请求直接向所述边缘计算设备提供高精度推理,
所述高精度推理利用一个或多个未部署的神经网络模型结合所述数字孪生对所述物理过程或工厂的模拟来生成。
10.根据权利要求1所述的系统,其中,所述系统在云计算环境中实现。
11.一种用于支持在与物理过程或工厂相关联的边缘计算设备中的人工智能推理的计算机实现的方法,所述方法包括:
基于从所述边缘计算设备接收的包含基线训练数据和现场数据的数据来训练用于部署到所述边缘计算设备的至少一个神经网络模型;以及
在部署到所述边缘计算设备之前,通过采用所述物理过程或工厂的数字孪生来评估经训练的所述神经网络模型的准备情况,所述数字孪生包括被配置用于执行所述物理过程或工厂的模拟的模拟平台,其中,评估经训练的所述神经网络模型的准备情况包括:
向所述数字孪生提供模拟输入,所述模拟输入包括涉及经训练的所述神经网络模型的一个或多个测试场景,所述测试场景是利用所述现场数据生成的,以及
基于从所述数字孪生获得的模拟输出来验证经训练的所述神经网络模型。
12.根据权利要求11所述的方法,其中,从所述边缘计算设备接收的所述现场数据至少包括由所述边缘计算设备标识为“故障数据”的现场数据。
13.根据权利要求12所述的方法,所述方法包括使用所述“故障数据”生成所述测试场景。
14.根据权利要求11所述的方法,所述方法包括由所述数字孪生,通过基于由经训练的所述神经网络模型结合所述一个或多个测试场景生成的推理来执行所述物理过程或工厂的模拟,而生成所述模拟输出。
15.根据权利要求11所述的方法,其中,来自所述数字孪生的所述模拟输出包括经训练的所述神经网络模型的性能指标,以及
其中,所述方法包括通过根据定义的阈值来确定所述性能指标是否可接受来验证经训练的所述神经网络模型。
16.根据权利要求15所述的方法,包括:
在所述性能指标不可接受的情况下,基于重新训练规范来重新训练所述神经网络模型。
17.根据权利要求16所述的方法,其中,所述重新训练规范包括对所述模拟输入中的性能不足的数据执行数据扩充的请求。
18.根据权利要求16所述的方法,所述方法包括在部署到所述边缘计算设备之前迭代地重新训练所述神经网络模型并验证经重新训练的所述神经网络模型,直到:
执行指定次数的迭代,或
达到了可接受的性能指标。
19.根据权利要求11所述的方法,包括:
响应于来自所述边缘计算设备的请求,由所述数字孪生向所述边缘计算设备提供高精度推理,
所述高精度推理利用一个或多个未部署的神经网络模型结合所述数字孪生对所述物理过程或工厂的模拟来生成。
20.一种非暂时性计算机可读存储介质,所述计算机可读存储介质包括指令,所述指令在由计算机执行时使所述计算机:
基于从边缘计算设备接收的包括基线训练数据和现场数据的数据,训练用于部署到与物理过程或工厂相关联的所述边缘计算设备的至少一个神经网络模型;以及
在部署到所述边缘计算设备之前,通过采用所述物理过程或工厂的数字孪生来评估经训练的所述神经网络模型的准备情况,所述数字孪生包括被配置用于执行所述物理过程或工厂的模拟的模拟平台,其中,评估经训练的所述神经网络模型的准备情况包括:
向所述数字孪生提供模拟输入,所述模拟输入包括涉及经训练的所述神经网络模型的一个或多个测试场景,所述测试场景是利用所述现场数据生成的,以及
基于从所述数字孪生获得的模拟输出来验证经训练的所述神经网络模型。
CN202080099350.1A 2020-03-30 2020-03-30 边缘计算设备中的鲁棒人工智能推理 Pending CN115427968A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2020/025719 WO2021201823A1 (en) 2020-03-30 2020-03-30 Robust artificial intelligence inference in edge computing devices

Publications (1)

Publication Number Publication Date
CN115427968A true CN115427968A (zh) 2022-12-02

Family

ID=70465332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080099350.1A Pending CN115427968A (zh) 2020-03-30 2020-03-30 边缘计算设备中的鲁棒人工智能推理

Country Status (4)

Country Link
US (1) US20230108920A1 (zh)
EP (1) EP4111373A1 (zh)
CN (1) CN115427968A (zh)
WO (1) WO2021201823A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210110310A1 (en) * 2020-12-22 2021-04-15 Intel Corporation Methods and apparatus to verify trained models in an edge environment
WO2023198282A1 (en) * 2022-04-12 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Generative emulator for controllable physical systems
CN115103369B (zh) * 2022-06-15 2023-05-02 唐尚禹 轻量级工业应用的边缘分布式mec的接入方法及装置
WO2024049468A1 (en) * 2022-08-30 2024-03-07 Siemens Aktiengesellschaft Composition of an adaptive model to enhance a baseline simulation model
US20240098533A1 (en) * 2022-09-15 2024-03-21 Samsung Electronics Co., Ltd. Ai/ml model monitoring operations for nr air interface

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2575039B1 (de) 2011-09-28 2016-12-14 Siemens Aktiengesellschaft Verfahren und Anordnung zur Nutzung einer Ressource einer Hardware-Plattform mit zumindest zwei virtuellen Maschinen
JP6169655B2 (ja) 2015-07-30 2017-07-26 ファナック株式会社 工作機械、シミュレーション装置、及び機械学習器
US20170091791A1 (en) 2015-09-25 2017-03-30 General Electric Company Digital power plant system and method
US11062207B2 (en) 2016-11-04 2021-07-13 Raytheon Technologies Corporation Control systems using deep reinforcement learning
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US11347970B2 (en) * 2018-04-30 2022-05-31 International Business Machines Corporation Optimizing machine learning-based, edge computing networks
EP3824473A1 (en) * 2018-07-18 2021-05-26 NVIDIA Corporation Virtualized computing platform for inferencing, advanced processing, and machine learning applications
EP3611578B1 (en) 2018-08-14 2022-04-06 OMRON Corporation Industrial pc device and method for operating an industrial pc device

Also Published As

Publication number Publication date
WO2021201823A1 (en) 2021-10-07
EP4111373A1 (en) 2023-01-04
US20230108920A1 (en) 2023-04-06

Similar Documents

Publication Publication Date Title
CN115427968A (zh) 边缘计算设备中的鲁棒人工智能推理
US20210034980A1 (en) Real-time visualization of machine learning models
US10963783B2 (en) Technologies for optimized machine learning training
US20210110211A1 (en) Automated and customized post-production release review of a model
CN111406267A (zh) 使用性能预测神经网络的神经架构搜索
US20200234144A1 (en) Generating training datasets for training neural networks
CN111652380A (zh) 针对机器学习算法进行算法参数调优的方法及系统
US10067746B1 (en) Approximate random number generator by empirical cumulative distribution function
US11681914B2 (en) Determining multivariate time series data dependencies
EP3671571A1 (en) A method and system for generating an artificial intelligence model
NAIKAN Review of simulation approaches in reliability and availability modeling
US20200167660A1 (en) Automated heuristic deep learning-based modelling
US20050043921A1 (en) Neural network model for electric submersible pump system
CN116450486B (zh) 多元异构计算系统内节点的建模方法、装置、设备及介质
CN113641525A (zh) 变量异常修复方法、设备、介质及计算机程序产品
CN113448821B (zh) 一种识别工程缺陷的方法和装置
WO2020055659A1 (en) Generation and utilization of self-improving data-driven models with selective simulation of 3d object design
CN116341634A (zh) 神经结构搜索模型的训练方法、装置及电子设备
CN115834195A (zh) 一种日志异常检测方法、装置、系统及介质
CA3199683A1 (en) Method and system for accelerating the convergence of an iterative computation code of physical parameters of a multi-parameter system
JP2020181318A (ja) 最適化装置、最適化方法、及びプログラム
EP4198831A1 (en) Automated feature engineering for predictive modeling using deep reinforcement learning
WO2021247831A1 (en) Automated knowledge extraction and representation for complex engineering systems
US20230350392A1 (en) Method and system for seamless transition of runtime system from controller device to digitalization platform
CN116775438A (zh) 模型测试方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination