CN111095133A - 一种用于提供用于部署在目标现场设备上的自适应自学习控制程序的方法和装置 - Google Patents
一种用于提供用于部署在目标现场设备上的自适应自学习控制程序的方法和装置 Download PDFInfo
- Publication number
- CN111095133A CN111095133A CN201880059703.8A CN201880059703A CN111095133A CN 111095133 A CN111095133 A CN 111095133A CN 201880059703 A CN201880059703 A CN 201880059703A CN 111095133 A CN111095133 A CN 111095133A
- Authority
- CN
- China
- Prior art keywords
- field device
- target field
- model
- tfd
- deployed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
- G05B13/041—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/404—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for compensation, e.g. for backlash, overshoot, tool offset, tool wear, temperature, machine construction errors, load, inertia
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/50—Machine tool, machine tool null till machine tool work handling
- G05B2219/50312—Compensation of tool wear by adapting program to profile of tool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Feedback Control In General (AREA)
Abstract
Description
技术领域
本发明涉及一种用于提供用于部署在目标现场设备上(特别是在工业控制器上)的自适应自学习控制程序的方法和装置。
背景技术
诸如PLC之类的在工业自动化系统中使用的工业控制器需要能够感知其环境或关于其性能的原因,并且优化其控制参数。为了预测通过控制器控制干预的潜在后果,可以使用能够预测控制的效果和/或基于所期望的目标值来计算必要的控制步骤的模型。这些模型通常借助于需要被调整到真实系统属性的参数来进行配置。在传统的系统中,建立这些关系是繁琐的以及劳动密集性的。例如,需要精确地调整电动机控制的精确效果,其中该控制可以精确地控制机器人的步进电动机的角度。然而,终端效应器的改变取决于机器人的运动学,这也受相应机器人的关节的物理属性影响。由于制造公差,这些物理属性可以在不同的机器人之间变化。除了制造公差之外,其它组件的磨损也可能导致技术系统的去校准。例如,由于机器人关节中的松弛,机器人的机器人关节的位置可能随时间漂移。校准和重校准经常在其中人类操作者正在调整功能参数的手动过程中执行。
发明内容
因此,本发明的目标是提供一种用于提供用于部署在目标现场设备上的自适应自学习控制程序的方法和装置,其中设置可以更快速地执行,并且提供甚至更准确的控制。
根据本发明的第一方面,通过包括权利要求1的特征的一种用于在目标现场设备上部署和执行自优化函数的方法实现了该目标。
根据第一方面,本发明提供了一种用于在诸如控制器之类的目标现场设备上部署和执行自优化函数的方法,其中所述方法包括以下步骤:
提供具有至少一个可调参数的函数集,
从所提供的函数集自动导出用于优化原始函数集的可调参数的附加函数集,
将两个函数集都转换到特定于相应目标现场设备的机器可执行代码,以及
在所述目标现场设备上部署和执行经转换的机器可执行代码。
在根据本发明的第一方面的方法的可能实施例中,所提供的函数集形成了适于学习技术系统的特性的系统模型。
在根据本发明的第一方面的方法的又进一步的可能实施例中,系统模型是包括神经网络的机器学习模型。
在可能的实施例中,机器学习模型包括深度学习神经网络。
在又进一步的可能实施例中,系统模型包括决策树。
在进一步的可能实施例中,系统模型包括逻辑回归模型。
在又进一步的可能实施例中,系统模型包括方程系统。
在根据本发明的第一方面的方法的进一步可能实施例中,附加的函数集包括相对于从所述原始函数集自动导出的所提供的原始函数集的可调参数的局部梯度。
在根据本发明的第一方面的方法的进一步可能实施例中,附加的函数集表示随机梯度下降、小批量梯度下降和/或全梯度下降。
在根据本发明的第一方面的方法的又进一步可能实施例中,基于由所提供的输入函数集形成的系统模型,由图生成软件组件自动生成计算图。
在根据本发明的第一方面的方法的又进一步可能实施例中,所生成的计算图包括
正向计算子图,其表示原始的函数集以及
反向计算子图,其表示用于训练原始函数集的可调参数的导出的附加函数集。
在根据本发明的第一方面的方法的进一步可能实施例中,所生成的计算图描述要由目标现场设备执行的以顺序次序的函数的操作。
在根据本发明的第一方面的方法的又进一步可能实施例中,所生成的计算图被输出到模型变换模块,所述模型变换模块将接收到的计算图自动地转换成专用于所述目标现场设备的二进制机器可执行代码,并且该二进制机器可执行代码自动地部署在所述目标现场设备上。
在根据本发明的第一方面的方法的又进一步可能实施例中,由模型变换模块接收到的所生成的计算图被解析,以提供以低级编程语言的中间代码,该中间代码被编译以生成部署在所述目标现场设备上的专用于所述目标现场设备的二进制机器可执行代码。
在根据本发明的第一方面的方法的又进一步可能实施例中,形成所生成的计算图的一部分的正向计算子图被解析以提供第一中间代码,第一中间代码被编译以生成形成部署在所述目标现场设备上的模型执行软件组件的第一二进制机器可执行软件组件,以及
其中形成所生成的计算图的一部分的反向计算子图被解析以提供第二中间代码,该第二中间代码被编译以生成形成部署在所述目标现场设备上的在线模型训练软件组件的第二二进制机器可执行软件组件。
在根据本发明的第一方面的方法的又进一步可能实施例中,部署在所述目标现场设备上的模型执行软件组件在实时环境中执行。
在根据本发明的第一方面的方法的进一步可能实施例中,部署在所述目标现场设备上的所部署的在线模型训练软件组件在非实时环境或实时环境二者任一中执行。
在根据本发明的第一方面的方法的又进一步可能实施例中,所部署的在线模型训练软件组件基于从技术系统接收到的数据流使用局部梯度来迭代地更新所部署的模型执行软件组件,以优化所提供的函数集的参数。
在根据本发明的第一方面的方法的又进一步可能实施例中,所部署的模型执行软件组件将由其二进制机器可执行代码所规定的计算应用到从技术系统接收到的输入数据流,以用于计算所估计的目标值。
在根据本发明的第一方面的方法的又进一步可能实施例中,所述输入数据流包括从技术系统的传感器接收到的传感器数据流。
在根据本发明的第一方面的方法的又进一步可能实施例中,机器可执行代码在由控制器、特别是PLC控制器或CNC控制器形成的目标现场设备上部署和执行。
在根据本发明的第一方面的方法的又进一步可能实施例中,以学习速率迭代地优化所提供的函数集的可调参数。
在根据本发明的第一方面的方法的进一步可能实施例中,通过以学习速率加权参数的局部梯度以及然后将结果添加到相应的参数来迭代地优化所提供的函数集的可调参数。
在根据本发明的第一方面的方法的进一步可能实施例中,经转换的机器可执行代码被部署在目标现场设备的存储器中,并且由目标现场设备的处理器来执行。
在根据本发明的第一方面的方法的又进一步可能实施例中,借助于预确定的损失函数通过将所观察的目标值和所估计的目标值进行比较来测量由部署在所述目标现场设备上的模型执行软件组件计算的所估计的目标值和所观察的目标值之间的误差。
根据第二方面,本发明进一步提供了包括权利要求20的特征的一种用于在目标现场设备上部署自适应自学习程序的部署系统。
根据第二方面,本发明提供了一种用于在目标现场设备上(特别是在控制器上)部署自适应自学习控制程序的部署系统,其中所述系统包括:
输入用户接口,其用于输入形成表示技术系统的特性的系统模型的具有至少一个可调参数的函数集,
处理单元,其被配置为通过从输入函数集自动导出用于优化模型的可调参数的附加函数集来扩展系统模型,并且将两个函数集转换为专用于相应目标现场设备的机器可执行代码,以及
输出接口,其被用于在所述目标现场设备的存储器中部署机器可执行代码,以由目标现场设备的处理器来执行。
附图说明
在下文中,参考附图更详细地描述本发明的不同方面的可能实施例。
图1示出了根据本发明的第一方面用于在目标现场设备上部署和执行自优化函数的可能示例性实施例的流程图;
图2示出了用于图示用于执行图1中图示的方法的系统的架构的框图;
图3示出了用于图示根据本发明的另外的方面的代码生成装置的可能示例性实施例的框图,该代码生成装置用于提供用于在目标现场设备上部署的自适应自学习控制程序;
图4示意性地示出了示例性用例,其中可以实施根据本发明的方法和装置;
图5示出了用于图示针对图4中所示出的用例的计算图CG的生成的图。
具体实施方式
根据本发明的方面的用于在目标现场设备上部署和执行自优化函数的方法可以在可能的示例性实施例中包括如图1所图示的若干主要步骤。
在另外的步骤S3中,两个函数集(即原始函数集f和附加的导出函数集)自动地转换成专用于相应目标现场设备TFD的机器可执行代码。目标现场设备TFD可以是例如适于控制自动化系统内的过程的控制器。
在另外的步骤S4中,经转换的机器可执行代码被部署在所述目标现场设备上,并且然后被执行。在可能的实施例中,经转换的机器可执行代码被部署在目标现场设备TFD的本地存储器中,并且然后由相应目标现场设备TFD的处理器来执行。
在可能的实施例中,由函数集f表示的系统模型可以包括机器学习模型,该机器学习模型包括神经网络。在可能的实施例中,神经网络是深度学习神经网络。在可能的实施例中,神经网络是卷积神经网络CNN或递归神经网络RNN。在又进一步的可能实施例中,系统模型可以包括决策树。在进一步的替代实施例中,由函数集表示的系统模型可以包括逻辑回归模型。在又进一步的可能实施例中,技术系统的系统模型可以包括方程系统,特别是线性方程系统。形成系统模型的函数集包括至少一个可调参数,并且在可能的实施例中可以借助于输入接口而被输入。
在可能的实施例中,从原始函数集导出的附加函数集可以包括相对于原始函数集的可调参数的局部梯度,其中所述局部梯度是从原始函数集自动导出的。附加函数集表示梯度,该梯度继而在随机梯度下降、小批量梯度下降或全梯度下降算法中被利用。
在如图1的流程图中所图示的根据本发明的第一方面的方法的可能实施例中,在由所提供的输入函数集形成的系统模型的基础上,可以由图生成软件组件自动生成计算图CG。也如图5的示例中所图示的,所生成的计算图CG可以包括两个子图FCG、BCG。
在可能的实施例中,所生成的计算图CG包括正向计算子图FCG和反向计算子图BCG。正向计算子图FCG表示原始函数集f。反向计算子图BCG表示用于训练原始函数集的可调参数的导出的附加函数集。所生成的计算图CG可以描述要由目标现场设备TFD或控制器执行的以顺序次序的函数的操作。包括正向计算子图FCG和反向计算子图BCG的计算图CG的生成在图1中所图示的方法的步骤S3中执行。在可能实施例中的步骤S3中,所生成的计算图CG被进一步输出到模型变换模块MTM,所述模型变换模块MTM将接收到的计算图CG自动地转换成专用于相应目标现场设备TFD的二进制机器可执行代码BMEC。然后,二进制机器可执行代码BMEC被部署在目标现场设备TFD的存储器中。
在可能的实施例中,由模型变换模块MTM接收到的所生成的计算图CG被解析,以提供以诸如C或汇编之类的低级编程语言的中间代码。然后,该中间代码被编译以生成专用于目标现场设备TFD的二进制机器可执行代码BMEC,并且被部署在目标现场设备TFD上。在可能的实施例中,形成所生成的计算图CG的一部分的正向计算子图FCG被解析以提供第一中间代码,该第一中间代码然后被编译以生成第一二进制机器可执行软件组件,第一二进制机器可执行软件组件形成被部署在所述目标现场设备TFD的存储器中的模型执行软件组件MESC。进一步地,也形成所生成的计算图CG的一部分的反向计算子图BCG也被解析以提供第二中间代码,该第二中间代码然后被编译以生成第二二进制机器可执行软件组件,第二二进制机器可执行软件组件形成在步骤S4中被部署在所述目标现场设备TFD上的在线模型训练软件组件OMTSC。在步骤S4中被部署在目标现场设备TFD上的模型执行软件组件MESC在实时环境中执行。另一方面,部署在目标现场设备TFD上的所部署的在线模型训练软件组件OMTSC可以在非实时环境或实时环境二者任一中执行。也如图3中所图示的,所部署的在线模型训练软件组件OMTSC可以基于数据流迭代地更新所部署的模型执行软件组件MESC,该数据流可以使用局部梯度从技术系统的传感器接收,以优化所提供的函数集f的参数,所提供的函数集f形成适于学习相应技术系统的特性的系统模型。在可能的实施例中,在线模型训练软件组件OMTSC对所实施的模型执行软件组件MESC的更新可以在相应技术系统的操作期间执行。所部署的模型执行软件组件MESC将在其二进制机器可执行代码BMEC中规定的计算应用到从技术系统的传感器接收到的输入数据流,以用于计算所估计的目标值。然后,在可能的实施例中,在目标现场设备TFD的本地存储器中部署的机器可执行代码由目标现场设备的处理器或执行引擎来执行。机器可执行代码包括表示正向计算子图FCG的模型执行软件组件MESC以及表示反向计算子图BCG的在线模型训练软件组件OMTSC。反向计算子图BCG表示导出的附加函数集,该附加函数集可以用于训练由正向计算子图FCG表示的原始函数集f的可调参数。在目标现场设备上部署的模型执行软件组件MESC在实时环境中执行。相反地,所部署的在线模型训练软件组件OMTSC在第一实施例中在非实时环境中以及在第二实施例中在实时环境中执行。
模型变换模块MTM将计算图CG从高级描述格式转换成适合要在目标现场设备TFD中执行的格式。所部署的模型执行软件组件将由经学习的模型规定的计算应用到实况数据流,所述现场数据流可以来自例如智能传感器或来自控制器或实时设备内部的其它源。所部署的在线模型训练软件组件OMTSC可以使用随机梯度下降。在线模型训练软件组件OMTSC采用模型和梯度,并且可以迭代地更新模型的权重。
在可能的实施例中,两个软件组件(即在线模型训练软件组件OMTSC和模型执行软件组件MESC)被直接地部署在相应系统的实时系统环境中。在替代实施例中,在线模型训练软件组件OMTSC被部署在目标现场设备的实时环境中,而模型执行软件组件MESC被单独地部署(即在相同设备的非实时环境中或在由数据接口连接的单独设备上)。在线模型训练软件组件OMTSC可以周期性地更新系数,并且还可能更新由执行组件(即在实时环境中运行的模型执行软件组件MESC)使用的计算图CG的拓扑。
经训练的分析模型可以部署在任何种类的工业目标现场设备TFD上,特别是用于工业系统中的任何种类的控制器。在可能的实施例中,计算图CG和相关联的参数的高级序列化表示被转换成源代码文件集,所述源代码文件集可以被编译成设备特定程序,并且被部署到目标现场设备TFD的存储器中。用本发明,使用在线模型训练软件组件OMTSC对模型的训练和学习紧密地与所部署的模型执行软件组件MESC的执行相耦合。
在根据本发明的第一方面的方法的第一变型中,在线模型训练软件组件OMTSC与模型执行软件组件MESC单独地部署,例如,所部署的在线模型训练软件组件OMTSC在该第一变型中部署在非实时环境中。在该实施例中,在线学习逻辑地发生在设备上,但是在非实时环境中。物理地,非实时环境可以是经由数据接口来连接的单独的物理设备。该变型提供闭环连续反馈机制,以在非实时环境中执行模型更新,并且将该结果反馈给目标现场设备TFD的实时环境,例如,通过更新目标现场设备的存储器中的模型参数。在另一变型中,两个所部署的软件组件(即所部署的在线模型训练软件组件OMTSC以及所部署的模型执行软件组件MESC)都在实时环境中执行。在该第二变型中,不仅模型执行发生在目标现场设备TFD上,而且在线学习也逻辑地在相同的实时环境中在设备上发生。目标现场设备TFD可以由控制器来形成(例如,通过SIMATIC S7控制器或另一个PLC控制器)。在可能的实施例中,可以以学习速率迭代地优化所提供的函数集f的可调参数。通过以学习速率加权参数的局部梯度以及然后将结果添加到相应的参数来迭代地优化所提供的函数集的可调参数。
在可能的实施例中,借助于预确定的损失函数通过将所观察到的目标值y和所估计的目标值进行比较来测量由部署在目标现场设备TFD的存储器中的模型执行软件组件MESC计算的所估计的目标值与所观察到的目标值y之间的误差e。
图2示出了用于进一步图示根据本发明的第一方面的方法的框图。提供了适于学习技术系统(例如,自动化系统)的特性的系统模型SysMod。该系统模型可以由函数集f来形成。该系统模型可以被参数化。该系统模型包括可调参数。在图2所图示的实施例中,具有至少一个可调参数的所提供的函数集可以被应用到图生成软件组件GGCS,所述GGCS基于由函数集f形成的所接收到的系统模型SysMod自动地生成计算图CG。该计算图CG包括正向计算子图FCG和反向计算子图BCG。这样的计算图CG的示例在图5中图示,以用于由单个函数f:所表示的示例性简单系统。正向计算子图FCG表示原始函数集,该原始函数集在该简单示例中包括仅一个函数。反向计算子图BCG表示附加函数集,该附加函数集用于训练原始函数集f的可调参数。包括两个子图FCG、BCG的所生成的计算图CG被应用到模型变换模块MTM,所述MTM自动地将所接收到的计算图CG转换成专用于目标现场设备TFD的二进制机器可执行代码BMEC。二进制机器可执行代码BMEC被部署并存储在目标现场设备TFD的本地存储器中。
在可能的实施例中,由模型变换模块MTM所接收到的计算图CG被解析以提供以低级编程语言的中间代码,所述中间代码然后被处理以生成专用于目标现场设备TFD的二进制机器可执行代码BMEC。如图2中所图示的,目标现场设备TFD可以从技术系统的传感器SEN接收传感器数据流,以生成控制信号CRTL。
图3示出了根据本发明的另外方面的程序配置和部署系统1的可能示例性实施例的框图。如图3中所示出的,程序配置和部署系统1给予用户定义自适应自学习控制程序并将其部署在目标现场设备TFD上的可能性。在所图示的实施例中,程序配置和部署系统1包括输入接口2、处理单元3以及输出接口4。输入接口2适于输入具有至少一个可调参数的函数集f,该函数集f形成了表示技术系统的特性的系统模型SysMod。这是例如在程序配置和部署系统1上运行的软件程序,该软件程序具有允许用户提供SysMod作为输入的用户接口(例如图形的或基于文本的)。
部署系统1的处理单元3被配置为从输入函数集f自动导出附加函数集,所述附加函数集用于优化模型的可调参数,并且将两个函数集转换成专用于相应目标现场设备TFD的机器可执行代码。在优选实施例中,该机器可执行代码是专用于目标现场设备TFD的二进制机器可执行代码BMEC。如图3中所图示的,二进制机器可执行代码BMEC包括两个软件组件,即模型执行软件组件MESC和在线模型训练软件组件OMTSC。如图3所示出的,两个软件组件OMTSC、MESC可以被部署并存储在目标现场设备TFD的本地存储器中。在优选的实施例中,目标现场设备TFD包括用于执行存储在目标现场设备TFD的本地存储器中的机器可执行代码的非图示的处理器。两个所部署的软件组件(即模型执行软件组件MESC以及所部署的在线模型训练软件组件OMTSC)从诸如如图3中所示出的技术系统的传感器SEN之类的数据源接收数据流。所述传感器可以包括技术系统的智能传感器。传感器数据SD是通过目标现场设备TFD的数据接口从传感器接收到的。
如图2的框图中所图示的,部署系统1的处理单元3可以包括图生成软件组件GGCS以及模型变换模块MTM。
图4示意性地示出了可能的用例,其中根据本发明的方法和系统1可以被使用以用于提供自适应自学习控制程序。在所图示的示例中,如图4中所示出的,传送带CB正在以速度v在x方向上移动放置在传送带CB上的物体OB。通过摄像机观察传送带CB的工作空间。用于抓握物体的机器人手臂知道其终端效应器在三维空间中的位置。该位置可以借助于其正向运动学(即来自其关节位置的方程集)来计算。然而,这些坐标既不绝对也不一定正确缩放。摄像机CAM可以借助于计算机视觉准确地辨别目标物体在摄像机CAM的摄像机图像中什么位置。然而,机器人本身对于其终端效应器具有不同的坐标系统,并且需要在两个坐标系统之间建立关系。此外,控制仅可以设置目标值(即机器人手臂的关节中电动机的轴线角)。然而,也需要建立对机器人手臂的终端效应器的影响。用根据本发明的方法,机器人自动学习哪些轴线角对应于哪些摄像机坐标,以及因此如何控制其电动机抓握放置在传送带CB上的目标物体是可能的。
在该简单示例中,针对该用例,通过单个函数f:描述了技术系统,其中b是摄像机CAM的偏置或偏移、x是输入值以及w是相对于摄像机图像的传送带速度以及y是观察值,其中,其中c取决于摄像机CAM的焦距和角度。
一般而言,,其中x是输入、以及表示参数(即要估计的属性)以及是所估计的目标值。在示例性用例中,x是终端效应器位置、y是所感知的像素坐标的向量。如果,则模型的权重是最优的。为了找到最优参数(即偏置b和速度w),优化问题可以由损失函数(固定二次损失)公式化,并且通过计算在处的梯度以及通过向进行梯度步长来顺序地优化参数。
理想地,梯度下降朝向损失函数L的最小值收敛。在可能的实施例中,可以使用随机梯度下降。该随机梯度下降近似在单个样本上或在小批量上的梯度,而不是计算整个训练集的真实梯度。然后,其在梯度的方向上进行小步长。随机梯度下降的可能实施方式如下:
2.)将局部梯度的总和初始化为零
3.)每当输入值和目标值的新对可用时
a. 将CG应用到该对以导出局部梯度
b. 将当前对的局部梯度添加到梯度的总和
c. 如果达到了批量大小
i.从当前权重减去局部梯度的总和乘以学习速率除以批量大小
ii.将局部梯度的总和设置为零。
使用随机梯度下降具有以下优势:不需要存储训练样本,并且另外,由于固定大小的小批量,所以可以给定实时保证。在图4所图示的用例中,摄像机CAM形成了技术系统的智能传感器SEN。该智能传感器或摄像机可以感知环境。传感器在其能够从原始传感器流提取有意义的信息的意义上来说是智能的。在视频图像的情况下,这可能意味着传感器SEN能够提取目标物体的位置。因此,在可能的实施例中,摄像机可以包括信息提取单元。在可能的实施例中,这可以通过增强现实标记技术或类似深度学习的其它计算机视觉技术来实现。在优选的实施例中,在技术系统中使用的所有的智能传感器都适当地同步。也如图4所图示的,智能传感器形成将源数据提供给目标现场设备TFD的数据源,所述目标现场设备TFD生成用于相应技术系统的控制信号。所接收到的传感器数据SD形成观察值y。在可能的实施例中,目标现场设备TFD的计算单元适于计算由从智能传感器SEN接收到的传感器数据表示的所观察到的目标值y和由部署在目标现场设备TFD上的模型执行软件组件MESC计算的所估计的目标值之间的误差e。误差e可以借助于预确定的损失函数L通过将所观察到的目标值y和所估计的目标值进行比较来测量。
存在操作的两个不同阶段,即首先设置阶段,以及然后在线学习阶段。
在设置阶段,要使用的模型由系统1部署在目标现场设备TFD上,例如,在S7控制器上。该模型包括定义系统的特性或行为的函数集。模型定义在不是所有的参数都需要被完全指定的意义上是局部的。在机械系统中,例如,该定义由类似缩放、平移和/或旋转的标准操作组成。系统的局部定义不应该过度受限。例如,真实的系统可以包括不被系统模型所覆盖的平移。一些变量或测量可以充当输入值x,并且其它充当目标值y。基于输入变量x和使用模型的参数,可以计算出所估计的目标值。真实值y和预测值之间的误差e可以借助于损失函数L来测量。一个示例是具有未知摄像机位置的3D投影。在那里,丢失的信息是摄像机CAM的平移和旋转以及摄像机CAM的固有摄像机参数。另一示例是机器人手臂的运动学,其中电动机位置与关节的位置之间的关系是局部定义的,例如,关节引入终端效应器围绕关节的旋转。该模型还可以包含基于由系统学习的权重来预测值的其它函数。在简单的情况下,在3D投影中,终端效应器的期望位置可以基于关节位置。或者在其它示例中,利用机器人手臂的逆运动学中的参数可以用来计算电动机位置,以用终端效应器到达某个位置。系统模型的函数或公式可以转化成形成模型描述的计算图CG。计算图CG形成了将模型应用到测量数据的计算步骤的描述。此外,用相对于要通过学习过程优化的每个变量的偏导数来增强计算图CG。该模型被转化成二进制库,该二进制库可以然后作为目标现场设备TFD来执行。该模型通常可以由与彼此相关的两个子图FCG、BCG组成。正向计算子图FCG定义了用于推断(模型执行/评分)的操作,并且另一个反向计算子图BCG定义了用于训练(即用于更新模型参数)的计算。子图FCG、BCG二者都可以被解析,以便将它们转换成适合于工业实时目标现场设备TFD的表示。该转换涉及将计算图FCG、BCG转换成例如C++代码文件集或任何其它低级语言。该代码可以继而借助于现场设备编译器以模型二进制被编译。然后,该模型二进制与通用学习代码一起可选地与由目标设备所需要的任何其它二进制(例如,将自优化程序连接到目标设备中的特定信号的通用程序)一起可以被部署在目标现场设备TFD的存储器中。对于正向(执行)和反向(训练)子图,该步骤可以单独地进行。
目标现场设备TFD可以具有不同的执行环境,例如,实时环境和非实时环境。在可能的部署替代方案中,仅模型执行软件组件MESC(表示正向计算图FCG)被部署到实时环境以作用于实况传感器数据流。学习图(即反向计算子图BCG)可能具有更宽松的等待时间要求。例如,模型可以比数据流更新或训练得更慢,并且不需要在接收到每个数据样本时更新。这使得将对应的训练子图(即反向计算图BCG)部署在非实时环境上是可能的。实时环境通常限制较多,并且该变换帮助所得到的模型满足针对实时执行所需要的约束和质量。非实时环境可以限制较少,使得更灵活的模型训练组件能够被部署,该模型训练组件可以作用于较高级别的模型表示,而不需要解析步骤或转换成源代码。因此,存在两种不同的可能替代实施例。在第一实施例中,在线学习软件组件被部署在非实时环境中,并且因此对于该软件组件来说,解析和/或转换成独立的二进制是可选的。替代实施例(其中执行和在线学习二者都在实时环境上执行)需要二者都解析成高效二进制。
在设置阶段已经结束之后,在线学习阶段被发起。除了标准控制流程之外,在线学习阶段还包含以下步骤。当控制被启动时,在模型定义阶段,表示未知信息的也被称为权重的参数可以被随机初始化。当控制正在运行时,所有的数据在目标现场设备TFD或控制器中照常被处理。然而,此外,由所部署的模型所需要的每个测量数据点也通过以下处理步骤运行。首先,所有的测量、参数以及还有目标值(如果可用)都被注入到在模型定义阶段生成的二进制库中。然后,该库基于权重和参数不仅计算期望目标值,而且还计算参数和相对于所述值的所有参数的偏导数。由学习速率加权的参数的偏导数然后被添加到参数以导出新的参数化。此外,评估了附加的函数。
因此,也如图5中所示出的计算图CG所图示的,第二参数w的导数可以使用第一参数b的结果。计算图CG包括正向计算子图FCG以及也具有作为输入y的观察结果的反向计算子图BCG。从观察值y中减去根据正向计算图FCG所计算的估计值,以计算技术系统的两个未知参数b、w的导数。
根据本发明的方法和部署系统可以用于任何种类的工业系统,特别是自动化系统或机器人系统。该方法允许自适配以改变过程参数。另外,其允许局部设置系统,因为其本身可以适于预配置的以及真实过程参数之间的改变。该学习可以在可能的实施例中实时执行。每当工业自动化被用于控制诸如电动机、流体阀等之类的某种效应器或致动器时可以应用该方法,其中结果(例如,位置、速度、流量、温度)可以被测量,并且存在用于测量结果的期望目标。因此,根据本发明的方法可以用于前馈控制系统或调节或反馈控制系统二者。在前馈控制系统中,目标值可以被更准确地命中。在调节系统中,系统变得更稳定,因为控制干预的结果的预测可以被机器更准确地预测。为了预测控制干预的结果,模型可以基于期望目标值预测控制的作用和/或计算必要的控制步骤。这些模型通常可以借助于参数而被配置,所述参数需要根据技术系统的真实系统属性被调整。
Claims (20)
2.根据权利要求1所述的方法,其中所提供的函数集f形成了适于学习技术系统的特性的系统模型(SysMod)。
3.根据权利要求2所述的方法,其中所述系统模型是机器学习ML模型,所述ML模型包括神经网络,特别是深度学习神经网络,或者包括决策树、逻辑回归模型或方程系统。
5.根据权利要求4所述的方法,其中所述附加函数集表示随机梯度下降、小批量梯度下降和/或全梯度下降。
6.根据前述权利要求2到5中任一项所述的方法,其中基于由所提供的输入函数集f形成的系统模型(SysMod),由图生成软件组件(GGSC)自动生成计算图(CG)。
8.根据权利要求6或7所述的方法,其中所生成的计算图(CG)描述要由目标现场设备(TFD)执行的以顺序次序的函数的操作。
9.根据前述权利要求6到8中任一项所述的方法,其中所生成的计算图(CG)被输出到模型变换模块(MTM),所述模型变换模块(MTM)将所接收到的计算图(CG)自动地转换成专用于所述目标现场设备(TFD)的二进制机器可执行代码(BMEC),并且被部署在所述目标现场设备(TFD)上。
10.根据权利要求9所述的方法,其中由模型变换模块(MTM)接收到的所生成的计算图(CG)被解析,以提供以低级编程语言的中间代码,所述中间代码被编译以生成专用于所述目标现场设备(TFD)的二进制机器可执行代码(BMEC),其被部署在所述目标现场设备(TFD)上。
11.根据前述权利要求7到10中任一项所述的方法,其中形成所生成的计算图(CG)的一部分的正向计算子图(FCG)被解析以提供第一中间代码,所述第一中间代码被编译以生成形成部署在所述目标现场设备(TFD)上的模型执行软件组件(MESC)的第一二进制机器可执行软件组件,以及
其中形成所生成的计算图(CG)的一部分的反向计算子图(BCG)被解析以提供第二中间代码,所述第二中间代码被编译以生成形成部署在所述目标现场设备(TFD)上的在线模型训练软件组件(OMTSC)的第二二进制机器可执行软件组件。
12.根据权利要求11所述的方法,其中部署在所述目标现场设备(TFD)上的模型执行软件组件(MESC)在实时环境中执行,并且其中部署在所述目标现场设备(TFD)上的所部署的在线模型训练软件组件(OMTSC)在非实时环境或实时环境二者任一中执行。
15.根据权利要求14所述的方法,其中所述输入数据流包括从技术系统的传感器(SEN)接收到的传感器数据流(SD)。
16.根据前述权利要求1到15中任一项所述的方法,其中所述机器可执行代码在由控制器形成的目标现场设备(TFD)上部署和执行。
18.根据前述权利要求1到17中任一项所述的方法,其中经转换的机器可执行代码在目标现场设备(TFD)的存储器中部署,并且由目标现场设备(TFD)的处理器来执行。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17181431.2A EP3428746B1 (en) | 2017-07-14 | 2017-07-14 | A method and apparatus for providing an adaptive self-learning control program for deployment on a target field device |
EP17181431.2 | 2017-07-14 | ||
PCT/EP2018/069113 WO2019012121A1 (en) | 2017-07-14 | 2018-07-13 | METHOD AND APPARATUS FOR IMPLEMENTING AN ADAPTIVE SELF-LEARNING CONTROL PROGRAM FOR DEPLOYMENT ON TARGET FIELD DEVICE |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111095133A true CN111095133A (zh) | 2020-05-01 |
CN111095133B CN111095133B (zh) | 2023-06-23 |
Family
ID=59558167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880059703.8A Active CN111095133B (zh) | 2017-07-14 | 2018-07-13 | 一种用于在目标现场设备上部署和执行自适应自学习控制程序的方法和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210142207A1 (zh) |
EP (1) | EP3428746B1 (zh) |
CN (1) | CN111095133B (zh) |
WO (1) | WO2019012121A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11551111B2 (en) * | 2018-04-19 | 2023-01-10 | Ptc Inc. | Detection and use of anomalies in an industrial environment |
CN111832714B (zh) * | 2019-04-19 | 2023-11-17 | 上海寒武纪信息科技有限公司 | 运算方法及装置 |
DE102020119379A1 (de) | 2020-07-22 | 2022-01-27 | Samson Aktiengesellschaft | Stellungsregler Selbstbewertung für digitalen Zwilling |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0680630B1 (en) * | 1993-01-22 | 1999-09-08 | Honeywell Inc. | Parameterized neurocontrollers |
CN1621775A (zh) * | 2003-11-24 | 2005-06-01 | 株式会社三丰 | 快速自动对焦机器视觉检查系统的系统和方法 |
US20080071394A1 (en) * | 2000-06-29 | 2008-03-20 | Paul Turner | Computer method and apparatus for constraining a non-linear approximator of an empirical process |
US20130325774A1 (en) * | 2012-06-04 | 2013-12-05 | Brain Corporation | Learning stochastic apparatus and methods |
US20150039545A1 (en) * | 2013-08-05 | 2015-02-05 | City University of London | Systems, methods and devices for vector control of permanent magnet synchronous machines using artificial neural networks |
CN106557816A (zh) * | 2015-09-30 | 2017-04-05 | 发那科株式会社 | 具备机械学习器以及组装试验器的生产设备 |
CN106558959A (zh) * | 2015-09-30 | 2017-04-05 | 发那科株式会社 | 机械学习装置和线圈制造装置 |
US20170132513A1 (en) * | 2015-11-09 | 2017-05-11 | Google Inc. | Training neural networks represented as computational graphs |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9250938B2 (en) * | 2008-10-15 | 2016-02-02 | Microsoft Technology Licensing, Llc | Caching runtime generated code |
CN104885024B (zh) * | 2012-12-12 | 2017-10-13 | 塞阿姆斯特朗有限公司 | 经协调的无传感器控制系统 |
US9721092B2 (en) * | 2014-03-27 | 2017-08-01 | International Busines Machines Corporation | Monitoring an application in a process virtual machine |
US10445650B2 (en) * | 2015-11-23 | 2019-10-15 | Microsoft Technology Licensing, Llc | Training and operating multi-layer computational models |
US11062229B1 (en) * | 2016-02-18 | 2021-07-13 | Deepmind Technologies Limited | Training latent variable machine learning models using multi-sample objectives |
US11157828B2 (en) * | 2016-12-08 | 2021-10-26 | Microsoft Technology Licensing, Llc | Tomography and generative data modeling via quantum boltzmann training |
WO2018119807A1 (zh) * | 2016-12-29 | 2018-07-05 | 浙江工商大学 | 一种基于卷积神经网络的时空一致性深度图序列的生成方法 |
US9798527B1 (en) * | 2017-01-06 | 2017-10-24 | Google Inc. | Loop and library fusion |
US10956500B2 (en) * | 2017-01-19 | 2021-03-23 | Google Llc | Dynamic-length stateful tensor array |
US11288575B2 (en) * | 2017-05-18 | 2022-03-29 | Microsoft Technology Licensing, Llc | Asynchronous neural network training |
-
2017
- 2017-07-14 EP EP17181431.2A patent/EP3428746B1/en active Active
-
2018
- 2018-07-13 US US16/629,341 patent/US20210142207A1/en active Pending
- 2018-07-13 CN CN201880059703.8A patent/CN111095133B/zh active Active
- 2018-07-13 WO PCT/EP2018/069113 patent/WO2019012121A1/en active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0680630B1 (en) * | 1993-01-22 | 1999-09-08 | Honeywell Inc. | Parameterized neurocontrollers |
US20080071394A1 (en) * | 2000-06-29 | 2008-03-20 | Paul Turner | Computer method and apparatus for constraining a non-linear approximator of an empirical process |
CN1621775A (zh) * | 2003-11-24 | 2005-06-01 | 株式会社三丰 | 快速自动对焦机器视觉检查系统的系统和方法 |
US20130325774A1 (en) * | 2012-06-04 | 2013-12-05 | Brain Corporation | Learning stochastic apparatus and methods |
US20150039545A1 (en) * | 2013-08-05 | 2015-02-05 | City University of London | Systems, methods and devices for vector control of permanent magnet synchronous machines using artificial neural networks |
CN106557816A (zh) * | 2015-09-30 | 2017-04-05 | 发那科株式会社 | 具备机械学习器以及组装试验器的生产设备 |
CN106558959A (zh) * | 2015-09-30 | 2017-04-05 | 发那科株式会社 | 机械学习装置和线圈制造装置 |
US20170132513A1 (en) * | 2015-11-09 | 2017-05-11 | Google Inc. | Training neural networks represented as computational graphs |
Also Published As
Publication number | Publication date |
---|---|
US20210142207A1 (en) | 2021-05-13 |
WO2019012121A1 (en) | 2019-01-17 |
EP3428746A1 (en) | 2019-01-16 |
EP3428746B1 (en) | 2021-06-02 |
CN111095133B (zh) | 2023-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Pervez et al. | Learning deep movement primitives using convolutional neural networks | |
JP4223894B2 (ja) | Pidパラメータ調整装置 | |
JP7183446B2 (ja) | 機械の動作を制御する装置及び方法、並びに記憶媒体 | |
CN111095133B (zh) | 一种用于在目标现场设备上部署和执行自适应自学习控制程序的方法和系统 | |
KR102239186B1 (ko) | 인공지능 기반 로봇 매니퓰레이터의 자동 제어 시스템 및 방법 | |
US11669056B2 (en) | Generation of a control system for a target system | |
Qi et al. | Adaptive shape servoing of elastic rods using parameterized regression features and auto-tuning motion controls | |
JP7034035B2 (ja) | 自律学習型ロボット装置及び自律学習型ロボット装置の動作生成方法 | |
CN114630734B (zh) | 具有专用硬件加速的支持机器学习的视觉伺服 | |
JP7090734B2 (ja) | 制御システム、制御方法及び記憶媒体 | |
US11263796B1 (en) | Binocular pose prediction | |
CN114080304B (zh) | 控制装置、控制方法及控制程序 | |
US20220148247A1 (en) | Disambiguation of poses | |
Debrouwere et al. | Experimental validation of combined nonlinear optimal control and estimation of an overhead crane | |
CN114193443A (zh) | 用于控制机器人设备的设备和方法 | |
Friedrich et al. | A robust stability approach to robot reinforcement learning based on a parameterization of stabilizing controllers | |
WO2020165611A1 (en) | Expressive social robot callibration | |
Qi et al. | Model predictive manipulation of compliant objects with multi-objective optimizer and adversarial network for occlusion compensation | |
Maeda et al. | View-based teaching/playback for industrial manipulators | |
Wu et al. | Infer and adapt: Bipedal locomotion reward learning from demonstrations via inverse reinforcement learning | |
Gomes et al. | Deep Reinforcement learning applied to a robotic pick-and-place application | |
Khan et al. | Nonlinear reduced order observer design for elastic drive systems using invariant manifolds | |
Wang et al. | Reinforcement Learning based End-to-End Control of Bimanual Robotic Coordination | |
Christ et al. | Synthetic data derived from a digital twin for an error compensation algorithm of hydrogen tube fitting assembly | |
WO2024181536A1 (ja) | 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |