CN115616900B - 反馈控制系统识别器的训练方法、装置、设备及介质 - Google Patents

反馈控制系统识别器的训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN115616900B
CN115616900B CN202211356753.7A CN202211356753A CN115616900B CN 115616900 B CN115616900 B CN 115616900B CN 202211356753 A CN202211356753 A CN 202211356753A CN 115616900 B CN115616900 B CN 115616900B
Authority
CN
China
Prior art keywords
feedback control
target
control system
track
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211356753.7A
Other languages
English (en)
Other versions
CN115616900A (zh
Inventor
庞竟成
俞扬
罗凡明
曹星辰
杨思航
李立和
秦熔均
陈雄辉
许天
王健树
薛正海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanqi Xiance Nanjing High Tech Co ltd
Original Assignee
Nanqi Xiance Nanjing High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanqi Xiance Nanjing High Tech Co ltd filed Critical Nanqi Xiance Nanjing High Tech Co ltd
Priority to CN202211356753.7A priority Critical patent/CN115616900B/zh
Publication of CN115616900A publication Critical patent/CN115616900A/zh
Application granted granted Critical
Publication of CN115616900B publication Critical patent/CN115616900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/36—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential
    • G05B11/42—Automatic controllers electric with provision for obtaining particular characteristics, e.g. proportional, integral, differential for obtaining a characteristic which is both proportional and time-dependent, e.g. P. I., P. I. D.
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明实施例公开了一种反馈控制系统识别器的训练方法、装置、设备及介质。该反馈控制系统识别器的训练方法包括：构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器。本发明实施例的技术方案可以快速的识别出不同反馈控制系统之间的系统特征差异，进而能够有效解决传统反馈控制器无法识别系统特征，且需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制的通用性与泛化性。

Description

反馈控制系统识别器的训练方法、装置、设备及介质
技术领域
本发明实施例涉及反馈控制技术领域，尤其涉及一种反馈控制系统识别器的训练方法、装置、设备及介质。
背景技术
反馈控制是通过不断调整控制量，将待控量调整到预设的目标量的一种控制方式。
比例-积分-微分(PID)控制是一种经典的反馈控制方法，被广泛应用于各类现实的反馈控制系统，如机器人控制与工业控制，PID在这些反馈控制系统中表现出了简单却有效的特点。PID结合了三种基础控制方式：比例控制(proportional control)、积分控制(integrative control)和微分控制(derivative control)，每种基础控制方式可以输出一个控制量。PID对这三个控制量赋予不同的权重，得到最终的PID控制量。
然而，PID对其三个控制参数非常敏感，它的控制效果高度依赖于三种控制方式的权重的调节。其参数，即三种控制方式各自的权重，Kp，Ki，Kd，对控制效果有直接影响。PID参数都需要针对特定任务进行精密调整，这个调整过程往往需要大量的人力成本与对应反馈控制系统的领域知识。甚至对于同一套待控制的系统，若系统的动力模型发生了变化，先前已经调试好的PID参数就会无法使用。而现阶段几乎所有的PID参数的调整基本都是基于人工调参或者专家系统，这二者都依赖大量的人工参数选取与领域知识，这大大降低了PID控制器的易用性、灵活性与通用性。
发明内容
本发明实施例提供了一种反馈控制系统识别器的训练方法、装置、设备及介质，以快速识别不同反馈控制系统之间的系统特征差异。
根据本发明实施例的一方面，提供了一种反馈控制系统识别器的训练方法，包括：
构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；
按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值；
使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器；
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量。
根据本发明实施例的另一方面，还提供了一种反馈控制系统识别器的训练装置，包括：
反馈控制策略获取模块，用于构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；
反馈控制轨迹集生成模块，用于按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值；
反馈控制系统识别器训练模块，用于使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器；
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量。
根据本发明实施例的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明任一实施例所述的反馈控制系统识别器的训练方法。
根据本发明实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现如本发明任一实施例所述的反馈控制系统识别器的训练方法。
本发明实施例的技术方案，通过构建与多个反馈控制场景对应的多个反馈控制系统，并生成与每个反馈控制系统分别对应的反馈控制轨迹集，使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器的技术手段，创造性的提出以反馈控制轨迹集作为描述信息，可区分的确定出不同反馈控制系统所属反馈控制场景下的系统特征向量的实现方案，可以快速的识别出不同反馈控制系统之间的系统特征差异，进而能够有效解决传统反馈控制器无法识别系统特征，且需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制的通用性与泛化性。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种反馈控制系统识别器的训练方法的流程图；
图2a是根据本发明实施例二提供的一种反馈控制系统识别器的训练方法的流程图；
图2b是本发明实施例所适用的一种反馈控制系统识别器的结构示意图；
图3是根据本发明实施例三提供的一种反馈控制系统识别器的训练装置的结构示意图；
图4是实现本发明实施例的反馈控制系统识别器的训练方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种反馈控制系统识别器的训练方法的流程图，本实施例可适用于可区分的对不同反馈控制系统的系统特征进行描述的情况，该方法可以由反馈控制系统识别器的训练装置来执行，该反馈控制系统识别器的训练装置可以采用硬件和/或软件的形式实现，并一般可以集成于具有数据处理功能的终端设备或者服务器中。如图1所示，该方法包括：
S110、构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略。
其中，反馈控制系统是指在设定的反馈控制场景下，所需达到的反馈控制目标。该反馈控制场景可以理解为反馈控制系统具体的执行场景。例如，车辆控速场景、空调控温场景或者电机控制场景等。
反馈控制策略，可以理解为在每个时刻的反馈控制过程中，针对待控量的当前值和期望值，用于确定出反馈控制的控制量的具体策略。具体的，该反馈控制策略中可以包括PID控制器中三种控制方式(比例控制、积分控制和微分控制)的权重值。
在一个具体的例子中，在车辆控速场景中的一个反馈控制系统可以为用于实现通过控制油门大小，将汽车的速度控制到一个目标速度值的系统，或者，在电机控制场景中的一个反馈控制系统可以为用于实现通过控制电机的电流大小，将电机旋转的角速度控制到一个目标角速度值的系统等。
可以理解的是，即使针对相同的反馈控制场景，因为该场景中的系统参数(例如，系统的动力模型、空气阻力或者动摩擦力参数等)的不同，相同反馈控制目标的反馈控制系统，所对应的反馈控制策略也不尽相同。
相应的，在描述反馈控制系统时，除了需要包括上述反馈控制目标，还需要包括反馈控制系统的场景系统描述参数，其中，该场景系统描述参数可以理解为一个反馈控制场景中包括的全部可变系统因素的合集。
相应的，不同反馈控制场景一般可对应多个不同的反馈控制系统，同一反馈控制场景，因其场景场景系统参数的不同，也可以对应于对个不同的反馈控制系统。
在本实施例中，为了可区分的表示不同反馈控制系统之间的系统特征差异，首先需要构建不同场景系统下的多个反馈控制系统。进而，为了达到较优反馈控制效果，需要进一步确定出与每个反馈控制系统分别对应的反馈控制策略。可选的，可以根据人工实验选取、基于专业领域知识确定的方式，或者通过设定机器学习模型自适应训练的方式，获取与每个反馈控制系统分别对应的反馈控制策略。
S120、按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集。
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值。具体的，待控量状态包括待控量在控制时间点下的当前值和期望值。
在本实施例中，当一个反馈控制系统A被确定后，可以在一个确定场景系统描述参数的反馈控制场景中，基于与该反馈控制系统A匹配的反馈控制策略，执行针对该反馈控制系统A的反馈控制，进而，在针对反馈控制系统A执行的完整执行过程可以通过上述反馈控制轨迹集唯一描述。
续前例，针对一个用于实现通过控制油门大小，将汽车的速度控制到一个目标速度值的反馈控制系统，针对该反馈控制系统执行完整反馈控制过程如下：
控制器在一个控制时间点t1下，从反馈控制系统中观测到待控量(速度)的当前值和待控量的期望值/>基于预先设定的反馈控制策略，控制器确定出控制量(油门)的一个具体数值at后，将at输出给反馈控制系统。该控制量作用于反馈控制系统后，可以在下一控制时间点t2，再次从反馈控制系统中观测到待控量的新的当前值和新的期望值，进而，控制器可以确定出控制器的一个新的数值后，再次输出给反馈控制系统，直至完成将待控量的数值最终调整至期望值。
其中，该控制时间点可以理解为每一个生成控制量具体数值的时间点。在一个反馈控制系统中的起始控制时间点和预设的控制频率确定后，该反馈控制系统中包括的各控制时间点可以为唯一确定。
在一个反馈控制系统中完整的反馈控制操作被成功执行后，通过收集各控制时间点下的待控量状态和控制器中控制量的数值，可以组织得到与该反馈控制系统对应的反馈控制轨迹集。
需要强调的是，在本实施例中，发明人为了挖掘出不同反馈控制系统之间的系统特征差异，需要量化反馈控制系统的特征描述。通过多次实验发现，针对不同系统下的不同反馈控制系统执行的反馈控制中，控制量数值的变化趋势，以及待控量的受控变化趋势各有不同。基于此，创造性的提出了使用反馈控制轨迹集量化描述各反馈控制系统，以达到可区分不同反馈控制系统的系统特征的目的。
S130、使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器。
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量。
由于直接使用反馈控制轨迹集来反映不同反馈控制系统的系统差异时，数据表现力差。因而，在本实施例中，考虑使用时间序列模型挖掘出不同反馈控制轨迹集的数据特征。时间序列模型，主要用于对输入的时间序列数据,以设定维数(例如，8维、16维或者32维等)的向量进行量化表达。
其中，时间序列模型可以为具有时序数据处理功能的任一机器学习模型，例如RNN(recurrent neural network，循环神经网络)、LSTM((Long short-term memory，长短期记忆网络)或者GRU(Gated Recurrent Unit，门循环控制单元)等，本实施例对此并不进行限制。
在本实施例中，通过使用对应多个反馈控制场景的各所述反馈控制轨迹集，对设定的时间序列模型进行训练，可以得到反馈控制系统识别器。其中，训练得到的反馈控制系统识别器的输入为针对反馈控制系统执行完成相应的反馈控制后生成的反馈控制轨迹集，或者，在反馈控制系统中的反馈控制执行过程中连续生成的几个轨迹点等，输出为与该反馈控制系统对应的系统特征向量。
其中，该反馈控制系统识别器的训练目标可以为最小化同一反馈控制轨迹集的系统特征向量的方差，最大化不同反馈控制轨迹的系统特征向量的之间的差异值。通过上述设置，该反馈控制系统识别器可以有效区分出不同反馈控制系统对应的系统特征向量。
本发明实施例的技术方案，通过构建与多个反馈控制场景对应的多个反馈控制系统，并生成与每个反馈控制系统分别对应的反馈控制轨迹集，使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器的技术手段，创造性的提出以反馈控制轨迹集作为描述信息，可区分的确定出不同反馈控制系统所属反馈控制场景下的系统特征向量的实现方案，可以快速的识别出不同反馈控制系统之间的系统特征差异，进而能够有效解决传统反馈控制器无法识别系统特征，且需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制的通用性与泛化性。
实施例二
图2a为本发明实施例二提供的一种反馈控制系统识别器的训练方法的流程图，本实施例以上述实施例为基础进行优化，在本实施例中，以某一个具体的反馈控制系统为例，将构建反馈控制系统和反馈控制策略、生成反馈控制轨迹集的操作进行细化。
相应的，如图2a所示，该方法包括：
S210、使用设定模拟器构建目标反馈控制系统。
其中，所述目标反馈控制系统包括目标场景系统描述参数、目标待控量的类型和期望值，以及目标控制量的类型。
在本实施例中，可以基于各种模拟器，例如MuJoCo、Pybullet等，构建基于机器人控制、无人机控制等反馈控制场景的大量反馈控制系统。本实施例中，以构建得到一个具体的目标反馈控制系统为例，进行详细介绍。
具体的，在构建目标反馈控制系统时，首先需要分别确定目标待控量和目标控制量的类型，例如，通过“油门”这一目标控制量对“车速”这一目标待控量进行控制。同时，还需要进一步确定目标待控量的期望值，也即，在一次完整的反馈控制过程，该目标待控量的数值调整终点。进一步的，还需要确定描述该目标反馈控制系统的目标场景系统描述参数。该目标场景系统描述参数可以包括：动力模型、空气阻力以及动摩擦力参数等对针对目标反馈控制系统的反馈控制的执行效果起到影响的各项系统因素的参数值，本实施例对此并不进行限制。
S220、采用预设的反馈控制策略训练算法，训练得到与所述目标反馈控制系统匹配的目标反馈控制策略。
该反馈控制策略训练算法可以为强化学习算法，也可以为曲线拟合算法等。通过使用该反馈控制策略训练算法可以通过多次实验的方式，确定出与该目标反馈控制系统对应的最优反馈控制策略，也即，目标反馈控制策略。
其中，所述目标反馈控制策略的输入为目标待控量的当前值和期望值，输出为目标控制量的数值。
S230、按照与目标反馈控制系统匹配的目标反馈控制策略，执行针对所述目标反馈控制系统的反馈控制。
S240、在针对所述目标反馈控制系统执行的完整反馈控制过程中，收集每个目标控制时间点下的目标待控量状态和目标控制量的数值。
其中，所述目标待控量状态包括目标待控量的当前值和期望值。
通过基于该目标反馈控制策略执行针对所述目标反馈控制系统的反馈控制，可以在每个目标控制时间点下获取目标待控量状态和目标控制量的数值。
其中，目标待控量状态为实际观测值，目标控制量的数值为目标反馈控制策略针对该实际观测值所确定出的决策值。
具体的，在目标控制时间点t1下，从反馈控制系统中观测到的目标待控量状态为st1，其中，st1包含目标待控量的当前值和目标待控量的期望值/>目标控制量的数值为at1。
S250、将与每个目标控制时间点分别对应的目标待控量状态和目标控制量的数值，组织得到与每个目标控制时间点分别对应的目标轨迹点。
具体的，针对目标控制时间点t1，可以组织得到目标轨迹点τ1，其中，τ1＝(st1，at1)。
S260、按照时间延伸顺序，将各所述目标轨迹点进行组合，得到与所述目标反馈控制系统对应的目标反馈控制轨迹集。
在一个具体的例子中，在获取与目标控制时间点t1对应的目标轨迹点τ1，与目标控制时间点t2对应的目标轨迹点τ2，目标控制时间点t3对应的目标轨迹点τ3，……，与目标控制时间点tn对应的目标轨迹点τn后，可以组织得到形如{τ1，τ2，…，τN}的目标反馈控制轨迹集,其中，t1<t2<……<tn。
S270、分别将每个反馈控制轨迹集中的各轨迹点依次输入至所述时间序列模型中进行训练，得到所述反馈控制系统识别器。
具体的，在通过S210-S260得到与多个反馈控制系统分别对应的反馈控制轨迹集之后，可以将每个反馈控制轨迹集分别输入至所述时间序列模型中进行训练。
其中，所述时间序列模型的损失函数包括第一子函数和第二子函数。
所述第一子函数与所述时间序列模型针对同一反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的方差成正比，所述第二子函数与所述时间序列模型针对不同反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的差异值成反比。
通过设置上述类型的损失函数，在将每个反馈控制轨迹集中的各轨迹点依次输入至所述时间序列模型中进行训练后，可以达到最小化同一反馈控制轨迹集的系统特征向量的方差，最大化不同反馈控制轨迹的系统特征向量的之间的差异值的训练目标。
在本实施例的一个可选的实施方式中，在每条反馈控制轨迹分别对应不同的反馈控制系统时，可以构建形如：
的损失函数L1；
其中λ1、λ2为预设的比例系数，Ω是一批训练数据中包括的反馈控制轨迹集合，τ为一条轨迹，表示数学期望符号，∑表示求和符号，/>表示反馈控制系统识别器在轨迹τ上第t步的输出，/>表示反馈控制系统识别器在轨迹τ的不同时间步上输出的方差，/>是反馈控制系统识别器在轨迹τ上输出的均值，/>为反馈控制系统识别器在不同反馈控制轨迹间输出均值的方差。
在本实施例的另一个可选的实施方式中，还可以构建形如：
的损失函数L2；
其中λ1、λ2为预设的比例系数，Ω是一批训练数据中包括的反馈控制轨迹集合，τ为一条轨迹，表示数学期望符号，∑表示求和符号，/>表示反馈控制系统识别器在轨迹τ上第t步的输出，/>表示反馈控制系统识别器在轨迹τ上不同时间步输出的方差，/>是反馈控制系统识别器在轨迹上输出的均值，/>表示反馈控制系统识别器在不同反馈控制轨迹间输出的方差。
本发明实施例的技术方案通过使用模拟器构建多个不同反馈控制场景的反馈控制系统，并采用预设的反馈控制策略训练算法，训练得到与各反馈控制系统分别匹配的反馈控制策略，通过针对各反馈控制系统执行匹配的反馈控制，生成与各反馈控制系统分别对应的反馈控制轨迹集进行反馈控制系统识别器的训练的技术方案，可以快速的识别出不同反馈控制系统之间的系统特征差异，进而能够有效解决传统反馈控制器无法识别系统特征，且需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制的通用性与泛化性。
为了方便理解，在图2b中示出了本发明实施例所适用的一种反馈控制系统识别器的结构示意图。其中，图2b中所述的反馈控制系统识别器通过上述各实施例所述的方式对时间序列模型进行训练后生成。
如图2b所示，通过向该反馈控制系统识别器输入过去一段时间的待控量状态和执行过的控制量的数值{(st-1，at-1)，(st-2，at-2)…}(也即，系统历史信息)后，结合当前时刻的待控量状态(也即，图2b中的系统当前状态信息)st，该反馈控制系统识别器可以输出一个设定维数的系统特征向量(也即，图2b中的系统特征)Et，用一个向量[n1，n2，n3…]来表示。
或者，还可以通过直接该反馈控制系统识别器输入过去一段时间的待控量状态和执行过的控制量的数值后，由该反馈控制系统识别器输出一个设定维数的输出系统特征；
或者，还可以依次向该反馈控制系统识别器分别输入每个时刻下的待控量状态，并结合该反馈控制系统识别器所输出的系统特征向量，确定与每个时刻分别对应的控制量的数值并反馈至该反馈控制系统识别器后，由该反馈控制系统识别器输出稳定的、设定维数的输出系统特征等。
实施例三
图3为本发明实施例四提供的一种反馈控制系统识别器的训练装置的结构示意图。如图3所示，该装置包括：反馈控制策略获取模块310、反馈控制轨迹集生成模块320以及反馈控制系统识别器训练模块330，其中：
反馈控制策略获取模块310，用于构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；
反馈控制轨迹集生成模块320，用于按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值；
反馈控制系统识别器训练模块330，用于使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器；
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量。
本发明实施例的技术方案，通过构建与多个反馈控制场景对应的多个反馈控制系统，并生成与每个反馈控制系统分别对应的反馈控制轨迹集，使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器的技术手段，创造性的提出以反馈控制轨迹集作为描述信息，可区分的确定出不同反馈控制系统所属反馈控制场景下的系统特征向量的实现方案，可以快速的识别出不同反馈控制系统之间的系统特征差异，进而能够有效解决传统反馈控制器无法识别系统特征，且需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制的通用性与泛化性。
在上述各实施例的基础上，反馈控制策略获取模块310可以具体用于：
使用设定模拟器构建目标反馈控制系统，其中，所述目标反馈控制系统包括目标场景系统描述参数、目标待控量的类型和期望值，以及目标控制量的类型；
采用预设的反馈控制策略训练算法，训练得到与所述目标反馈控制系统匹配的目标反馈控制策略；
其中，所述目标反馈控制策略的输入为目标待控量的当前值和期望值，输出为目标控制量的数值。
在上述各实施例的基础上，反馈控制轨迹集生成模块320可以具体用于：
按照与目标反馈控制系统匹配的目标反馈控制策略，执行针对所述目标反馈控制系统的反馈控制；
在针对所述目标反馈控制系统执行的完整反馈控制过程中，收集每个目标控制时间点下的目标待控量状态和目标控制量的数值；
其中，所述目标待控量状态包括目标待控量的当前值和期望值；
将与每个目标控制时间点分别对应的目标待控量状态和目标控制量的数值，组织得到与每个目标控制时间点分别对应的目标轨迹点；
按照时间延伸顺序，将各所述目标轨迹点进行组合，得到与所述目标反馈控制系统对应的目标反馈控制轨迹集。
在上述各实施例的基础上，反馈控制系统识别器训练模块330，可以具体用于：
分别将每个反馈控制轨迹集中的各轨迹点依次输入至所述时间序列模型中进行训练，得到所述反馈控制系统识别器；
其中，所述时间序列模型的损失函数包括第一子函数和第二子函数；
所述第一子函数与所述时间序列模型针对同一反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的方差成正比，所述第二子函数与所述时间序列模型针对不同反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的差异值成反比。
本发明实施例所提供的反馈控制系统识别器的训练装置可执行本发明任意实施例所提供的反馈控制系统识别器的训练方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如实现本发明任意实施例所述的一种反馈控制系统识别器的训练方法，该方法包括：
构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；
按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值；
使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器；
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量。
在一些实施例中，本发明实施例所述的一种反馈控制系统识别器的训练方法，或者一种反馈控制方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的一种反馈控制系统识别器的训练方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行如本发明实施例所述的一种反馈控制系统识别器的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (8)

1.一种反馈控制系统识别器的训练方法，其特征在于，包括：
构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；
按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值；
使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器；
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量；
使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器，包括：
分别将每个反馈控制轨迹集中的各轨迹点依次输入至所述时间序列模型中进行训练，得到所述反馈控制系统识别器；
其中，所述时间序列模型的损失函数包括第一子函数和第二子函数；
所述第一子函数与所述时间序列模型针对同一反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的方差成正比，所述第二子函数与所述时间序列模型针对不同反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的差异值成反比。
2.根据权利要求1所述的方法，其特征在于，构建与多个反馈控制场景分别对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略，包括：
使用设定模拟器构建目标反馈控制系统，其中，所述目标反馈控制系统包括目标场景系统描述参数、目标待控量的类型和期望值，以及目标控制量的类型；
采用预设的反馈控制策略训练算法，训练得到与所述目标反馈控制系统匹配的目标反馈控制策略；
其中，所述目标反馈控制策略的输入为目标待控量的当前值和期望值，输出为目标控制量的数值。
3.根据权利要求2所述的方法，其特征在于，按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集，包括：
按照与目标反馈控制系统匹配的目标反馈控制策略，执行针对所述目标反馈控制系统的反馈控制；
在针对所述目标反馈控制系统执行的完整反馈控制过程中，收集每个目标控制时间点下的目标待控量状态和目标控制量的数值；
其中，所述目标待控量状态包括目标待控量的当前值和期望值；
将与每个目标控制时间点分别对应的目标待控量状态和目标控制量的数值，组织得到与每个目标控制时间点分别对应的目标轨迹点；
按照时间延伸顺序，将各所述目标轨迹点进行组合，得到与所述目标反馈控制系统对应的目标反馈控制轨迹集。
4.一种反馈控制系统识别器的训练装置，其特征在于，包括：
反馈控制策略获取模块，用于构建与多个反馈控制场景对应的多个反馈控制系统，并获取与每个反馈控制系统分别对应的反馈控制策略；
反馈控制轨迹集生成模块，用于按照所述反馈控制策略，生成与每个反馈控制系统分别对应的反馈控制轨迹集；
其中，反馈控制轨迹集中包含与完整反馈控制过程对应的多个轨迹点，轨迹点中包括设定控制时间点下的待控量状态和控制器中控制量的数值；
反馈控制系统识别器训练模块，用于使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器；
其中，所述反馈控制系统识别器用于可区分的输出与不同反馈控制系统对应的系统特征向量；
使用各所述反馈控制轨迹集，对设定的时间序列模型进行训练，得到反馈控制系统识别器，包括：
分别将每个反馈控制轨迹集中的各轨迹点依次输入至所述时间序列模型中进行训练，得到所述反馈控制系统识别器；
其中，所述时间序列模型的损失函数包括第一子函数和第二子函数；
所述第一子函数与所述时间序列模型针对同一反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的方差成正比，所述第二子函数与所述时间序列模型针对不同反馈控制轨迹集中的各轨迹点所输出的系统特征向量之间的差异值成反比。
5.根据权利要求4所述的装置，其特征在于，反馈控制策略获取模块，具体用于：
使用设定模拟器构建目标反馈控制系统，其中，所述目标反馈控制系统包括目标场景系统描述参数、目标待控量的类型和期望值，以及目标控制量的类型；
采用预设的反馈控制策略训练算法，训练得到与所述目标反馈控制系统匹配的目标反馈控制策略；
其中，所述目标反馈控制策略的输入为目标待控量的当前值和期望值，输出为目标控制量的数值。
6.根据权利要求4所述的装置，其特征在于，反馈控制轨迹集生成模块，具体用于：
按照与目标反馈控制系统匹配的目标反馈控制策略，执行针对所述目标反馈控制系统的反馈控制；
在针对所述目标反馈控制系统执行的完整反馈控制过程中，收集每个目标控制时间点下的目标待控量状态和目标控制量的数值；
其中，所述目标待控量状态包括目标待控量的当前值和期望值；
将与每个目标控制时间点分别对应的目标待控量状态和目标控制量的数值，组织得到与每个目标控制时间点分别对应的目标轨迹点；
按照时间延伸顺序，将各所述目标轨迹点进行组合，得到与所述目标反馈控制系统对应的目标反馈控制轨迹集。
7. 一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的反馈控制系统识别器的训练方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-3中任一项所述的反馈控制系统识别器的训练方法。
CN202211356753.7A 2022-11-01 2022-11-01 反馈控制系统识别器的训练方法、装置、设备及介质 Active CN115616900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211356753.7A CN115616900B (zh) 2022-11-01 2022-11-01 反馈控制系统识别器的训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211356753.7A CN115616900B (zh) 2022-11-01 2022-11-01 反馈控制系统识别器的训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115616900A CN115616900A (zh) 2023-01-17
CN115616900B true CN115616900B (zh) 2023-12-26

Family

ID=84876546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211356753.7A Active CN115616900B (zh) 2022-11-01 2022-11-01 反馈控制系统识别器的训练方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115616900B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496781A (zh) * 2020-03-17 2020-08-07 浙江大学 数字孪生驱动的机械臂建模、控制与监测一体化集成系统
CN114282607A (zh) * 2021-12-22 2022-04-05 中电信数智科技有限公司 一种基于双筛模型的弥散轨迹分析方法及系统
CN114643994A (zh) * 2022-04-02 2022-06-21 驭势科技（北京）有限公司 车辆横向异常检测方法、装置、设备及介质
CN114912357A (zh) * 2022-05-18 2022-08-16 南京大学 基于用户模型学习的多任务强化学习用户运营方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11246023B2 (en) * 2020-02-19 2022-02-08 Accenture Global Solutions Limited Location-based risk alerts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111496781A (zh) * 2020-03-17 2020-08-07 浙江大学 数字孪生驱动的机械臂建模、控制与监测一体化集成系统
CN114282607A (zh) * 2021-12-22 2022-04-05 中电信数智科技有限公司 一种基于双筛模型的弥散轨迹分析方法及系统
CN114643994A (zh) * 2022-04-02 2022-06-21 驭势科技（北京）有限公司 车辆横向异常检测方法、装置、设备及介质
CN114912357A (zh) * 2022-05-18 2022-08-16 南京大学 基于用户模型学习的多任务强化学习用户运营方法及系统

Also Published As

Publication number Publication date
CN115616900A (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
KR20200031163A (ko) 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체
Zhao et al. Asynchronous reinforcement learning algorithms for solving discrete space path planning problems
CN110928341B (zh) 温度控制方法、装置、设备及存储介质
CN109445275A (zh) 一种比例滞后控制方法、装置及设备
CN115616900B (zh) 反馈控制系统识别器的训练方法、装置、设备及介质
CN116562156B (zh) 一种控制决策模型的训练方法、装置、设备及存储介质
CN115598985B (zh) 一种反馈控制器的训练方法、装置、电子设备及介质
CN115598967B (zh) 参数整定模型训练、参数确定方法、装置、设备及介质
CN112528160A (zh) 智能推荐、模型训练方法、装置、电子设备及存储介质
CN110888323A (zh) 一种用于切换系统智能优化的控制方法
CN114896061B (zh) 计算资源控制模型的训练方法、计算资源控制方法及装置
CN115600875B (zh) 一种环境参数的标定方法、装置、电子设备及存储介质
CN115576205B (zh) 反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统
CN115562038B (zh) 一种反馈控制系统变化的预警方法、装置、设备及介质
Contardo et al. Learning states representations in pomdp
CN109564635A (zh) 人工智能设备、系统及其行为控制方法
Perdukova et al. A model-based fuzzy control of an induction motor
CN111371842A (zh) 控制人工智能终端行为的方法和系统
Zhang et al. Pretrain soft q-learning with imperfect demonstrations
CN116976107A (zh) 基于风火打捆系统的模型更新方法、装置、设备及介质
CN114274148B (zh) 一种轨迹规划方法、装置、电子设备以及存储介质
CN116450187A (zh) 应用于ai分析的数字化在线应用处理方法及ai应用系统
CN117806159A (zh) 线性模型预测控制的控制方法及装置、车辆、电子设备
Brandstetter et al. Implementation of fuzzy speed controller in control structure of AC drive with induction motor
CN115514290A (zh) 一种电机控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231115

Address after: Room 703, Building A, Qilin Technology Innovation Park, No. 100 Tianjiao Road, Jiangning District, Nanjing City, Jiangsu Province, 210000

Applicant after: Nanqi Xiance (Nanjing) High tech Co.,Ltd.

Address before: 210000 floor 17, building 32, headquarters base, Jiangning District, Nanjing, Jiangsu Province

Applicant before: NANQI XIANCE (NANJING) TECHNOLOGY Co.,Ltd.

Applicant before: Nanqi Xiance (Nanjing) High tech Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant