CN115576205A

CN115576205A - 反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统

Info

Publication number: CN115576205A
Application number: CN202211371321.3A
Authority: CN
Inventors: 庞竟成; 俞扬; 罗凡明; 曹星辰; 杨思航; 李立和; 秦熔均; 陈雄辉; 许天; 王健树; 薛正海
Original assignee: Nanqi Xiance Nanjing High Tech Co ltd; Nanqi Xiance Nanjing Technology Co ltd
Current assignee: Nanqi Xiance Nanjing High Tech Co ltd
Priority date: 2022-11-03
Filing date: 2022-11-03
Publication date: 2023-01-06
Anticipated expiration: 2042-11-03
Also published as: CN115576205B

Abstract

本发明实施例公开了一种反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统，该控制方法包括：获取并运行反馈控制系统；获取反馈控制系统的系统状态；将系统状态输入至预先训练的时序模型中，获取与系统状态匹配的当前系统特征向量；根据系统状态和当前系统特征向量，得到相应的控制量并输出；执行控制量，同时将控制量反馈至时序模型；返回执行获取反馈控制系统的系统状态的操作，直至反馈控制系统的待控量当前值达到待控量目标值。本发明实施例的技术方案可以快速识别不同反馈控制系统之间的系统特征差异，有效地分辨不同的反馈控制场景，提升了反馈控制器的通用性，能够灵活响应反馈控制需求。

Description

反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统

技术领域

本发明实施例涉及反馈控制技术领域，尤其涉及一种反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统。

背景技术

反馈控制系统是通过不断调整控制量，将待控量调整到预设的目标量的系统。

比例-积分-微分(PID)控制是一种经典的反馈控制方法，被广泛应用于各类现实应用场景，如机器人控制与工业控制，PID在这些反馈控制系统上表现出了简单却有效的特点。PID结合了三种基础控制方式：比例控制(proportional control)、积分控制(integrative control)和微分控制(derivative control)，每种基础控制方式可以输出一个控制量。PID对这三个控制量赋予不同的权重，得到最终的PID控制量。

然而，PID对其三个控制参数非常敏感，它的控制效果高度依赖于三种控制方式的权重的调节。其参数，即三种控制方式各自的权重，Kp，Ki，Kd，对控制效果有直接影响。PID参数都需要针对特定任务进行精密调整，这个调整过程往往需要大量的人力成本与对应反馈控制系统的领域知识。甚至对于同一套待控制的系统，若系统的动力模型发生了变化，先前已经调试好的PID参数就会无法使用。而现阶段几乎所有的PID参数的调整基本都是基于人工调参或者专家系统，这二者都依赖大量的人工参数选取与领域知识，这大大降低了PID控制器的易用性、灵活性与通用性。

发明内容

本发明实施例提供了一种反馈控制方法、通用反馈控制器、训练方法、可读存储介质、计算机程序产品及系统，可以实现自动快速识别不同反馈控制系统之间的系统特征差异，提高了反馈控制器的通用性。

根据本发明实施例的一方面，提供了一种基于通用反馈控制器的反馈控制方法，包括：

获取并运行反馈控制系统；

获取反馈控制系统的系统状态；

其中，系统状态包括待控量当前值和待控量目标值；

将系统状态输入至预先训练的时序模型中，获取与系统状态匹配的当前系统特征向量；

其中，时序模型用于可区分的输出与不同反馈控制系统对应的系统特征向量；

根据系统状态和当前系统特征向量，得到相应的控制量并输出；

执行控制量，同时将控制量反馈至时序模型；

返回执行获取反馈控制系统的系统状态的操作，直至反馈控制系统的待控量当前值达到待控量目标值

可选地，将系统状态输入至预先训练的时序模型中，获取与系统状态匹配的当前系统特征向量，包括：将系统状态、历史隐状态和上一时刻控制量输入至时序模型，输出当前系统特征向量和下一时刻历史隐状态。

可选地，根据系统状态和当前系统特征向量，得到相应的控制量并输出，包括：

将当前系统特征向量和系统状态共同输入至预先训练的策略模型中，获取与当前系统特征向量和系统状态匹配的控制量。

根据本发明实施例的另一方面，还提供了一种通用反馈控制器，包括：

时序模型，用于获取反馈控制系统的系统状态，并根据系统状态，获取与系统状态匹配的当前系统特征向量；其中，时序模型用于可区分的输出与不同反馈控制系统对应的系统特征向量；

策略模型，用于根据系统状态和当前系统特征向量，获取与系统状态匹配的控制量并输出，同时，将控制量反馈至时序模型。

可选地，时序模型具体用于接收系统历史状态信息和系统状态，并输出系统特征向量。

根据本发明实施例的另一方面，还提供了一种通用反馈控制器的训练方法，包括：

S1：基于各种模拟器构建多个反馈控制场景的反馈控制系统；

S2：在多个反馈控制系统上同时收集样本；

S3：基于收集到的样本，使用强化学习算法优化、训练通用反馈控制器；

S4：判断训练是否完成，如未完成，则继续执行S2-S3，否则结束训练。

根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，包括：

计算机可读存储介质存储有计算机指令，计算机指令用于实现本发明第一方面所述的任意反馈控制方法，或者使处理器执行时实现本发明第三方面所述的通用反馈控制器的训练方法。

根据本发明实施例的另一方面，还提供了计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本发明第一方面所述的反馈控制方法，或者执行时实现本发明第三方面所述的通用反馈控制器的训练方法。

根据本发明实施例的另一方面，还提供了一种反馈控制系统，包括如本发明第二方面所述的通用反馈控制器。

本发明实施例的技术方案，通过获取反馈控制系统，时序模型对反馈控制系统进行识别并生成系统特征向量；其中，时序模型经过对大量与不同的反馈控制场景对应的反馈控制系统的采样、训练已经可以根据反馈控制系统和历史数据自动识别反馈控制场景；策略模型根据反馈控制系统和系统特征向量进行决策，生成控制量输出至反馈控制场景进行执行，可以实现自动快速的识别出不同反馈控制系统之间的系统特征差异，从而有效地分辨不同的反馈控制场景，并准确地运行反馈控制系统，解决了传统反馈控制器无法识别系统特征，需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制器的通用性与有效性，节约了时间成本与人力成本，简单易用，能够灵活响应反馈控制需求。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种基于通用反馈控制器的反馈控制方法的流程图；

图2为本发明实施例二提供的一种基于通用反馈控制器的反馈控制方法的逻辑图；

图3为本发明实施例三提供的一种通用反馈控制器的结构示意图；

图4为本发明实施例四提供的一种通用反馈控制器的训练方法的流程图；

图5为本发明实施例五提供的可以用来实施本发明的实施例的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

传统的反馈控制器通常采用比例-积分-微分(PID)控制方法，PID控制方法的控制效果高度依赖于三个控制参数各自的权重。对于不同的反馈控制系统需要专门针对特定任务重新调整PID参数，而参数的调整过程需要大量的人力成本以及对应反馈控制系统的领域知识。甚至对于同一套待控制的系统，若系统的动力模型发生了变化，先前已经调试好的PID参数就会无法使用。而现阶段几乎所有的PID参数的调整基本都是基于人工调参或者专家系统，这二者都依赖大量的人工参数选取与领域知识，这大大降低了PID控制器的易用性、灵活性与通用性。

针对上述技术问题，本发明实施例设计了一种面向反馈控制系统的通用反馈控制器，该通用反馈控制器能够被应用于各种反馈控制系统，而不需要额外的参数选取或领域知识。本发明使用强化学习算法在各种反馈控制场景中训练反馈控制策略，最终得到一个通用反馈控制器。相比以往的手工调参得到的PID控制器，使用本方法学习训练得到的通用反馈控制器，由于针对各种反馈控制场景在均进行了训练，因此不用调节参数也可以很好地适用于各种反馈控制系统，具有人力成本低、简单易用、一键部署等优点。

实施例一

图1为本发明实施例一提供的一种基于通用反馈控制器的反馈控制方法的流程图，本实施例可适用于自适应的在任意反馈控制场景中执行任意反馈控制系统的情况，该方法可以由通用反馈控制器来执行。如图1所示，该方法包括：

S101、获取并运行反馈控制系统。

具体地，反馈控制系统为当前反馈控制场景中需要实现的目的；其中，反馈控制场景即运行反馈控制系统的场景，示例性地，反馈控制场景包括但不限于车辆控速场景、空调控温场景或者电机控制场景等。

S102、获取反馈控制系统的系统状态。

具体地，在运行反馈控制系统的过程中，从反馈控制场景中观测获取该反馈控制系统的系统状态；其中，系统状态包括待控量当前值和待控量目标值。

S103、将系统状态输入至预先训练的时序模型中，获取与系统状态匹配的当前系统特征向量。

具体地，预先训练的时序模型可以通过transformer模型、对系统历史状态信息进行拼帧处理或者循环神经网络，经过对大量不同反馈控制场景下的反馈控制系统进行采样、训练得到。构建大量反馈控制系统，使反馈控制器在各种不同的反馈控制系统中收集数据、训练；其中，时序模型用于根据不同的反馈控制系统和收集的信息识别系统特征，输出系统特征向量，使反馈控制器可以分辨当前所处的反馈控制场景，帮助反馈控制器更好地应对不同的反馈控制系统，从而可以应用于各种反馈控制场景。

时序模型具有时序信息处理能力，可以识别不同的反馈控制系统对应的反馈控制场景，并输出与不同反馈控制系统对应的系统特征向量。时序模型可以根据系统状态输出对应的当前系统特征向量；其中，当前系统特征向量反映了时序模型推测的当前反馈控制场景。具体地，将系统状态、历史隐状态和上一时刻控制量输入至时序模型，输出当前系统特征向量和下一时刻历史隐状态。其中，历史隐状态包括历史系统状态，历史隐状态为一个初始值全为0的向量，每次时序模型输出时，历史隐状态会被最新输出的下一时刻历史隐状态覆盖。

由于不同反馈控制系统的状态空间是一致的，仅依赖当前状态进行控制，控制器并不知道自己正处于什么样的反馈控制场景中，因此难以取得好的表现。然而，不同反馈控制场景有不同的特点，这些特点可以通过历史的状态、动作序列推测得到。因此，需要让控制器了解当前系统的特征是什么。在现实中很多问题，如利率波动、收益率变化、反映股市行情的各种指数等通常都可以表达为时间序列信息，通过研究这些信息，可以发现这些经济系统的变化规律。时序模型可以通过研究事物过去发展的历史记录，以得到其自身发展的规律。因此在本发明实施例中，通过使用时序模型可以识别不同反馈控制系统的特征；其中，反馈控制系统中的历史状态、控制量等数据可用于发现、推测系统的特征。

S104、根据系统状态和当前系统特征向量，得到相应的控制量并输出。

具体地，为了使得控制量的变化能够跟随反馈控制系统的系统特征适应性调整，以达到PID控制器准确辨别不同的系统下的反馈控制系统，自动的适应调整其参数以应对不同反馈控制系统的技术效果，可以预先训练得到根据系统特征向量进行决策的策略模型。将系统状态和当前系统特征向量输入至预先训练的策略模型中，得到与当前系统特征向量和系统状态匹配的控制量以适应反馈控制系统的变化，并将所述控制量输出至反馈控制场景。策略模型根据系统状态和当前系统特征向量，可以准确判断当前反馈控制场景所需的控制量并作出决策，以适应不同的反馈控制场景。此外，策略模型利用神经网络的矩阵计算输出控制量，运算速度快，能够灵活响应反馈控制需求。

S105、执行控制量，同时将控制量反馈至时序模型。

具体地，在获取控制量后，当前反馈控制场景中的控制器执行该控制量，同时，策略模型将控制量反馈至时序模型，使时序模型基于控制量对存储的历史隐状态进行更新，进而优化历史隐状态，并且可以使后续输出的系统特征向量更加准确。

S106、检测反馈控制系统是否完成预设任务，若是，结束流程，否则，返回执行S102。

具体地，检测反馈控制系统是否完成预设任务，即判断系统状态中的待控量当前值是否已经达到待控量目标值。

本实施例的技术方案，通过获取反馈控制系统，时序模型对反馈控制系统进行识别并生成系统特征向量；其中，时序模型经过对大量与不同的反馈控制场景对应的反馈控制系统的采样、训练已经可以根据反馈控制系统和历史数据自动识别反馈控制场景；策略模型根据反馈控制系统和系统特征向量进行决策，生成控制量输出至反馈控制场景进行执行，可以实现自动快速的识别出不同反馈控制系统之间的系统特征差异，从而有效地分辨不同的反馈控制场景，并准确地运行反馈控制系统，解决了传统反馈控制器无法识别系统特征，需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制器的通用性与有效性，节约了时间成本与人力成本，简单易用，能够灵活响应反馈控制需求。

实施例二

图2为本发明实施例二提供的一种基于通用反馈控制器的反馈控制方法的逻辑图。如图2所示，该反馈控制方法包括：

S201、加载已经训练好的通用反馈控制器模型，包括时序模型和策略模型。

S202、开始运行反馈控制系统。

S203、从反馈控制场景中观测系统状态s_t，系统状态s_t包括待控量当前值、待控量目标值。

S204、时序模型获取系统状态s_t、历史隐状态h_t和上一时刻控制量a_t-1，输出系统特征向量e_t和下一时刻历史隐状态h_t+1。其中,历史隐状态是一个初始值全为0的向量，每次时序模型输出时，历史隐状态会被时序模型最新输出的历史隐状态覆盖。上一时刻控制量a_t-1是初始值全为0的向量，每次策略模型输出时，上一时刻控制量会被策略模型最新输出的控制量覆盖。

S205、策略模型结合系统状态s_t和当前系统特征向量e_t,输出控制量a_t，并作用于反馈控制场景。作用于反馈控制场景即输出控制量后，当前反馈控制场景中的控制器执行该控制量,得到新的系统状态s_t。

S206、判断反馈控制系统是否结束，如果未结束，则继续执行S203-S205，直至任务结束。

本实施例的技术方案，通过获取反馈控制系统，时序模型对反馈控制系统进行识别并生成系统特征向量和下一时刻历史隐状态；策略模型根据反馈控制系统和系统特征向量进行决策，生成控制量输出至反馈控制场景进行执行，可以实现自动快速的识别出不同反馈控制系统之间的系统特征差异，从而有效地分辨不同的反馈控制场景，并准确地运行反馈控制系统；此外，每次执行任务都对存储的历史隐状态和控制量进行更新，可以优化时序模型和策略模型的算法，使输出的系统特征向量和控制量更加准确，提升了反馈控制器的通用性与有效性，节约了时间成本与人力成本，简单易用，能够灵活响应反馈控制需求。

实施例三

图3为本发明实施例三提供的一种通用反馈控制器的结构示意图。如图3所示，该反馈控制器包括：

时序模型1，用于获取反馈控制系统的系统状态与历史状态信息，并根据系统状态和历史状态信息，获取与当前反馈控制系统匹配的系统特征向量；其中，时序模型用于可区分的输出与不同反馈控制系统对应的系统特征向量；

策略模型2，用于根据系统状态和当前系统特征向量，获取与系统状态匹配的控制量并输出，同时，将控制量反馈至时序模型。

具体地，时序模型1具体可以用于接收系统历史状态信息和系统状态，并输出系统特征向量。其中系统状态s_t包括待控量当前值和待控量目标值，系统历史状态信息{(s_t-1,a_t-1),(s_t-2,a_t-2)…}包括历史系统状态和历史输出的控制量。时序模型1根据系统历史状态信息{(s_t-1,a_t-1),(s_t-2,a_t-2)…}和系统状态s_t可以推测当前反馈控制场景，并输出相应的系统特征向量e_t。

具体地，策略模型2具体用于基于当前系统状态s_t和推测出的当前系统特征向量e_t进行决策输出当前反馈控制场景所需的控制量a_t，保证了反馈控制器的通用性与有效性。

本发明实施例所提供的通用反馈控制器可执行本发明任意实施例所提供的基于通用反馈控制器的反馈控制方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种通用反馈控制器的训练方法的流程图，本实施例可适用于可区分的对不同反馈控制系统的系统特征进行描述的情况。如图4所示，该训练方法包括：

S1、基于各种模拟器构建多个反馈控制场景的反馈控制系统。

具体地，模拟器可以包括MuJoCo、Pybullet等，通过模拟器构建不同反馈控制场景的大量反馈控制系统；其中，反馈控制场景可以包括机器人控制、无人机控制等，反馈控制系统可以包括多个场景的多种参数对应的大量反馈控制系统。

具体地，在构建反馈控制系统时，首先需要分别确定待控量和控制量的类型，例如，通过“油门”这一控制量对“车速”这一待控量进行控制。同时，还需要进一步确定待控量的目标值，也即，在一次完整的反馈控制过程，该待控量的目标数值。

S2、在多个反馈控制系统上同时收集样本。

具体地，同时执行多个反馈控制系统，并在多个反馈控制系统上同时收集样本。其中，样本可以包括系统状态、控制量、奖赏等；奖赏即奖赏函数，奖赏即关于当前的动作，或者当前系统和当前动作的匹配优劣的一个映射。

S3：基于收集到的样本，使用强化学习算法优化、训练通用反馈控制器。

具体地，强化学习算法可以包括软行动家-评论家(soft-actor-critic)优化方法。将收集到的样本代入强化学习算法中计算损失，通过反复采集样本代入强化学习算法对反馈控制器进行训练和优化，使损失逐渐减小，即反馈控制器可以通过更少的执行次数完成反馈控制系统的预设任务。

具体地，可以通过反馈控制器是否达成预设要求来判断对反馈控制器的训练是否完成。示例性地，预设要求可以设为奖赏达到一定值、反馈控制器能够在50次执行以内完成反馈控制系统预设的任务或步骤S2-S3执行一万次等，本实施例对此不进行限制。

本实施例的技术方案，通过获取反馈控制系统，时序模型对反馈控制系统进行识别并生成系统特征向量；其中，时序模型经过对大量与不同的反馈控制场景对应的反馈控制系统的采样、训练已经可以根据反馈控制系统和历史数据自动识别反馈控制场景；策略模型根据反馈控制系统和系统特征向量进行决策，生成控制量输出至反馈控制场景进行执行，可以实现自动快速的识别出不同反馈控制系统之间的系统特征差异，从而有效地分辨不同的反馈控制场景，并准确地运行反馈控制系统，解决了传统反馈控制器无法识别系统特征，需要针对各个反馈控制系统单独调整PID参数的问题，提升了反馈控制器的通用性与有效性，简单易用，能够灵活响应反馈控制需求。

实施例五

图5为本发明实施例五提供的可以用来实施本发明的实施例的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如实现本发明任意实施例所述的一种基于通用反馈控制器的反馈控制方法，或者，如本发明任意实施例所述的一种通用反馈控制器的训练方法。

在一些实施例中，本发明实施例所述的一种基于通用反馈控制器的反馈控制方法，或者一种通用反馈控制器的训练方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的一种基于通用反馈控制器的反馈控制方法，或者一种通用反馈控制器的训练方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行如本发明实施例所述的一种基于通用反馈控制器的反馈控制方法，或者一种通用反馈控制器的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种基于通用反馈控制器的反馈控制方法，其特征在于，包括：

获取并运行反馈控制系统；

获取所述反馈控制系统的系统状态；

其中，系统状态包括待控量当前值和待控量目标值；

将所述系统状态输入至预先训练的时序模型中，获取与所述系统状态匹配的当前系统特征向量；

其中，所述时序模型用于可区分的输出与不同反馈控制系统对应的系统特征向量；

根据所述系统状态和所述当前系统特征向量，得到相应的控制量并输出；

执行所述控制量，同时将所述控制量反馈至所述时序模型；

返回执行获取所述反馈控制系统的系统状态的操作，直至所述反馈控制系统的待控量当前值达到所述待控量目标值。

2.根据权利要求1所述的控制方法，其特征在于，将所述系统状态输入至预先训练的时序模型中，获取与所述系统状态匹配的当前系统特征向量，包括：将所述系统状态、历史隐状态和上一时刻控制量输入至时序模型，输出当前系统特征向量和下一时刻历史隐状态。

3.根据权利要求1所述的控制方法，其特征在于，根据所述系统状态和所述当前系统特征向量，得到相应的控制量并输出，包括：

将所述当前系统特征向量和所述系统状态共同输入至预先训练的策略模型中，获取与当前系统特征向量和所述系统状态匹配的控制量。

4.一种通用反馈控制器，其特征在于，包括：

时序模型，用于获取反馈控制系统的系统状态，并根据所述系统状态，获取与所述系统状态匹配的当前系统特征向量；其中，所述时序模型用于可区分的输出与不同反馈控制系统对应的系统特征向量；

策略模型，用于根据所述系统状态和所述当前系统特征向量，获取与所述系统状态匹配的控制量并输出，同时，将所述控制量反馈至所述时序模型。

5.根据权利要求4所述的通用反馈控制器，其特征在于，所述时序模型具体用于接收系统历史状态信息和系统状态，并输出系统特征向量。

6.一种通用反馈控制器的训练方法，其特征在于，包括：

S2：在多个反馈控制系统上同时收集样本；

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于实现权利要求1-3中任一项所述的反馈控制方法，或者使处理器执行时实现权利要求6所述的通用反馈控制器的训练方法。

8.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1-3中任一项所述的反馈控制方法，或者执行时实现权利要求6所述的通用反馈控制器的训练方法。

9.一种反馈控制系统，其特征在于，包括如权利要求4所述的通用反馈控制器。