CN112879220B - 风机控制方法、系统和可读存储介质 - Google Patents

风机控制方法、系统和可读存储介质 Download PDF

Info

Publication number
CN112879220B
CN112879220B CN202110281433.9A CN202110281433A CN112879220B CN 112879220 B CN112879220 B CN 112879220B CN 202110281433 A CN202110281433 A CN 202110281433A CN 112879220 B CN112879220 B CN 112879220B
Authority
CN
China
Prior art keywords
fan
target
yaw
value
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110281433.9A
Other languages
English (en)
Other versions
CN112879220A (zh
Inventor
李卫
许移庆
陈易
黄雄哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Electric Wind Power Group Co Ltd
Original Assignee
Shanghai Electric Wind Power Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Electric Wind Power Group Co Ltd filed Critical Shanghai Electric Wind Power Group Co Ltd
Priority to CN202110281433.9A priority Critical patent/CN112879220B/zh
Publication of CN112879220A publication Critical patent/CN112879220A/zh
Application granted granted Critical
Publication of CN112879220B publication Critical patent/CN112879220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D7/00—Controlling wind motors 
    • F03D7/02—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor
    • F03D7/0204—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor for orientation in relation to wind direction
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F03—MACHINES OR ENGINES FOR LIQUIDS; WIND, SPRING, OR WEIGHT MOTORS; PRODUCING MECHANICAL POWER OR A REACTIVE PROPULSIVE THRUST, NOT OTHERWISE PROVIDED FOR
    • F03D—WIND MOTORS
    • F03D7/00—Controlling wind motors 
    • F03D7/02—Controlling wind motors  the wind motors having rotation axis substantially parallel to the air flow entering the rotor
    • F03D7/04—Automatic control; Regulation
    • F03D7/042—Automatic control; Regulation by means of an electrical or electronic controller
    • F03D7/043—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic
    • F03D7/046—Automatic control; Regulation by means of an electrical or electronic controller characterised by the type of control logic with learning or adaptive control, e.g. self-tuning, fuzzy logic or neural network
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/30—Control parameters, e.g. input parameters
    • F05B2270/32—Wind speeds
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05—INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05B—INDEXING SCHEME RELATING TO WIND, SPRING, WEIGHT, INERTIA OR LIKE MOTORS, TO MACHINES OR ENGINES FOR LIQUIDS COVERED BY SUBCLASSES F03B, F03D AND F03G
    • F05B2270/00—Control
    • F05B2270/30—Control parameters, e.g. input parameters
    • F05B2270/329—Azimuth or yaw angle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Sustainable Development (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Sustainable Energy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Wind Motors (AREA)

Abstract

本申请提供一种风机控制方法、系统和可读存储介质。风机控制方法包括获取风电场中目标风机的当前风机状态，其中，风机状态包括目标风机所在环境的风速大小和风向，以及目标风机的偏航角度中的至少一个；根据当前风机状态，基于强化学习算法确定目标偏航动作，其中，强化学习算法的状态为目标风机的风机状态，强化学习算法的动作为目标风机的偏航动作，强化学习算法的奖励值是根据目标风机和受目标风机尾流影响的关联风机输出的总功率确定的；及执行目标偏航动作，对目标风机进行偏航控制。可以对风机进行准确有效的控制，提高风电场发电量。

Description

风机控制方法、系统和可读存储介质
技术领域
本申请涉及风电领域，尤其涉及一种风机控制方法、系统和可读存储介质。
背景技术
对于风电场，年发电量直接与经济利益挂钩，提升发电量能够缩短风电投资回报周期，有利于风电产业的长期健康发展。因此，使整个风电场的发电功率最大化显得尤为重要。通常情况下，场内单台风机控制策略往往只能保证单台风机的功率产出最大化，但大型风力电场中存在尾流效应，上游风机的运行状态可以显著影响下游多台风机的功率产出，对于地形平坦区域的风电场尤为明显。一般而言，可通过改变上风向风机的偏航角来实现尾流转向，从而降低尾流对下游风机的影响，从而提高整体发电量。但一些技术中，对上风向风机的偏航角控制策略容易失效(即偏航控制非最优控制)，导致风电场的发电功率不高，整体发电量受到影响。
发明内容
本申请提供一种风机控制方法、系统和可读存储介质，可以提高风电场发电量。
本申请提供一种风机控制方法，包括：
获取风电场中目标风机的当前风机状态，其中，所述风机状态包括所述目标风机所在环境的风速大小和风向，以及所述目标风机的偏航角度中的至少一个；
根据所述当前风机状态，基于强化学习算法确定目标偏航动作，其中，所述强化学习算法的状态为所述目标风机的所述风机状态，所述强化学习算法的动作为所述目标风机的所述偏航动作，所述强化学习算法的奖励值是根据所述目标风机和受所述目标风机尾流影响的关联风机输出的总功率确定的；及
执行所述目标偏航动作，对所述目标风机进行偏航控制。
本申请提供一种风机控制系统，包括一个或多个处理器，用于实现如上任一项所述的风机控制方法。
本申请的提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现如上任一项所述的方法。
在一些实施例中，本申请的风机控制方法根据目标风机的当前风机状态，基于强化学习算法来确定目标风机的目标偏航动作，强化学习算法根据目标风机的当前风机状态进行学习，可以使学习到的偏航控制策略为符合目标风机实际运行状况的控制策略，较为准确，避免了控制策略失效导致的风电场发电量受影响的问题，提高了风电场的发电量。
附图说明
图1是强化学习系统的示意图；
图2是本申请的一个实施例提供的基于强化学习的风电场系统的示意图；
图3是本申请的一个实施例提供的风机控制方法的流程图；
图4是本申请一个实施例中的目标风机的部分状态转换示意图；
图5是本申请一个实施例提供的风机控制系统的模块框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
在对本申请的风机控制方法进行介绍之前，先对强化学习系统进行介绍。图1是强化学习系统的示意图。
参见图1，强化学习系统可以包括智能体和环境。智能体表示运行强化学习算法的执行体，环境表示强化学习算法要研究的对象。智能体观察并获得环境的状态S，根据环境的状态S以及一定的策略，确定要采取的动作A。动作A作用于环境，会改变环境的状态。同时，基于动作A，环境会输出一个反馈给智能体，该反馈可以称作奖励值。智能体根据获得的奖励值，判断之前的动作A是否正确，进而判断是否需要调整策略。智能体通过反复执行：获取环境的状态S、确定动作A、收到反馈R，可以不断更新策略，最终学习到使奖励值累积最大化的策略。
图2是本申请的一个实施例提供的基于强化学习的风电场系统的示意图。
参见图2，风电场系统包括风机和多智能体模型。其中，风机可以作为环境，包括风机1、2……n。每一台风机和受其尾流影响的关联风机可以聚类为一个风机组。例如风机1作为上风向的风机时，风机1的下风向的风机包括风机2、3，风机1对风机2、3可能产生尾流影响，则风机1、2、3可以聚类为一个风机组，风机2、3则是受风机1尾流影响的关联风机。在一些实施例中，可以将每一台风机的下风向的一定区域范围内的风机划分为受目标风机尾流影响的关联风机。
在一些实施例中，多智能体模型包括给风机1、2……n建立的智能体1、2……n。风机1、2……n可以和智能体1、2……n一一对应。每个智能体可以用于在对应的风机作为上风向风机时，获取环境中对应风机的状态，根据获取的对应风机的状态，基于一定的策略确定作用于对应风机的动作，并根据环境中对应风机以及关联风机的反馈确定奖励值，对策略进行调整，从而学习到可以使对应风机以及受该风机尾流影响的关联风机输出最大总功率的策略。
图3是本申请的一个实施例提供的风机控制方法的流程图。参见图2和图3，本申请的风机控制方法包括步骤31至步骤33。
步骤S31，获取风电场中目标风机的当前风机状态，其中，当前风机状态包括目标风机所在环境的当前风速大小和当前风向，以及目标风机的当前偏航角度中的至少一个。在本实施例中，目标风机包括一个风机组中处于上风向的风机，该风机对风机组中的其他风机会产生尾流影响。在一些实施例中，当前风机状态包括目标风机所在环境的当前风速大小和当前风向，以及目标风机的当前偏航角度。
步骤S32，根据当前风机状态，基于强化学习算法确定目标偏航动作。
此处，先对本申请的强化学习算法进行介绍。在一些实施例中，强化学习算法的状态为目标风机的风机状态，强化学习算法的动作为目标风机的偏航动作，强化学习算法的奖励值是根据目标风机和受目标风机尾流影响的关联风机输出的总功率确定的。
在一些实施例中，目标风机的风机状态包括目标风机所在环境的风速大小和风向，以及目标风机的偏航角度。目标风机的风机状态不同，目标风机和受目标风机尾流影响的关联风机输出的总功率可能会不同。例如，在目标风机所在环境的风速大小和风向保持不变的情况下，增加或减少目标风机的偏航角度，可能会使目标风机输出的功率发生变化，同时，目标风机对关联风机的尾流影响也可能发生变化，从而使得关联风机输出的功率发生变化，如此，目标风机和受目标风机尾流影响的关联风机输出的总功率发生变化。又例如，在目标风机的偏航角度以及目标风机所在环境的风向不发生改变的情况下，若目标风机所在环境的风速大小发生改变，则也可能会使目标风机和受目标风机尾流影响的关联风机输出的总功率发生变化。
在一些实施例中，目标风机的偏航动作包括增加目标风机的偏航角度，或减小目标风机的偏航角度，或保持目标风机的偏航角度不变。每控制目标风机执行一次偏航动作(例如增加或减小目标风机的偏航角度)，目标风机的风机状态可能会变化一次，从而可能会使得目标风机和关联风机输出的总功率发生变化(增加或减少)。每次增加或减少的目标风机的偏航角度可以是单位偏航角度。单位偏航角度可以表示目标风机偏航角度变化的最小单位，即在目标风机当前的偏航角度基础上，单次可以增加或减小的偏航角度。该单位偏航角度可以预先设置，且可以根据目标风机的实际情况设置为合适的值，以便对目标风机和关联风机输出的总功率的变化进行准确控制。
在一些实施例中，基于每一个偏航动作所引起的目标风机和受目标风机尾流影响的关联风机输出的总功率的变化，可以确定相应偏航动作的奖励值，进而可以使目标风机对应的智能体进行策略调整。
在一些实施例中，上述目标偏航动作可以表示目标风机对应的智能体在获取到目标风机的当前风机状态后，根据当前风机状态和当前已学习到的策略确定的作用于目标风机的偏航动作。基于当前风机状态下目标风机和关联风机输出的总功率，目标偏航动作可以使目标风机和关联风机输出的总功率预期累积增加的最多，如此，通过控制目标风机执行目标偏航动作，可以使目标风机运行在最优的状态，从而使得目标风机所在风机组可以输出最大的总功率，提高风电场的发电量。以下通过举例进行说明。
图4是本申请一个实施例中的目标风机的部分状态转换示意图。
在图4中，假设S11、S12……S16表示目标风机的不同风机状态，A1、A2和A3表示不同的偏航动作。风机状态S11为目标风机的当前风机状态。在目标风机的当前风机状态下，目标风机可以执行两个偏航动作A1、A2中的其中一个。
假设目标风机从风机状态S11转换到风机状态S12(执行偏航动作A1，例如将目标风机偏航角度增加单位偏航角度)，目标风机和关联风机输出的总功率预期减少100瓦；目标风机从风机状态S12转换到风机状态S13(执行偏航动作A3，例如保持目标风机偏航角度不变)，目标风机和关联风机输出的总功率预期增加400瓦；目标风机从风机状态S13转换到风机状态S14(执行偏航动作A3，例如保持目标风机偏航角度不变)，目标风机和关联风机输出的总功率预期增加300瓦。则目标风机从风机状态S11转换到风机状态S14，目标风机和关联风机输出的总功率预期累积增加600瓦。
假设目标风机从风机状态S11转换到风机状态S15(执行偏航动作A2，例如将目标风机偏航角度减小单位偏航角度)，目标风机和关联风机输出的总功率预期增加500瓦；目标风机从风机状态S15转换到风机状态S16(执行偏航动作A3，例如保持目标风机偏航角度不变)，目标风机和关联风机输出的总功率预期不增加。则目标风机从风机状态S11转换到风机状态S16，目标风机和关联风机输出的总功率预期累积增加500瓦。
通过上述相关描述可以看出，执行偏航动作A1，目标风机从风机状态S11逐次转换到风机状态S14时，目标风机和关联风机输出的总功率预期累积增加的较多，因此，目标风机对应的智能体可以将偏航动作A1确定为目标偏航动作。
在一些实施例中，若目标风机在当前风机状态下对应的目标偏航动作是保持目标风机的偏航角度不变，表示当前风机状态下对应的其他偏航动作均会使目标风机和关联风机输出的总功率预期累积减少或预期累积增加为0，因此，可以将目标偏航动作确定为保持目标风机的偏航角度不变。
重新参见图2和图3，在一些实施例中，可以为每个风机建立Q值表，Q值表包括风机状态、偏航动作以及Q值的对应关系。以目标风机的Q值表为例，Q值表中Q值可以用于表示目标风机的各风机状态下各偏航动作的预期价值。其中，预期价值可以用来衡量在目标风机的各风机状态下，执行各偏航动作后，目标风机和关联风机输出的总功率的预期累积变化大小。具体的，可以是Q值为正数，表示目标风机和关联风机输出的总功率预期增加，且Q值越大，输出的总功率预期累积增加的越多；而Q值为负数，表示目标风机和关联风机输出的总功率预期会减少，且Q值越小，目标风机和关联风机输出的总功率预期累积减少的越多。
在一些实施例中，目标风机对应的智能体获取到目标风机的当前风机状态后，根据当前风机状态，在目标风机对应的Q值表中查询到当前风机状态下对应的具有最大Q值的偏航动作后，即可将该动作确定为目标风机的目标偏航动作。
表格1示例性的给出了本申请一个实施例提供的目标风机的部分Q值表。
表格1
A1 A2 A3
S11 Q(S11,A1) Q(S11,A2) Q(S11,A3)
S12 Q(S12,A1) Q(S12,A2) Q(S12,A3)
S13 Q(S13,A1) Q(S13,A2) Q(S13,A3)
S14 Q(S14,A1) Q(S14,A2) Q(S14,A3)
参见表格1。表格1中第一行的A1、A2、A3可以表示作用于目标风机的不同偏航动作，例如A1可以表示将目标风机的偏航角度增加单位偏航角度，A2表示将目标风机的偏航角度减小单位偏航角度，A3表示保持目标风机的偏航角度不变；表格1中第一列的S11、S12、S13可以表示目标风机的不同风机状态，例如S11可以表示目标风机所处位置的风向为偏北风，风速为8米每秒，目标风机的偏航角度为左偏30度；S12可以表示目标风机所处位置的风向为偏西北风，风速为5米每秒，目标风机的偏航角度为右偏10度。
表格1中的行列交叉的单元格中的Q值大小，用于衡量在相应行列对应的风机状态下，控制目标风机执行相应行列对应的偏航动作后，目标风机和关联风机输出的总功率的预期累积变化大小。例如，假设Q(S11,A1)的取值为0，Q(S11,A2)的取值为5，Q(S11,A3)的取值为-1，则可以表示目标风机的当前风机状态为风机状态S11时，执行偏航动作A1后，目标风机和关联风机输出的总功率的预期没有变化；执行偏航动作A2后，目标风机和关联风机输出的总功率预期累积会增加；执行偏航动作A3后，目标风机和关联风机输出的总功率的预期累积变化量会减少，智能体可以确定偏航动作A2为目标偏航动作。在目标风机执行偏航动作A2后，假设目标风机从风机状态S11转换到风机状态S13(此时风机状态S13为当前风机状态)，此处又假设Q(S13,A1)的取值为-1，Q(S13,A2)的取值为2，Q(S13,A3)的取值为4，则可以确定执行偏航动作A3后，目标风机和关联风机输出的总功率预期累积增加的最多，因此可以确定偏航动作A3为目标偏航动作。
在一些实施例中，若目标风机不会对其他风机产生尾流影响，例如目标风机的下风向的一定区域范围内没有风机，此时，可以采取单机功率最大化的控制策略，对目标风机进行偏航控制。
步骤S33，执行目标偏航动作，对目标风机进行偏航控制。
在一些实施例中，对于目标风机所在的风机组，可以将目标风机设置为可控状态(可以进行偏航控制)，关联风机设置为动作锁定状态(不可以进行偏航控制)，如此，在目标风机执行偏航动作，以检测该偏航动作对下风向风机的尾流影响时，可以防止关联风机同时也在执行偏航动作(可能会对同风机组的其他风机也产生尾流影响)，导致无法准确检测目标风机的偏航动作对其下风向风机的尾流影响。
在一些实施例中，若目标偏航动作使得目标风机的偏航角度超出偏航角度阈值范围，控制目标风机的偏航角度在偏航角度阈值范围内。此处，阈值范围可以用于限定目标风机最大允许的偏航角度。例如若目标偏航动作是在目标风机的当前偏航角度基础上增加单位偏航角度，但在目标风机的当前偏航角度基础上增加单位偏航角度后，目标风机的偏航角度会超过最大允许的偏航角度。这种情况下，可以对目标风机需要增加的偏航角度进行修正，例如减小目标风机需要增加的偏航角度，使得目标风机在当前偏航角度基础上增加修正的偏航角度后，目标风机的偏航角度在偏航角度阈值范围内。如此，可以防止执行偏航动作后，目标风机的偏航角度超过最大允许范围，避免目标风机被损坏，安全性较高。在其他一些实施例中，若确定执行目标偏航动作后，目标风机的偏航角度会超过最大阈值范围，也可以不执行目标偏航动作。
在一些实施例中，执行目标偏航动作后，可以确定该目标偏航动作对应的奖励值。以下对目标偏航动作的奖励值确定进行说明。
在一些实施例中，可以根据目标风机和受目标风机尾流影响的关联风机输出的总功率确定强化学习算法的奖励值，以使目标风机对应的智能体根据该奖励值进行策略调整，最终学习到在目标风机的当前风机状态下，可以使目标风机和关联风机输出的总功率累积增加最多的目标偏航动作确定策略。其中，目标风机和受目标风机尾流影响的关联风机输出的总功率包括：在执行目标偏航动作之前，风机和关联风机输出的第一实际输出总功率；以及在执行目标偏航动作之后，风机和关联风机输出的第二实际输出总功率。在一些实施例中，可以根据第二实际输出总功率相对于第一实际输出总功率的变化，来确定奖励值。
在一些实施例中，可以在控制目标风机执行目标偏航动作之前，分别获取目标风机和关联风机实际输出的第一功率；同时，在控制目标风机执行目标偏航动作之后，等待适当的延迟时间(包括尾流传播延迟时间以及目标风机和尾流风机的响应时间)，分别获取目标风机和关联风机输出的第二功率。根据获取到的第一功率、第二功率和价值函数，计算执行目标偏航动作之前，目标风机和关联风机输出的第一实际输出总功率，以及执行目标偏航动作之后，目标风机和关联风机输出的第二实际输出总功率，以根据第二实际输出总功率相对于第一实际输出总功率的变化，确定目标偏航动作的奖励值。
在一些实施例中，计算第一实际输出总功率的价值函数可以定义为表达式(1)：
Figure BDA0002978633330000091
i表示第i台风机；
clusteri表示以第i台风机作为目标风机的风机组；
j表示风机组clusteri内除第i台风机(目标风机)外的其他风机(关联风机)；
t表示执行目标偏航动作之前的时刻；
Pi,t表示第i台风机(目标风机)输出的第一功率；
Pj,t表示风机组内除第i台风机(目标风机)之外的其他各风机(关联风机)输出的第一功率；
Vi(t)表示第i台风机(目标风机)和其他风机(关联风机)的第一实际输出总功率。
在一些实施例中，计算第二实际输出总功率的价值函数可以定义为表达式(2)：
Figure BDA0002978633330000102
表达式(2)和表达式(1)基本类似，区别在于：
t+1表示执行目标偏航动作之后的时刻；
Pi,t+1表示第i台风机(目标风机)输出的第二功率；
Pj,t+1表示风机组内除第i台风机(目标风机)之外的其他各风机(关联风机)输出的第二功率；
Vi(t+1)表示第i台风机(目标风机)和其他风机(关联风机)的第二实际输出总功率。
在一些实施例中，在当前风机组中，可以在获取到目标风机和关联风机的第二功率后，解锁关联风机，以便于在其他的风机组中，将当前风机组内的关联风机作为其他风机组的目标风机时，可以对关联风机进行偏航控制。
在一些实施例中，计算奖励值的奖励函数可以定义为表达式(3)：
Figure BDA0002978633330000101
Vi(t+1)表示第i台风机(目标风机)和其他风机(关联风机)的第二实际输出总功率；
Vi(t)表示第i台风机(目标风机)和其他风机(关联风机)的第一实际输出总功率；
Ri，t+1表示以第i台风机作为目标风机，目标风机执行目标偏航动作后，根据环境的反馈(目标风机和关联风机实际输出的功率)，由智能体确定的奖励值。
从表达式(3)可以看出，若第二实际输出总功率与第一实际输出总功率的差值大于阈值δ，确定奖励值为第一奖励值(例如为1)；若第二实际输出总功率与第一实际输出总功率的差值的绝对值小于阈值δ，确定奖励值为第二奖励值(例如为0)；否则，确定奖励值为第三奖励值(例如-1)。第一奖励值、第二奖励值和第三奖励值不相同，且阈值δ可以根据实际情况预先设置。不同的奖励值可以体现目标风机和关联风机实际输出的总功率的不同变化。
本申请中，根据目标风机和受目标风机尾流影响的关联风机实际输出的总功率确定的奖励值，可以为在当前风机状态下，控制目标风机执行目标偏航动作后，实际获得的奖励值。而在当前风机状态下，控制目标风机执行目标偏航动作之前，可以对奖励值进行估计，相应的奖励值为估计的奖励值。Q值表中初始化的各Q值(各风机状态下各偏航动作的预期价值)可以是根据估计的奖励值来确定的。基于此，可以根据实际获得的奖励值，确定在当前风机状态下，目标偏航动作对应的Q值，以更新Q值，以使Q值表中的各Q值可以与各风机状态下各偏航动作的实际价值相同或接近。其中，实际价值可以用来衡量在目标风机的各风机状态下，执行各偏航动作后，目标风机和关联风机输出的总功率实际累积变化大小。
在对Q值表的更新进行说明之前，先对本申请的一些实施例中的Q值确定进行说明。以图4中的目标风机从风机状态S11逐次转换至风机状态S14为例，假设：
控制目标风机执行偏航动作A1，使目标风机从风机状态S11转换到风机状态S12时，能获取到的预期奖励值为R1；
控制目标风机执行偏航动作A3，使目标风机从风机状态S12转换到风机状态S13时，能获取到的预期奖励值为R2；
控制目标风机执行偏航动作A3，使目标风机从风机状态S13转换到风机状态S14时，能获取到的预期奖励值为R3。
其中，预期奖励值可以表示在还未执行偏航动作之前，对执行偏航动作可能获取到的奖励值进行的预期估计。
根据强化学习算法的原理可知：
在风机状态S11下，执行偏航动作A1对应的Q值可以表达为表达式(4)：
Q(S11,A1)＝R1+θ*R2+θ2*R3 (4)
在风机状态S12下，执行偏航动作A3对应的Q值可以表达为表达式(5)：
Q(S12,A3)＝R2+θ*R3 (5)
在风机状态S13下，执行偏航动作A3对应的Q可以表达为表达式(6)：
Q(S13,A3)＝R3 (6)
其中，θ表示奖励衰减系数,可以大于或等于0，且小于或等于1。θ越小，表示相对于后续预期奖励值，目标风机在当前风机状态执行目标偏航动作对应的预期奖励值的权重较高，反之，后续预期奖励值的权重较高。例如当前风机状态为风机状态S11时，执行目标偏航动作A1对应的Q(S11,A1)值中，若θ越小(例如0.1)，表示当前预期奖励值R1的权重越高，若θ为1，则当前预期奖励值R1和后续预期奖励值R2、R3的权重相同。又例如，当前风机状态为风机状态S12时，执行目标偏航动作A3对应的Q(S12,A3)值中，若θ越小(例如0.1)，表示当前预期奖励值R2的权重越高，若θ为1，则当前预期奖励值R2和后续预期奖励值R3的权重相同。
假设当前风机状态为风机状态S11，根据表达式(4)、(5)、(6)可以得知，执行偏航动作A1对应的Q值可以表达为表达式(7)：
Q(S11,A1)＝R1+θ*Q(S12,A3) (7)
当目标风机执行偏航动作A1后，还未执行偏航动作A3时，根据环境的反馈(目标风机和关联风机实际输出的功率)，可以确定在风机状态S11执行偏航动作A1，使目标风机转换到风机状态S12后，实际可以获得的奖励值为R1’。因此，基于实际获取的奖励值R1’，可以将表达式(7)中的R1替换为R1’，以使Q(S11,A1)和实际价值更相近。需要说明的是，由于此处还未控制目标风机执行偏航动作A1之后的其他偏航动作，因此表达式(7)中的Q(S12,A3)依然为预期的取值。可以重复多次控制目标风机从风机状态S11逐次转换至风机状态S14，根据实际获得的奖励值，对Q(S12,A3)和Q(S13,A3)更新，从而可以基于更新后的Q(S12,A3)和Q(S13,A3)，再对Q(S11,A1)进行更新。
基于以上描述，本申请的一些实施例中，Q值更新公式也可以表达为表达式(8)：
Qt+1(st，at)＝Qt(st，at)+β[Rt+1+θ*maxQt+1(st+1，at+1)-Qt(st，at)] (8)
Qt(st，at)表示目标风机在当前风机状态下执行目标偏航动作之前，未更新的Q值；
Qt+1(st，at)表示目标风机在当前风机状态下执行目标偏航动作之后，更新后的Q值；
maxQt+1(st+1，at+1)表示目标风机在当前风机状态下，执行目标偏航动作从当前风机状态切换到下一个风机状态后，下一个风机状态下对应的最大Q值(在本申请中，该具有最大Q值的偏航动作即为在下一个风机状态，需要执行的偏航动作)；
Rt+1表示执行目标风机在当前风机状态下执行目标偏航动作后，实际获得的奖励值；
β表示学习率，取值可以大于或等于0，且小于或等于1。取值越大，Q值的更新越快，反之，更新越慢；
θ表示奖励衰减系数,具体可参见上述相关描述，此处不赘述。
在一些实施例中，建立Q值表时，可以将Q值表中的各Q值初始化为0。在目标风机所在的风机组运行初期，由目标风机对应的智能体随机确定当前风机状态下对应的目标偏航动作，以探索可以使目标风机和关联风机输出最大总功率的目标偏航动作(即在当前风机状态下，可以使目标风机和关联风机输出的总功率累积增加的最多的偏航动作)，并在探索过程中，对Q值表中的Q进行更新。如此，在探索完成后，目标风机对应的智能体可以选择当前风机状态下具有最大Q值的偏航动作，以作为目标偏航动作，使目标风机和关联风机输出的总功率最大。
在一些实施例中，本申请的风机控制方法根据目标风机的当前风机状态，基于强化学习算法来确定目标风机的目标偏航动作，强化学习算法可以是在线学习算法，根据目标风机的实际运行环境以及目标风机的实际特性进行学习，可以使学习到的偏航控制策略为符合目标风机实际状况的控制策略，较为准确，从而可以根据学习到的偏航控制策略对风机进行准确有效的控制，避免了控制策略失效导致的风电场发电量受影响的问题，提高了风电场的发电量。相对于一些技术通过离线仿真模型来寻找对目标风机的最优偏航控制，例如先对目标风机建立仿真模型，然后再结合高精度的风电场尾流CFD(ComputationalFluid Dynamics)模型对风电场流场建模，并建立整场功率产出最大化的目标函数，然后采用高效的优化算法(如序列最小二乘或贝叶斯优化等)通过离线仿真的方式寻找最优偏航控制角。在这种离线仿真方法中，由于尾流模型的高度复杂性，且精度越高的模型仿真计算需要越高的算力支持，使得需要耗费大量的仿真计算时间，但若降低模型精度，则又可能导致控制策略失效。而且，现有的寻优策略一般需假定外界条件处于稳态，这与实际情况显然不符，同时风电场模型也没有考虑到实际风电场中尾流传播的时延特性和风机的动态特性，这些无疑都会降低最终的实际控制效果。本申请的风机控制方法无需精确的风电场尾流模型和风机模型，避免了因模型偏差造成的控制策略失效，同时直接采用在线学习方式，避免了大量离线仿真计算。基于强化学习算法能自主学习最优偏航策略，实现策略库的自我进化，同时可以将风电场尾流传播的时延特性以及风机动态特性考虑在内，提高尾流协调控制策略的实际效用。
图5是本申请一个实施例提供的风机控制系统50的模块框图。
风机控制系统50包括一个或多个处理器500，用于实现如上描述的风机控制方法。在一些实施例中，风机控制系统50可以包括计算机可读存储介质509，计算机可读存储介质可以存储有可被处理器500调用的程序，可以包括非易失性存储介质。在一些实施例中，风机控制系统50可以包括内存508和接口507。在一些实施例中，风机控制系统50还可以根据实际应用包括其他硬件。
本申请实施例的计算机可读存储介质509，其上存储有程序，该程序被处理器500执行时，用于实现如上描述的风机控制方法。
本申请可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (8)

1.一种风机控制方法，其特征在于，包括：
获取风电场中目标风机的当前风机状态，其中，所述当前风机状态包括所述目标风机所在环境的当前风速大小和当前风向，以及所述目标风机的当前偏航角度中的至少一个；
根据所述当前风机状态，基于强化学习算法确定目标偏航动作，包括：根据所述当前风机状态，在所述目标风机对应的Q值表中查询所述当前风机状态对应的具有最大Q值的偏航动作，作为所述目标偏航动作，其中，Q值用于表示目标风机的各风机状态下各偏航动作的预期价值，所述Q值表包括所述风机状态、所述偏航动作以及Q值的对应关系，所述强化学习算法的状态为所述目标风机的风机状态，所述强化学习算法的动作为所述目标风机的偏航动作，所述强化学习算法的奖励值是根据所述目标风机和受所述目标风机尾流影响的关联风机输出的总功率确定的；
执行所述目标偏航动作，对所述目标风机进行偏航控制；
根据第一实际输出总功率以及第二实际输出总功率，确定所述目标偏航动作的奖励值，其中，所述第一实际输出总功率为在执行所述目标偏航动作之前的所述风机和所述关联风机输出的总功率，所述第二实际输出总功率为在执行所述目标偏航动作之后的所述风机和所述关联风机输出的总功率；及
根据所述奖励值，确定在所述当前风机状态下，所述目标偏航动作对应的Q值，以更新所述Q值表。
2.如权利要求1所述的风机控制方法，其特征在于，所述根据所述第一实际输出总功率以及所述第二实际输出总功率，确定所述目标偏航动作的奖励值，包括：
若所述第二实际输出总功率与所述第一实际输出总功率的差值大于阈值，确定所述奖励值为第一奖励值；
若所述第二实际输出总功率与所述第一实际输出总功率的差值的绝对值小于所述阈值，确定所述奖励值为第二奖励值；
否则，确定所述奖励值为第三奖励值；
其中，所述第一奖励值、所述第二奖励值和所述第三奖励值不相同。
3.如权利要求1所述的风机控制方法，其特征在于，所述偏航动作包括：
增加所述目标风机的偏航角度；
减小所述目标风机的偏航角度；
保持所述目标风机的偏航角度不变。
4.如权利要求3所述的风机控制方法，其特征在于，所述增加所述目标风机的偏航角度，包括：将所述目标风机的偏航角度增加单位偏航角度。
5.如权利要求3所述的风机控制方法，其特征在于，所述减小所述目标风机的偏航角度，包括：将所述目标风机的偏航角度减小单位偏航角度。
6.如权利要求3所述的风机控制方法，其特征在于，在执行所述目标偏航动作之前，所述风机控制方法还包括：
若所述目标偏航动作使得所述目标风机的偏航角度超出偏航角度阈值范围，控制所述目标风机的偏航角度在所述偏航角度阈值范围内。
7.一种风机控制系统，其特征在于，包括一个或多个处理器，用于实现如权利要求1-6中任一项所述的风机控制方法。
8.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现如权利要求1-6中任一项所述的风机控制方法。
CN202110281433.9A 2021-03-16 2021-03-16 风机控制方法、系统和可读存储介质 Active CN112879220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110281433.9A CN112879220B (zh) 2021-03-16 2021-03-16 风机控制方法、系统和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110281433.9A CN112879220B (zh) 2021-03-16 2021-03-16 风机控制方法、系统和可读存储介质

Publications (2)

Publication Number Publication Date
CN112879220A CN112879220A (zh) 2021-06-01
CN112879220B true CN112879220B (zh) 2022-11-01

Family

ID=76042578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110281433.9A Active CN112879220B (zh) 2021-03-16 2021-03-16 风机控制方法、系统和可读存储介质

Country Status (1)

Country Link
CN (1) CN112879220B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114017904B (zh) * 2021-11-04 2023-01-20 广东电网有限责任公司 一种建筑物hvac系统的运行控制方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3296563A1 (en) * 2016-04-20 2018-03-21 Beijing Etechwin Electric Co., Ltd. Wind turbine and operational control method and device therefor
CN107834603A (zh) * 2017-11-29 2018-03-23 上海电气风电集团有限公司 一种风电场机组网络化实时控制方法和系统
CN107869420A (zh) * 2016-09-27 2018-04-03 远景能源（江苏）有限公司 风力涡轮机发电场的风力涡轮机偏航控制方法及系统
CN108953060A (zh) * 2018-03-30 2018-12-07 浙江大学 基于激光雷达测风仪的风电场场级偏航控制方法
CN110397553A (zh) * 2019-07-26 2019-11-01 山东中车风电有限公司 一种不基于模型的风电场尾流管理方法及系统
WO2020097944A1 (zh) * 2018-11-18 2020-05-22 浙江大学 一种基于真实功率曲线的风电机组偏航误差固有偏差辨识及补偿方法
CN111881572A (zh) * 2020-07-24 2020-11-03 浙江大学 一种基于多目标优化的风电场协同偏航智能控制方法
CN111980857A (zh) * 2020-08-26 2020-11-24 上海电气风电集团股份有限公司 风电场的闭环控制方法及其装置及计算机可读存储介质
CN112149363A (zh) * 2020-09-03 2020-12-29 南京理工大学 基于二维Jensen模型和双光束激光雷达的尾流区风机功率预测方法
CN112177849A (zh) * 2019-07-01 2021-01-05 北京金风科创风电设备有限公司 风力发电机组的偏航控制方法和装置
CN112459965A (zh) * 2020-11-18 2021-03-09 上海电气风电集团股份有限公司 考虑风电场尾流的偏航优化控制方法、装置、设备及介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9617975B2 (en) * 2012-08-06 2017-04-11 General Electric Company Wind turbine yaw control
US10247171B2 (en) * 2016-06-14 2019-04-02 General Electric Company System and method for coordinating wake and noise control systems of a wind farm
CN110945236B (zh) * 2017-05-31 2022-02-18 维斯塔斯风力系统集团公司 具有改进的风向跟踪的风力涡轮机偏航控制系统
CN111886412A (zh) * 2018-03-29 2020-11-03 菱重维斯塔斯海上风力有限公司 风力涡轮发电机和控制风力涡轮发电机的方法
CN110318947B (zh) * 2018-03-30 2020-06-09 北京金风科创风电设备有限公司 风力发电机组的偏航控制方法、设备及系统
CN109026530B (zh) * 2018-07-20 2019-10-11 国网冀北电力有限公司迁西县供电分公司 一种风力发电机组智能学习方法
CN111120202B (zh) * 2018-10-31 2021-07-20 北京金风科创风电设备有限公司 风力发电机组的偏航角度调整方法、装置、介质以及设备
CN111980855B (zh) * 2019-05-22 2022-11-11 新疆金风科技股份有限公司 风力发电机组的偏航控制方法、装置、设备及存储介质
CN110397554A (zh) * 2019-09-05 2019-11-01 国电联合动力技术有限公司 智能寻优的风电机组偏航控制方法、装置及风电机组
CN110685857B (zh) * 2019-10-16 2021-10-15 湘潭大学 一种基于集成学习的山地风电机组行为预测模型
CN111219295B (zh) * 2020-03-02 2020-12-08 南京信息工程大学 一种风力发电机风功率曲线补偿控制装置及方法
CN111682592B (zh) * 2020-05-13 2022-04-01 九江学院 一种分布式风电场功率优化方法及装置
CN112162564B (zh) * 2020-09-25 2021-09-28 南京大学 基于模仿学习和强化学习算法的无人机飞行控制方法
CN112096576B (zh) * 2020-11-10 2021-02-23 南京理工大学 基于尾流场优化控制的多台风机阵列年发电量提升方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3296563A1 (en) * 2016-04-20 2018-03-21 Beijing Etechwin Electric Co., Ltd. Wind turbine and operational control method and device therefor
CN107869420A (zh) * 2016-09-27 2018-04-03 远景能源（江苏）有限公司 风力涡轮机发电场的风力涡轮机偏航控制方法及系统
CN107834603A (zh) * 2017-11-29 2018-03-23 上海电气风电集团有限公司 一种风电场机组网络化实时控制方法和系统
CN108953060A (zh) * 2018-03-30 2018-12-07 浙江大学 基于激光雷达测风仪的风电场场级偏航控制方法
WO2020097944A1 (zh) * 2018-11-18 2020-05-22 浙江大学 一种基于真实功率曲线的风电机组偏航误差固有偏差辨识及补偿方法
CN112177849A (zh) * 2019-07-01 2021-01-05 北京金风科创风电设备有限公司 风力发电机组的偏航控制方法和装置
CN110397553A (zh) * 2019-07-26 2019-11-01 山东中车风电有限公司 一种不基于模型的风电场尾流管理方法及系统
CN111881572A (zh) * 2020-07-24 2020-11-03 浙江大学 一种基于多目标优化的风电场协同偏航智能控制方法
CN111980857A (zh) * 2020-08-26 2020-11-24 上海电气风电集团股份有限公司 风电场的闭环控制方法及其装置及计算机可读存储介质
CN112149363A (zh) * 2020-09-03 2020-12-29 南京理工大学 基于二维Jensen模型和双光束激光雷达的尾流区风机功率预测方法
CN112459965A (zh) * 2020-11-18 2021-03-09 上海电气风电集团股份有限公司 考虑风电场尾流的偏航优化控制方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于PLC控制的风能发电站风电场运行监测系统;陈琴;《数字技术与应用》;20161015(第10期);全文 *
基于尾流模型的风场偏航控制优化研究;宁旭等;《海洋工程》;20200930(第05期);全文 *
机组间偏航和有功功率综合协调的海上风电场增效方法;吴亚联等;《电力系统自动化》;20170410;第41卷(第07期);全文 *

Also Published As

Publication number Publication date
CN112879220A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109737008A (zh) 风电机组智能变桨控制系统及方法、风电机组
CN113315164B (zh) 无功电压控制方法和装置、介质以及计算装置
CN117369244B (zh) 一种基于焊接机器人焊枪位置控制优化方法
CN112879220B (zh) 风机控制方法、系统和可读存储介质
CN110397553B (zh) 一种不基于模型的风电场尾流管理方法及系统
CN115977874A (zh) 基于激光测风雷达的风电机组偏航自适应校准方法及系统
CN113659176B (zh) 一种氢燃料电池自适应控制方法和装置
CN116378897B (zh) 一种风电场偏航角控制方法及装置
CN116865343A (zh) 分布式光伏配电网的无模型自适应控制方法、装置及介质
CN117251995A (zh) 基于可变遗忘因子最小二乘法的双馈风机惯量评估方法
CN111997833A (zh) 基于激光测风前馈的风电机组复合智能变桨控制方法
CN116243604A (zh) 污水脱氮过程自适应神经网络滑模控制方法、装置及介质
CN116231747A (zh) 分布式光伏逆变器控制方法、装置及存储介质
CN113090453B (zh) 风力发电机组的控制方法、装置和风力发电机组
CN115085262A (zh) 基于时空不确定性的风电场调频控制方法及装置
CN114944659A (zh) 一种风光储联合电站自动控制方法及系统
Kazda et al. Framework of multi-objective wind farm controller applicable to real wind farms
CN114614490A (zh) 无功电压控制方法和装置、介质以及计算装置
Li et al. Data-Driven Control for Proton Exchange Membrane Fuel Cells: Method and Application
CN117977725B (zh) 可再生能源电力系统实时发电调控方法及相关装置
CN114285098B (zh) 功率控制方法、功率控制系统和可读存储介质
CN117311159B (zh) 控制系统的自适应调节方法、装置、存储介质及电子设备
CN117117858B (zh) 一种风电机组功率预测方法、装置及存储介质
CN117856284B (zh) 基于深度强化学习的电网频率的控制方法及装置
CN111346688B (zh) 一种小麦着水控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant