CN115478948A - 基于无模型强化学习的内燃机起动控制策略、控制系统及汽车 - Google Patents

基于无模型强化学习的内燃机起动控制策略、控制系统及汽车 Download PDF

Info

Publication number
CN115478948A
CN115478948A CN202211051698.0A CN202211051698A CN115478948A CN 115478948 A CN115478948 A CN 115478948A CN 202211051698 A CN202211051698 A CN 202211051698A CN 115478948 A CN115478948 A CN 115478948A
Authority
CN
China
Prior art keywords
control strategy
input
internal combustion
combustion engine
auxiliary track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211051698.0A
Other languages
English (en)
Other versions
CN115478948B (zh
Inventor
高金武
李昕放
胡云峰
陈虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202211051698.0A priority Critical patent/CN115478948B/zh
Publication of CN115478948A publication Critical patent/CN115478948A/zh
Application granted granted Critical
Publication of CN115478948B publication Critical patent/CN115478948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02DCONTROLLING COMBUSTION ENGINES
    • F02D41/00Electrical control of supply of combustible mixture or its constituents
    • F02D41/02Circuit arrangements for generating control signals
    • F02D41/04Introducing corrections for particular operating conditions
    • F02D41/06Introducing corrections for particular operating conditions for engine starting or warming up
    • F02D41/062Introducing corrections for particular operating conditions for engine starting or warming up for starting
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02DCONTROLLING COMBUSTION ENGINES
    • F02D41/00Electrical control of supply of combustible mixture or its constituents
    • F02D41/02Circuit arrangements for generating control signals
    • F02D41/14Introducing closed-loop corrections
    • F02D41/1401Introducing closed-loop corrections characterised by the control or regulation method
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02DCONTROLLING COMBUSTION ENGINES
    • F02D45/00Electrical control not provided for in groups F02D41/00 - F02D43/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Feedback Control In General (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Electrical Control Of Air Or Fuel Supplied To Internal-Combustion Engine (AREA)

Abstract

本发明涉及基于无模型强化学习的内燃机起动控制策略、控制系统及汽车,首先建立了内燃机起动系统框图,然后设计基于嵌入辅助轨迹的算法并应用,基于此设计了带有自适应控制器的内燃机起动系统结构,进一步更新设计了基于辅助轨迹的嵌入式神经网络算法并应用,最后给出了速度模块的方框图。本发明开发出一种不引入探测噪声的完全无模型算法,并且在内燃机起动系统的框架内保证了收敛性和稳定性,大大提高了系统的性能,改进了传统的无模型算法,并将其与强化学习算法结合起来,利用现代控制理论设计了一种具有最优自适应控制的系统,其更好地解决了内燃机起动问题。

Description

基于无模型强化学习的内燃机起动控制策略、控制系统及 汽车
技术领域
本发明属于内燃机起动技术领域,尤其涉及基于无模型强化学习的内燃机起动控制策略、控制系统及汽车。
背景技术
随着汽车技术的发展和国家政策的促进,混合动力内燃机也迎来了新一轮的发展,在内燃机控制领域中,内燃机速度控制是其中的一个基本问题。内燃机起动结构主要由进气歧管、喷油管、气缸等几部分组成,具有结构简单、工况相对稳定的特点,这也同时表明控制策略的优劣决定着起动性能的好坏,促进了控制策略的更新与发展。
近些年来,汽车起动技术在汽车冷启动与汽车怠速控制取得了突破性的进展,目前除了精确的稳态控制研究外,滑模控制、径向基函数网络控制等控制策略也被开发出来用于汽车起动。汽车起动中瞬态控制也是一个重要问题,为了改善发动机转速的瞬态性能,学者们先后开发出多变量算法、基于MPC技术的速度跟踪控制器等基于模型的方法。同时,基于无模型强化学习方法解决速度控制问题的方法也被开发出来,这种方法不需要掌握系统的数学模型,但也有其不足之处:
(1)在动力系统控制领域,需要激励持续性来保证学习参数的收敛性,而确保系统轨迹持续激励的典型技术是引入被称作探测噪声的外源信号,若将其直接作用于输入通道,将带来不必要的振荡;
(2)该算法的优劣很大程度上取决于激活函数的选取,若选取不恰当的激活函数,将会大大延长系统收敛的时间。
发明内容
为解决上述技术问题,本发明提供一种基于无模型强化学习的内燃机起动控制策略,其加快了内燃机起动的响应时间,避免了系统的无界响应,提高了发动机转速的控制精度。
本发明通过如下技术方案实现:
一种基于无模型强化学习的内燃机起动控制策略,包括以下步骤:
步骤1、建立内燃机起动系统框图,用于确认被控系统的输入输出量及其对应关系;
步骤2、应用基于嵌入辅助轨迹的算法更新代价函数与控制策略;
所述的嵌入辅助轨迹的算法如下:
Figure BDA0003823700590000021
Figure BDA0003823700590000022
其中T1与T2为大于0的时间常数,且:
Figure BDA0003823700590000023
步骤3、应用带有自适应控制器的内燃机起动系统结构分析各个物理量之间的相互关系及算分与被控系统之间的联系;
步骤4、应用基于辅助轨迹的嵌入式神经网络算法通过迭代权重系数取代直接迭代控制策略与代价函数;
所述的基于辅助轨迹的神经网络算法如下:
Figure BDA0003823700590000024
Figure BDA0003823700590000025
其中
Figure BDA0003823700590000031
Figure BDA0003823700590000032
步骤5、设计速度模块的方框图。
进一步的,步骤1包括以下内容:
将节气门开度k、喷油量F和通过节气门的混合气体流率
Figure BDA0003823700590000033
(下文简称节气门后流率)设为内燃机起动系统(下文简称系统)的主要变量,其中k和F为控制量,
Figure BDA0003823700590000034
为上一时刻的混合气体流率。
Figure BDA0003823700590000035
可得到节气门前混合气体流率
Figure BDA0003823700590000036
(下文简称节气门前流率),
若已知上一时刻的进入气缸的混合气体流率
Figure BDA0003823700590000037
(下文简称气缸流率),
Figure BDA0003823700590000038
可得到歧管内压强p,
若已知上一时刻发动机转速ω,则由
Figure BDA0003823700590000039
可知当前气缸流率
Figure BDA00038237005900000310
继而可得到节气门后流率
Figure BDA00038237005900000311
Figure BDA00038237005900000312
可得到当前发动机转速ω。如图1所示。
进一步的,步骤2包括以下内容:
将系统输入设定为发动机转速ω与歧管内压强p,定义误差状态量
Figure BDA00038237005900000313
Figure BDA0003823700590000041
其中,ωd与pd为发动机转速与压强的设定值。
内燃机起动过程是典型的连续仿射非线性控制过程,系统满足:
Figure BDA0003823700590000042
其中f(x)是系统内部动力学方程,g(x)是输入量到状态量的动力学方程,u 为系统输入,令x=[x1,x2]T
设计一个辅助系统如下所示:
Figure BDA0003823700590000043
其中xa是辅助系统状态量,状态矩阵A是赫尔维茨矩阵,y是辅助系统输出,也是系统的辅助轨迹,该辅助轨迹将状态轨迹x(t)分成了两个不同的轨迹。
令增广系统的状态量X=[xa1,xa2,x1-y1,x2-y2],输出量Y=[y1,y2, x1-y1,x2-y2];则增广系统也可以表示为:
Figure BDA0003823700590000044
其中,
Figure BDA0003823700590000045
Figure BDA0003823700590000046
引入外部输入ua(t),即输入通道的输入值更新为:
Figure BDA0003823700590000047
其中
Figure BDA0003823700590000048
为可迭代的控制策略,由此,增广矩阵可更新为:
Figure BDA0003823700590000051
由此式,联系增广系统,可以推得:
Figure BDA0003823700590000052
以及
Figure BDA0003823700590000053
以上两个式子即为更新后的基于嵌入辅助轨迹的算法,其中T1与T2为大于0 的时间常数,且:
Figure BDA0003823700590000054
进一步的,步骤3包括以下内容:
首先确定被控系统,即内燃机起动系统的输入与输出,根据步骤1与步骤2,确定被控系统的输入为节气门开度K与喷油量F,输出量为发动机转速ω与歧管内压强p的误差状态量x1与x2;其次确定基于嵌入辅助轨迹的算法的输入,根据步骤2,可以看出该输入为其嵌入的辅助轨迹y1、y2与x1-y1、x2-y2,此算法为反馈控制规律的核心;最后确定反馈控制规律的输入与输出,根据步骤1,确定其输入量为x1、x2,输出为更新后的控制策略μ1、μ2。如图2所示。
进一步的,步骤4包括以下内容:
将控制策略
Figure BDA0003823700590000055
与代价函数
Figure BDA0003823700590000056
用多项式来近似表示,即
Figure BDA0003823700590000057
Figure BDA0003823700590000058
其中ωi与vi分别是神经网络评价环节与表演环节的权重系数,Nc与Na 与是多项式的项数。
用此种方式近似后,可以得到控制策略与代价函数的近似误差分别为
Figure BDA0003823700590000061
Figure BDA0003823700590000062
其中,
Figure BDA0003823700590000063
Figure BDA0003823700590000064
由此可推得:
Figure BDA0003823700590000065
Figure BDA0003823700590000066
其中
Figure BDA0003823700590000067
Figure BDA0003823700590000071
以上ωi与vi的表达式即为基于辅助轨迹的神经网络算法,此方法通过迭代ωi与vi进而更新控制策略与代价函数,该算法采用递归最小二乘法来代替批处理最小二乘法,同时,该神经网络算法采用多隐藏层的形式来代替以往的单隐藏层。
进一步的,步骤5包括以下内容:
建立MAP函数,输入量设置为歧管内压强的设定值pd、节气门前流率的设定值
Figure BDA0003823700590000072
气缸流率的设定值
Figure BDA0003823700590000073
输出量设置为发动机转速的设定值ωd、节气门开度的设定值kd、喷油量的设定Fd,根据步骤3,控制算法的输入为x1、x2输出为更新后的控制策略μ1、μ2。如图3所示。
本发明还有一个目的是提供一种内燃机起动控制系统,包括
内燃机起动系统框图建立模块,用于确认被控系统的输入输出量及其对应关系;
基于嵌入辅助轨迹的算法模块,用于更新代价函数与控制策略;所述的嵌入辅助轨迹的算法如下:
Figure BDA0003823700590000074
Figure BDA0003823700590000075
其中T1与T2为大于0的时间常数,且:
Figure BDA0003823700590000076
带有自适应控制器的内燃机起动系统模块,用于分析各个物理量之间的相互关系及算分与被控系统之间的联系;
基于辅助轨迹的嵌入式神经网络算法模块,用于通过迭代权重系数取代直接迭代控制策略与代价函数;所述的基于辅助轨迹的神经网络算法如下:
Figure BDA0003823700590000081
Figure BDA0003823700590000082
其中
Figure BDA0003823700590000083
Figure BDA0003823700590000084
速度模块的方框图建立模块。
本发明还有一个目的是提供一种汽车,所述的汽车包含上述内燃机起动控制系统。
有益效果如下:
本发明提供的内燃机起动控制策略中首先建立内燃机起动系统框图,以明确被控系统的输入输出量及其对应关系;其次设计基于嵌入辅助轨迹的算法并将其应用,在此算法中引入的外部输入与内燃机系统分开,避免了系统的无界相应,同时引入了增广系统,使代价函数与控制策略可以通过迭代的方式来更新;然后设计了带有自适应控制器的内燃机起动系统结构,从全局的角度分析了各个物理量的相互联系及算法与被控系统之间的联系;再次,设计了基于辅助轨迹的嵌入式神经网络算法并应用,将无模型算法与神经网络算法结合起来,通过迭代权重系数取代上文中直接迭代控制策略与代价函数,可大大加快响应速度;最后设计了速度模块的方框图,更加详细地体现了输入量与控制量之间的联系,同时也能直观地体现控制策略的更新。
本发明将无模型强化学习技术应用到内燃机起动领域,加快了内燃机起动的响应时间;同时将外部输入与内燃机起动内部模型分离开来,避免了系统的无界响应;引入了前馈系统提高了发动机转速的控制精度。
附图说明
图1为内燃机起动系统框图;
图2为带有自适应控制器的内燃机起动系统结构;
图3为速度模块的方框图。
具体实施方式
以下将结合本发明的附图,对本发明实施例中的技术方案进行清楚、完整的描述和讨论,显然这里所描述的仅仅是本发明的一部分实例,并不是全部的实例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
本实施例公开了一种基于无模型强化学习的内燃机起动控制策略
步骤1:建立内燃机起动系统框图;
步骤2:设计基于嵌入辅助轨迹的算法并应用;
步骤3:设计带有自适应控制器的内燃机起动系统结构;
步骤4:设计基于辅助轨迹的嵌入式神经网络算法并应用;
步骤5:设计速度模块的方框图;
建立内燃机起动系统框图过程如下:
结合图1,将节气门开度k、喷油量F和节气门后流率
Figure BDA0003823700590000091
设为系统的主要变量,其中k和F为控制量,
Figure BDA0003823700590000092
为上一时刻的混合气体流率。由
Figure BDA0003823700590000101
可得到节气门前流率
Figure BDA0003823700590000102
若已知上一时刻的气缸流率
Figure BDA0003823700590000103
Figure BDA0003823700590000104
可得到歧管内压强p,若已知上一时刻发动机转速ω,则由
Figure BDA0003823700590000105
可知当前气缸流率
Figure BDA0003823700590000106
继而可得到节气门后流率
Figure BDA0003823700590000107
Figure BDA0003823700590000108
可得到当前发动机转速ω。
设计基于嵌入辅助轨迹的算法并应用过程如下:
将系统输入设定为发动机转速ω与歧管内压强p,定义误差状态量
Figure BDA0003823700590000109
Figure BDA00038237005900001010
其中,ωd与pd为发动机转速与压强的设定值。
内燃机起动过程是典型的连续仿射非线性控制过程,系统满足:
Figure BDA00038237005900001011
其中f(x)是系统内部动力学方程,g(x)是输入量到状态量的动力学方程,u 为系统输入,令x=[x1,x2]T
设计一个辅助系统如下所示:
Figure BDA00038237005900001012
其中xa是辅助系统状态量,状态矩阵A是赫尔维茨矩阵,y是辅助系统输出,也是系统的辅助轨迹,该辅助轨迹将状态轨迹x(t)分成了两个不同的轨迹。
令增广系统的状态量X=[xa1,xa2,x1-y1,x2-y2],输出量Y=[y1,y2, x1-y1,x2-y2];则增广系统也可以表示为:
Figure BDA0003823700590000111
其中,
Figure BDA0003823700590000112
Figure BDA0003823700590000113
引入外部输入ua(t),即输入通道的输入值更新为:
Figure BDA0003823700590000114
其中
Figure BDA0003823700590000115
为可迭代的控制策略,由此,增广矩阵可更新为:
Figure BDA0003823700590000116
联系增广系统得到更新后的基于嵌入辅助轨迹的算法:
Figure BDA0003823700590000117
Figure BDA0003823700590000118
以上两个式子即为更新后的基于嵌入辅助轨迹的算法,其中T1与T2为大于0 的时间常数,且:
Figure BDA0003823700590000119
设计带有自适应控制器的内燃机起动系统结构过程如下:
结合图2,首先确定被控系统,即内燃机起动系统的输入与输出,根据步骤 1与步骤2,确定被控系统的输入为节气门开度K与喷油量F,输出量为发动机转速ω与歧管内压强p的误差状态量x1与x2;其次确定基于嵌入辅助轨迹的算法的输入,根据步骤2,可以看出该输入为其嵌入的辅助轨迹y1、y2与x1-y1、x2-y2,此算法为反馈控制规律的核心;最后确定反馈控制规律的输入与输出,根据步骤 1,确定其输入量为x1、x2,输出为更新后的控制策略μ1、μ2
设计基于辅助轨迹的嵌入式神经网络算法并应用过程如下:
将控制策略
Figure BDA0003823700590000121
与代价函数
Figure BDA0003823700590000122
用多项式来近似表示,即
Figure BDA0003823700590000123
Figure BDA0003823700590000124
其中ωi与vi分别是神经网络评价环节与表演环节的权重系数,Nc与Na是多项式的项数;
用此种方式近似后,可以得到控制策略与代价函数的近似误差分别为
Figure BDA0003823700590000125
Figure BDA0003823700590000126
其中,
Figure BDA0003823700590000127
Figure BDA0003823700590000128
由此可推得:
Figure BDA0003823700590000129
Figure BDA0003823700590000131
其中
Figure BDA0003823700590000132
Figure BDA0003823700590000133
以上ωi与vi的表达式即为基于辅助轨迹的神经网络算法,此方法通过迭代Nc与Na进而更新控制策略与代价函数,该算法采用递归最小二乘法来代替批处理最小二乘法,同时,该神经网络算法采用多隐藏层的形式来代替以往的单隐藏层。
设计速度模块的方框图过程如下:
建立MAP函数,输入量设置为歧管内压强的设定值pd、节气门前流率的设定值
Figure BDA0003823700590000134
气缸流率的设定值
Figure BDA0003823700590000135
输出量设置为发动机转速的设定值ωd、节气门开度的设定值kd、喷油量的设定Fd。根据步骤3,控制算法的输入为x1、x2输出为更新后的控制策略μ1、μ2。如图3所示。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的创造性精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于无模型强化学习的内燃机起动控制策略,其特征在于,包括以下步骤:
步骤1、建立内燃机起动系统框图,确认被控系统的输入输出量及其对应关系;
步骤2、应用基于嵌入辅助轨迹的算法更新代价函数与控制策略;
所述的嵌入辅助轨迹的算法如下:
Figure FDA0003823700580000011
Figure FDA0003823700580000012
其中T1与T2为大于0的时间常数,且:
Figure FDA0003823700580000013
步骤3、应用带有自适应控制器的内燃机起动系统结构分析被控系统中各个物理量之间的相互关系及控制量与被控系统各个物理量之间的联系;
步骤4、应用基于辅助轨迹的嵌入式神经网络算法通过迭代权重系数取代直接迭代控制策略与代价函数;
所述的基于辅助轨迹的神经网络算法如下:
Figure FDA0003823700580000014
Figure FDA0003823700580000015
其中
Figure FDA0003823700580000016
Figure FDA0003823700580000021
步骤5、设计速度模块的方框图。
2.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略,其特征在于,步骤1所述的内燃机起动系统框图建立过程如下:
将节气门开度k、喷油量F和通过节气门的混合气体流率
Figure FDA0003823700580000022
设为内燃机起动系统,其中k和F为控制量,
Figure FDA0003823700580000023
为上一时刻的混合气体流率;
Figure FDA0003823700580000024
可得到节气门前混合气体流率
Figure FDA0003823700580000025
若已知上一时刻的进入气缸的混合气体流率
Figure FDA0003823700580000026
Figure FDA0003823700580000027
可得到歧管内压强p,
若已知上一时刻发动机转速ω,则由
Figure FDA0003823700580000028
可知当前气缸流率
Figure FDA0003823700580000029
继而可得到节气门后流率
Figure FDA00038237005800000210
Figure FDA00038237005800000211
可得到当前发动机转速ω。
3.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略,其特征在于,步骤2所述的基于嵌入辅助轨迹的算法设计过程如下:
将系统输入设定为发动机转速ω与歧管内压强p,定义误差状态量
Figure FDA00038237005800000212
Figure FDA00038237005800000213
其中,ωd与pd为发动机转速与压强的设定值;
内燃机起动过程是典型的连续仿射非线性控制过程,系统满足:
Figure FDA00038237005800000214
其中f(x)是系统内部动力学方程,g(x)是输入量到状态量的动力学方程,u为系统输入,令x=[x1,x2]T
设计辅助系统如下所示:
Figure FDA0003823700580000031
其中xa是辅助系统状态量,状态矩阵A是赫尔维茨矩阵,y是辅助系统输出,也是系统的辅助轨迹,该辅助轨迹将状态轨迹x(t)分成了两个不同的轨迹;
令增广系统的状态量X=[xa1,xa2,x1-y1,x2-y2],输出量Y=[y1,y2,x1-y1,x2-y2];则增广系统也可以表示为:
Figure FDA0003823700580000032
其中,
Figure FDA0003823700580000033
Figure FDA0003823700580000034
引入外部输入ua(t),即输入通道的输入值更新为:
Figure FDA0003823700580000035
其中
Figure FDA0003823700580000036
为可迭代的控制策略,由此,增广矩阵可更新为:
Figure FDA0003823700580000037
联系增广系统得到更新后的基于嵌入辅助轨迹的算法:
Figure FDA0003823700580000038
Figure FDA0003823700580000039
其中T1与T2为大于0的时间常数,且:
Figure FDA0003823700580000041
4.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略,其特征在于,步骤3所述的带有自适应控制器的内燃机起动系统结构设计过程如下:
首先确定被控系统的输入为节气门开度K与喷油量F,输出量为发动机转速ω与歧管内压强p的误差状态量x1与x2
其次确定基于嵌入辅助轨迹的算法的输入,该输入为其嵌入的辅助轨迹y1、y2与x1-y1、x2-y2
最后确定反馈控制规律输入量为x1、x2,输出为更新后的控制策略μ1、μ2
5.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略,其特征在于,步骤4所述的基于辅助轨迹的嵌入式神经网络算法设计过程如下:
将控制策略
Figure FDA0003823700580000042
与代价函数
Figure FDA0003823700580000043
用多项式来近似表示,即
Figure FDA0003823700580000044
Figure FDA0003823700580000045
其中ωi与vi分别是神经网络评价环节与表演环节的权重系数,Nc与Na是多项式的项数;
得到控制策略与代价函数的近似误差分别为:
Figure FDA0003823700580000046
Figure FDA0003823700580000047
其中,
Figure FDA0003823700580000051
Figure FDA0003823700580000052
由此可推得:
Figure FDA0003823700580000053
Figure FDA0003823700580000054
其中
Figure FDA0003823700580000055
Figure FDA0003823700580000056
ωi与vi的表达式即为基于辅助轨迹的神经网络算法,通过迭代ωi与vi进而更新控制策略与代价函数。
6.如权利要求1所述的一种基于无模型强化学习的内燃机起动控制策略,其特征在于,步骤5所述的速度模块的方框图设计过程如下:
建立MAP函数,输入量设置为歧管内压强的设定值pd、节气门前流率的设定值
Figure FDA0003823700580000061
气缸流率的设定值
Figure FDA0003823700580000062
输出量设置为发动机转速的设定值ωd、节气门开度的设定值kd、喷油量的设定Fd,控制算法的输入为x1、x2输出为更新后的控制策略μ1、μ2
7.一种内燃机起动控制系统,其特征在于:包括
内燃机起动系统框图建立模块,用于确认被控系统的输入输出量及其对应关系;
基于嵌入辅助轨迹的算法模块,用于更新代价函数与控制策略;所述的嵌入辅助轨迹的算法如下:
Figure FDA0003823700580000063
Figure FDA0003823700580000064
其中T1与T2为大于0的时间常数,且:
Figure FDA0003823700580000065
带有自适应控制器的内燃机起动系统模块,用于分析各个物理量之间的相互关系及控制量与被控系统之间的联系;
基于辅助轨迹的嵌入式神经网络算法模块,用于通过迭代权重系数取代直接迭代控制策略与代价函数;所述的基于辅助轨迹的神经网络算法如下:
Figure FDA0003823700580000066
Figure FDA0003823700580000067
其中
Figure FDA0003823700580000071
Figure FDA0003823700580000072
速度模块的方框图建立模块。
8.一种汽车,其特征在于:所述的汽车包含如权利要求7所述的控制系统。
CN202211051698.0A 2022-08-31 2022-08-31 基于无模型强化学习的内燃机起动控制策略、控制系统及汽车 Active CN115478948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211051698.0A CN115478948B (zh) 2022-08-31 2022-08-31 基于无模型强化学习的内燃机起动控制策略、控制系统及汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211051698.0A CN115478948B (zh) 2022-08-31 2022-08-31 基于无模型强化学习的内燃机起动控制策略、控制系统及汽车

Publications (2)

Publication Number Publication Date
CN115478948A true CN115478948A (zh) 2022-12-16
CN115478948B CN115478948B (zh) 2023-10-17

Family

ID=84421738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211051698.0A Active CN115478948B (zh) 2022-08-31 2022-08-31 基于无模型强化学习的内燃机起动控制策略、控制系统及汽车

Country Status (1)

Country Link
CN (1) CN115478948B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101235756A (zh) * 2007-01-29 2008-08-06 株式会社电装 燃料喷射压力控制器
WO2008136517A1 (en) * 2007-04-27 2008-11-13 Honda Motor Co., Ltd. Electronic control unit for controlling fuel injection in expansion and/or exhaust strokes
CN101652550A (zh) * 2007-02-15 2010-02-17 Avl里斯脱有限公司 用于确定发动机特性参数的指示装置及方法
CN101761403A (zh) * 2010-03-04 2010-06-30 霸州市华威发动机技术有限公司 双燃料发动机燃气供给的控制方法和装置
CN107014531A (zh) * 2015-12-09 2017-08-04 通用电气公司 校准的涡轮发动机轴转矩感测
CN109268159A (zh) * 2018-09-18 2019-01-25 吉林大学 稀薄燃烧汽油机燃空比系统控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101235756A (zh) * 2007-01-29 2008-08-06 株式会社电装 燃料喷射压力控制器
CN101652550A (zh) * 2007-02-15 2010-02-17 Avl里斯脱有限公司 用于确定发动机特性参数的指示装置及方法
WO2008136517A1 (en) * 2007-04-27 2008-11-13 Honda Motor Co., Ltd. Electronic control unit for controlling fuel injection in expansion and/or exhaust strokes
CN101761403A (zh) * 2010-03-04 2010-06-30 霸州市华威发动机技术有限公司 双燃料发动机燃气供给的控制方法和装置
CN107014531A (zh) * 2015-12-09 2017-08-04 通用电气公司 校准的涡轮发动机轴转矩感测
CN109268159A (zh) * 2018-09-18 2019-01-25 吉林大学 稀薄燃烧汽油机燃空比系统控制方法

Also Published As

Publication number Publication date
CN115478948B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
KR0160396B1 (ko) 공연비제어장치
US5925089A (en) Model-based control method and apparatus using inverse model
JP4975158B2 (ja) プラントの制御装置
US20030177766A1 (en) System for controlling an operating condition of an internal combustion engine
CN100465420C (zh) 用于使带废气再循环的内燃机运行的方法和装置
CN110647052B (zh) 一种变循环发动机模式切换自适应身份证模型构建方法
CN109268159A (zh) 稀薄燃烧汽油机燃空比系统控制方法
CN113006955B (zh) Egr阀全关闭控制方法、装置、计算机设备及存储介质
CN115478948A (zh) 基于无模型强化学习的内燃机起动控制策略、控制系统及汽车
CN113279997B (zh) 一种基于控制器模糊切换的航空发动机喘振主动控制系统
JP2011043156A (ja) 制御装置
JPH11353006A (ja) オンライン学習方法
Min et al. Iterative learning control algorithm for feedforward controller of EGR and VGT systems in a CRDI diesel engine
JP2001165001A (ja) ディーゼルエンジンのegr制御装置
JP2832423B2 (ja) 内燃機関の排気ガス再循環装置
CN106795806A (zh) 用于确定用于机动车的涡轮增压器的废气门的执行器的控制信号的方法
JP2832422B2 (ja) 内燃機関の排気ガス再循環装置
CN111608816A (zh) 提高再循环阀打开时的燃料量校正精度的方法和系统
JP2011043150A (ja) 制御装置
JPH08210195A (ja) ディーゼル機関の排気還流制御装置
CN109611227A (zh) 一种柴油发动机空燃比动态的执行器开度控制方法
CN111677594B (zh) 一种增压发动机空气系统的快速储气与供给控制方法
JPH1037753A (ja) エンジンの過給圧制御装置
CN117028040A (zh) 一种基于Q-learning的柴油机空气系统多变量自抗扰控制方法
Kwiatkowski et al. LPV controller synthesis for charge control of a car engine-a hybrid evolutionary algebraic approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant