CN113153550B - 内燃机的控制装置以及控制方法 - Google Patents

Abstract

提供一种内燃机的控制装置以及控制方法。控制装置具备存储装置和执行内燃机的操作部的操作的执行装置。执行装置构成为执行：第1操作处理，以使用已适配数据基于车辆的状态运算出的操作量对操作部进行操作；第2操作处理，以由关系规定数据和车辆的状态确定的操作量对操作部进行操作；切换处理，根据车辆是正在进行手动加速行驶还是正在进行自动加速行驶，对是通过第1操作处理执行操作部的操作还是通过第2操作处理执行操作部的操作进行切换。

Description

内燃机的控制装置以及控制方法

技术领域

本公开涉及搭载于车辆的内燃机的控制装置以及控制方法。

背景技术

日本特开2016－006327号公报公开了基于对加速踏板的操作量进行滤波器处理后的值来对作为搭载于车辆的内燃机的操作部的节气门进行操作的控制装置。

上述滤波器被要求将同时满足内燃机的效率、排气性状、乘员的舒适性等的大量要求的值设定为节气门的操作量。因此，其适配需要熟练人员花费许多工时来进行。那样的实际情况对于节气门以外的发动机的操作部的操作量的适配也是同样的。

发明内容

一个技术方案的内燃机的控制装置构成为通过对搭载于车辆的内燃机的操作部进行操作来使该内燃机的控制量变化。车辆进行手动加速行驶和自动加速行驶，该手动加速行驶根据驾驶员的加速踏板操作进行车辆的加减速，该自动加速行驶不基于加速踏板操作而自动地进行车辆的加减速。并且，该控制装置具备：存储装置，其预先存储关系规定数据和已适配数据，该关系规定数据是对包括内燃机的状态的车辆的状态与操作部的操作量的关系进行规定的数据，在车辆的行驶期间中被进行更新，该已适配数据是在基于车辆的状态的操作量的运算中所使用的数据，在车辆的行驶期间中不被进行更新；和执行装置，其构成为执行操作部的操作。执行装置构成为执行：第1操作处理，以使用已适配数据来基于车辆的状态运算出的操作量对操作部进行操作；第2操作处理，以由关系规定数据和车辆的状态确定的操作量对所述操作部进行操作；奖励算出处理，基于通过第2操作处理操作所述操作部时的车辆的状态的检测值来算出奖励；更新处理，基于通过第2操作处理操作操作部时的车辆的状态、操作量以及奖励，对关系规定数据进行更新以使奖励的期待收益增加；以及切换处理，根据车辆是正在进行手动加速行驶还是正在进行自动加速行驶，对是通过第1操作处理执行操作部的操作还是通过第2操作处理执行操作部的操作进行切换。

在上述内燃机的控制装置中，在通过使用预先存储于存储装置的已适配数据进行操作量的运算的第1操作处理进行的内燃机的操作部的操作中，需要在车辆的出厂前完成操作量的适配。与此相对，在第2操作处理的执行期间中，根据作为基于该第2操作处理的操作部的操作的结果而变化的车辆的状态来算出奖励，并且，关系规定数据被进行更新以使得其奖励的期待收益增加。即，在基于第2操作处理的内燃机的操作部的操作时，进行基于强化学习的操作量的适配。关于这样通过第2操作处理对操作部进行操作时的操作量，能够在车辆的行驶期间中自动地进行适配，因此，能够减少车辆出厂前的熟练人员的操作量的适配所花费的工时。但是，那样的强化学习需要根据车辆的各种各样的状态分别花费时间来进行，根据车辆的运用，有时适配的完成需要时间。因此，根据车辆的运用，有时与通过车辆行驶期间中的强化学习对操作量进行适配相比，在车辆的出厂前完成了适配时能得到所希望的结果。在以下的说明中，将车辆出厂前的操作量的适配记载为事前适配，将基于车辆行驶期间中的强化学习的操作量的适配记载为现场适配。

此外，在进行如上述那样的手动加速行驶和自动加速行驶的车辆中，有时车辆的运用形态在手动加速行驶时和自动加速行驶时会不同。在那样的车辆中，关于手动加速行驶时和自动加速行驶时这两个情况，有时需要分别个别地进行操作量的适配。进一步，关于手动加速行驶、自动加速行驶中的一方，与事前适配相比，有时现场适配时能得到所希望的结果，但关于另一方，与现场适配相比，有时事前适配时能得到所希望的结果。

对此，在上述内燃机的控制装置中，根据车辆是正在进行手动加速行驶还是正在进行自动加速行驶，对是通过第1操作处理执行操作部的操作还是通过第2操作处理执行操作部的操作进行切换。因此，在手动加速行驶和自动加速行驶中能得到所希望的结果的适配方法不同的情况下，也能够分别通过合适的方法进行操作量的适配。此外，在那样的情况下，与通过事前适配进行手动加速行驶、自动加速行驶这两方中的操作量的适配的情况相比，熟练人员的适配所花费的工时也变少。因此，根据上述内燃机的控制装置，能够适当地减少内燃机的操作部的操作量的适配所需要的熟练人员的工时。

在上述内燃机的控制装置中，有时已适配数据包括对将车辆的状态所包含的变量即状态变量作为输入、且将操作量作为输出的映射进行规定的数据。第1操作处理有时包括反馈修正处理，该反馈修正处理根据内燃机的控制量的检测值相对于该控制量的目标值的偏差来运算反馈修正值，并且，运算对将状态变量的检测值作为了输入的上述映射的输出值进行修正而得到的值来作为所述操作量。那样的反馈修正处理例如相当于根据空燃比的检测值相对于目标值的偏差来对燃料喷射量进行反馈修正的空燃比反馈控制中的燃料喷射量的修正处理。基于这样的反馈修正处理的控制量向目标值的收敛需要某种程度的时间。因此，在与从基于第2操作处理的操作部的操作向基于第1操作处理的操作部的操作的切换一起开始反馈修正处理的情况下，在到控制量收敛于目标值为止的期间，内燃机的控制性有可能恶化。

对此，上述内燃机的控制装置中的执行装置可以为：在将使用于操作部的操作的处理从第2操作处理切换为第1操作处理时，从比结束基于第2操作处理的操作部的操作而开始基于第1操作处理的操作部的操作早的定时开始基于反馈修正处理的操作量的运算。

此外，在上述操作处理的切换，在从开始反馈修正处理到基于第1操作处理的操作部的操作开始为止的期间，基于反馈修正处理的操作量的运算值不反映于实际的操作部的操作。当设为此时的基于第2操作处理的操作量的运算值是使控制量为目标值的值时，根据反馈修正处理和第2操作处理这两方的操作量的运算值，求出在通过反馈修正处理下的操作量的运算值对操作部进行了操作的情况下控制量取的值。由此，对于基于第2操作处理部的操作部的操作中的反馈修正处理，能够通过根据基于该反馈修正处理和第2操作处理的各个处理的操作量的运算值求出假想控制量，代替控制量的检测值而使用假想控制量运算反馈修正值来实施该反馈修正处理，该假想控制量是通过基于反馈修正处理的操作量的运算值对操作部进行了操作时的控制量。

在上述内燃机的控制装置中，上述已适配数据有时包括对将车辆的状态所包含的变量即状态变量作为输入、且将操作量作为输出的映射进行规定的数据。上述第1操作处理有时包括缓变化处理，该缓变化处理是将状态变量的检测值作为输入、且输出相对于该检测值具有备延迟地变化的值来作为上述映射的输入值的处理、和将上述映射的输出值作为输入、且输出相对于该输出值具有延迟地变化的值来作为操作量的运算值的处理中的一方的处理。这样的缓变化处理是为了避免内燃机的控制量与状态变量的急剧变化一起骤变而进行的，例如在节气门开口度的运算时被加以实施。通过这样的缓变化处理，操作量被作为反映了以前的状态变量的推移的值而进行运算。

在与从基于第2操作处理的操作部的操作向基于第1操作处理的操作部的操作的切换一起开始了缓变化处理的情况下，该切换前的状态变量的推移不反映于第1操作处理的操作量的运算值。对此，也可以使上述内燃机的控制装置中的执行装置为在将使用于操作部的操作的处理从第2操作处理切换为第1操作处理时从比结束基于第2操作处理的操作部的操作而开始基于第1操作处理的操作部的操作早的定时开始通过了缓变化处理的操作量的运算。在这样的情况下，通过了第1操作处理中的缓变化处理的操作量的运算在比使用了该运算值的操作部的操作的开始早的定时开始。因此，能够作为反映了基于第1操作处理的操作部的操作开始之前的状态变量的推移的值，运算该操作的开始时的操作量。

其他技术方案提供一种控制方法，通过对搭载于车辆的内燃机的操作部进行操作来使该内燃机的控制量变化。所述车辆进行手动加速行驶和自动加速行驶，该手动加速行驶根据驾驶员的加速踏板操作进行车辆的加减速，该自动加速行驶不基于所述加速踏板操作而自动地进行所述车辆的加减速。所述控制方法包括：预先存储关系规定数据和已适配数据，该关系规定数据是对包括所述内燃机的状态的所述车辆的状态与所述操作部的操作量的关系进行规定的数据，在所述车辆的行驶期间中被进行更新，该已适配数据是在基于所述车辆的状态的所述操作量的运算中所使用的数据，在所述车辆的行驶期间中不被进行更新；和执行所述操作部的操作。执行所述操作部的操作包括执行：第1操作处理，以使用所述已适配数据来基于所述车辆的状态运算出的所述操作量对所述操作部进行操作；第2操作处理，以由所述关系规定数据和所述车辆的状态确定的所述操作量对所述操作部进行操作；奖励算出处理，基于通过所述第2操作处理操作所述操作部时的所述车辆的状态的检测值来算出奖励；更新处理，基于通过所述第2操作处理操作所述操作部时的所述车辆的状态、所述操作量以及所述奖励，对所述关系规定数据进行更新以使所述奖励的期待收益增加；以及切换处理，根据所述车辆是正在进行所述手动加速行驶还是正在进行所述自动加速行驶，对是通过所述第1操作处理执行所述操作部的操作还是通过所述第2操作处理执行所述操作部的操作进行切换。

附图说明

图1是示意性地表示第1实施方式涉及的内燃机的控制装置的结构的图。

图2是该控制装置中的执行装置执行的处理的流程图。

图3是表示该控制装置执行的第1操作处理下的节气门的操作涉及的处理的流程的控制框图。

图4是表示该控制装置执行的第1操作处理下的燃料喷射阀的操作涉及的处理的流程的控制框图。

图5是表示该控制装置执行的第1操作处理下的点火装置的操作涉及的处理的流程的控制框图。

图6是表示该控制装置执行的第2操作处理、奖励算出处理以及学习处理涉及的处理的流程的流程图。

图7是第2实施方式的内燃机的控制装置执行的处理的流程图。

图8是第3实施方式的内燃机的控制装置执行的处理的流程图。

图9是表示该控制装置中的基于第2操作处理的操作部的操作中的空燃比反馈修正值的运算涉及的处理的流程的控制框图。

图10的(a)是表示要求转矩Tor＊和要求转矩缓变化值Torsm＊的推移的时间图，图10的(b)是表示开口度指令值TA＊的推移的时间图。

图11的(a)是表示该控制装置中的从第2操作处理向第1操作处理切换时的模式变量MV的推移的时间图，图11的(b)是表示该控制装置中的从第2操作处理向第1操作处理切换时的计数器CNT的推移的时间图，图11的(c)是表示该控制装置中的从第2操作处理向第1操作处理切换时的标志F1的推移的时间图，图11的(d)是表示该控制装置中的从第2操作处理向第1操作处理切换时的喷射量指令值Qi的推移的时间图，图11的(e)是表示该控制装置中的从第2操作处理向第1操作处理切换时的空燃比反馈修正值FAF的推移的时间图。

图12是表示节气门的操作处理的变更例中的处理的流程的控制框图。

具体实施方式

(第1实施方式)

以下，参照图1～图6对内燃机的控制装置的第1实施方式进行详细的说明。

图1表示本实施方式的控制装置70以及作为该控制装置70的控制对象的搭载于车辆VC1的内燃机10的结构。在内燃机10的进气通路12从上游侧开始依次设置有节气门14和燃料喷射阀16，被吸入到进气通路12的空气、从燃料喷射阀16喷射的燃料伴随着进气门18的开阀而流入到由气缸20和活塞22区划的燃烧室24。在燃烧室24内，燃料和空气的混合气伴随着点火装置26的火花放电而被供于燃烧，通过燃烧产生的能量经由活塞22被变换为曲轴28的旋转能量。被供于了燃烧的混合气伴随着排气门30的开阀而被作为排气排出到排气通路32。在排气通路32设置有作为对排气进行净化的后处理装置的催化剂34。

控制装置70为了对作为表示内燃机10的状态的控制量的转矩和排气成分比率等的参数进行控制，对节气门14、燃料喷射阀16以及点火装置26等的内燃机10的操作部进行操作。此外，在图1中记载了节气门14、燃料喷射阀16以及点火装置26各自的操作信号MS1～MS3。

控制装置70为了控制内燃机10的控制量，取得对内燃机10的状态进行检测的各种传感器的检测值。对内燃机10的状态进行检测的传感器包括对吸入空气量Ga进行检测的空气流量计80、对进气温度THA进行检测的进气温度传感器81、对进气压Pm进行检测的进气压传感器82、对作为节气门14的开口度的节气门开口度TA进行检测的节气门传感器83以及对曲轴28的旋转角θc进行检测的曲轴角传感器84。另外，上述传感器也包括输出与燃烧室24的爆震的产生状况相应的爆震信号Knk的爆震传感器85、和对在燃烧室24中燃烧了的混合气的空燃比AF进行检测的空燃比传感器86。另外，控制装置70也参照对作为加速踏板87的踏下量的加速器操作量PA进行检测的加速踏板传感器88、对车辆VC1的前后方向上的加速度Gx进行检测的加速度传感器89、对车速V进行检测的车速传感器90等的对车辆VC1的状态进行检测的传感器的检测值。

进一步，在车辆VC1设置有用于对手动加速行驶与自动加速行驶的行驶模式的切换以及/或者对自动加速行驶时的设定速度进行变更的操作面板92。手动加速行驶是根据驾驶员的加速踏板87的操作来进行车辆VC1的加减速的行驶模式。自动加速行驶是如下行驶模式：不基于加速踏板87的操作、即与加速踏板87的操作无关地，为了将车速V维持为设定速度而自动地进行车辆VC1的加减速。控制装置70在控制内燃机10的控制量使，也参照对手动加速行驶、自动加速行驶中的哪个被选择为车辆VC1的行驶模式进行表示的模式变量MV的值。

此外，对于从手动加速行驶向自动加速行驶的切换，通过在满足了既定的自动巡航允许条件的状态下在操作面板92中进行设定速度的设定以及自动巡航的开始操作来允许该切换。自动巡航允许条件包括正在汽车专用道路上行驶、车速V为既定的范围内的速度等的条件。

与此相对，对于从自动加速行驶向手动加速行驶的切换，通过驾驶员踩踏制动器踏板以及/或者在操作面板92中进行自动巡航的解除操作来实施该切换。

控制装置70具备作为执行内燃机10的控制涉及的处理的执行装置的CPU72和外围电路78。外围电路78包括生成对内部动作进行规定的时钟信号的电路、电源电路、复位电路等的电路。另外，控制装置70具备不能进行车辆VC1的行驶期间中所存储的数据等的重写的只读存储器74、和能够对车辆VC1行驶期间中所存储的数据等进行电重写的非易失性存储器76来作为存储装置。这些CPU72、只读存储器74、非易失性存储器76以及外围电路78能够经由局域网络79进行通信。

只读存储器74存储有内燃机10的控制用的控制程序74a。控制程序74a包括作为内燃机10的各操作部的操作用的程序的第1操作程序74b和第2操作程序74c这两个程序。另外，只读存储器74存储基于第1操作程序74b的内燃机10的各操作部的操作中所使用的多个已适配数据DS。非易失性存储器76存储关系规定数据DR，该关系规定数据DR是对车辆VC1的状态与操作量的关系进行规定的数据，被使用于基于第2操作程序74c的内燃机10的各操作部的操作。并且，只读存储器74存储学习程序74d，该学习程序74d是关系规定数据DR的更新用的程序。

已适配数据DS包括内燃机10的各操作部的操作量的运算中所使用的各种映射数据。映射数据是由输入变量的离散的值、相对于输入变量的各个值的输出变量的值的组构成的数据。映射数据包括要求转矩运算用的映射数据DS1、开口度运算用的映射数据DS2、基本点火正时运算用的映射数据DS3、界限延迟点火正时运算用的映射数据DS4等的数据。要求转矩运算用的映射数据DS1是将加速器操作量PA和车速V作为输入变量、且将作为内燃机10的转矩的要求值的要求转矩Tor＊作为输出变量的映射数据。开口度运算用的映射数据DS2是将内燃机10的转矩作为输入变量、且将产生该转矩所需要的节气门开口度TA的值作为输出变量的映射数据。基本点火正时运算用的映射数据DS3是将内燃机转速NE和进气量KL作为输入变量、且将基本点火正时Abse作为输出变量的映射数据。基本点火正时Abse是最佳点火正时和轻度爆震(trace knock)点火正时这两个正时中的更靠延迟侧的正时，最佳点火正时是内燃机10的转矩成为最大的点火正时，轻度爆震点火正时是能够抑制爆震的点火正时的提前界限。界限延迟点火正时运算用的映射数据DS4是将内燃机转速NE和进气量KL作为输入变量、且将界限延迟点火正时Akmf作为输出变量的映射数据。界限延迟点火正时Akmf是燃烧室24的混合气的燃烧不恶化的点火正时的延迟界限。

另外，已适配数据DS包括进气量运算用的模型数据DS5。模型数据DS5是流入到燃烧室24的进气量KL的运算中使用的内燃机10的进气行为的物理模型的数据，根据吸入空气量Ga、进气温度THA、进气压Pm、节气门开口度TA、内燃机转速NE等的输入来输出进气量KL。

这些映射数据DS1～DS4以及模型数据DS5被预先进行适配以使得使用这些数运算的操作量成为满足内燃机10的排气性状、燃料消耗率、驾驶员的舒适性等的要件的值。并且，映射数据DS1～DS4以及模型数据DS5在车辆VC1的出厂前被预先写入到只读存储器74，例如设为仅能够使用设置在整备设施的专用设备来进行更新。即，已适配数据DS为在车辆VC1的行驶期间中不被进行更新的数据。

图2表示本实施方式涉及的控制装置70执行的内燃机10的各操作部的操作涉及的处理的步骤。图2所示的处理通过CPU72按既定的控制周期反复执行存储于只读存储器74的控制程序74a来实现。此外，以下通过在开头赋予了“S”的数字表示各处理的步骤编号。在本实施方式中，通过图2的处理进行如下的切换处理：根据车辆VC1是正在进行手动加速行驶、还是正在进行自动加速行驶，对是通过第1操作处理执行操作部的操作、还是通过第2操作处理执行操作部的操作进行切换。

当开始图2所示的一系列处理时，CPU72首先在步骤S100中取得模式变量MV的值。接着，CPU72在步骤S110中判定模式变量MV的值表示的车辆VC1的行驶模式是否为自动加速行驶。在车辆VC1的行驶模式为自动加速行驶的情况下(S110：是)，CPU72在步骤S120中通过第1操作程序74b执行了对内燃机10的各操作部进行操作的第1操作处理之后，暂时结束图示的处理。与此相对，在车辆VC1的行驶模式为手动加速行驶的情况下(S110：否)，CPU72在步骤S130中通过第2操作程序74c执行了对内燃机10的各操作部进行操作的第2操作处理之后，暂时结束图2所示的处理。

接着，对第1操作处理中的内燃机10的各操作部的操作进行说明。在第1操作处理中，基于使用预先存储于只读存储器74的已适配数据DS分别运算出的操作量，进行内燃机10的各操作部的操作。在此，对关于内燃机10的操作部中的节气门14、燃料喷射阀16以及点火装置26的第1操作处理中的操作进行说明。

图3表示第1操作处理中的节气门14的操作涉及的CPU72的处理步骤。如图3所示，在第1操作处理中的节气门14的操作时，首先，运算将加速器操作量PA和车速V作为输入的映射数据DS1的输出来作为要求转矩Tor＊的值。此外，在本实施方式的情况下，在自动加速行驶模式中执行第1操作处理。因此，对于在此的加速器操作量PA，不是驾驶员的实际的加速踏板的操作量，而是使用假想的加速器操作量PA，该假想的加速器操作量PA是将为了将车速V保持为设定速度所需要的车辆VC1的加减速的要求量换算为加速踏板的操作量而得到的。

接着，运算对要求转矩Tor＊实施了缓变化处理而得到的值来作为要求转矩缓变化值Torsm＊。缓变化处理是将要求转矩Tor＊作为输入、将相对于该要求转矩Tor＊具有延迟地进行跟踪的值作为要求转矩缓变化值Torsm＊的值进行输出的滤波器处理。在本实施方式中，采用了将要求转矩Tor＊的移动平均值作为要求转矩缓变化值Torsm＊的值进行输出的滤波器处理来作为缓变化处理。通过这样的缓变化处理，能对如下状况进行抑制，该状况为：由于节气门开口度TA的急剧变化，内燃机转速NE骤变而损害驾驶员的舒适性，因进气的响应延迟而排气性状恶化。

进一步，运算将要求转矩缓变化值Torsm＊作为了输入的映射数据DS2的输出来作为开口度指令值TA＊的值，该开口度指令值TA＊是节气门开口度TA的指令值。并且，通过信号输出处理，对节气门开口度TA向开口度指令值TA＊的变更进行指示的指令信号MS1被输出到节气门14。

图4表示第1操作处理中的燃料喷射阀16的操作涉及的CPU72的处理步骤。如图4所示，在第1操作处理中的燃料喷射阀16的操作时，首先，运算将吸入空气量Ga、进气温度THA、进气压Pm、节气门开口度TA、内燃机转速NE等作为了输入的模型数据DS5的输出来作为进气量KL的值。并且，运算对进气量KL除以目标空燃比AF＊而得到的商来作为基本喷射量Qb的值，该目标空燃比AF＊是在燃烧室24中燃烧的混合气的空燃比的目标值。

另外，根据空燃比AF的检测值相对于目标空燃比AF＊的偏差，运算空燃比反馈修正值FAF。空燃比反馈修正值FAF的运算通过PID处理进行。即，分别运算比例项、积分项以及微分项，该比例项是对空燃比AF的检测值相对于目标空燃比AF＊的偏差乘以既定的比例增益而得到的积，该积分项是对该偏差的时间积分值乘以既定的积分增益而得到的积，该微分项是对该偏差的时间微分值乘以既定的微分增益而得到的积。并且，运算将那些比例项、积分项以及微分项相加而得到的和来作为空燃比反馈修正值FAF的值。

另外，在基于第1操作处理的燃料喷射阀16的操作时，进行空燃比学习值KG的学习处理。对于空燃比学习值KG的学习处理，通过基于内燃机转速NE、进气量KL稳定了的内燃机10的稳态运转时的空燃比反馈修正值FAF的值，以如下的(1)～(3)的方式对空燃比学习值KG的值进行更新来进行该学习处理。(1)在空燃比反馈修正值FAF的绝对值小于既定的更新判定值的情况下，保持空燃比学习值KG的值。(2)在空燃比反馈修正值FAF为正值、且其绝对值为既定的更新判定值以上的情况下，以将从更新前的值减去既定的更新量而得到的差作为更新后的值的方式对空燃比学习值KG的值进行更新。(3)在空燃比反馈修正值FAF为负值、且其绝对值为更新判定值以上的情况下，以将对更新前的值加上上述更新量而得到的和作为更新后的值的方式对空燃比学习值KG的值进行更新。

进一步，运算基本喷射量Qb、空燃比反馈修正值FAF以及空燃比学习值KG相加而得到的和来作为喷射量指令值Qi的值。并且，通过信号输出处理，对与喷射量指令值Qi的运算值相应的量的燃料喷射进行指示的指令信号MS2被输出至燃料喷射阀16。

图5表示第1操作处理中的点火装置26的操作涉及的CPU72的处理步骤。在第1操作处理中的点火装置26的操作时，首先，运算将内燃机转速NE和进气量KL作为输入的映射数据DS3的输出来作为基本点火正时Abse的值。另外，运算将内燃机转速NE和进气量KL作为了输入的映射数据DS4的输出来作为界限延迟点火正时Akmf的值。并且，运算从基本点火正时Abse减去界限延迟点火正时Akmf而得到的差来作为界限延迟量Akmax的值。

另外，在第1操作处理中的点火装置26的操作时，进行基于爆震信号Knk的爆震控制量Akcs的运算处理。对于爆震控制量Akcs的运算，通过以下述(4)、(5)的方式对爆震控制量Akcs的值进行更新来进行该运算。(6)在爆震信号Knk是表示发生爆震的值的情况下，以将对更新前的值加上既定的爆震延迟量而得到的和作为更新后的值的方式对爆震控制量Akcs的值进行更新。(5)在爆震信号Knk是表示没有发生爆震的值的情况下，以将从更新前的值减去既定的爆震提前量而得到的差作为更新后的值的方式对爆震控制量Akcs的值进行更新。此外，对于爆震延迟量设定正值，对于爆震提前量设定比爆震延迟量大的值。

并且，运算对界限延迟量Akmax加上爆震控制量Akcs而得到的和来作为点火正时延迟量Aknk的值，进一步，运算从基本点火正时Abse减去点火正时延迟量Aknk而得到的差来作为点火正时指令值Aop的值。并且，通过信号输出处理，对与点火正时指令值Aop的运算值对应的正时的点火的执行进行指示的指令信号MS3被输出至点火装置26。

接着，对第2操作处理中的内燃机10的各操作部的操作进行说明。在第2操作处理中，根据由存储于非易失性存储器76的关系规定数据DR和车辆VC1的状态确定的操作量，进行内燃机10的各操作部的操作。此外，CPU72与第2操作处理并行地执行奖励算出处理和更新处理。奖励算出处理和更新处理通过CPU72读入并执行存储于只读存储器74的学习程序74d来实现。

此外，本实施方式中的关系规定数据DR被设为确定行动价值函数Q和策略π的数据。行动价值函数Q是对与状态s和行动a的各自变量相应的期待收益的值进行表示的表形式的函数。在本实施方式中，状态s基于内燃机转速NE、进气量KL、吸入空气量Ga、进气温度THA、进气压Pm、空燃比AF、加速器操作量PA以及车速V这8个变量来决定。另外，在本实施方式中，行动a基于作为内燃机10的操作部的操作量的开口度指令值TA＊、喷射量指令值Qi以及点火正时指令值Aop这3个变量来决定。即，状态s为8维的矢量，行动a为3维的矢量。另外，本实施方式涉及的行动价值函数Q(s，a)被设为表形式的函数。

图6表示第2操作处理、奖励算出处理以及更新处理的各处理涉及的CPU72的处理步骤。CPU72每当执行图2的步骤S130中的第2操作处理时，执行图6所示的一系列处理。此外，在本实施方式中，图6的S510～S530相当于第2操作处理，图6的S540和S550相当于奖励算出处理，图6的S560～S590相当于更新处理。

当开始图6所示的一系列处理时，首先，在步骤S500中，“t”的值被复位为“0”。接着，在步骤S510中，读入车辆VC1的最新的状态s，该所读入的状态s的各变量的值被作为状态s[t]的各变量的值加以代入。接着，在步骤S520中，按照由关系规定数据DR规定的策略π[t]，选择行动a[t]。在此的行动a[t]意味着是对于状态s[t]所选择出的行动a。另外，策略π[t]在态s[t]下将选择使行动价值函数Q(s[t]，a)最大化的行动a、即贪婪(greedy)的行动的概率设为最大，并且，将那以外的行动a的选择概率也不设为“0”。通过有时这样地不采用贪婪的行动，能够进行用于寻找最佳的行动的搜索。这样的策略π通过ε贪婪行动选择方法以及/或者Softmax行动选择方法来实现。并且，接着，在步骤S530中，根据被选择为行动a[t]的开口度指令值TA＊、喷射量指令值Qi以及点火正时指令值Aop，操作信号MS1～MS3被分别输出到节气门14、燃料喷射阀16以及点火装置26。

然后，在步骤S540和步骤S550中实施奖励算出处理。在奖励算出处理中，首先，在步骤S540中读入与上述行动a[t]相应的操作部的操作后的最新的状态s，该所读入了的状态s的各变量的值被设定为状态s[t+1]的各变量的值。并且，在步骤S550中，基于状态s[t+1]，算出由行动a[t]产生的奖励r[t]。奖励r[t]被作为与根据空燃比AF相对于目标空燃比AF＊的偏差的累计值等求出的内燃机10的排气特性有关的奖励、与根据喷射量指令值Qi的累计值等求出的内燃机10的燃料消耗率有关的奖励、与根据加速度Gx的累计值等求出的驾驶员的舒适性有关的奖励等的观点不同的多个奖励之和来算出。

接着，在步骤S560中，算出误差δ[t]，该误差δ[t]用于算出对行动价值函数Q中的状态s[t]、行动a[t]的情况下的行动价值函数Q(s[t]，a[t])的值进行更新的更新量。在本实施方式中，使用离策略型TD法(off-policy TD method)算出误差δ[t]。即，使用打折率γ，将误差δ[t]设为从对行动价值函数Q(s[t+1]，A)中的最大值乘以打折率后的值和奖励r[t]之和减去行动价值函数Q(s[t]，a[t])而得到的值。此外，“A”意味着行动a的集合。接着，在步骤S570中，通过将对误差δ[t]乘以学习率α而得到的积加到行动价值函数Q(s[t]，a[t])，从而对行动价值函数Q(s[t]，a[t])进行更新。即，由关系规定数据DR规定的行动价值函数Q(s，a)中的自变量成为状态s[t]和行动a[t]的行动价值函数Q(s，a)的值变化“α·δ[t]”。通过这些步骤S560和步骤S570的处理，关系规定数据DR被进行更新以使奖励r[t]的期待收益增加。这是为了通过更新行动价值函数Q(s[t]，a[t])，行动价值函数Q(s[t]，a[t])被更新为更高精度地表现实际的期待收益的值。

接着，在步骤S580中，对各自变量判定行动价值函数Q的值是否已收敛。在判定为未收敛的情况下(否)，在步骤S590中“t”的值增加了“1”之后，处理回到步骤S510。与此相对，在判定为行动价值函数Q的值已收敛的情况下(S580：是)，暂时结束图6所示的一系列处理。

对本实施方式的作用和效果进行说明。

本实施方式中的控制装置70从第1操作处理和第2操作处理这两个操作处理中选择某一处理来进行内燃机10的操作部的操作。在第1操作处理中，通过使用预先存储于只读存储器74的已适配数据DS运算出的操作量来对操作部进行操作。这样的第1操作处理下的操作量的运算中所使用的已适配数据DS需要在车辆VC1的出厂前预先完成适配。

与此相对，在第2操作处理中，通过由存储于非易失性存储器76的关系规定数据DR和车辆VC1的状态确定的操作量来对操作部进行操作。并且，在第2操作处理的执行期间中，根据作为基于该第2操作处理的操作部的操作的结果而变化的车辆VC1的状态来算出奖励r，并且，关系规定数据DR被进行更新以使得该奖励r的期待收益增加。即，在基于第2操作处理的内燃机10的操作部的操作时，进行基于强化学习的操作量的适配。若这样在车辆VC1的行驶期间中进行基于强化学习的操作量的适配，则能够减少车辆出厂前的熟练人员的操作量的适配所花费的工时。然而，车辆行驶期间中的基于强化学习的操作量的适配伴随着控制装置70的运算负荷的增大。对于这样车辆行驶期间中的基于强化学习的操作量的适配，具有能够减少熟练人员的操作量的适配所花费的工时这一优点，另一方面，存在会使控制装置70的运算负荷增加这一缺点。另外，基于强化学习的操作量的适配的完成需要某程度的时间，因此，到适配完成之前，也存在内燃机10的控制性恶化的风险。

搭载了应用本实施方式的控制装置70的内燃机10的车辆VC1为进行手动加速行驶和自动加速行驶的车辆，该手动加速行驶根据驾驶员的加速踏板操作来进行车辆VC1的加减速，该自动加速行驶不基于加速踏板操作而以自动的方式进行车辆VC1的加减速。在手动加速行驶时和自动加速行驶时，车辆VC1可取的状态存在不同，因此，操作量的适配也需要分别个别地进行。此外，车辆VC1的自动加速行驶仅限于在汽车专用道路的行驶期间中驾驶员选择了自动加速行驶的情况下被实施。因此，自动加速行驶只以比手动加速行驶低的频度进行实施的可能性高，当通过强化学习进行自动加速行驶时的操作量的适配时，存在该适配未完成的状态较长时间地持续的风险。

于是，在本实施方式中，关于所设想的实施频度高的手动加速行驶，通过车辆行驶期间中的强化学习进行操作量的适配，另一方面，关于所设想的实施频度低的自动加速行驶，通过以往方法进行操作量的适配。在这样的本实施方式中，关于自动加速行驶，需要通过以往方法对操作量进行适配，与关于手动加速行驶、自动加速行驶这两方通过以往方法对操作量进行适配的情况相比，熟练人员的适配所花费的工时少就能实现。

根据以上的本实施方式，能够实现以下效果。

(1)在上述实施方式中，所设想的实施的频度高的手动加速行驶中的内燃机10的操作部的操作量的适配通过车辆行驶期间中的强化学习来进行。与此相对，所设想的实施的频度低、被认为车辆行驶期间中的强化学习的实施机会有限的自动加速行驶中的操作部的适配通过以往方法进行。由此，能够分别通过适当的方法来实施手动加速行驶、自动加速行驶这两方中的操作量的适配，并且，能够减少熟练人员的适配所花费的工时。

(2)手动加速行驶时的操作量的适配通过车辆行驶期间中的强化学习来进行。因此，内燃机10的个体差异以及/或者历时变化被反映于手动加速行驶时的内燃机10的操作部的操作量的适配结果，因那样的个体差异以及/或者历时变化引起的内燃机10的控制性的恶化被抑制。

(第2实施方式)

接着，一并参照图7对内燃机的控制装置的第2实施方式进行详细的说明。此外，在本实施方式中，对与上述实施方式共同的结构标记同一标号，省略其详细的说明。

在第1实施方式中设为：在运用上设想为手动加速行驶的实施频度比自动加速行驶的实施频度高的车辆VC1中，在自动加速行驶时通过以往方法进行内燃机10的操作部的操作量的适配，在手动加速行驶时通过车辆行驶期间中的强化学习进行内燃机10的操作部的操作量的适配。与此相对，搭载应用本实施方式的控制装置70的内燃机10的车辆VC1为以自动加速行驶的实施频度比手动加速行驶的的实施频度高的方式被进行运用的车辆。

图7表示本实施方式涉及的控制装置70执行的内燃机10的各操作部的操作涉及的处理的步骤。图7所示的处理通过CPU72按既定的控制周期反复执行存储于只读存储器74的控制程序74a来实现。

当开始图7所示的一系列处理时，CPU72首先在步骤S700中取得模式变量MV的值。接着，CPU72在步骤S710中判定模式变量MV的值表示的车辆VC1的行驶模式是否为自动加速行驶。在车辆VC1的行驶模式为自动加速行驶的情况下(S710：是)，CPU72在步骤S720中通过第2操作程序74c执行了对内燃机10的各操作部进行操作的第2操作处理之后，暂时结束图7所示的处理。与此相对，在车辆VC1的行驶模式为手动加速行驶的情况下(S710：否)，CPU72在步骤S730中通过第1操作程序74b执行了对内燃机10的各操作部进行操作的第1操作处理之后，暂时结束图7所示的处理。

在本实施方式中，在图7的步骤S730中执行了第1操作处理时的节气门14、燃料喷射阀16以及点火装置26的操作也与第1实施方式的情况同样地分别以图3、图4以及图5所示的方式进行。但是，在本实施方式中，在手动加速行驶时执行第1操作处理，因此，作为在要求转矩Tor＊的运算中使用的加速器操作量PA，使用驾驶员的实际的加速踏板的操作量的检测值。另外，在图7的步骤S720中执行了第2操作处理时的处理与第1实施方式的情况同样地以图6所示的方式进行。但是，在本实施方式中，在自动加速行驶时执行第2操作处理。因此，在图6的步骤S510中被作为车辆VC1的最新的状态s所读入的各变量中的一个即加速器操作量PA成为假想的加速器操作量PA，该假想的加速器操作量PA是将为了使车速V保持为设定速度所需要的车辆VC1的加减速的要求量换算为加速踏板的操作量而得到的。

在这样的本实施方式中，与第1实施方式的情况相反地，在手动加速行驶时通过以往方法进行内燃机10的操作部的操作量的适配，在自动加速行驶时通过车辆行驶中的强化学习进行内燃机10的操作部的操作量的适配。在本实施方式的情况下，设想为实施比手动加速行驶高的频度下的自动加速行驶，因此，以上述方式进行操作量的适配时能得到优选的结果。

(第3实施方式)

接着，一并参照图8～图11对内燃机的控制装置的第3实施方式进行详细的说明。此外，在本实施方式中，对与上述实施方式共同的结构标记同一标号，省略其详细的说明。此外，本实施方式与第2实施方式同样地在自动加速行驶期间中通过第2操作处理对内燃机10的操作部进行操作，在手动加速行驶期间中通过第1操作处理对内燃机10的操作部进行操作。

图8表示本实施方式涉及的控制装置70执行的内燃机10的各操作部的操作涉及的处理的步骤。图7所示的处理通过CPU72按既定的控制周期反复执行存储于只读存储器74的控制程序74a来实现。

当开始图8所示的一系列处理时，CPU72首先在步骤S800中取得模式变量MV的值。接着，CPU72在步骤S810中判定模式变量MV的值表示的车辆VC1的行驶模式是否为自动加速行驶。

在车辆VC1的行驶模式为自动加速行驶的情况下(S810：是)，CPU72在步骤S820中将标志F1清除之后，在步骤S825中通过第2操作程序74c执行了对内燃机10的各操作部进行操作的第2操作处理之后，暂时结束图8所示的处理。此外，如后所述，CPU72以在基于第1操作处理的操作的开始已被允许时进行置位、并且在结束基于该第1操作处理的操作而开始基于第2操作处理的操作时进行清除的方式对标志F1进行操作。

与此相对，在模式变量MV的值表示的车辆VC1的行驶模式为手动加速行驶的情况下(S810：否)，CPU72在步骤S830中判定标志F1是否被置位。并且，CPU72在标志F1被置位的情况下(是)，在步骤S840中通过第1操作程序74b执行了对内燃机10的各操作部进行操作的第1操作处理之后，暂时结束图8所示的处理。

在标志F1被清除的情况下(S830：否)，CPU72在步骤S850中实施基于第1操作处理的开口度指令值TA＊以及喷射量指令值Qi的运算。在此所运算出的开口度指令值TA＊以及喷射量指令值Qi不被反映于实际的节气门14以及燃料喷射阀16的操作，那些运算值被存储于非易失性存储器76。此外，在以下的说明中，将基于第1操作处理的开口度指令值TA＊以及喷射量指令值Qi的运算值分别记载为TA＊[1]、Qi[1]。另外，将基于第2操作处理的开口度指令值TA＊以及喷射量指令值Qi的运算值记载为TA＊[2]、Qi[2]。

接着，CPU72在步骤S860中使计数器CNT的值进行了递增之后，在步骤S870中判定计数器CNT的值是否为既定的完成判定值以上，该计数器CNT的值表示从模式变量MV的值由表示自动加速行驶的值切换为表示手动加速行驶的值起的经过时间。并且，CPU72在计数器CNT的值小于完成判定值的情况下(否)，在处理直接进入到上述的步骤S825而执行了第2操作处理之后，暂时结束图8所示的处理。与此相对，CPU72在计数器CNT的值为完成判定值以上的情况下(S870：是)，在步骤S880中对标志F1进行置位、并且将计数器CNT的值复位为了“0”之后，使处理进入到步骤S825。并且，CPU72在步骤S825中执行了第2操作处理之后，暂时结束图8所示的处理。

在图8所示的一系列处理中，标志F1在自动加速行驶期间中被保持为被清除了的状态，在刚从自动加速行驶向手动加速行驶切换之后，标志F1也为被清除了的状态。由此，在刚从自动加速行驶向手动加速行驶切换之后，进行基于第1操作处理的开口度指令值TA＊[1]以及喷射量指令值Qi[1]的运算，但实际的内燃机10的操作部的操作通过第2操作处理来执行。

然后，也每当图8所示的一系列处理的各控制周期的执行时，进行基于第1操作处理的开口度指令值TA＊[1]以及喷射量指令值Qi[1]的运算。另外，每当其执行时，计数器CNT的值被递增。由此，当计数器CNT的值到达完成判定值时，标志F1被置位，并且，计数器CNT的值被复位。因此，在下次的控制周期，基于第2操作处理的操作部的操作结束，基于第1操作处理的操作部的操作开始。

这样，在本实施方式中，基本上在手动加速行驶时通过第1操作处理分别执行内燃机10的操作部的操作，但在从自动加速行驶向手动加速行驶切换后的一定期间，继续进行基于第2操作处理的内燃机10的操作部的操作。并且，在该继续进行第2操作处理的期间，进行基于第1操作处理的开口度指令值TA＊[1]以及喷射量指令值Qi[1]的运算。

图9表示步骤S850中的喷射量指令值Qi[1]的运算涉及的CPU72的处理步骤。此时，CPU72也与基于第1操作处理的燃料喷射阀16的操作时同样地，运算将基本喷射量Qb、空燃比反馈修正值FAF以及空燃比学习值KG相加而得到的和作为喷射量指令值Qi[1]的值。但是，此时的实际的燃料喷射阀16的操作通过第2操作处理来进行，喷射量指令值Qi[1]的运算结果不反映于空燃比AF。因此，不要求为了也基于空燃比AF的检测值来使该空燃比AF为目标空燃比AF＊所需要的空燃比反馈修正值FAF的值。

与此相对，如上述那样在第2操作处理的执行期间中，进行基于强化学习的操作量的适配。若这样的基于强化学习的操作量的适配充分地取得进展，则基于第2操作处理的喷射量指令值Qi[2]的运算值应该成为使空燃比AF为目标空燃比AF＊的值。由此，利用通过图9所示的处理运算出的喷射量指令值Qi[1]对燃料喷射阀16进行了操作的情况下的空燃比的值被作为对将基于第2操作处理的喷射量指令值Qi[2]乘以目标空燃比AF＊后的积除以喷射量指令值Qi[1]而得到的商(＝AF＊×Qi[2]/Qi[1])来求出。在图9所示的一系列处理中，运算上述商来作为假想空燃比vAF的值。并且，根据目标空燃比AF＊相对于该假想空燃比vAF的偏差来进行空燃比反馈修正值FAF的运算。

对本实施方式的作用和效果进行说明。

如上述那样，在基于第1操作处理的节气门14的开口度指令值TA＊的运算时，进行将要求转矩Tor＊作为输入、且将相对于该要求转矩Tor＊的变化具有延迟地进行跟踪的值作为要求转矩缓变化值Torsm＊进行输出的缓变化处理。并且，运算将要求转矩缓变化值Torsm＊作为了输入的映射数据DS2的输出来作为开口度指令值TA＊的值。

在图10的(a)中，要求转矩Tor＊急剧减少了时的要求转矩Tor＊由双点划线表示，那时的要求转矩缓变化值Torsm＊的推移由实线表示。另外，在图10的(b)中，那时的基于第1操作处理的开口度指令值TA＊[1]的推移由实线表示。这样，开口度指令值TA＊[1]被作为相对于要求转矩Tor＊的变化具有延迟地变化的值进行运算。在第1操作处理中，通过缓变化处理，抑制由进气的响应延迟导致的内燃机10的排气性状的恶化、由内燃机转速NE的骤变导致的驾驶员的舒适性的降低。

与此相对，如上述那样，在第2操作处理中，作为将车辆VC1的状态s作为了输入的关系规定数据DR的输出，运算内燃机10的各操作部的操作量。另外，对于第2操作处理的操作量的适配，通过基于从内燃机10的排气性状以及/或者驾驶员的舒适性的观点出发算出的奖励r的强化学习进行该适配。若适当地进行这样的基于强化学习的适配，则基于第2操作处理的开口度指令值TA＊[2]的运算值也与基于第1操作处理的开口度指令值TA＊[1]同样地被进行运算以使得成为相对于要求转矩Tor＊的变化具有延迟地变化的值。此外，在以下的说明中，将从根据要求转矩Tor＊的变更而开口度指令值TA＊的值开始了变化的时间点到开口度指令值TA＊收敛于与变更后的要求转矩Tor＊相应的值的时间点为止的开口度指令值TA＊变化的期间记载为过渡期间。

在此，考虑如下情况：在图10所示的过渡期间中的时刻t1，实施从第2操作处理向第1操作处理的操作部的操作的切换，并且，与该切换同时地也开始基于第1操作处理的开口度指令值TA＊[1]的运算。在图10中，该情况下的要求转矩缓变化值Torsm＊和开口度指令值TA＊的推移分别由虚线表示。此外，在该情况下，在时刻t1以前，基于第2操作处理的开口度指令值TA＊[2]的运算值被使用于节气门14的操作，在时刻t1以后，基于第1操作处理的开口度指令值TA＊[1]的运算值被使用于节气门14的操作。在该情况下，缓变化处理也在时刻t1开始，因此，时刻t1以前的要求转矩Tor＊的推移不反映于开口度指令值TA＊[1]。因此，在从第2操作处理向第1操作处理的切换前后，开口度指令值TA＊产生高低差，内燃机10的控制性恶化。

与此相对，在本实施方式中，在基于第1操作处理的内燃机10的操作部的操作的开始之前，开始基于第1操作处理的开口度指令值TA＊[1]的运算。因此，基于第1操作处理的内燃机10的操作部的操作的开始前的要求转矩Tor＊的推移反映于该开始时的开口度指令值TA＊[1]的值，伴随着操作处理的切换的开口度指令值TA＊的变化被抑制。

进一步，在本实施方式中，在从第2操作处理向第1操作处理的内燃机10的操作部的操作的切换之前，与基于第1操作处理的开口度指令值TA＊[1]的运算一起开始喷射量指令值Qi[1]的运算。

图11表示本实施方式的控制装置70中的从自动加速行驶向手动加速行驶的车辆VC1的行驶模式切换时的燃料喷射阀16的操作涉及的控制方式。此外，在图11的(a)表示模式变量MV的推移，在图11的(b)表示计数器CNT的推移，在图11的(c)表示标志F1的推移，在图11的(d)表示喷射量指令值Qi的推移，在图11的(e)表示空燃比反馈修正值FAF的推移。

在图11的例子中，在时刻t2，车辆VC1的行驶模式从自动加速行驶切换为手动加速行驶。如上述那样，在本实施方式中，基本上在自动加速行驶时通过第2操作处理进行内燃机10的操作部的操作，在手动加速行驶时通过第1操作处理进行内燃机10的操作部的操作。但是，在该时刻t2的时间点，继续进行第2操作处理，按照基于该第2操作处理的喷射量指令值Qi[2]继续燃料喷射阀16的操作。此外，在适当地进行了基于强化学习的第2操作处理的操作量的适配的状态下，运算使空燃比AF为目标空燃比AF＊的值来作为喷射量指令值Qi[2]。

与此相对，在时刻t2，开始基于第1操作处理的喷射量指令值Qi[1]的运算。如上述那样，在第1操作处理的喷射量指令值Qi[1]的运算时，进行基于根据空燃比AF相对于目标空燃比AF＊的偏差运算出的空燃比反馈修正值FAF的反馈修正处理。刚开始了喷射量指令值Qi[1]的运算后的空燃比反馈修正值FAF的值为“0”，喷射量指令值Qi[1]有可能从使空燃比AF为目标空燃比AF＊的值背离。在图11的情况下，时刻t2的喷射量指令值Qi[1]为比喷射量指令值Qi[2]小的值。如上述那样，若运算使空燃比AF为目标空燃比AF＊的值来作为喷射量指令值Qi[2]，则喷射量指令值Qi[1]成为使空燃比AF为比目标空燃比AF＊靠稀侧的空燃比的值。由此，在该时刻t2的时间点，开始了基于第1操作处理的内燃机10的操作部的操作的情况下，空燃比AF暂时成为比目标空燃比AF＊靠稀侧的空燃比，内燃机10的排气性状恶化。

此外，此时基于两个操作处理的喷射量指令值Qi[1]、Qi[2]，运算按照喷射量指令值Qi[1]对燃料喷射阀16进行了操作的情况下的空燃比AF的预想值来作为假想空燃比vAF，使用该假想空燃比vAF进行空燃比反馈修正值FAF的运算。若是适当地进行第2操作处理的喷射量指令值Qi[2]的适配和假想空燃比vAF的运算，则时刻t2以后的喷射量指令值Qi[1]成为逐渐接近使空燃比AF为目标空燃比AF＊的值、即喷射量指令值Qi[2]。

与此相对，在时刻t2，开始计数器CNT的正数(count up)。并且，在计数器CNT的值达到完成判定值的时刻t3，标志F1被置位。在本实施方式中，根据此时的标志F1的置位操作，对内燃机10的操作部进行操作的处理从第2操作处理切换为第1操作处理。在该时间点，基于第1操作处理的喷射量指令值Qi[1]的运算值收敛于与喷射量指令值Qi[2]相同的值、即使空燃比AF为目标空燃比AF＊的值的附近。因此，能抑制空燃比AF从基于第1操作处理的燃料喷射阀16的操作刚开始之后的目标空燃比AF＊的背离。

本实施方式可以如以下那样进行变更来实施。本实施方式以及以下的变更例可以在技术上不矛盾的范围内相互组合来实施。

·关于自动加速行驶和手动加速行驶

上述实施方式中的自动加速行驶设为了为了将车速V维持为设定速度而以自动的方式进行车辆VC1的加减速的行驶模式，但也可以设为：对行驶中的道路、周边的车辆、行人等进行检测，进行基于该检测结果来以自动的方式进行车辆VC1的加减速的行驶模式来作为自动加速行驶。另外，也可以设为：在自动加速行驶中，在车辆VC1的加减速的基础上以自动的方式进行车辆VC1的转向和制动中的至少一方。另外，也可以设为：在手动加速行驶中，根据驾驶员的加速踏板操作来以手动的方式进行车辆VC1的加减速，另一方面，以自动的方式进行车辆VC1的转向和制动中的至少一方。

·关于内燃机的操作部

也可以采用节气门14、燃料喷射阀16以及点火装置26以外的操作部来作为第1操作处理和第2操作处理的切换对象的内燃机10的操作部。例如也可以在具备使排气的一部分再循环到进气中的排气再循环机构、并且在该排气再循环机构设置有对排气的再循环量进行调整的EGR阀的内燃机的情况下，采用EGR阀来作为第1操作处理和第2操作处理的切换对象的内燃机的操作部。另外，也可以在具备使进气门18以及/或者排气门30的动阀特性为可变的可变动阀机构的内燃机的情况下，采用该可变动阀机构来作为第1操作处理和第2操作处理的切换对象的内燃机的操作部。

·关于切换处理

也可以设为：将作为切换处理的第1操作处理、第2操作处理的切换对象的操作部限定为内燃机的操作部中的一部分操作部，关于其余的操作部，在手动、自动的任何加速操作行驶中，都以第1操作处理或者第2操作处理中的某一操作处理进行操作。

·关于状态s

在上述实施方式中，将内燃机转速NE、进气量KL、吸入空气量Ga、进气温度THA、进气压Pm、空燃比AF、加速器操作量PA以及车速V这8个变量作为了状态s，但也可以从状态s放弃那些变量中的一个以上，和/或将表示内燃机10、车辆VC1的状态的那些变量以外的变量添加到状态s。

·关于奖励r

基于状态s的奖励r的算出也可以以与上述实施方式不同的方式进行。例如也可以取得氮氧化物、微颗粒物质等的排气的有害成分的排出量，并且，基于该排出量算出与内燃机10的排气特性有关的奖励，测到车室的振动、噪声等级，并且，基于该测定结果算出与舒适性有关的奖励。

·关于行动价值函数Q

在上述实施方式中，将行动价值函数Q设为了表形式的函数，但不限于此。例如也可以使用函数近似器来作为行动价值函数Q。另外，也可以设为：代替使用行动价值函数Q，而将状态s和行动a作为自变量，并且，用将采取行动a的概率作为因变量的函数近似器表现策略π，根据奖励r对该策略π进行更新。

·关于更新处理

在上述实施方式中，通过离策略型TD法对关系规定数据DR进行更新，但例如也可以通过如SARSA法那样的同策略型TD法(on-policy TD method)来进行该更新。另外，也可以使用资格迹法(eligibility trace method)来作为同策略型的更新手法。进一步，也可以通过蒙特卡罗法等的上述以外的方法来进行关系规定数据DR的更新。

·关于反馈修正处理

上述实施方式中的第1操作处理下的燃料喷射阀16的喷射量指令值Qi[1]的运算通过与空燃比AF相应的反馈修正处理来进行。并且，在第3实施方式中，在从第2操作处理向第1操作处理的操作的切换时，在结束基于第2操作处理的操作而开始基于第1操作处理的操作之前，使基于上述反馈修正处理的喷射量指令值Qi[1]的运算先开始。也可以设为：在第1操作处理中运算的操作量中存在通过同样的反馈修正处理运算的操作量的情况下，与喷射量指令值Qi[1]同样地，在基于第1操作处理的操作的开始前，开始基于该反馈修正处理的操作量的运算。

此外，在此的反馈修正处理是指如下处理。对于反馈修正处理下的操作量的运算，使用预先存储于存储装置的、对将表示车辆的状态的变量即状态变量作为输入且将操作量作为输出的映射进行规定的已适配的数据来进行该运算。并且，在反馈修正处理中，根据内燃机的控制量的检测值相对于该控制量的目标值的偏差来运算反馈修正值，并且，运算通过上述反馈修正值对将状态变量的检测值作为了输入的上述映射的输出值进行修正而得到的值来作为操作量。在这样的反馈修正处理中，为了使内燃机的控制量为目标值，进行操作量的反馈修正。通过这样的反馈修正实现的控制量向目标值的收敛需要某种程度的时间。因此，在与从基于第2操作处理的操作部的操作向基于第1操作处理的操作部的操作的切换一起开始反馈修正处理的情况下，在到控制量收敛于目标值为止的期间，内燃机的控制性有可能恶化。通过先于操作的切换来开始基于反馈修正处理的操作量的运算，能抑制这些的从第2操作处理向第1操作处理的操作刚切换之后的内燃机的控制性的恶化。

·关于缓变化处理

上述实施方式中的第1操作处理下的节气门14的开口度指令值TA＊[1]的运算通过缓变化处理来进行。并且，在第3实施方式中，在从第2操作处理向第1操作处理的操作的切换时，在结束基于第2操作处理的操作而开始基于第1操作处理的操作之前，使基于上述缓变化处理的开口度指令值TA＊[1]的运算先开始。也可以设为：在第1操作处理中运算的操作量中存在通过同样的缓变化处理运算的操作量的情况下，与开口度指令值TA＊[1]同样地，在开始第1操作处理的操作之前，开始通过了该缓变化处理的操作量的运算。

此外，在此的缓变化处理是指如下处理。缓变化处理下的操作量的运算也使用预先存储于存储装置的、对将表示车辆的状态的变量即状态变量作为输入且将操作量作为输出的映射进行规定的已适配的数据来进行。并且，缓变化处理为如下两个处理A、B中的某一方的处理。处理A是将状态变量的检测值作为输入、且将相对于该检测值具有延迟地变化的值作为上述映射的输入值进行输出的处理。与此相对，处理B是将上述映射的输出值作为输入、且将相对于该输出值具有延迟地变化的值作为操作量的运算值进行输出的处理。此外，在上述实施方式中的节气门14的开口度指令值TA＊[1]的运算时，进行上述处理A来作为缓变化处理，但也可以进行上述处理B来作为缓变化处理。

在图12中表示进行处理B来作为缓变化处理而运算开口度指令值TA＊的情况下的第1操作处理中的节气门14的操作涉及的CPU72的处理步骤。如图12所示，在该情况下的第1操作处理中的节气门14的操作时，首先，运算将加速器操作量PA和车速V作为了输入的映射数据DS1的输出来作为要求转矩Tor＊的值。接着，运算将要求转矩Tor＊作为了输入的映射数据DS2的输出来作为开口度指令值TA＊的值。进一步，运算对开口度指令值TA＊实施缓变化处理而得到的值来作为开口度缓变化指令值TAsm＊。并且，通过信号输出处理，对节气门开口度TA向开口度缓变化指令值TAsm＊的变更进行指示的指令信号MS1被输出到节气门14。

·控制装置70可以由包括(1)按照计算机程序(软件)进行动作的1个以上的处理器、(2)执行各种处理中的至少一部分处理的面向特定用途的集成电路(ASIC)等的1个以上的专用硬件电路、或者(3)那些的组合的处理电路构成。处理器包括CPU和RAM以及ROM等的存储器，存储器保存构成为使CPU执行处理的程序代码或者指令。存储器即计算机可读介质包括通用或者专用的能够由计算机进行访问的所有能够利用的介质。

Claims (6)

1.一种内燃机的控制装置，构成为通过对搭载于车辆的内燃机的操作部进行操作来使该内燃机的控制量变化，所述车辆进行手动加速行驶和自动加速行驶，所述手动加速行驶根据驾驶员的加速踏板操作进行车辆的加减速，所述自动加速行驶不基于所述加速踏板操作而自动地进行所述车辆的加减速，

所述控制装置具备：

存储装置，其预先存储关系规定数据和已适配数据，所述关系规定数据是对包括所述内燃机的状态的所述车辆的状态与所述操作部的操作量的关系进行规定的数据，在所述车辆的行驶期间被进行更新，所述已适配数据是在基于所述车辆的状态的所述操作量的运算中所使用的数据，在所述车辆的行驶期间不被进行更新；和

执行装置，其构成为执行所述操作部的操作，

所述执行装置构成为执行：

第1操作处理，以使用所述已适配数据并基于所述车辆的状态运算出的所述操作量对所述操作部进行操作；

第2操作处理，以由所述关系规定数据和所述车辆的状态确定的所述操作量对所述操作部进行操作；

奖励算出处理，基于通过所述第2操作处理操作所述操作部时的所述车辆的状态的检测值来算出奖励；

更新处理，基于通过所述第2操作处理操作所述操作部时的所述车辆的状态、所述操作量以及所述奖励，对所述关系规定数据进行更新以使所述奖励的期待收益增加；以及

切换处理，根据所述车辆是正在进行所述手动加速行驶还是正在进行所述自动加速行驶，对是通过所述第1操作处理执行所述操作部的操作还是通过所述第2操作处理执行所述操作部的操作进行切换。

2.根据权利要求1所述的内燃机的控制装置，

所述已适配数据包括对将所述车辆的状态所包含的变量即状态变量作为输入、且将所述操作量作为输出的映射进行规定的数据，

所述第1操作处理包括反馈修正处理，所述反馈修正处理根据所述内燃机的控制量的检测值相对于该控制量的目标值的偏差来运算反馈修正值，并且，运算通过所述反馈修正值对将所述状态变量的检测值作为输入的所述映射的输出值进行修正而得到的值来作为所述操作量，

所述执行装置构成为：在将被使用于所述操作部的操作的处理从所述第2操作处理切换为所述第1操作处理时，从比结束基于所述第2操作处理的所述操作部的操作而开始基于所述第1操作处理的所述操作部的操作早的定时起，开始基于所述反馈修正处理的所述操作量的运算。

3.根据权利要求2所述的内燃机的控制装置，

基于所述第2操作处理的所述操作部的操作中的所述反馈修正处理包括：

根据基于该反馈修正处理和所述第2操作处理的各个处理的所述操作量的运算值来求出假想控制量，所述假想控制量是通过基于所述反馈修正处理的所述操作量的运算值对所述操作部进行了操作时的所述控制量；和

代替所述控制量的检测值而使用该假想控制量来运算所述反馈修正值。

4.根据权利要求1～3中任一项所述的内燃机的控制装置，

所述已适配数据包括对将所述车辆的状态所包含的变量即状态变量作为输入、且将所述操作量作为输出的映射进行规定的数据，

所述第1操作处理包括缓变化处理，所述缓变化处理是将所述状态变量的检测值作为输入、且输出相对于该检测值具有延迟地变化的值来作为所述映射的输入值的处理、和将所述映射的输出值作为输入、且输出相对于该输出值具有延迟地变化的值来作为所述操作量的运算值的处理中的一方的处理，

所述执行装置构成为：在将使用于所述操作部的操作的处理从所述第2操作处理切换为所述第1操作处理时，从比结束基于所述第2操作处理的所述操作部的操作而开始基于所述第1操作处理的所述操作部的操作早的定时起，开始通过了所述缓变化处理的所述操作量的运算。

5.根据权利要求4所述的内燃机的控制装置，

所述缓变化处理在运算节气门的开口度时被执行。

6.一种控制方法，通过对搭载于车辆的内燃机的操作部进行操作来使该内燃机的控制量变化，所述车辆进行手动加速行驶和自动加速行驶，所述手动加速行驶根据驾驶员的加速踏板操作进行车辆的加减速，所述自动加速行驶不基于所述加速踏板操作而自动地进行所述车辆的加减速，

所述控制方法包括：

预先存储关系规定数据和已适配数据，所述关系规定数据是对包括所述内燃机的状态的所述车辆的状态与所述操作部的操作量的关系进行规定的数据，在所述车辆的行驶期间被进行更新，所述已适配数据是在基于所述车辆的状态的所述操作量的运算中所使用的数据，在所述车辆的行驶期间不被进行更新；和

执行所述操作部的操作，

执行所述操作部的操作包括执行：

第1操作处理，以使用所述已适配数据并基于所述车辆的状态运算出的所述操作量对所述操作部进行操作；

第2操作处理，以由所述关系规定数据和所述车辆的状态确定的所述操作量对所述操作部进行操作；

奖励算出处理，基于通过所述第2操作处理操作所述操作部时的所述车辆的状态的检测值来算出奖励；

更新处理，基于通过所述第2操作处理操作所述操作部时的所述车辆的状态、所述操作量以及所述奖励，对所述关系规定数据进行更新以使所述奖励的期待收益增加；以及

切换处理，根据所述车辆是正在进行所述手动加速行驶还是正在进行所述自动加速行驶，对是通过所述第1操作处理执行所述操作部的操作还是通过所述第2操作处理执行所述操作部的操作进行切换。

Images