CN113217205B - 内燃机的控制装置及控制方法 - Google Patents

Abstract

一种内燃机的控制装置及控制方法，控制装置具备存储装置和执行装置。执行装置执行如下处理：第1操作处理，以使用已适配数据并基于状态变量运算出的操作量来操作操作部；第2操作处理，以通过关系规定数据和状态变量确定的操作量来操作操作部；切换处理，在第1操作处理与第2操作处理之间对操作操作部的处理进行切换；以及记录处理，在基于第2操作处理的操作部的操作期间中，取得在第1操作处理中的操作量的运算中使用的状态变量的值，并且将所取得的该状态变量的值的时序数据记录于存储装置。

Description

内燃机的控制装置及控制方法

技术领域

本公开涉及搭载于车辆的内燃机的控制装置及控制方法。

背景技术

日本特开2016-006327号公报公开了一种控制装置，所述控制装置基于对加速器踏板的操作量进行滤波处理而得到的值来操作作为搭载于车辆的内燃机的操作部的节气门。

针对上述滤波，要求将同时满足内燃机的效率、排气性状(性质状态)、乘员的舒适性等多个要求的值设定为节气门的操作量。因此，其适配需要熟练者花费大量的工时来进行。这样的实际情况对于节气门以外的发动机的操作部的操作量的适配而言也同样。

发明内容

一技术方案的内燃机的控制装置构成为，通过操作搭载于车辆的内燃机的操作部来控制该内燃机。该控制装置具备存储装置和执行装置，所述存储装置构成为预先存储关系规定数据和已适配数据，所述关系规定数据是规定表示包括内燃机的状态的车辆的状态的变量即状态变量与操作部的操作量的关系、并且在车辆的行驶期间中进行更新的数据，所述已适配数据是在基于状态变量的操作量的运算中使用、并且在车辆的行驶期间中不更新的数据，所述执行装置构成为执行操作部的操作。并且，该控制装置中的执行装置构成为执行第1操作处理、第2操作处理、强化学习处理、切换处理以及记录处理，所述第1操作处理是以使用已适配数据并基于状态变量而运算出的操作量来操作操作部的处理，所述第2操作处理是以通过关系规定数据和状态变量确定的操作量来操作操作部的处理，所述强化学习处理是基于通过第2操作处理对操作部进行操作时的状态变量算出奖励，并且基于状态变量、操作量以及奖励，以使得奖励的期待收益增加的方式更新关系规定数据的处理，所述切换处理是根据车辆的状态，在第1操作处理与第2操作处理之间对操作操作部的处理进行切换的处理，所述记录处理是在基于第2操作处理操作操作部时，取得在第1操作处理中的操作量的运算中使用的状态变量，并且将所取得的该状态变量的值的时序数据记录于存储装置的处理。

在上述内燃机的控制装置中，针对在使用预先存储于存储装置的已适配数据进行操作量的运算的第1操作处理下的、内燃机的操作部的操作而言，需要在车辆出厂前完成操作量的适配。与此相对，在第2操作处理的执行期间中，根据作为基于该第2操作处理操作操作部的结果而发生变化的车辆的状态来算出奖励，并且以使得该奖励的期待收益增加的方式更新关系规定数据。即，在基于第2操作处理操作内燃机的操作部时，进行基于强化学习的操作量的适配。像这样，关于通过第2操作处理对操作部进行操作时的操作量，能够在车辆的行驶期间中自动地进行适配，所以能够减少车辆出厂前的熟练者对操作量的适配所需的工时。但是，这样的强化学习需要在车辆的各种状态下分别花费时间来进行，根据车辆的运用，有时完成适配需要时间。因此，根据车辆的驾驶状况，有时与通过车辆行驶期间中的强化学习来适配操作量的情况相比，在车辆出厂前完成适配的话，更能获得所期望的结果。针对这一点，上述内燃机的控制装置中的执行装置，在切换处理中，根据车辆的状态在第1操作处理与第2操作处理之间对操作操作部的处理进行切换。因此，根据上述内燃机的控制装置，能够适当地减少内燃机的操作部的操作量的适配所涉及的熟练者的工时。

在此，有时在第1操作处理中的操作量的运算中使用的值中包含在每次运算操作量时与根据状态变量的值算出的更新量相应地进行更新的值。该情况下的上述值的更新基于此时的状态变量的瞬时值来进行，而更新后的值成为对到目前为止的操作量的每次运算中的基于状态变量的值算出的更新量进行累计而得到的值。像这样，即使在第1操作处理中的操作量的运算是基于状态变量的瞬时值来进行的情况下，也有时将操作量作为反映出到目前为止的状态变量的值的演变的值来运算。在这样的情况下，在刚从第2操作处理向第1操作处理切换后的操作量的运算值中不反映第2操作处理中的状态变量的值的演变，所以会将与从以前起持续进行第1操作处理的情况不同的值设定为操作量。

针对这一点，上述内燃机的控制装置中的执行装置，在记录处理中，在第2操作处理下的操作部的操作期间中，取得在第1操作处理中的操作量的运算中使用的状态变量的值，并且将所取得的状态变量的值的时序数据记录于存储装置。通过参照所记录的时序数据，在操作操作部的处理从第2操作处理切换为了第1操作处理时，能够将操作量设定为反映出该切换前的第2操作处理的执行期间中的状态变量的值的演变的值。

此外，在上述记录处理中记录时序数据的状态变量的数量越多，则分配给该记录的存储装置的存储容量也越多。在进行第1操作处理中的操作量的运算时，有时优选反映出以前的值的演变的状态变量是在该操作量的运算中使用的状态变量中的一部分。由此，在这样的情况下，可以是，在上述记录处理中被在存储装置中记录时序数据的状态变量是在第1操作处理中的操作量的运算中使用的多个状态变量中的一部分状态变量。作为期望记录时序数据的状态变量，有下述的变量。

有时在第1操作处理中包括将特定的状态变量作为控制量，并且根据该控制量的目标值与检测值的偏差来修正操作量的反馈修正处理。这样的反馈修正处理下的控制量向目标值的收敛需要一定程度的时间，所以若与从第2操作处理向第1操作处理的切换一起开始上述反馈修正处理，则有时控制量会暂时偏离目标值而内燃机的控制性恶化。关于这一点，若在记录处理中记录了上述反馈修正处理中的设为控制量的状态变量的时序数据，则通过参照该时序数据来求出使控制量成为目标值的操作量的值。因此，可抑制刚从第2操作处理向第1操作处理切换后的内燃机的控制性的恶化。

另外，在第1操作处理中包括如下的缓变化处理的情况下，在通过该缓变化处理进行的操作量的运算中使用的下述的状态变量可以是记录处理下的时序数据的记录对象。在通过缓变化处理进行的操作量的运算中使用如下数据，该数据被已适配数据包含、且规定将作为特定的状态变量的状态变量作为输入并且将操作量作为输出的映射。并且，缓变化处理是将状态变量的检测值作为输入并且将相对于该检测值具有延迟地变化的值输出来作为上述映射的输入值的处理、和将上述映射的输出值作为输入并且将相对于该输出值具有延迟地变化的值输出来作为操作量的运算值的处理中的任一方的处理。为了将操作量作为相对于状态变量的变化具有延迟地变化的值来进行运算，而进行这样的缓变化处理。即，通过缓变化处理运算出的操作量作为反映出以前的状态变量的演变的值来运算。因此，优选，上述状态变量是记录处理下的时序数据的记录对象。

此外，在进行手动加速行驶和自动加速行驶的车辆中，在自动加速行驶期间和手动加速行驶期间，有时内燃机的运用大不相同，所述手动加速行驶是根据驾驶员的加速器踏板操作来进行车辆的加减速的行驶，所述自动加速行驶是不基于加速器踏板操作而自动地进行所述车辆的加减速的行驶。然后，结果，在基于车辆行驶期间中的强化学习的适配和基于以往方法的车辆出厂前的适配这两种适配方法中，可获得更优选的结果的适配方法在自动加速行驶期间和手动加速行驶期间有时会不同。由此，在将上述控制装置应用于搭载于这样的车辆的内燃机的情况下，上述切换处理可以是根据车辆是进行手动加速行驶还是进行自动加速行驶，在第1操作处理与第2操作处理之间对操作操作部的处理进行切换的处理。

另一技术方案提供一种通过操作搭载于车辆的内燃机的操作部来控制该内燃机的方法。该方法包括：预先存储关系规定数据，所述关系规定数据是规定表示包括所述内燃机的状态的所述车辆的状态的变量即状态变量与所述操作部的操作量的关系、并且在所述车辆的行驶期间中进行更新的数据；预先存储已适配数据，所述已适配数据是在基于所述状态变量的所述操作量的运算中使用、并且在所述车辆的行驶期间中不更新的数据；以及执行所述操作部的操作。所述操作部的操作的执行包括第1操作处理、第2操作处理、强化学习处理、切换处理以及记录处理的执行，所述第1操作处理是以使用所述已适配数据并基于所述状态变量而运算出的所述操作量来操作所述操作部的处理，所述第2操作处理是以通过所述关系规定数据和所述状态变量确定的所述操作量来操作所述操作部的处理，所述强化学习处理是基于通过所述第2操作处理对所述操作部进行操作时的所述状态变量算出奖励，并且基于所述状态变量、所述操作量以及所述奖励，以使得所述奖励的期待收益增加的方式更新所述关系规定数据的处理，所述切换处理是根据所述车辆的状态，在所述第1操作处理与所述第2操作处理之间对操作所述操作部的处理进行切换的处理，所述记录处理是在基于所述第2操作处理操作所述操作部的期间中，取得在所述第1操作处理中的所述操作量的运算中使用的所述状态变量的值，并且记录所取得的该状态变量的值的时序数据的处理。

附图说明

图1是示意性地示出第1实施方式涉及的内燃机的控制装置的构成的图。

图2是该控制装置中的执行装置所执行的处理的流程图。

图3是示出该执行装置所执行的第1操作处理中的与节气门的操作相关的处理的流程的控制框图。

图4是示出该执行装置所执行的第1操作处理中的与燃料喷射阀的操作相关的处理的流程的控制框图。

图5是示出该执行装置所执行的第1操作处理中的与点火装置的操作相关的处理的流程的控制框图。

图6是示出与该执行装置所执行的第2操作处理、和强化学习处理相关的处理的流程的流程图。

图7是该执行装置所执行的记录处理的流程图。

图8是该执行装置所执行的切换时处理的流程图。

在图9中，(a)是示出要求转矩Tor*和要求转矩缓变化值Torsm*的演变的时间图，(b)是示出开度指令值TA*的演变的时间图。

图10是示出第1操作处理中的与节气门的操作相关的处理的变更例中的处理的流程的控制框图。

具体实施方式

以下，参照图1～图9对内燃机的控制装置的第1实施方式详细地进行说明。

图1示出本实施方式的控制装置70、和作为该控制装置70的控制对象的搭载于车辆VC1的内燃机10的构成。在内燃机10的进气通路12中，从上游侧起依次设置有节气门14和燃料喷射阀16，被吸入进气通路12的空气、从燃料喷射阀16喷射的燃料伴随进气门18的打开而流入由气缸20和活塞22划分的燃烧室24。在燃烧室24内，燃料与空气的混合气伴随点火装置26的火花放电而被用于燃烧，通过燃烧产生的能量经由活塞22变换为曲轴28的旋转能量。用于了燃烧的混合气伴随排气门30的打开而作为排气向排气通路32排出。在排气通路32设置有作为对排气进行净化的后处理装置的催化剂34。

控制装置70为了控制作为表示内燃机10的状态的控制量的转矩和排气成分比率等参数而对节气门14、燃料喷射阀16以及点火装置26等内燃机10的操作部进行操作。此外，在图1中记载了节气门14、燃料喷射阀16以及点火装置26各自的操作信号MS1～MS3。

为了控制内燃机10的控制量，控制装置70取得检测内燃机10的状态的各种传感器的检测值。在检测内燃机10的状态的传感器中包括检测吸入空气量Ga的空气流量计80、检测进气温度THA的进气温度传感器81、检测进气压力Pm的进气压力传感器82、检测节气门14的开度即节气门开度TA的节气门传感器83、检测曲轴28的旋转角θc的曲轴角传感器84。另外，上述传感器还包括输出与燃烧室24中的爆震(knocking)的发生状况相应的爆震信号Knk的爆震传感器85、和检测在燃烧室24中燃烧了的混合气的空燃比AF的空燃比传感器86。另外，控制装置70也参照检测加速器踏板87的踩踏量即加速器操作量PA的加速器踏板传感器88、检测车辆VC1的前后方向的加速度Gx的加速度传感器89、检测车速V的车速传感器90等检测车辆VC1的状态的传感器的检测值。

进而，在车辆VC1设置有操作面板92，所述操作面板92被用于进行手动加速行驶和自动加速行驶的行驶模式切换和/或自动加速行驶时的设定速度的变更。手动加速行驶是根据驾驶员的加速器踏板87的操作来进行车辆VC1的加减速的行驶模式。自动加速行驶是不基于加速器踏板87的操作，即与加速器踏板87的操作无关地自动地进行车辆VC1的加减速以将车速V维持为设定速度的行驶模式。控制装置70在控制内燃机10的控制量时，还参照表示选择手动加速行驶、自动加速行驶中的哪一个作为车辆VC1的行驶模式的模式变量MV的值。

此外，从手动加速行驶向自动加速行驶的切换通过在满足了既定的自动巡航允许条件的状态下在操作面板92中进行设定速度的设定、和自动巡航的开始操作而被允许。在自动巡航允许条件中包括正在机动车辆专用道路上行驶、车速V为既定的范围内的速度等条件。

与此相对，从自动加速行驶向手动加速行驶的切换通过驾驶员踩踏制动器踏板、和/或在操作面板92中进行自动巡航的解除操作来实施。

控制装置70具备作为执行与内燃机10的控制相关的处理的执行装置的CPU72和周边电路78。周边电路78包括生成规定内部的动作的时钟信号的电路、电源电路、复位电路等电路。另外，控制装置70具备在车辆VC1的行驶期间中不能进行所存储的数据等的改写的读入专用存储器74、和在车辆VC1的行驶期间中能够电改写所存储的数据等的非易失性存储器76作为存储装置。上述CPU72、读入专用存储器74、非易失性存储器76以及周边电路78能够经由本地网络79进行通信。

读入专用存储器74存储有内燃机10的控制用的控制程序74a。在控制程序74a中包括作为内燃机10的各操作部的操作用的程序的第1操作程序74b和第2操作程序74c这两个程序。另外，读入专用存储器74存储有在基于第1操作程序74b进行的内燃机10的各操作部的操作中使用的多个已适配数据DS。非易失性存储器76存储有关系规定数据DR，所述关系规定数据DR是规定表示包括内燃机10的状态的车辆VC1的状态的状态变量与操作量的关系的数据，并且所述关系规定数据DR在基于第2操作程序74c进行的内燃机10的各操作部的操作中使用。并且，读入专用存储器74存储有用于对关系规定数据DR进行更新的强化学习处理用的程序即学习程序74d。进而，读入专用存储器74存储有用于将状态变量的值的时序数据DTS记录于非易失性存储器76的程序即记录处理程序74e。

已适配数据DS包括在内燃机10的各操作部的操作量的运算中使用的各种映射数据(map data)。映射数据是由输入变量的离散的值与输入变量各自的值所对应的输出变量的值的组构成的数据。在映射数据中包含要求转矩运算用的映射数据DS1、开度运算用的映射数据DS2、基本点火正时运算用的映射数据DS3、界限延迟点火正时运算用的映射数据DS4等电回路。要求转矩运算用的映射数据DS1是将加速器操作量PA和车速V作为输入变量并且将内燃机10的转矩的要求值即要求转矩Tor*作为输出变量的映射数据。开度运算用的映射数据DS2是将内燃机10的转矩作为输入变量、并且将产生该转矩所需的节气门开度TA的值作为输出变量的映射数据。基本点火正时运算用的映射数据DS3是将内燃机转速NE和进气量KL作为输入变量并且将基本点火正时Abse作为输出变量的映射数据。基本点火正时Abse是内燃机10的转矩成为最大的点火正时即最佳点火正时、和能够抑制爆震的点火正时的提前界限即轻度爆震(trace knock)点火正时这两个正时中的更靠延迟侧的正时。界限延迟点火正时运算用的映射数据DS4是将内燃机转速NE和进气量KL作为输入变量并且将界限延迟点火正时Akmf作为输出变量的映射数据。界限延迟点火正时Akmf是燃烧室24中的混合气的燃烧不发生恶化的点火正时的延迟界限。

另外，在已适配数据DS中包含进气量运算用的模型数据DS5。模型数据DS5是在流入燃烧室24的进气量KL的运算中使用的内燃机10的进气举动的物理模型的数据，根据吸入空气量Ga、进气温度THA、进气压力Pm、节气门开度TA、内燃机转速NE等输入来输出进气量KL。

预先调整上述映射数据DS1～DS4以及模型数据DS5，以使得使用这些数据运算出的操作量成为满足内燃机10的排气性状、燃料消耗率、驾驶员的舒适性等要件的值。并且，映射数据DS1～DS4以及模型数据DS5在车辆VC1出厂前被预先写入读入专用存储器74中，例如仅能够使用设置于保养维修设施的专用的设备进行更新。即，已适配数据DS是在车辆VC1的行驶期间中不更新的数据。

图2示出本实施方式涉及的控制装置70所执行的与内燃机10的各操作部的操作相关的处理的步骤。图2所示的处理通过CPU72按每个既定的控制周期反复执行存储于读入专用存储器74的控制程序74a来实现。此外，以下，利用在开头标注有“S”的数字来表示各处理的步骤编号。在本实施方式中，通过图2的处理来进行切换处理，所述切换处理是根据车辆VC1是进行手动加速行驶还是进行自动加速行驶，对是通过第1操作处理执行操作部的操作、还是通过第2操作处理执行操作部的操作进行切换的处理。

当开始图2所示的一系列的处理时，CPU72首先在步骤S200中取得模式变量MV的值。继而，CPU72在步骤S210中判定模式变量MV的值所表示的车辆VC1的行驶模式是否为自动加速行驶。

在此时的车辆VC1的行驶模式不是自动加速行驶的情况下(S210：否)，即是手动加速行驶的情况下，CPU72在步骤S220中执行通过执行第2操作程序74c来操作内燃机10的各操作部的第2操作处理。另外，CPU72在接下来的步骤S230中执行用于通过执行学习程序74d来更新关系规定数据DR的强化学习处理。进而，CPU72在接下来的步骤S240中通过执行记录处理程序74e来执行记录处理。然后，CPU72在下一步骤S250中清除了标志FL之后，暂时结束图2所示的一系列的处理。此外，标志FL是表示在从第2操作处理向第1操作处理切换时，后述的切换时处理是否完成的标志。

与此相对，在车辆VC1的行驶模式为自动加速行驶的情况下(S210：是)，CPU72在步骤S260中判定上述标志FL是否处于设立状态。并且，CPU72在标志FL处于设立状态的情况下(S260：是)使处理前进至步骤S270，在该步骤S270中执行了通过执行第1操作程序74b来操作内燃机10的各操作部的第1操作处理后，暂时结束图2所示的一系列的处理。与此相对，CPU72在标志FL处于清除状态的情况下(S260：否)使处理前进至步骤S280，在该步骤S280中执行后述的切换时处理。另外，该情况下的CPU72在接下来的步骤S290中设立了标志FL后，暂时结束图2所示的一系列的处理。

在图2所示的一系列的处理中，在手动加速行驶期间中，进行基于第2操作处理的内燃机10的操作部的操作、基于强化学习处理的关系规定数据DR的更新、以及基于记录处理的时序数据DTS的记录。另外，此时的标志FL保持为清除的状态。当车辆VC1的行驶模式从手动加速行驶切换为自动加速行驶时，在该切换后的最初的控制周期中执行切换时处理，并且设立标志FL。之后，在自动加速行驶持续的期间，进行基于第1操作处理的内燃机10的操作部的操作，在该期间中标志FL保持为设立的状态。由此，切换时处理是在从手动加速行驶向自动加速行驶切换时执行的处理。

继而，对第1操作处理中的内燃机10的各操作部的操作进行说明。在第1操作处理中，基于使用预先存储于读入专用存储器74的已适配数据DS分别运算出的操作量来进行内燃机10的各操作部的操作。在此，对关于内燃机10的操作部中的节气门14、燃料喷射阀16以及点火装置26的第1操作处理中的操作进行说明。

图3示出第1操作处理中的与节气门14的操作相关的CPU72的处理步骤。如图3所示，在进行第1操作处理中的节气门14的操作时，首先，运算将加速器操作量PA和车速V作为输入的映射数据DS1的输出，来作为要求转矩Tor*的值。此外，在本实施方式的情况下，第1操作处理在自动加速行驶模式下执行。因此，此处的加速器操作量PA不使用驾驶员的实际的加速器踏板的操作量，而是使用假想的加速器操作量PA，该假想的加速器操作量PA是将为了使车速V保持为设定速度而需要的车辆VC1的加减速的要求量换算成加速器踏板的操作量而得到的量。

继而，将对要求转矩Tor*实施了缓变化处理而得到的值运算为要求转矩缓变化值Torsm*。缓变化处理是将要求转矩Tor*作为输入、将相对于该要求转矩Tor*具有延迟地跟随该要求转矩Tor*的值作为要求转矩缓变化值Torsm*的值而输出的滤波处理。在本实施方式中，采用将要求转矩Tor*的修正移动平均值作为要求转矩缓变化值Torsm*的值而输出的滤波处理来作为缓变化处理。具体而言，通过以满足式(1)的关系的方式更新要求转矩缓变化值Torsm*的值，从而进行该运算。此外，式(1)中的“n”是被预先设定为2以上的整数的常数。通过这样的缓变化处理，可抑制因节气门开度TA的急剧变化而使内燃机转速NE急剧变化，从而损害驾驶员的舒适性、因进气的响应延迟而排气性状恶化等情况。

进而，运算将要求转矩缓变化值Torsm*作为输入的映射数据DS2的输出，来作为节气门开度TA的指令值即开度指令值TA*的值。然后，通过信号输出处理，将指示节气门开度TA向开度指令值TA*变更的指令信号MS1向节气门14输出。

图4示出第1操作处理中的与燃料喷射阀16的操作相关的CPU72的处理步骤。如图4所示，在进行第1操作处理中的燃料喷射阀16的操作时，首先，运算将吸入空气量Ga、进气温度THA、进气压力Pm、节气门开度TA、内燃机转速NE等参数作为输入的模型数据DS5的输出，来作为进气量KL的值。然后，运算进气量KL除以在燃烧室24中燃烧的混合气的空燃比的目标值即目标空燃比AF*而得到的商，来作为基本喷射量Qb的值。

另外，根据空燃比AF的检测值相对于目标空燃比AF*的偏差来运算空燃比反馈修正值FAF。空燃比反馈修正值FAF的运算通过PID处理来进行。即，分别运算对空燃比AF的检测值相对于目标空燃比AF*的偏差乘以既定的比例增益而得到的积即比例项、对该偏差的时间积分值乘以既定的积分增益而得到的积即积分项、以及对该偏差的时间微分值乘以既定的微分增益而得到的积即微分项。然后，运算将上述比例项、积分项以及微分项相加而得到的和，来作为空燃比反馈修正值FAF的值。

另外，在进行基于第1操作处理的燃料喷射阀16的操作时，进行空燃比学习值KG的学习处理。空燃比学习值KG的学习处理通过基于内燃机转速NE、进气量KL稳定的内燃机10的稳定运转时的空燃比反馈修正值FAF的值，以以下的(1)～(3)的方式更新空燃比学习值KG的值来进行。(1)在空燃比反馈修正值FAF的绝对值小于既定的更新判定值的情况下，保持空燃比学习值KG的值。(2)在空燃比反馈修正值FAF为正值、且其绝对值为既定的更新判定值以上的情况下，以将从更新前的值减去既定的更新量而得到的差设为更新后的值的方式更新空燃比学习值KG的值。(3)在空燃比反馈修正值FAF为负值、且其绝对值为更新判定值以上的情况下，以将对更新前的值加上上述更新量而得到的和设为更新后的值的方式更新空燃比学习值KG的值。

进而，运算将基本喷射量Qb、空燃比反馈修正值FAF以及空燃比学习值KG相加而得到的和，来作为喷射量指令值Qi的值。然后，通过信号输出处理，将指示与喷射量指令值Qi的运算值相应的量的燃料喷射的指令信号MS2向燃料喷射阀16输出。

图5示出第1操作处理中的与点火装置26的操作相关的CPU72的处理步骤。在进行第1操作处理中的点火装置26的操作时，首先，运算将内燃机转速NE和进气量KL作为输入的映射数据DS3的输出，来作为基本点火正时Abse的值。另外，运算将内燃机转速NE和进气量KL作为输入的映射数据DS4的输出，来作为界限延迟点火正时Akmf的值。然后，运算从基本点火正时Abse减去界限延迟点火正时Akmf而得到的差，来作为界限延迟量Akmax的值。

另外，在进行第1操作处理中的点火装置26的操作时，进行基于爆震信号Knk的爆震控制量Akcs的运算处理。爆震控制量Akcs的运算通过以下述(4)、(5)的方式更新爆震控制量Akcs的值来进行。(4)在爆震信号Knk是表示发生爆震的值的情况下，以将对更新前的值加上既定的爆震延迟量而得到的和设为更新后的值的方式更新爆震控制量Akcs的值。(5)在爆震信号Knk是表示没有发生爆震的值的情况下，以将从更新前的值减去既定的爆震提前量而得到的差设为更新后的值的方式更新爆震控制量Akcs的值。此外，将爆震延迟量设定为正值，将爆震提前量设定为比爆震延迟量大的值。

然后，运算对界限延迟量Akmax加上爆震控制量Akcs而得到的和，来作为点火正时延迟量Aknk的值，进而，运算从基本点火正时Abse减去点火正时延迟量Aknk而得到的差，来作为点火正时指令值Aop的值。然后，通过信号输出处理，将指示在与点火正时指令值Aop的运算值对应的正时执行点火的指令信号MS3向点火装置26输出。

继而，对第2操作处理中的内燃机10的各操作部的操作进行说明。在第2操作处理中，根据通过存储于非易失性存储器76的关系规定数据DR和车辆VC1的状态确定的操作量来进行内燃机10的各操作部的操作。如上所述，CPU72与第2操作处理并行地执行强化学习处理。强化学习处理通过CPU72读入并执行存储于读入专用存储器74的学习程序74d来实现。

此外，本实施方式中的关系规定数据DR被设为确定行动价值函数Q和策略π的数据。行动价值函数Q是表示与状态s和行动a的各自变量相应的期待收益的值的表(table)形式的函数。在本实施方式中，状态s基于内燃机转速NE、进气量KL、吸入空气量Ga、进气温度THA、进气压力Pm、空燃比AF、加速器操作量PA以及车速V这8个变量来决定。另外，在本实施方式中，行动a基于作为内燃机10的操作部的操作量的开度指令值TA*、喷射量指令值Qi以及点火正时指令值Aop这3个变量来决定。即，状态s是八维的向量，行动a是三维的向量。另外，本实施方式涉及的行动价值函数Q(s，a)被设为表形式的函数。

图6示出与第2操作处理和强化学习处理这两个处理相关的CPU72的处理步骤。每当执行图2的步骤S220中的第2操作处理时，CPU72便执行图6所示的一系列的处理。此外，在本实施方式中，图6的S510～S530相当于第2操作处理。图6的S540～S590相当于强化学习处理。

当开始图6所示的一系列的处理时，首先在S500中将“t”的值重置为“0”。继而，在步骤S510中，读入车辆VC1的最新的状态s，并将所读入的状态s的各变量的值代入为状态s[t]的各变量的值。接着，在步骤S520中，根据由关系规定数据DR规定的策略π[t]来选择行动a[t]。此处的行动a[t]意味着针对状态s[t]所选择的行动a。另外，策略π[t]是在状态s[t]下，将选择使行动价值函数Q(s[t]，a)最大化的行动a、即贪婪(greedy)行动的概率设为最大，并且除此以外的行动a的选择概率也不被设为“0”的策略。通过像这样存在不采用贪婪行动的情况，所以能够进行用于寻求最佳的行动的探索。这样的策略π能够通过ε贪婪行动选择方法、和/或softmax行动选择方法来实现。然后，在接下来的步骤S530中，根据被选择为行动a[t]的开度指令值TA*、喷射量指令值Qi以及点火正时指令值Aop分别向节气门14、燃料喷射阀16以及点火装置26输出操作信号MS1～MS3。

之后，在步骤S540和步骤S550中，算出奖励r[t]。在算出奖励r[t]时，首先，在步骤S540中，读入与上述行动a[t]相应的操作部的操作后的最新的状态s，并将所读入的状态s的各变量的值设定为状态s[t+1]的各变量的值。然后，在步骤S550中，基于状态s[t+1]算出行动a[t]下的奖励r[t]。奖励r[t]被算出为根据空燃比AF相对于目标空燃比AF*的偏差的累计值等求出的与内燃机10的排气特性相关的奖励、根据喷射量指令值Qi的累计值等求出的与内燃机10的燃料消耗率相关的奖励、根据加速度Gx的累计值等求出的与驾驶员的舒适性相关的奖励等观点不同的多个奖励之和。

继而，在步骤S560中算出误差δ[t]，所述误差δ[t]是用于算出对行动价值函数Q中的状态s[t]、行动a[t]的情况下的行动价值函数Q(s[t]，a[t])的值进行更新的更新量的值。在本实施方式中，使用异策略型TD法(off-policy TD method)算出误差δ[t]。即，使用折扣率γ，将误差δ[t]设为从对行动价值函数Q(s[t+1]，A)中的最大值乘以折扣率γ而得到的值与奖励r[t]之和减去行动价值函数Q(s[t]，a[t])而得到的值。此外，“A”意味着行动a的集合。接着，在步骤S570中，通过将对误差δ[t]乘以学习率α而得到的积与行动价值函数Q(s[t]，a[t])相加来更新行动价值函数Q(s[t]，a[t])。即，由关系规定数据DR规定的行动价值函数Q(s，a)中的、自变量为状态s[t]和行动a[t]的行动价值函数的值改变“α·δ[t]”。通过上述步骤S560和步骤S570的处理，以使得奖励r[t]的期待收益增加的方式更新关系规定数据DR。这是因为，通过更新行动价值函数Q(s[t]，a[t])，行动价值函数Q(s[t]，a[t])被更新为更高精度地表示实际的期待收益的值。

在接下来的步骤S580中，与各自变量相关地判定行动价值函数Q的值是否收敛。在判定为没有收敛的情况下(否)，在步骤S590中使“t”的值增加“1”，之后，处理返回到步骤S510。与此相对，在判定为行动价值函数Q的值已收敛的情况下(S580：是)，暂时结束图6所示的一系列的处理。

继而，参照图7对在图2所示的一系列的处理的步骤S240中CPU72所执行的记录处理进行说明。记录处理是如下的处理：在基于第2操作处理的操作部的操作期间中取得在第1操作处理中的操作量的运算中使用的状态变量的值，并且将所取得的该状态变量的值的时序数据记录于作为存储装置的非易失性存储器76。

在图7所示的一系列的处理中，CPU72首先在步骤S700中取得要求转矩Tor*、基于第2操作处理的喷射量指令值Qi的运算值、进气量KL、以及在进行第1操作处理下的燃料喷射阀16的操作时运算出的空燃比学习值KG各自的值。此外，在以下的说明中，将基于第2操作处理的喷射量指令值Qi的运算值记载为“Qi2”。

继而，在步骤S710中，CPU72运算对进气量KL除以目标空燃比AF*而得到的商加上空燃比学习值KG而得到的和，来作为假想喷射量vQi1的值。如上所述，第1喷射处理包括运算将基本喷射量Qb、空燃比反馈修正值FAF以及空燃比学习值KG相加而得到的和来作为喷射量指令值Qi的值的处理。假想喷射量vQi1的值表示从这样的第1操作处理中的喷射量指令值Qi的运算值减去空燃比反馈修正值FAF而得到的差，即，将空燃比反馈修正值FAF设为0的情况下的第1操作处理中的喷射量指令值Qi的运算值。

在接下来的步骤S720中，CPU72运算对Qi2除以vQi1而得到的商乘以目标空燃比AF*而得到的积来作为假想空燃比vAF的值。如上所述，在第2操作处理中，进行基于强化学习的操作量的适配，在该强化学习的奖励r中包括根据空燃比AF相对于目标空燃比AF*的偏差的累计值等参数求出的与内燃机10的排气特性相关的奖励。若充分地进行这样的基于强化学习的操作量的适配，则作为基于第2操作处理的喷射量指令值Qi的运算值的Qi2应该会成为使空燃比AF成为目标空燃比AF*的值。与此相对，空燃比AF是在燃烧室24中燃烧的混合气的空气的质量除以燃料的质量而得到的商。由此，若Qi2是使空燃比AF成为目标空燃比AF*的喷射量指令值Qi，则将预定的值Qx设为喷射量指令值Qi的值而操作了燃料喷射阀16时的空燃比AF会成为对Qi2除以Qx而得到的商乘以目标空燃比AF*而得到的积(＝AF*×Qi2/Qx)。由此，假想空燃比vAF表示在通过第2操作处理对燃料喷射阀16进行操作的现状下，假定为将假想喷射量vQi1设为喷射量指令值Qi来操作燃料喷射阀16的情况下的空燃比AF的假想值。

继而，CPU72在步骤S730中分别更新记录于非易失性存储器76的要求转矩Tor*和假想空燃比vAF的时序数据DTS，之后，结束图7所示的一系列的处理。此外，在本实施方式中，将由在从n次前的控制周期到本次的控制周期为止的各个周期中取得的n个要求转矩Tor*的值构成的数据作为要求转矩Tor*的时序数据进行记录。另外，在本实施方式中，将由在从m次前的控制周期到本次的控制周期为止的各个周期中运算出的m个假想空燃比vAF的值构成的数据作为假想空燃比vAF的时序数据进行记录。此外，“m”是2以上的整数。

继而，参照图8对切换时处理的详情进行说明。如上所述，切换时处理是在从手动加速行驶向自动加速行驶切换时执行的处理。

当开始图8所示的一系列的处理时，CPU72首先在步骤S800中取得记录于非易失性存储器76的要求转矩Tor*和假想空燃比vAF的时序数据。然后，CPU72在接下来的步骤S810中，基于所取得的要求转矩Tor*的时序数据来运算要求转矩缓变化值Torsm*。在本实施方式中，运算要求转矩Tor*的时序数据所包含的n个要求转矩Tor*的值的平均值来作为要求转矩缓变化值Torsm*的值。进而，CPU72在步骤S820中，基于运算出的要求转矩缓变化值Torsm*来运算开度指令值TA*。具体而言，此时的CPU72运算将要求转矩缓变化值Torsm*作为输入值的映射数据DS2的输出值，来作为开度指令值TA*的值。

另外，CPU72在下一步骤S830中，根据假想空燃比vAF的时序数据来运算空燃比反馈修正值FAF。在本实施方式中，通过下述的方式进行此处的空燃比反馈修正值FAF的运算。即，在进行此处的空燃比反馈修正值FAF的运算时，首先，求出时序数据所包含的各假想空燃比vAF的移动平均值。继而，运算将当前的进气量KL除以该移动平均值而得到的商，来作为为了使空燃比AF成为目标空燃比AF*所需的喷射量指令值Qi的值“Qf”。另外，运算将当前的进气量KL除以目标空燃比AF*而得到的商，来作为基本喷射量Qb的值。并且，运算从“Qf”减去基本喷射量Qb与空燃比学习值KG之和而得到的差，来作为空燃比反馈修正值FAF的值。即，在此，设为根据假想空燃比vAF的时序数据求出的“Qf”是使空燃比AF成为目标空燃比AF*的喷射量指令值Qi的值，来运算空燃比反馈修正值FAF的值。然后，CPU72在接下来的步骤S840中，运算基本喷射量Qb、空燃比反馈修正值FAF以及空燃比学习值KG之和来作为喷射量指令值Qi的值。

继而，CPU72在步骤S850中，运算包括点火正时指令值Aop的内燃机10的其他操作部的操作量。此处的操作量的运算以与第1操作处理相同的方式进行。然后，CPU72在接下来的步骤S860中根据运算出的各操作量来执行内燃机10的各操作部的操作，之后，结束图8所示的一系列的处理。

在这样的切换时处理中，除了以下两点以外，以与第1操作处理相同的方式执行内燃机10的操作部的操作。即，“基于要求转矩Tor*的时序数据来运算在开度指令值TA*的运算中使用的要求转矩缓变化值Torsm*”、和“基于假想空燃比vAF的时序数据来运算在喷射量指令值Qi的运算中使用的空燃比反馈修正值FAF”这两点是第1操作处理与切换时处理的不同点。

对本实施方式的作用和效果进行说明。

本实施方式中的控制装置70从第1操作处理和第2操作处理这两个操作处理中选择任一个处理来进行内燃机10的操作部的操作。在第1操作处理中，以使用预先存储于读入专用存储器74的已适配数据DS运算出的操作量来操作操作部。在这样的第1操作处理中的操作量的运算中使用的已适配数据DS需要在车辆VC1出厂前预先完成适配。与此相对，在第2操作处理中，以通过存储于非易失性存储器76的关系规定数据DR和车辆VC1的状态确定的操作量来操作操作部。并且，在第2操作处理的执行期间中，根据作为基于该第2操作处理的操作部的操作的结果而发生变化的车辆VC1的状态算出奖励r，并且以使得该奖励r的期待收益增加的方式更新关系规定数据DR。即，在基于第2操作处理进行内燃机10的操作部的操作时，进行基于强化学习的操作量的适配。若像这样在车辆VC1的行驶期间中进行基于强化学习的操作量的适配，则能够减少在车辆出厂前由熟练者进行操作量的适配所涉及的工时。然而，车辆行驶期间中的基于强化学习的操作量的适配伴随着控制装置70的运算负荷的增大。像这样，在车辆行驶期间中的基于强化学习的操作量的适配中，具有能够减少由熟练者进行操作量的适配所涉及的工时这一优点，另一方面，具有会增加控制装置70的运算负荷这一缺点。另外，由于完成基于强化学习的操作量的适配需要一定程度的时间，所以在完成适配之前内燃机10的控制性也可能会恶化。

搭载有应用本实施方式的控制装置70的内燃机10的车辆VC1是进行根据驾驶员的加速器踏板操作来进行车辆VC1的加减速的手动加速行驶、和不基于加速器踏板操作而自动地进行车辆VC1的加减速的自动加速行驶的车辆。在手动加速行驶时和自动加速行驶时，车辆VC1能够采取的状态存在差异，所以还需要分别单独地进行操作量的适配。此外，车辆VC1中的自动加速行驶仅限在机动车辆专用道路的行驶期间中驾驶员选择了自动加速行驶的情况下实施。因此，与手动加速行驶相比，自动加速行驶很有可能仅以低频度实施，若通过强化学习来进行自动加速行驶时的操作量的适配，则该适配未完成的状态可能会长时间持续。

因此，在本实施方式中，对于设想的实施频度高的手动加速行驶，通过车辆行驶期间中的强化学习来进行操作量的适配，另一方面，对于设想的实施频度低的自动加速行驶，通过以往方法来进行操作量的适配。在这样的本实施方式中，对于自动加速行驶，需要通过以往方法来适配操作量，但与对于手动加速行驶、自动加速行驶双方均通过以往方法来适配操作量的情况相比，可以减少熟练者进行适配所涉及的工时。

如上所述，在进行基于第1操作处理的节气门14的开度指令值TA*的运算时，进行缓变化处理，所述缓变化处理是将要求转矩Tor*作为输入并且将相对于该要求转矩Tor*的变化具有延迟地跟随该要求转矩Tor*的值输出来作为要求转矩缓变化值Torsm*的处理。然后，运算将要求转矩缓变化值Torsm*作为输入的映射数据DS2的输出，来作为开度指令值TA*的值。此外，在以下的说明中，将基于第1操作处理的开度指令值TA*的运算值记载为“TA*[1]”，另一方面，将基于第2操作处理的开度指令值TA*的运算值记载为“TA*[2]”。

在图9(a)中，用双点划线示出要求转矩Tor*急剧减小时的要求转矩Tor*，用实线示出此时的要求转矩缓变化值Torsm*的演变。另外，图9(b)中用实线示出此时的运算值TA*[1]的演变。像这样，运算值TA*[1]被运算为相对于要求转矩Tor*的变化具有延迟地变化的值。在第1操作处理中，通过缓变化处理，抑制了因进气的响应延迟引起的内燃机10的排气性状的恶化、因内燃机转速NE的急剧变化引起的驾驶员的舒适性的降低。

与此相对，如上所述，在第2操作处理中，将内燃机10的各操作部的操作量作为将车辆VC1的状态s作为输入的关系规定数据DR的输出进行运算。另外，第2操作处理的操作量的适配通过基于从内燃机10的排气性状和/或驾驶员的舒适性的观点出发算出的奖励r的强化学习来进行。若适当地进行基于这样的强化学习的适配，则基于第2操作处理的开度指令值TA*的运算值TA*[2]也与第1操作处理的运算值TA*[1]同样，以成为相对于要求转矩Tor*的变化具有延迟地变化的值的方式被运算。此外，在以下的说明中，将从开度指令值TA*的值根据要求转矩Tor*的变更而开始变化的时间点到开度指令值TA*收敛为与变更后的要求转矩Tor*相应的值的时间点为止的开度指令值TA*发生变化的期间记载为过渡期间。

在此，考虑在图9所示的过渡期间中的时刻t1，实施从第2操作处理向第1操作处理的操作部的操作的切换，并且在该切换的同时也开始基于第1操作处理的开度指令值TA*的运算的情况。在图9中，分别用虚线示出该情况下的要求转矩缓变化值Torsm*和开度指令值TA*的演变。此外，在该情况下，在时刻t1以前，第2操作处理的运算值TA*[2]在节气门14的操作中使用，在时刻t1以后，第1操作处理的运算值TA*[1]在节气门14的操作中使用。在该情况下，缓变化处理也在时刻t1开始，所以在运算值TA*[1]中没有反映出时刻t1以前的要求转矩Tor*的演变。因此，在从第2操作处理向第1操作处理的切换前后，开度指令值TA*会产生阶梯差，内燃机10的控制性会恶化。

与此相对，在本实施方式中，CPU72在记录处理中，取得基于第2操作处理的内燃机10的操作部的操作期间中的要求转矩Tor*的值，并且将所取得的要求转矩Tor*的值的时序数据记录于非易失性存储器76。然后，CPU72在从第2操作处理向第1操作处理切换时执行的切换时处理中，根据所记录的要求转矩Tor*的时序数据来运算要求转矩缓变化值Torsm*。此时的要求转矩缓变化值Torsm*成为相对于进行向第1操作处理的切换之前的基于第2操作处理的操作期间中的要求转矩Tor*具有延迟地跟随的值。并且，CPU72在切换时处理中，基于根据要求转矩Tor*的时序数据运算出的要求转矩缓变化值Torsm*来运算开度指令值TA*。因此，在从第2操作处理向第1操作处理的切换前后，在开度指令值TA*上难以产生阶梯差。

进而，在第1操作处理中，进行基于空燃比反馈修正值FAF的喷射量指令值Qi的修正，即空燃比反馈修正。并且，通过这样的空燃比反馈修正，补偿因燃料喷射阀16的喷射特性、内燃机10的进气特性等个体差异、随时间经过的变化引起的，空燃比AF相对于目标空燃比AF*的偏差。基于这样的空燃比反馈修正的空燃比AF向目标空燃比AF*的收敛需要一定程度的时间。因此，若在从第2操作处理向第1操作处理切换的同时，从空燃比反馈修正值FAF为“0”的状态起开始空燃比反馈修正，则空燃比AF可能会暂时偏离目标空燃比AF*而内燃机10的排气性状发生恶化。

与此相对，在本实施方式中，在基于第2操作处理的内燃机10的操作部的操作期间中，CPU72在记录处理中，取得在第1操作处理中的空燃比反馈修正值FAF的运算中使用的空燃比AF的假想值即假想空燃比vAF的值，并且将其时序数据记录于非易失性存储器76。像这样，根据记录时序数据的假想空燃比vAF的值求出使空燃比AF成为目标空燃比AF*的空燃比反馈修正值FAF的值。因此，CPU72在从第2操作处理向第1操作处理切换时执行的切换时处理中，根据所记录的假想空燃比vAF的时序数据来运算空燃比反馈修正值FAF，并且根据该空燃比反馈修正值FAF来运算喷射量指令值Qi以操作燃料喷射阀16。因此，从基于第1操作处理的操作开始时起，使空燃比AF成为目标空燃比AF*的值被设定为空燃比反馈修正值FAF的值，从而能够抑制基于第1操作处理的燃料喷射阀16的操作刚开始后的空燃比AF从目标空燃比AF*的偏离。

根据以上的本实施方式，能够实现以下的效果。

(1)在上述实施方式中，设想的实施频度高的手动加速行驶中的内燃机10的操作部的操作量的适配通过车辆行驶期间中的强化学习来进行。与此相对，设想的实施频度低、且认为车辆行驶期间中的强化学习的实施机会受到限制的自动加速行驶中的操作部的适配通过以往方法来进行。由此，能够通过各自合适的方法来实施手动加速行驶、自动加速行驶双方中的操作量的适配，并且能够减少熟练者进行适配所涉及的工时。

(2)手动加速行驶时的操作量的适配通过车辆行驶期间中的强化学习来进行。因此，在手动加速行驶时的内燃机10的操作部的操作量的适配结果中反映出内燃机10的个体差异和/或随时间经过的变化，可抑制因这样的个体差异和/或随时间经过的变化引起的内燃机10的控制性的恶化。

(3)上述实施方式中的CPU72在记录处理中，在基于第2操作处理的内燃机10的操作部的操作期间中，取得在第1操作处理中的开度指令值TA*的运算中使用的要求转矩Tor*的值，并且将所取得的要求转矩Tor*的值的时序数据记录于非易失性存储器76。通过使用所记录的要求转矩Tor*的时序数据，能够将结束基于第2操作处理的操作而开始第1操作处理时的开度指令值TA*运算为反映出第1操作处理开始前的要求转矩Tor*的变化的值。因此，在从第2操作处理向第1操作处理的切换前后的开度指令值TA*的值上难以产生阶梯差。

(4)上述实施方式中的CPU72在记录处理中，在基于第2操作处理的内燃机10的操作部的操作期间中，取得在第1操作处理下的空燃比反馈修正值FAF的运算中使用的空燃比AF的假想值即假想空燃比vAF，并且将所取得的假想空燃比vAF的值的时序数据记录于非易失性存储器76。通过使用所记录的假想空燃比vAF的时序数据，求出结束基于第2操作处理的操作而开始第1操作处理时的使空燃比AF成为目标空燃比AF*的空燃比反馈修正值FAF的值。因此，在刚从第2操作处理向第1操作处理切换后难以产生空燃比AF从目标空燃比AF*的偏离。

本实施方式能够如以下那样进行变更而实施。本实施方式和以下的变更例能够在技术上不矛盾的范围内彼此进行组合而实施。

·关于自动加速行驶、手动加速行驶

上述实施方式中的自动加速行驶是为了将车速V维持为设定速度而自动地进行车辆VC1的加减速的行驶模式，但也可以将检测行驶过程中的道路、周边的车辆和/或行人并基于其检测结果自动地进行车辆VC1的加减速的行驶模式设为自动加速行驶来进行。另外，在自动加速行驶中，除了车辆VC1的加减速以外，还可以自动地进行车辆VC1的操舵、制动中的至少一方。另外，在手动加速行驶中，也可以是，根据驾驶员的加速器踏板操作手动地进行车辆VC1的加减速，另一方面，自动地进行车辆VC1的操舵和制动中的至少一方。

·关于内燃机的操作部

节气门14、燃料喷射阀16以及点火装置26以外的操作部也可以采用设为第1操作处理与第2操作处理的切换的对象的内燃机10的操作部。例如在具备使排气的一部分向进气中再循环的排气再循环机构并且在该排气再循环机构设置有调整排气的再循环量的EGR阀的内燃机的情况下，也可以采用EGR阀来作为设为第1操作处理与第2操作处理的切换对象的内燃机的操作部。另外，在具备使进气门18和/或排气门30的气门特性可变的可变气门机构的内燃机的情况下，也可以采用该可变气门机构来作为设为第1操作处理与第2操作处理的切换对象的内燃机的操作部。

·关于切换处理

在上述实施方式中，在自动加速行驶期间中执行第1操作处理，在手动加速行驶期间中执行第2操作处理。在以主要进行自动加速行驶，仅在有限的状况下进行手动加速行驶的方式运用的车辆等中，有时车辆行驶期间中的基于强化学习的操作量的适配对自动加速行驶而言合适，但对手动加速行驶而言不合适。在这样的情况下，也可以在自动加速行驶期间中执行第2操作处理，在手动加速行驶期间中执行第1操作处理。

另外，也可以根据上述以外的车辆VC1的状态进行操作处理的切换。在内燃机10的运转区域中，有时存在例如高负荷高转速区域等使用频度低的区域。在使用频度低的运转区域中，与其他运转区域相比，车辆行驶期间中的基于强化学习的操作量的适配慢。因此，考虑在使用频度低的运转区域中通过第1操作处理对内燃机10的操作部进行操作，在使用频度高的运转区域中通过第2操作处理对内燃机10的操作部进行操作。

进而，也可以将设为切换处理下的第1操作处理、第2操作处理的切换的对象的操作部限定为内燃机的操作部中的一部分操作部，对于剩余的操作部，不论在手动·自动中的哪一种加速操作行驶中，都通过第1操作处理或第2操作处理中的任一操作处理进行操作。

·关于状态s

在上述实施方式中，将内燃机转速NE、进气量KL、吸入空气量Ga、进气温度THA、进气压力Pm、空燃比AF、加速器操作量PA以及车速V这8个变量设为状态s，但也可以从状态s中省略这些变量中的一个以上、将表示内燃机10、车辆VC1的状态的、上述变量以外的变量添加到状态s中。

·关于奖励r

基于状态s进行的奖励r的算出也可以以与上述实施方式不同的方式进行。例如也可以取得氮氧化物、微粒物质等排气的有害成分的排出量并且基于该排出量算出与内燃机10的排气特性相关的奖励、也可以测定车室的振动、噪音水平并且基于该测定结果算出与舒适性相关的奖励。

·关于行动价值函数Q

在上述实施方式中，将行动价值函数Q设为表形式的函数，但不限于此。例如也可以将函数近似器用作行动价值函数Q。另外，也可以不使用行动价值函数Q，而是作为替代利用将状态s和行动a作为自变量并且将采取行动a的概率作为因变量的函数近似器来表示策略π，并根据奖励r来更新该策略π。

·关于关系规定数据DR的更新

在上述实施方式中，利用异策略型TD法来更新关系规定数据DR，但例如也可以利用SARSA法这样的同策略型TD法(on-policy TD method)来进行该更新。另外，作为同策略型的更新方法，也可以使用资格迹(eligibility trace)法。进而，也可以利用蒙特卡罗法等上述以外的方法来进行关系规定数据DR的更新。

·关于反馈修正处理

上述实施方式中的第1操作处理中的燃料喷射阀16的喷射量指令值Qi的运算通过与空燃比AF相应的反馈修正处理来进行。并且，在记录处理中，记录了作为在该反馈修正处理中使用的状态变量的空燃比AF的时序数据，严格而言，记录了该空燃比AF的假想值即假想空燃比vAF的时序数据。在第1操作处理中运算的操作量中除了喷射量指令值Qi以外还存在通过反馈修正处理运算出的操作量的情况下，使得在该反馈修正处理中使用的状态变量包含在作为记录处理中的时序数据的记录的对象的状态变量中即可。

此处的反馈修正处理是如下的处理。即，反馈修正处理是将车辆VC1的状态变量之一作为控制量，根据该控制量的目标值与检测值的偏差来运算反馈修正值，并且利用该反馈修正值来修正使用已适配数据DS运算出的操作量的值的处理。

·关于缓变化处理

上述实施方式中的第1操作处理中的节气门14的开度指令值TA*的运算通过缓变化处理来进行。并且，在记录处理中，记录了作为成为缓变化处理的对象的状态变量的要求转矩Tor*的时序数据。在第1操作处理中运算的操作量中除了开度指令值TA*以外还存在通过缓变化处理运算出的操作量的情况下，使得成为该缓变化处理的对象的状态变量包含在作为记录处理中的时序数据的记录的对象的状态变量中即可。

此处的缓变化处理是如下的处理。缓变化处理中的操作量的运算使用已适配数据来进行，所述已适配数据是预先存储于存储装置的数据、且是对将车辆的状态变量所包含的变量即状态变量作为输入并且将操作量作为输出的映射进行规定的数据。并且，缓变化处理成为以下两个处理A、B中的任一方的处理。处理A是将状态变量的检测值作为输入并且将相对于该检测值具有延迟地变化的值输出来作为上述映射的输入值的处理。与此相对，处理B是将上述映射的输出值作为输入并且将相对于该输出值具有延迟地变化的值输出来作为操作量的运算值的处理。此外，在上述实施方式中的节气门14的开度指令值TA*的运算时，上述处理A作为缓变化处理进行，但也可以将上述处理B作为缓变化处理进行。

图10示出进行处理B作为缓变化处理来运算开度指令值TA*的情况下的第1操作处理中的与节气门14的操作相关的CPU72的处理步骤。如图10所示，在进行该情况下的第1操作处理中的节气门14的操作时，首先，运算将加速器操作量PA和车速V作为输入的映射数据DS1的输出，来作为要求转矩Tor*的值。继而，运算将要求转矩Tor*作为输入的映射数据DS2的输出来作为开度指令值TA*的值。进而，运算对开度指令值TA*实施了缓变化处理而得到的值来作为开度缓变化指令值TAsm*。然后，通过信号输出处理，将指示节气门开度TA向开度缓变化指令值TAsm*变更的指令信号MS1向节气门14输出。

在这样的情况下，也能够通过使用要求转矩Tor*的时序数据，将第1操作处理开始时的开度指令值TA*运算为相对于最近的要求转矩Tor*的变化具有延迟地变化的值。即，根据要求转矩Tor*的时序数据和要求转矩Tor*的当前值求出该要求转矩Tor*的缓变化值。然后，运算将该缓变化值作为输入的映射数据DS2的输出来作为开度指令值TA*，并根据该开度指令值TA*来操作节气门14。

·关于记录处理

在上述实施方式中，在记录处理中，记录了在第1操作处理中的开度指令值TA*和喷射量指令值Qi这两个操作量的运算中分别使用的要求转矩Tor*、假想空燃比vAF这两个状态变量的值的时序数据。也可以在记录处理中记录在第1操作处理中的其他操作量的运算中使用的状态变量的值的时序数据。另外，在记录处理中，也可以记录在第1操作处理中的操作量的运算中使用的所有状态变量的时序数据。

·控制装置70能够由如下的处理电路构成，该处理电路包括：1)一个以上的根据计算机程序(软件)进行动作的处理器、2)一个以上的执行各种处理中的至少一部分处理的面向特定用途的集成电路(ASIC)等专用的硬件电路、或3)一个以上的上述处理器与一个以上的上述专用的硬件电路的组合。处理器包括CPU、和RAM及ROM等存储器，存储器存储有构成为使CPU执行处理的程序代码或指令。存储器即计算机可读介质包括能够由通用或专用的计算机访问的所有可利用的介质。

Claims (6)

1.一种内燃机的控制装置，所述控制装置构成为通过操作搭载于车辆的内燃机的操作部来控制该内燃机，

所述控制装置具备存储装置和执行装置，

所述存储装置构成为，预先存储关系规定数据和已适配数据，所述关系规定数据是规定表示包括所述内燃机的状态的所述车辆的状态的变量即状态变量与所述操作部的操作量的关系、并且在所述车辆的行驶期间中进行更新的数据，所述已适配数据是在基于所述状态变量的所述操作量的运算中使用、并且在所述车辆的行驶期间中不更新的数据，

所述执行装置构成为执行所述操作部的操作，

所述执行装置构成为执行第1操作处理、第2操作处理、强化学习处理、切换处理以及记录处理，

所述第1操作处理是以使用所述已适配数据并基于所述状态变量而运算出的所述操作量来操作所述操作部的处理，

所述第2操作处理是以通过所述关系规定数据和所述状态变量确定的所述操作量来操作所述操作部的处理，

所述强化学习处理是基于通过所述第2操作处理对所述操作部进行操作时的所述状态变量算出奖励，并且基于所述状态变量、所述操作量以及所述奖励，以使得所述奖励的期待收益增加的方式更新所述关系规定数据的处理，

所述切换处理是根据所述车辆的状态，在所述第1操作处理与所述第2操作处理之间对操作所述操作部的处理进行切换的处理，

所述记录处理是在基于所述第2操作处理操作所述操作部的期间中，取得在所述第1操作处理中的所述操作量的运算中使用的所述状态变量的值，并且将所取得的该状态变量的值的时序数据记录于所述存储装置的处理。

2.根据权利要求1所述的内燃机的控制装置，

在所述记录处理中被在所述存储装置中记录所述时序数据的状态变量是在所述第1操作处理中的所述操作量的运算中使用的多个状态变量中的一部分状态变量。

3.根据权利要求2所述的内燃机的控制装置，

所述第1操作处理包括将所述一部分状态变量所包含的状态变量的值作为控制量、并且根据该控制量的目标值与检测值的偏差来修正所述操作量的反馈修正处理。

4.根据权利要求2所述的内燃机的控制装置，

所述已适配数据包括规定如下映射的数据，所述映射是将所述一部分状态变量所包含的状态变量作为输入并且将所述操作量作为输出的映射，

所述第1操作处理包括缓变化处理，所述缓变化处理是将所述状态变量的检测值作为输入并且将相对于该检测值具有延迟地变化的值输出来作为所述映射的输入值的处理、和将所述映射的输出值作为输入并且将相对于该输出值具有延迟地变化的值输出来作为所述操作量的运算值的处理中的任一方的处理。

5.根据权利要求1～4中任一项所述的内燃机的控制装置，

所述车辆进行根据驾驶员的加速器踏板操作来进行车辆的加减速的手动加速行驶、和不基于所述加速器踏板操作而自动地进行所述车辆的加减速的自动加速行驶，

所述切换处理是根据所述车辆是进行所述手动加速行驶还是进行所述自动加速行驶，在所述第1操作处理与所述第2操作处理之间对操作操作部的处理进行切换的处理。

6.一种内燃机的控制方法，通过操作搭载于车辆的内燃机的操作部来控制该内燃机，

所述控制方法包括：

预先存储关系规定数据，所述关系规定数据是规定表示包括所述内燃机的状态的所述车辆的状态的变量即状态变量与所述操作部的操作量的关系、并且在所述车辆的行驶期间中进行更新的数据；

预先存储已适配数据，所述已适配数据是在基于所述状态变量的所述操作量的运算中使用、并且在所述车辆的行驶期间中不更新的数据；以及

执行所述操作部的操作，

所述操作部的操作的执行包括第1操作处理、第2操作处理、强化学习处理、切换处理以及记录处理的执行，

所述第1操作处理是以使用所述已适配数据并基于所述状态变量而运算出的所述操作量来操作所述操作部的处理，

所述第2操作处理是以通过所述关系规定数据和所述状态变量确定的所述操作量来操作所述操作部的处理，

所述强化学习处理是基于通过所述第2操作处理对所述操作部进行操作时的所述状态变量算出奖励，并且基于所述状态变量、所述操作量以及所述奖励，以使得所述奖励的期待收益增加的方式更新所述关系规定数据的处理，

所述切换处理是根据所述车辆的状态，在所述第1操作处理与所述第2操作处理之间对操作所述操作部的处理进行切换的处理，

所述记录处理是在基于所述第2操作处理操作所述操作部的期间中，取得在所述第1操作处理中的所述操作量的运算中使用的所述状态变量的值，并且记录所取得的该状态变量的值的时序数据的处理。

Images