CN114004362A - 变速控制数据的生成方法、变速控制装置以及变速控制系统 - Google Patents

Abstract

本发明公开变速控制数据的生成方法、变速控制装置以及变速控制系统。在存储有用于规定车辆的状态和与变速装置的操作有关的行动变量的关系的关系规定数据的状态下，由执行装置执行的变速控制数据的生成方法包括：获取所述车辆的状态的处理；对所述变速装置进行操作的处理；根据所述车辆的状态，在所述车辆的特性满足基准的情况下提供比所述车辆的特性不满足基准的情况大的报酬的处理；以及将所述车辆的状态、所述行动变量的值以及与该操作对应的所述报酬作为向更新映射的输入，更新所述关系规定数据的处理。所述更新映射输出以使依照所述关系规定数据而操作所述变速装置的情况下的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据。

Description

变速控制数据的生成方法、变速控制装置以及变速控制系统

技术领域

本发明涉及变速控制数据的生成方法、变速控制装置以及变速控制系统。

背景技术

例如在日本特开2007-64464中记载有控制装置，提供变速装置的工作油的油压指令值，从而对调整油压的电磁阀进行操作，切换变速比。

发明内容

为了将上述油压指令值等、变速比的切换的操作量设定为适当的值，需要熟练者的知识，另外调整工时非常大。

以下，记载本发明的结构及其作用效果。

本发明的第1方式是在用于规定车辆的状态与作为与搭载于所述车辆的变速装置的操作有关的变量的行动变量的关系的关系规定数据存储于存储装置的状态下，由执行装置执行的变速控制数据的生成方法。所述变速控制数据的生成方法包括：获取处理，获取基于传感器的检测值的所述车辆的状态；操作处理，为了切换变速比而对所述变速装置进行操作；报酬计算处理，根据通过所述获取处理而获取到的所述车辆的状态，在所述车辆的特性满足基准的情况下提供比所述车辆的特性不满足基准的情况大的报酬；以及更新处理，将通过所述获取处理而获取到的所述车辆的状态、在所述变速装置的操作中利用的所述行动变量的值以及与该操作对应的所述报酬作为向预先决定的更新映射的输入，更新所述关系规定数据。所述更新映射输出以使依照所述关系规定数据而操作所述变速装置的情况下的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，所述报酬计算处理提供所述报酬时的所述基准是关于作为所述变速比的切换所需的时间的变速时间、所述变速比的切换期间中的所述变速装置的发热量、所述变速比的切换期间中的输入轴的转速超过作为基准的转速的超过量以及在所述变速比的切换时产生的冲击量这四个变量中的两个变量即第1变量以及第2变量，针对这些值的组合定义的。

在上述方法中，计算与变速装置的操作相伴的报酬，从而能够掌握通过该操作来得到怎样的报酬。然后，根据报酬，通过遵循强化学习的更新映射来更新关系规定数据，从而能够设定车辆的状态与行动变量的适当的关系。因而，能够在设定车辆的状态与行动变量的适当的关系时，削减熟练者所需的工时。

然而，在根据表示针对变速比的切换的两个所需要素中的一个所需要素的变量即第1变量的值和表示另一个所需要素的变量即第2变量的值来独立地提供报酬的情况下，有可能会以由于忽略这两个所需要素中的任意一方而满足另一方的所需要素从而得到高的报酬的方式，进行强化学习。因而，在上述方法中，代替关于第1变量以及第2变量相互独立地提供报酬，而对这些值的组合定义提供报酬的基准。由此，在平衡性良好地满足两个所需要素的各个所需要素的情况下能够提供高的报酬，进而能够通过强化学习来学习平衡性良好地满足至少两个所需要素的行动变量的值。

在上述第1方式中，所述报酬计算处理提供报酬时的所述基准也可以是关于所述四个变量中的三个变量即所述第1变量、所述第2变量以及第3变量，针对这些值的组合定义的。

根据上述方法，针对第1变量、第2变量以及第3变量的值的组合定义提供报酬时的基准，从而能够通过强化学习来学习平衡性良好地满足至少三个所需要素的行动变量的值。

在上述第1方式中，所述报酬计算处理也可以包括如下处理：即使是各所述变量的值相同的组合，也根据作为表示对所述变速装置施加的转矩的变量的转矩变量以及作为表示所述变速比的切换的种类的变量的切换变量这两个变量中的至少一个变量来变更报酬的值。

在变速比的切换时所需的事项各种各样，关于这多个所需要素彼此的优先级，也可能根据转矩变量的值的大小、变速的种类而不同。因此，在针对表示这些所需要素的多个变量的值的相同的组合，不论转矩变量的值的大小、变速的种类如何，都使报酬的大小成为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据转矩变量的值、变速的种类，按照预定的基准满足多个所需要素的各个所需要素的困难度可能不同。因此，在针对表示这些所需要素的多个变量的值的相同的组合，不论转矩变量的值、变速的种类如何，都使报酬的大小成为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据转矩变量的值的大小、变速的种类，变更对上述变量的值的相同的组合提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

在上述第1方式中，在所述存储装置中，存储有至少将所述第1变量的值以及所述第2变量的值作为输入变量并将所述报酬的值作为输出变量的映像数据，所述报酬计算处理也可以包括根据所述第1变量的值以及所述第2变量的值对所述报酬进行映像运算的处理。

根据上述方法，通过使用将第1变量的值以及第2变量的值作为输入变量的值的映像数据，能够简易地提高这些第1变量的值以及第2变量的值与报酬的关系的设定的自由度。

在上述第1方式中，所述关系规定数据也可以是在由该关系规定数据决定所述行动变量的值时参照与将所述变速比的切换期间分割为多个而成的各个阶段有关的信息的数据。

变速比的切换期间能够分割为因物理现象的差异所引起的若干区间。而且，在被分割的各区间，适当的行动变量的值可能大幅不同。因而，在上述方法中，在决定行动变量的值时，将关系规定数据设为参照与将所述变速比的切换期间分割为多个而成的各个阶段有关的信息的数据。由此，在学习适当的行动变量的值方面，能够省去进行识别因物理现象的差异所引起的区间的学习的工夫，所以能够提前发现能够通过强化学习来增大收益的行动变量的值。

在上述第1方式中，所述阶段也可以包括由于通过所述变速装置的变速比的切换从接合状态切换到释放状态的摩擦卡合元件所进行的转矩的传递结束而结束的阶段。

在通过变速比的切换从接合状态切换到释放状态的摩擦卡合元件所进行的转矩的传递结束的定时的前后改变变速装置的操作量的控制存在成为基于熟练者的最佳值的调整结果的趋势。因此，通过设置在该定时结束的阶段，能够使过去的熟练者的知识的积蓄反映到强化学习，所以能够通过强化学习提前发现实际地增大收益的行动变量的值。

在上述第1方式中，表示由所述关系规定数据规定与所述行动变量的值的关系的所述车辆的状态的变量也可以包括作为表示对所述变速装置施加的转矩的变量的转矩变量、作为表示所述变速比的切换的种类的变量的切换变量以及作为表示所述变速装置的工作油的温度的变量的温度变量。

根据转矩变量的值、变速的种类、工作油的温度，在按照预定的基准满足多个所需要素的各个所需要素的方面适当的行动变量的值可能不同。因此，当在转矩变量的值、变速的种类、工作油的温度的组合不同的情况下决定共同的行动变量的值的情况下，有可能会难以满足所需要素。因而，在上述结构中，通过使转矩变量的值的大小、变速的种类、工作油的温度包含于用于决定行动变量的值的状态，从而能够顺利地推进学习。

在上述第1方式中，表示由所述关系规定数据规定与所述行动变量的值的关系的所述车辆的状态的变量也可以包括表示所述变速装置的输入轴的旋转状态的变量。

根据变速期间中的每次的行动变量的值，变速期间中的输入轴的旋转状态可能不同。因此，在上述方法中，通过使表示输入轴的旋转状态的变量包含于状态，从而能够根据作为此前的行动变量的值的结果而产生的状态，决定以后的行动变量的值。

在上述第1方式中，所述变速控制数据的生成方法也可以包括如下处理：根据通过所述更新处理而更新后的所述关系规定数据，将所述车辆的状态与使所述期待收益最大化的所述行动变量的值对应起来，从而生成将所述车辆的状态作为输入并输出使所述期待收益最大化的所述变速装置的操作量的变速用映射数据。

在上述方法中，根据通过强化学习而学习的关系规定数据，生成变速用映射数据。因此，通过将该变速用映射数据安装于控制装置，能够根据车辆的状态，简易地设定使期待收益最大化的操作量。

本发明的第2方式的变速控制装置具备上述变速控制数据的生成方法中的所述执行装置以及所述存储装置。所述操作处理是如下处理：为了基于根据通过所述获取处理而获取到的所述车辆的状态和所述关系规定数据确定的所述行动变量的值切换变速比，对所述变速装置进行操作。

在上述结构中，根据通过强化学习而学习的关系规定数据来设定行动变量的值，根据此来操作变速装置，从而能够以增大期待收益的方式操作变速装置。

本发明的第3方式的变速控制系统具备所述变速控制数据的生成方法中的所述执行装置以及所述存储装置。所述执行装置包括搭载于所述车辆的第1执行装置和与车载装置不同的第2执行装置。所述第1执行装置至少执行所述获取处理以及所述操作处理，所述第2执行装置至少执行所述更新处理。

在上述结构中，通过由第2执行装置执行更新处理，从而与第1执行装置执行更新处理的情况相比，能够减轻第1执行装置的运算负荷。此外，第2执行装置是与车载装置不同的装置意味着第2执行装置不是车载装置。

附图说明

下面将参照附图说明本发明的示例性实施例的特征、优点以及技术和工业上的意义，其中相同的符号表示相同的元件，其中：

图1是示出第1实施方式的控制装置以及车辆的驱动系统的图。

图2是示出该实施方式的控制装置执行的处理的次序的流程图。

图3是例示该实施方式的变速期间的各阶段的时序图。

图4是例示该实施方式的油压指令值的映像数据的图。

图5是示出生成该实施方式的映像数据的系统的图。

图6是示出该实施方式的映像数据的生成处理的次序的流程图。

图7是示出该实施方式的行动变量的定义的图。

图8是示出该实施方式的学习处理的详细的次序的流程图。

图9是示出第2实施方式的控制装置以及车辆的驱动系统的图。

图10是示出该实施方式的控制装置执行的处理的次序的流程图。

图11是示出该实施方式的学习处理的详细的次序的流程图。

图12是示出第3实施方式的系统结构的图。

图13的A以及图13的B是示出该实施方式的系统执行的处理的次序的流程图。

具体实施方式

第1实施方式

以下，参照附图，说明第1实施方式。

如图1所示，动力分割装置20机械性地连结于内燃机10的曲轴12。动力分割装置20对内燃机10、第1电动发电机22以及第2电动发电机24的动力进行分割。动力分割装置20具备行星齿轮机构，曲轴12机械性地连结于行星齿轮机构的行星轮架C，第1电动发电机22的旋转轴22a机械性地连结于太阳齿轮S，第2电动发电机24的旋转轴24a机械性地连结于齿圈R。此外，第1逆变器23的输出电压被施加到第1电动发电机22的端子。另外，第2逆变器25的输出电压被施加到第2电动发电机24的端子。

对动力分割装置20的齿圈R除了连结有第2电动发电机24的旋转轴24a以外，进而，经由变速装置26机械性地连结有驱动轮30。

另外，油泵32的从动轴32a机械性地连结于行星轮架C。油泵32是吸入油盘34内的油，作为工作油而排出到变速装置26的泵。此外，从油泵32排出的工作油通过变速装置26内的油压控制电路28被调整其压力而被用作工作油。油压控制电路28具备多个电磁阀28a，是通过这些各电磁阀28a的通电来控制工作油的流动状态、工作油的油压的电路。当控制工作油的油压时，离合器C1、C2、制动器B1等摩擦卡合元件从接合状态以及释放状态这两个状态中的任意一方转变到另一方。

控制装置40将内燃机10作为控制对象，为了控制作为其控制量的转矩、排气成分比率等，对内燃机10的各种操作部进行操作。另外，控制装置40将第1电动发电机22作为控制对象，为了控制作为其控制量的转矩、转速等，对第1逆变器23进行操作。另外，控制装置40将第2电动发电机24作为控制对象，为了控制作为其控制量的转矩、转速等，对第2逆变器25进行操作。

控制装置40在控制上述控制量时，参照曲柄转角传感器50的输出信号Scr、探测第1电动发电机22的旋转轴22a的旋转角的第1旋转角传感器52的输出信号Sm1、探测第2电动发电机24的旋转轴24a的旋转角的第2旋转角传感器54的输出信号Sm2。另外，控制装置40参照由油温传感器56检测的油的温度即油温Toil、由车速传感器58检测的车速SPD、由加速器传感器60检测的加速器踏板62的踩踏量即加速器操作量ACCP。

控制装置40具备CPU42、ROM44、作为能够电改写的非易失性存储器的存储装置46以及周边电路48，它们能够经由局域网49进行通信。在此，周边电路48包括生成规定内部的动作的时钟信号的电路、电源电路、复位电路等。控制装置40通过由CPU42执行存储于ROM44的程序，从而对控制量进行控制。

图2示出控制装置40执行的处理的次序。图2所示的处理是通过由CPU42例如以预定周期反复执行存储于ROM44的控制程序DPC而实现的。此外，以下，通过在前头赋予有“S”的数字来表达各处理的步骤编号。

在图2所示的一连串的处理中，CPU42首先判定是否是变速比的切换期间，换言之是否是变速期间(S10)。然后，CPU42在判定为是变速期间的情况下(S10：是)，获取加速器操作量ACCP、切换变量ΔVsft以及油温Toil(S12)。在此，切换变量ΔVsft是确定是从一档向二档的变速还是从二档向一档的变速等切换前的变速比和切换后的变速比的变量。换言之，是确定变速的种类的变量。

接下来，CPU42使用将加速器操作量ACCP、切换变量ΔVsft以及油温Toil作为输入变量并将油压指令值P＊作为输出变量的、存储于图1所示的存储装置46的变速控制用映像数据DMS，对油压指令值P＊进行映像运算(S14)。此外，映像(map)数据是指输入变量的离散值与和输入变量的值分别对应的输出变量的值的组数据。另外，映像运算例如为如下处理即可：在输入变量的值与映像数据的输入变量的值中的任意值一致的情况下，将对应的映像数据的输出变量的值作为运算结果，相对于此，在不一致的情况下，将通过映像数据中所包含的多个输出变量的值的插补而得到的值作为运算结果。

在此，油压指令值P＊是由多个电磁阀28a中的、驱动通过变速比的切换而从释放状态切换到接合状态的摩擦卡合元件的电磁阀28a调整的油压的指令值。详细而言，在本实施方式中，针对图3所示的各阶段的每个阶段设定油压指令值P＊。在此，阶段1是从变速比的切换控制的开始时起至经过预先决定的时间为止的期间。阶段2是从阶段1的结束时至转矩相的结束时为止的期间。换言之，是直至通过变速比的切换而从接合状态切换到释放状态的摩擦卡合元件的转矩传递率成为零为止的期间。CPU42根据实际的输入轴的转速相对于根据变速装置26的输出轴的转速和变速期间的开始时的变速比确定的输入轴的转速的偏离，判定阶段2的终点。此外，实际的输入轴的转速设为转速Nm2即可。另外，CPU42根据车速SPD来计算输出轴的转速。阶段3是从阶段2的结束时起至变速完成为止的期间。顺便说一下，由CPU42根据输出信号Sm2来计算上述转速Nm2。

图4示出变速控制用映像数据DMS。如图4所示，变速控制用映像数据DMS是针对加速器操作量ACCP、变速的种类以及油温Toil分别设定油压指令值P＊的值的数据。此外，关于加速器操作量ACCP、油温Toil，将根据图4分割后的区域的中位数作为变速控制用映像数据DMS的输入变量的值。在图4中，例如，例示出加速器操作量ACCP为5％且针对从一档向二档的切换的输出变量的值A1。此外，关于图4所示的数据，实际上在阶段1、阶段2以及阶段3分别单独地设置。

返回到图2，CPU42将油压指令值P＊变换为对应的电磁阀28a的电流指令值I＊(S16)。然后，CPU42通过将操作信号MS输出到电磁阀28a，从而对电磁阀28a进行操作(S18)。

此外，CPU42在结束S18的处理的情况、在S10的处理中做出否定判定的情况下，暂且结束图2所示的一连串的处理。

图5示出生成变速控制用映像数据DMS的系统的结构。

如图5所示，在本实施方式中，能够经由变速装置26将测力计70机械性地连结于动力分割装置20的齿圈R以及第2电动发电机24的旋转轴24a。而且，使内燃机10、第1电动发电机22、第2电动发电机24运行时的各种状态变量由传感器群90检测，检测结果被输入到作为生成变速控制用映像数据DMS的计算机的生成装置80。此外，作为传感器群90，包括搭载于图1所示的车辆VC的传感器等。

生成装置80具备CPU82、ROM84、能够电改写的非易失性存储器(存储装置86)以及周边电路88，它们能够通过局域网89进行通信。

图6示出生成装置80执行的处理的次序。图6所示的处理通过由CPU82执行存储于ROM84的学习程序DPL而实现的。

在图6所示的一连串的处理中，CPU82首先判定是否是变速期间(S20)。然后，CPU82在判定为是变速期间的情况下(S20：是)，获取作为状态s的加速器操作量ACCP、切换变量ΔVsft、油温Toil、阶段变量Vpase、第1偏差变量Sv1(Sv2、Sv3)以及第2偏差变量St1(St2)(S22)。

图7示出第1偏差变量Sv1、Sv2、Sv3以及第2偏差变量St1、St2。

如图7所示，在本实施方式中，决定作为变速装置26的输入轴的基准的转速Nm2＊。作为基准的转速Nm2＊被设为与加速器操作量ACCP、切换变量ΔVsft以及油温Toil相应地可变。

第1偏差变量Sv1表示作为变速初始的预定的定时的第1定时下的作为基准的转速Nm2＊与实际的转速Nm2的偏离量。另外，第2偏差变量St1表示实际的转速Nm2＊达到第1定时下的作为基准的转速Nm2＊的定时与第1定时的偏离量。

另外，第1偏差变量Sv2表示作为变速中期的预定的定时的第2定时下的作为基准的转速Nm2＊与实际的转速Nm2的偏离量。

另外，第1偏差变量Sv3表示作为变速后期的预定的定时的第3定时下的作为基准的转速Nm2＊与实际的转速Nm2的偏离量。另外，第2偏差变量St2表示实际的转速Nm2＊达到第3定时下的作为基准的转速Nm2＊的定时与第3定时的偏离量。

CPU82在阶段1的开始时，在S22的处理中，获取加速器操作量ACCP、切换变量ΔVsft以及油温Toil在图4所示的变速控制用映像数据DMS划分的区域内一致的最近的过去的第1偏差变量Sv1以及第2偏差变量St1。另外，CPU82在阶段2的开始时，在S22的处理中，获取加速器操作量ACCP、切换变量ΔVsft以及油温Toil在图4所示的变速控制用映像数据DMS划分的区域内一致的最近的过去的第1偏差变量Sv2。另外，CPU82在阶段3的开始时，在S22的处理中，获取加速器操作量ACCP、切换变量ΔVsft以及油温Toil在图4所示的变速控制用映像数据DMS划分的区域内一致的最近的过去的第1偏差变量Sv3以及第2偏差变量St2。

此外，在图5所示的系统中，不存在加速器踏板62。因此，通过由生成装置80模拟车辆VC的状态而虚拟地生成加速器操作量ACCP，将虚拟地生成的加速器操作量ACCP视为基于传感器的检测值的车辆的状态。另外，车速SPD作为假定为实际地存在车辆的情况下的车辆的行驶速度而由CPU82计算，在本实施方式中，将该车速视为基于传感器的检测值的车辆的状态。详细而言，CPU82根据测力计70的转速来计算车速SPD。

状态s是由图5所示的存储装置86所存储的关系规定数据DR对与行动变量的关系进行规定的变量的值。在此，在本实施方式中，作为行动变量，例示作为图4所示的变速控制用映像数据DMS的输出变量的油压指令值P＊的校正量ΔP＊。此外，关系规定数据DR实际所包含的阶段3的行动变量可以是压力上升速度的校正量。

具体而言，关系规定数据DR包含行动价值函数Q。行动价值函数Q是将状态s以及行动a作为独立变量并将针对这些状态s以及行动a期待的收益作为从属变量的函数。在本实施方式中，将行动价值函数Q设为表格形式的函数。特别是，在本实施方式中，作为行动价值函数Q的独立变量的状态s具有图4所示的划分的区域所表示的一定的宽度。即，例如，从图4所示的宽度的设定可知，在加速器操作量ACCP是“3％”的情况和是“6％”的情况下，不会仅根据此而设为不同的状态s。

接下来，CPU82判定标志F是否是“0”(S24)。标志F在是“0”的情况下表示容许强化学习中的搜索的意思，在是“1”的情况下表示不容许搜索的意思。

CPU82在判定为标志F是“0”的情况下(S24：是)，根据由关系规定数据DR规定的策略π，计算行动变量的值(S26)。在本实施方式中，作为策略，例示ε贪婪策略。即，在提供了状态s时，例示决定如下规则的策略，该规则是：优先地选择独立变量成为所提供的状态s的行动价值函数Q中的最大的行动(以下，称为贪婪行动ag)，但以预定的概率选择除此以外的行动。具体而言，在用“|A|”表示行动可取的值的总数的情况下，将采取贪婪行动以外的行动的概率分别设为“ε/|A|”。

接下来，CPU82根据作为在S26的处理中所选择的行动变量的值的校正量ΔP＊，校正存储于存储装置86的变速控制用映像数据DMS的油压指令值P＊(S28)。然后，CPU82以使电磁阀28a的通电电流I成为根据通过S28的处理而校正后的油压指令值P＊确定的值的方式对通电电流I进行操作(S30)。

然后，CPU82计算作为变速装置26的输出轴的转速的每单位时间的极大值与极小值的差的输出轴变动量ΔNout、以及发热量CV(S32)。在此，输出轴变动量ΔNout是与变速比的切换相伴地使车辆VC所产生的冲击定量化的变量。输出轴的转速是由CPU82根据车速SPD来计算的。

另一方面，在本实施方式中，发热量CV作为与从释放状态以及接合状态这两个状态中的一方转移到另一方时的摩擦卡合元件的一对转速差与对它们施加的转矩之积成比例的量而计算。详细而言，CPU42根据作为变速装置26的输入轴的转速的转速Nm2、从车速SPD掌握的变速装置26的输出轴的转速以及从加速器操作量ACCP掌握的转矩，计算发热量CV。具体而言，在将输入轴的转速、输出轴的转速以及加速器操作量ACCP作为输入变量并将发热量CV作为输出变量的映像数据预先存储于ROM44的状态下，由CPU42对发热量CV进行映像运算。

CPU82执行S30、S32的处理直至当前的阶段完成(S34：否)。然后，CPU82在判定为当前的阶段完成的情况下(S34：是)，通过强化学习来更新关系规定数据DR(S36)。

图8示出S36的处理的详细内容。

在图8所示的一连串的处理中，CPU82首先判定阶段变量Vpase是否是“3”(S60)。然后，CPU82在判定为是“3”的情况下(S60：是)，变速完成，所以计算变速所需的时间即变速时间Tsft(S62)。另外，CPU82计算在从一个阶段的开始至结束为止的期间在S32的处理中计算出的发热量CV的累计值即发热量InCV(S64)。另外，CPU82计算在从一个阶段的开始至结束为止的期间在S32的处理中计算出的输出轴变动量ΔNout的最大值即输出轴变动最大值ΔNoutmax(S66)。

然后，CPU82计算与变速时间Tsft、发热量InCV以及输出轴变动最大值ΔNoutmax相应的报酬r(S68)。详细而言，CPU82在变速时间Tsft小的情况下，与变速时间Tsft大的情况相比，将报酬r计算为大的值。另外，CPU82在发热量InCV小的情况下，与发热量InCV大的情况相比，将报酬r计算为大的值。进而，CPU82在输出轴变动最大值ΔNoutmax小的情况下，与输出轴变动最大值ΔNoutmax大的情况相比，将报酬r计算为大的值。

具体而言，CPU82在将变速时间Tsft、发热量InCV以及输出轴变动最大值ΔNoutmax作为输入变量并将报酬r作为输出变量的报酬映像数据Drm存储于图5所示的存储装置86的状态下，对报酬r进行映像运算。在此，报酬映像数据Drm以能够平衡性良好地满足针对变速时间Tsft的所需要素、针对发热量InCV的所需要素、针对变速时的冲击量的所需要素的方式设定报酬r。例如，即使在输出轴变动最大值ΔNoutmax以及发热量InCV小的情况下，在变速时间Tsft过长的情况下，也将报酬r设为小的值。即，报酬映像数据Drm将提供高的报酬的基准不是设定为虽然满足一部分的所需要素的程度过低但充分地满足特定的所需要素的状态，而是设定为在某种程度上满足各个所需要素的状态。该设定的目的在于抑制进行如通过忽略一部分的所需要素来充分地满足其它所需要素那样的学习。

另一方面，CPU82在判定为阶段变量Vpase是“1”或者“2”的情况下(S60：否)，将“0”代入到报酬r(S70)。

CPU82在S68、S70的处理完成的情况下，根据报酬r来更新在S26的处理中使用的行动价值函数Q(s，a)(S72)。此外，在S26的处理中使用的行动价值函数Q(s，a)是指将通过S22的处理而获取到的状态s和通过S26的处理而设定的行动a作为独立变量的行动价值函数Q(s，a)。

在本实施方式中，通过作为策略离线型的TD法的所谓的Q学习来更新行动价值函数Q(s，a)。具体而言，通过以下的式(c1)来更新行动价值函数Q(s，a)。

Q(s，a)←Q+α·{r+γ·maxQ(s+1，a)－Q(s，a)}…(c1)

在此，对于行动价值函数Q(s，a)的更新量“α·{r+γ·maxQ(s+1，a)－Q(s，a)}”使用了打折率γ以及学习率α。此外，打折率γ以及学习率α都是比“0”大且“1”以下的常数。另外，在当前的阶段是阶段1、2的情况下，“maxQ(s+1，a)”意味着将阶段完成时的状态变量，即通过图6所示的一连串的处理的下次的S22的处理应获取的状态s+1作为独立变量的行动价值函数Q中的具有最大值的行动价值函数Q。此外，只要当前的阶段不是阶段3，就将通过图6所示的一连串的处理的下次的S22的处理而获取的状态s设为由S72的处理使用的状态s+1。另外，在当前的阶段是阶段3的情况下，将“maxQ(s+1，a)”设为在S26的处理中实际地选择的行动价值函数。

此外，CPU82在S72的处理完成的情况下，完成图6的S36的处理。返回到图6，CPU82判定行动价值函数Q的变化量ΔQ比阈值ΔQth小的状态是否持续预定期间(S38)。该处理是判定强化学习是否收敛的处理。CPU82在判定为强化学习收敛的情况下(S38：是)，将“1”代入到标志F(S40)。

另一方面，CPU82在判定为标志F是“1”的情况下(S24：否)，将作为独立变量的状态与在S22的处理中获取到的状态s一致的行动价值函数Q中的成为最大值的行动价值函数Q所表示的行动a作为校正量ΔP＊(S42)。然后，CPU82执行与S28、S30的处理相当的S44、S46的处理，判定在S42的处理中设定的校正量ΔP＊比规定值ΔPth小的状态是否持续预定期间(S48)。该处理是判定利用校正量ΔP＊校正后的变速控制用映像数据DMS是否收敛的处理。CPU82当在S48的处理中做出肯定判定的情况下(S48：是)，将此时的变速控制用映像数据DMS作为安装于车辆VC的映像数据而存储到存储装置86(S50)。

此外CPU82在完成S40、S50的处理的情况、在S20、S38、S48的处理中做出否定判定的情况下，暂且结束图6所示的一连串的处理。在此，说明本实施方式的作用以及效果。

CPU82在变速期间选择贪婪行动ag来对电磁阀28a的通电电流进行操作，但以预定的概率使用贪婪行动以外的行动来搜索更好的油压指令值P＊。然后，CPU82通过Q学习来更新为了决定油压指令值P＊而利用的行动价值函数Q。

在此，CPU82在根据变速时间Tsft、发热量InCV以及输出轴变动最大值ΔNoutmax来提供在Q学习中使用的报酬r时，针对变速时间Tsft、发热量InCV以及输出轴变动最大值ΔNoutmax各自的组合，设定提供预定的报酬的基准。由此，能够通过强化学习来学习平衡性良好地满足针对变速时间Tsft、发热量InCV以及与变速相伴的冲击量这三个的所需要素的油压指令值P＊。

根据以上说明的本实施方式，还能够得到以下记载的效果。

(1)使用报酬映像数据Drm，映像运算出报酬r。由此，能够简易地提高变速时间Tsft、发热量InCV以及与变速相伴的冲击量与报酬r的关系的设定的自由度。

(2)针对根据物理现象划分变速期间的每个阶段，设定行动价值函数Q。由此，在学习适当的行动变量的值方面，能够省去进行识别由于物理现象的差异而引起的区间的学习的工夫，所以能够提前发现通过强化学习来增大实际的收益的行动变量的值。

(3)在表示由关系规定数据DR规定与行动变量的值的关系的车辆的状态的变量中，包含加速器操作量ACCP、切换变量ΔVsft以及油温Toil，从而与不包含的情况相比，能够顺利地推进学习。即，根据加速器操作量、变速的种类、工作油的温度，在以预定的基准满足多个所需要素的各个所需要素方面适当的行动变量的值可能不同。因此，当在加速器操作量、变速的种类、工作油的温度的组合不同的情况下决定共同的行动变量的值的情况下，有可能会难以满足所需要素。即，有可能会难以顺利地推进学习。

(4)根据关系规定数据DR，将车辆的状态与使期待收益最大化的行动变量的值对应起来，从而生成将车辆的状态作为输入并输出使期待收益最大化的油压指令值P＊的变速控制用映像数据DMS。通过将该变速控制用映像数据DMS安装于控制装置40，能够简易地设定使期待收益最大化的油压指令值P＊。

(5)在状态s中包含第1偏差变量Sv1(Sv2、Sv3)以及第2偏差变量St1(St2)，且将行动变量设为校正量ΔP＊。由此，熟练者评价强化学习的结果变得容易。即，在熟练者调整油压指令值P＊时，反复进行与相对于理想的转速的偏离相应地将油压指令值的校正量设定为根据经验确定的合理的值的作业。相对于此，根据本实施方式的强化学习，能够根据行动价值函数Q的值来掌握针对从作为基准的转速Nm2＊起的偏离设为怎样的校正量ΔP＊的行动是贪婪的行动。因此，能够评价被当作贪婪的行动的校正量ΔP＊从熟练者来看是否是合理的值。

第2实施方式

以下，以与第1实施方式的差异点为中心，参照附图说明第2实施方式。

图9示出本实施方式的车辆VC的驱动系统以及控制装置。此外，在图9中，关于与图1所示的构件对应的构件，为了方便，附加有相同的符号。如图9所示，在本实施方式中，在ROM44中存储有学习程序DPL以及报酬映像数据Drm。另外，在存储装置46中未存储变速控制用映像数据DMS，而替代地存储有关系规定数据DR。

图10示出本实施方式的控制装置40执行的处理的次序。图10所示的处理是通过由CPU42例如以预定周期反复执行存储于ROM44的学习程序DPL而实现的。此外，在图10中，关于与图6所示的处理对应的处理，为了方便，赋予相同的步骤编号。

在图10所示的一连串的处理中，CPU42当在S20的处理中做出肯定判定的情况下，获取作为由图9所示的关系规定数据DR规定的状态s的加速器操作量ACCP、切换变量ΔVsft，油温Toil、阶段变量Vpase以及第2电动发电机24的转速Nm2(S22a)。接下来，CPU42根据由关系规定数据DR规定的策略π，计算行动变量的值(S26a)。将本实施方式的行动变量设为油压指令值P＊本身。

然后，CPU42在执行S30的处理之后，除了计算输出轴变动量ΔNout以及发热量CV之外，还计算激增量ΔNm2(S32a)。激增量ΔNm2是使变速期间中的变速装置26的输入轴的转速的上涨量定量化而得到的，作为转速Nm2相对于作为上述基准的转速Nm2＊的超过量而计算。

接下来，CPU42转移到S34的处理，在判定为是阶段的完成时的情况下(S34：是)，更新关系规定数据DR(S36a)。此外，CPU42在完成S36a的处理的情况、在S20的处理中做出否定判定的情况下，暂且结束图10所示的一连串的处理。

图11示出S36a的详细的次序。此外，关于在图11中与图8所示的处理相同的处理，为了方便赋予相同的步骤编号。在图11所示的一连串的处理中，CPU42当在S60的处理中做出肯定判定的情况下，除了执行S62～S66的处理之外，还执行将激增量ΔNm2的最大值代入到激增量最大值ΔNm2max的处理(S80)。

然后，CPU42针对由S26a的处理采用的行动变量的值，根据变速时间Tsft、发热量InCV、输出轴变动最大值ΔNoutmax以及激增量最大值ΔNm2max，提供报酬r(S68a)。详细而言，CPU42使用将变速时间Tsft、发热量InCV、输出轴变动最大值ΔNoutmax以及激增量最大值ΔNm2max作为输入变量并将报酬r作为输出变量的、图9所示的ROM44所存储的报酬映像数据Drm，对报酬r进行映像运算。

报酬映像数据Drm以能够平衡性良好地满足针对变速时间Tsft的所需要素、针对发热量InCV的所需要素、针对变速时的冲击量的所需要素、针对输入轴的转速Nm2超过作为基准的转速Nm2＊的超过量的所需要素的方式设定有报酬r。

进而，在本实施方式中，即使是上述四个变量的值相同的组合，也根据加速器操作量ACCP以及切换变量ΔVsft来变更报酬r的值。这通过在报酬映像数据Drm的输入变量中除了包含上述四个变量之外还包含加速器操作量ACCP以及切换变量ΔVsft而实现。

在此，根据加速器操作量ACCP、变速的种类来提供报酬r是基于以下的理由。第1是用于根据加速器操作量ACCP以及切换变量ΔVsft以使针对上述四个所需要素的优先级不同的方式使贪婪行动ag学习的设定。

即，例如在设为与从一档向二档的切换时相比，从二档向一档的切换时的加速器响应的优先级高的情况下，与从一档向二档的切换时相比，在从二档向一档的切换时，使针对相同的变速时间Tsft的报酬r的绝对值变大。而且，在该情况下，例如，针对从一档向二档的切换，增高发热量InCV的优先级，从而与从二档向一档的切换时相比，增大针对相同的发热量InCV的报酬r的绝对值即可。

第2是因为根据加速器操作量ACCP、变速的种类而被施加到变速装置26的转矩、转速不同等，所以输出轴变动最大值ΔNoutmax、激增量最大值ΔNm2max、变速时间Tsft以及发热量InCV可取的值根据加速器操作量ACCP、变速的种类而不同。因此，如果不论加速器操作量ACCP、变速的种类如何，都对变速时间Tsft等一律提供相同的报酬r，则有可能会难以学习。

这样，在本实施方式中，不仅在状态s中包含加速器操作量ACCP以及切换变量ΔVsft，而且与加速器操作量ACCP以及切换变量ΔVsft相应地使报酬r可变。由此，能够进行反映了针对变速时间Tsft、激增量ΔNm2以及发热量InCV的优先级根据加速器操作量ACCP、变速的种类而不同的学习。另外，鉴于根据加速器操作量ACCP、变速的种类而激增量最大值ΔNm2max、变速时间Tsft以及发热量InCV可取的值不同，能够提供报酬r，进而能够顺利地推进学习。

此外，CPU42在完成S68a的处理的情况下，转移到S72的处理。顺便说一下，将在车辆VC出厂时存储于存储装置46的关系规定数据DR设为由图5所示的系统执行与图10的处理同样的处理而进行了学习的已学习的数据。即，图10的处理是将车辆VC在道路上行驶之前学习的关系规定数据DR更新为车辆VC实际地在道路上行驶的情况下最佳的数据的处理。

第3实施方式

以下，以与第1实施方式的差异点为中心，参照附图说明第3实施方式。

图12示出本实施方式的系统的结构。此外，关于在图12中与图9所示的构件对应的构件，为了方便附加相同的符号，省略其说明。如图12所示，车辆VC(1)的控制装置40具备通信机47，能够利用通信机47经由外部的网络100而与数据解析中心110进行通信。

数据解析中心110对从多个车辆VC(1)、VC(2)、…发送的数据进行解析。数据解析中心110具备CPU112、ROM114、存储装置116以及通信机117，它们能够经由局域网119进行通信。此外，存储装置116是能够电改写的非易失性的装置，存储有关系规定数据DR。

图13示出本实施方式的强化学习的处理次序。图13的A所示的处理是通过由CPU42执行图12所示的ROM44所存储的学习子程序DPLa而实现的。另外，图13的B所示的处理是通过由CPU112执行存储于ROM114的学习主程序DPLb而实现的。此外，关于在图13中与图10所示的处理对应的处理，为了方便附加有相同的步骤编号。以下，按照强化学习的时间序列，说明图13所示的处理。

在图13的A所示的一连串的处理中，控制装置40的CPU42首先执行S20、S22a、S26a、S30、S32a、S34的处理，当在S34的处理中做出肯定判定的情况下，判定变速是否完成(S90)。CPU42在判定为变速尚未完成的情况下(S90：否)，返回到S22a的处理。

另一方面，CPU42在判定为变速完成的情况下(S90：是)，对通信机47进行操作，将在基于关系规定数据DR的强化学习的更新中利用的数据与车辆VC(1)的识别记号一起发送(S92)。在该数据中，包含状态s、行动a、输出轴变动量ΔNout、发热量CV、激增量ΔNm2等。

相对于此，如图13的B所示，数据解析中心110的CPU112接收用于更新关系规定数据DR的数据(S100)。然后，CPU112根据接收到的数据，执行S36a的处理。然后，CPU112通过对通信机117进行操作，从而将用于更新关系规定数据DR的数据发送到通过S100的处理而接收到的数据的发送源(S102)。此外，CPU112在完成S102的处理的情况下，暂且结束图13的B所示的一连串的处理。

相对于此，如图13的A所示，CPU42接收更新用的数据(S94)。然后，CPU42根据接收到的数据，更新在S26a的处理中利用的关系规定数据DR(S96)。此外，CPU42在完成S96的处理的情况、在S20的处理中做出否定判定的情况下，暂且结束图13的A所示的一连串的处理。

这样，根据本实施方式，在车辆VC(1)的外部进行关系规定数据DR的更新处理，所以能够减轻控制装置40的运算负荷。进而，例如如果在S100的处理中接收来自多个车辆VC(1)、VC(2)、…的数据进行S36a的处理，则能够容易地增大用于学习的数据数。

对应关系

上述实施方式中的事项与上述“发明内容”这栏所记载的事项的对应关系如下。以下，针对“发明内容”这栏所记载的每个编号，示出了对应关系。在段落[0006]中，执行装置和存储装置在图5中分别对应于CPU82以及ROM84和存储装置86，在图9中分别对应于CPU42以及ROM44和存储装置46，在图12中分别对应于CPU42、112以及ROM44、114和存储装置46、116。获取处理对应于图6以及图8的S22、S62、S64、S66的处理、图10以及图11和图13的S22a、S62、S64、S66、S80的处理。操作处理对应于S26、S30的处理、S26a、S30的处理，报酬计算处理对应于图8的S68的处理、图11的S68a的处理，更新处理对应于S72的处理。更新映射(mapping)对应于根据执行学习程序DPL、学习主程序DPLb中的S72的处理的指令而规定的映射。换言之，对应于在上述式(c1)中规定的映射。第1变量以及第2变量在图8中对应于变速时间Tsft、发热量InCV以及输出轴变动最大值ΔNoutmax这三个中的任意两个变量，在图11中对应于变速时间Tsft、发热量InCV、输出轴变动最大值ΔNoutmax以及激增量最大值ΔNm2max这四个中的任意两个变量。在段落[0009]中，第1变量、第2变量以及第3变量在图8中对应于变速时间Tsft、发热量InCV以及输出轴变动最大值ΔNoutmax，在图11中对应于变速时间Tsft、发热量InCV、输出轴变动最大值ΔNoutmax以及激增量最大值ΔNm2max这四个中的任意三个变量。段落[0011]所记载的事项对应于S68a的处理。在段落[0013]，映像数据对应于报酬映像数据Drm。段落[0015]所记载的事项对应于阶段变量Vpase进入到状态的事项。段落[0017]所记载的事项对应于阶段2。在段落[0019]，转矩变量对应于加速器操作量ACCP。在段落[0021]，表示输入轴的旋转状态的变量对应于转速Nm2。在段落[0023]，变速用映射数据对应于变速控制用映像数据DMS。在段落[0025]，执行装置以及存储装置分别对应于图9中的CPU42以及ROM44和存储装置46。在段落[0027]，第1执行装置对应于CPU42以及ROM44，第2执行装置对应于CPU112以及ROM114。

其它实施方式

此外，本实施方式能够以如下方式进行变更而实施。本实施方式以及以下的变更例能够在技术上不矛盾的范围相互组合实施。

关于在基于关系规定数据的行动变量的值的选择中利用的状态

·作为在基于关系规定数据的行动变量的值的选择中利用的状态，在上述实施方式中不限于例示出的例子。例如，作为关于S22a的处理中的阶段2、阶段3取决于此前的行动变量的值的状态变量，不限于转速Nm2，例如也可以是激增量ΔNm2。另外，例如，也可以设为发热量CV。只不过，例如在如“关于更新映射”这栏所记载那样使用利润分享的算法的情况等下，也可以使关于阶段2、阶段3取决于此前的行动变量的值的状态变量不包含于在行动变量的值的选择中利用的状态。

·在状态变量中包含加速器操作量ACCP不是必须的。

·在状态变量中包含油温Toil不是必须的。

·在状态变量中包含阶段变量Vpase不是必须的。例如也可以使从变速开始起的时间、输入轴的转速、切换变量ΔVsft包含于状态变量，构成指定每次的行动的行动价值函数Q，使用该行动价值函数Q来进行强化学习。在该情况下，将变速期间不预先指定为三个阶段。

关于行动变量

·在图6的处理中，将油压指令值的校正量、压力上升速度的校正量作为行动变量，但也可以设为通电电流的指令值的校正量、通电电流的变化速度的校正量。另外，例如，也可以将压力指令值、压力上升速度作为行动变量。另外，例如也可以将通电电流的指令值、指令值的变化速度作为行动变量。

·在图10的处理中，将阶段3的行动变量设为压力上升速度，但不限于此，例如也可以对阶段3进一步进行细分化，设为这些各阶段中的压力指令值。

·在图10的处理中，将压力指令值、压力上升速度作为行动变量，但不限于此，例如也可以设为向电磁阀28a的通电电流的指令值、指令值的变化速度。另外，例如，也可以设为油压指令值的校正量、压力上升速度的校正量、通电电流的指令值的校正量、通电电流的变化速度的校正量。

关于关系规定数据

·在上述实施方式中，将行动价值函数Q设为表格形式的函数，但不限于此。例如，也可以使用函数近似器。

·例如，也可以代替使用行动价值函数Q，而用将状态s以及行动a作为独立变量并将采取行动a的概率作为从属变量的函数近似器表达策略π，根据报酬r来更新决定函数近似器的参数。

关于关系规定数据中的与阶段有关的信息的参照手法

·在如“关于关系规定数据”这栏所记载那样将行动价值函数Q作为函数近似器的情况下，例如，针对每个阶段变量Vpase准备单独的函数近似器，从而参照阶段变量Vpase即可。另外，例如，也可以在行动价值函数Q的独立变量中包含阶段变量Vpase，从而参照阶段变量Vpase。

·在如“关于关系规定数据”这栏所记载那样，用将状态s以及行动a作为独立变量并将采取行动a的概率作为从属变量的函数近似器表达策略π的情况下，例如，针对每个阶段变量Vpase准备单独的函数近似器，从而参照阶段变量Vpase即可。另外，例如，在函数近似器的独立变量中包含阶段变量Vpase，从而参照阶段变量Vpase即可。

关于操作处理

·在如“关于关系规定数据”这栏所记载那样将行动价值函数Q作为函数近似器的情况下，将关于作为上述实施方式中的表格形式的函数的独立变量的行动的离散值的各个离散值，与状态s一起输入到行动价值函数Q，从而选择使行动价值函数Q最大化的行动a即可。

·在如“关于关系规定数据”这栏所记载那样，用将状态s以及行动a作为独立变量并将采取行动a的概率作为从属变量的函数近似器表达策略π的情况下，根据由策略π表示的概率来选择行动a即可。

关于更新映射

·在S72的处理中，例示出作为策略离线型TD法的所谓的Q学习，但不限于此。例如，也可以基于作为策略在线型TD法的所谓的SARSA法。只不过，不限于基于TD法，例如，也可以使用蒙特卡洛法，或者使用资格追踪法。

·作为基于报酬的关系规定数据的更新映射，例如也可以使用遵循利润分享的算法的映射。详细而言例如在将使用遵循利润分享的算法的映射的例子作为图6、图10所例示出的处理的变更例的情况下，以如下方式进行即可。即，在变速完成的阶段执行报酬的计算。然后，依照强化函数，将计算出的报酬分配给决定与变速相关的各状态行动对的规则。在此，作为强化函数，例如也可以使用公知的等比减少函数。特别是，变速时间Tsft与阶段3的行动变量的值具有强的相关，所以在分配与变速时间Tsft相应的报酬的情况下，作为强化函数而使用等比减少函数是有效的。只不过，不限于等比减少函数。例如，在根据发热量CV来提供报酬的情况下，鉴于发热量CV与阶段1的行动变量的值具有强的相关，也可以使向阶段1的与发热量CV相应的报酬的分配变得最大。

·例如在如“关于关系规定数据”这栏所记载那样，使用函数近似器来表达策略π，根据报酬r直接更新策略π的情况下，使用策略梯度法等来构成更新映射即可。

·不限于仅将行动价值函数Q和策略π中的任意一方作为基于报酬r的直接的更新对象。例如，也可以如行动评价法那样，分别更新行动价值函数Q以及策略π。另外，在行动评价法中，不限于此，例如也可以代替行动价值函数Q而将价值函数V作为更新对象。

关于提供报酬的基准

·作为针对对变速比的切换所需要的多个所需要素的几个组合决定基准的手法，不限于使用将表示这些多个所需要素的各个所需要素的变量的值作为输入变量的映像数据的手法。例如，也可以将表示各所需要素的变量设为具有零以上且比零越大则越好的值的变量，设定具有变量的数量的维度的正交坐标系，将以各变量的值和原点为顶点的多边形的体积作为报酬，从而决定基准。即，在该情况下，即使设为变量的一部分具有非常大的值，但某一个变量的值是零的情况下，体积成为零，所以不满足一部分的所需要素而满足其它所需要素的情况能够视为不满足提供高的报酬的基准。即，能够将平衡性良好地满足多个所需要素的情况作为提供高的报酬的基准。

关于报酬计算处理

·在上述实施方式中，在阶段1、阶段2中将报酬r设为零，但不限于此。例如也可以在阶段1，在阶段1中的发热量CV小的情况下，提供比阶段1中的发热量CV大的情况大的报酬。另外，例如，也可以在阶段2，在阶段2中的发热量CV小的情况下，提供比阶段2中的发热量CV大的情况大的报酬。另外，例如，也可以在阶段2，在阶段2中的激增量ΔNm2小的情况下，提供比阶段2中的激增量ΔNm2大的情况大的报酬。

·作为在发热量小的情况下提供比发热量大的情况大的报酬的处理，不限于在发热量InCV小的情况下提供比发热量InCV大的情况大的报酬的处理。例如，也可以在变速期间内的每单位时间的发热量CV的最大值小的情况下，提供比变速期间内的每单位时间的发热量CV的最大值大的情况大的报酬。

·作为表示变速装置的输入轴的转速超过作为基准的转速的超过量的变量，不限于激增量最大值ΔNm2max，例如也可以是变速期间中的激增量ΔNm2的平均值。另外，例如，也可以是使发出变速指令时的输入轴的转速超过作为基准的转速的超过量定量化而得到的变量。

·作为在变速比的切换时产生的冲击量，不限于根据作为变速装置26的输出轴的转速的变动量的输出轴变动量ΔNout的最大值即输出轴变动最大值ΔNoutmax进行定量化。例如也可以根据输出轴变动量ΔNout的平均值进行定量化。另外，也不限于使用输出轴变动量ΔNout，例如，也可以根据加速器度传感器感知的车辆的加速度等进行定量化。

·在S68的处理中，执行了在变速时间Tsft短的情况下提供比变速时间Tsft长的情况大的报酬的处理、当在变速比的切换时产生的冲击量小的情况下提供比冲击量大的情况大的报酬的处理以及在发热量InCV小的情况下提供比发热量InCV大的情况大的报酬的处理，但不限于此。例如，关于这三个处理，也可以仅执行它们中的任意两个处理。另外，例如，也可以执行这三个处理中的至少一个以上的处理和在变速装置的输入轴的转速超过作为基准的转速的超过量小的情况下提供比超过量大的情况大的报酬的处理。

·在S68a的处理中，即使是变速时间Tsft、在变速比的切换时产生的冲击量、发热量CV以及变速装置的输入轴的转速超过作为基准的转速的超过量这四个变量的相同的值的组合，也根据加速器操作量ACCP、变速的种类使报酬的值可变，但不限于此。例如，也可以根据加速器操作量ACCP使报酬的值可变，但不根据变速的种类而可变。另外，例如也可以根据变速的种类使报酬的值可变，但不根据加速器操作量ACCP而可变。进而例如，也可以不论加速器操作量以及变速的种类如何，都针对四个变量的相同的值的组合而唯一地决定报酬的值。

·在S68a的处理中，对变速时间Tsft、在变速比的切换时产生的冲击量、发热量CV以及变速装置的输入轴的转速超过作为基准的转速的超过量这四个变量的值的组合提供报酬，但不限于此。例如关于这四个变量，也可以仅对它们中的三个变量的值的组合提供报酬。另外，例如，关于这四个变量，也可以仅对它们中的两个变量的值的组合提供报酬。此外，在这些情况下，根据加速器操作量ACCP、变速的种类使报酬的值可变不是必须的。例如，也可以根据加速器操作量ACCP使报酬的值可变，但不根据变速的种类而可变。另外，例如也可以根据变速的种类使报酬的值可变，但不根据加速器操作量ACCP而可变。进而例如，也可以对上述四个变量中的至少两个变量的相同的值的组合唯一地决定报酬的值。

·作为报酬计算处理，不限于针对表示作为报酬的对象的所需要素的各个所需要素的变量的值的全部组合设定基准。例如，也可以执行如下处理，即，决定对变速时间Tsft、在变速比的切换时产生的冲击量以及发热量CV这三个变量的值的组合提供报酬的基准，但与其独立地，在变速装置的输入轴的转速超过作为基准的转速的超过量小的情况下，提供比超过量大的情况大的报酬。

关于车辆用控制数据的生成方法

·在图6的S26的处理中，根据行动价值函数Q决定了行动，但不限于此，也可以等概率地选择可取的所有的行动。

关于变速用映射数据

·作为通过将车辆的状态与使期待收益最大化的行动变量的值一对一地对应起来从而将车辆的状态作为输入并输出使期待收益最大化的行动变量的值的变速用映射数据，不限于映像数据。例如，也可以是函数近似器。这例如如上述“关于更新映射”这栏所记载那样通过如下方式实现，即，在使用策略梯度法等的情况下，用表示可取行动变量的值的概率的高斯分布表达策略π，用函数近似器表达其平均值，更新表达平均值的函数近似器的参数，将学习后的平均值作为变速用映射数据。即，在此，将函数近似器输出的平均值视为使期待收益最大化的行动变量的值。

关于变速控制系统

·在图13所示的例子中，在车辆侧执行决定基于策略π的行动的处理(S26a的处理)，但不限于此。例如，也可以从车辆VC(1)发送通过S22a的处理而获取到的数据，由数据解析中心110发送，使用数据来决定行动a，将所决定的行动发送到车辆VC(1)。

·作为变速控制系统，不限于包括控制装置40以及数据解析中心110。例如，也可以代替数据解析中心110而使用用户的便携终端。另外，也可以由控制装置40以及数据解析中心110和便携终端构成变速控制系统。这例如能够通过由便携终端执行S26a的处理而实现。

关于执行装置

·作为执行装置，不限于具备CPU42(112)和ROM44(114)，执行软件处理。例如，也可以具备对在上述实施方式中进行软件处理的处理中的至少一部分进行硬件处理的例如ASIC等专用的硬件电路。即，执行装置是以下的(a)～(c)中的任意的结构即可。(a)具备依照程序而执行上述处理的全部处理的处理装置和存储程序的ROM等程序保存装置。(b)具备依照程序而执行上述处理的一部分的处理装置以及程序保存装置和执行剩余的处理的专用的硬件电路。(c)具备执行上述处理的全部处理的专用的硬件电路。在此，具备处理装置以及程序保存装置的软件执行装置、专用的硬件电路也可以是多个。

关于存储装置

·在上述实施方式中，将存储关系规定数据DR的存储装置和存储学习程序DPL、学习子程序DPLa、学习主程序DPLb的存储装置(ROM44、114)设为不同的存储装置，但不限于此。

关于车辆

·作为车辆，不限于串并联混合动力车。例如也可以是串联混合动力车、并联混合动力车。此外，作为车载旋转机械，也不限于具备内燃机和电动发电机。例如既可以是具备内燃机但不具备电动发电机的车辆，另外，例如也可以是具备电动发电机但不具备内燃机的车辆。

其它

·作为变速装置，不限于图1等例示出的变速装置26。

Claims (11)

1.一种变速控制数据的生成方法，在用于规定车辆的状态与作为与搭载于所述车辆的变速装置的操作有关的变量的行动变量的关系的关系规定数据存储于存储装置的状态下，由执行装置执行所述变速控制数据的生成方法，其特征在于，所述变速控制数据的生成方法包括：

获取处理，获取基于传感器的检测值的所述车辆的状态；

操作处理，为了切换变速比而对所述变速装置进行操作；

报酬计算处理，根据通过所述获取处理而获取到的所述车辆的状态，在所述车辆的特性满足基准的情况下提供比所述车辆的特性不满足基准的情况大的报酬；以及

更新处理，将通过所述获取处理而获取到的所述车辆的状态、在所述变速装置的所述操作中利用的所述行动变量的值以及与该操作对应的所述报酬作为向预先决定的更新映射的输入，更新所述关系规定数据，其中，

所述更新映射输出以使依照所述关系规定数据操作所述变速装置的情况下的关于所述报酬的期待收益增加的方式更新后的所述关系规定数据，

所述报酬计算处理提供所述报酬时的所述基准是关于作为所述变速比的切换所需的时间的变速时间、所述变速比的切换期间中的所述变速装置的发热量、所述变速比的切换期间中的输入轴的转速超过作为基准的转速的超过量以及在所述变速比的切换时产生的冲击量这四个变量中的两个变量即第1变量以及第2变量，针对这些值的组合定义的。

2.根据权利要求1所述的变速控制数据的生成方法，其特征在于，

所述报酬计算处理提供所述报酬时的所述基准是关于所述四个变量中的三个变量即所述第1变量、所述第2变量以及第3变量，针对这些值的组合定义的。

3.根据权利要求1或者2所述的变速控制数据的生成方法，其特征在于，

所述报酬计算处理包括如下处理：即使是各所述变量的值相同的组合，也根据作为表示对所述变速装置施加的转矩的变量的转矩变量以及作为表示所述变速比的切换的种类的变量的切换变量这两个变量中的至少一个变量来变更所述报酬的值。

4.根据权利要求1～3中的任意一项所述的变速控制数据的生成方法，其特征在于，

在所述存储装置中，存储有映像数据，该映像数据至少将所述第1变量的值以及所述第2变量的值作为输入变量，将所述报酬的值作为输出变量，

所述报酬计算处理包括根据所述第1变量的值以及所述第2变量的值对所述报酬进行映像运算的处理。

5.根据权利要求1～4中的任意一项所述的变速控制数据的生成方法，其特征在于，

所述关系规定数据是在由该关系规定数据决定所述行动变量的值时参照与将所述变速比的切换期间分割为多个而成的各个阶段有关的信息的数据。

6.根据权利要求5所述的变速控制数据的生成方法，其特征在于，

所述阶段包括由于通过所述变速装置的所述变速比的切换而从接合状态切换到释放状态的摩擦卡合元件所进行的转矩的传递结束而结束的阶段。

7.根据权利要求1～6中的任意一项所述的变速控制数据的生成方法，其特征在于，

表示由所述关系规定数据规定与所述行动变量的值的关系的所述车辆的状态的变量包括作为表示对所述变速装置施加的转矩的变量的转矩变量、作为表示所述变速比的切换的种类的变量的切换变量以及作为表示所述变速装置的工作油的温度的变量的温度变量。

8.根据权利要求1～7中的任意一项所述的变速控制数据的生成方法，其特征在于，

表示由所述关系规定数据规定与所述行动变量的值的关系的所述车辆的状态的变量包括表示所述变速装置的输入轴的旋转状态的变量。

9.根据权利要求1～8中的任意一项所述的变速控制数据的生成方法，其特征在于，

还包括如下处理：根据通过所述更新处理而更新后的所述关系规定数据，将所述车辆的状态与使所述期待收益最大化的所述行动变量的值对应起来，从而生成将所述车辆的状态作为输入并输出使所述期待收益最大化的所述变速装置的操作量的变速用映射数据。

10.一种变速控制装置，其特征在于，具备：

权利要求1～8中的任意一项所述的变速控制数据的生成方法中的所述执行装置以及所述存储装置，其中，

所述操作处理是如下处理：为了基于所述行动变量的值切换所述变速比，对所述变速装置进行操作，所述行动变量的值是根据通过所述获取处理而获取到的所述车辆的状态和所述关系规定数据而确定的。

11.一种变速控制系统，其特征在于，具备：

权利要求1～8中的任意一项所述的变速控制数据的生成方法中的所述执行装置以及所述存储装置，其中，

所述执行装置包括搭载于所述车辆的第1执行装置和与车载装置不同的第2执行装置，所述第1执行装置至少执行所述获取处理以及所述操作处理，所述第2执行装置至少执行所述更新处理。

Images