CN113176739A - 车辆用控制装置、车辆控制方法以及存储车辆用控制程序的非瞬时性的计算机可读介质 - Google Patents

Abstract

提供一种车辆用控制装置、车辆控制方法以及存储车辆用控制程序的非瞬时性的计算机可读介质。车辆用控制装置应用于第1车辆，具备处理电路(processing circuitry)，处理电路执行：指标导出处理，导出作为与第1车辆的行驶性能有关的指标的行驶性能指标；指标接收处理，通过车车间通信从第2车辆接收该第2车辆的行驶性能指标；性能判定处理，通过对第2车辆的行驶性能指标与第1车辆的行驶性能指标进行比较，判定第1车辆的行驶性能是否比第2车辆的行驶性能低。

Description

车辆用控制装置、车辆控制方法以及存储车辆用控制程序的 非瞬时性的计算机可读介质

技术领域

本公开涉及车辆用控制装置、车辆控制方法以及存储车辆用控制程序的非瞬时性的计算机可读介质。

背景技术

日本特开2017－194048号公报记载了具有进行内燃机的异常诊断的功能的控制装置的一个例子。在该控制装置中，在由驾驶员操作加速踏板的情况下，对其加速器开度为第1预定开度以上、且内燃机的实际的输出转矩相对于要求转矩的比率小于预定值的状态的持续时间进行计测。并且，在该持续时间超过了预定时间的状态下，当加速器开度为比第1预定开度大的第2预定开度以上时，作出在内燃机发生了异常这一诊断。

如上述那样的异常诊断中所使用的各种阈值、即第1预定开度、第2预定开度以及预定时间是预先设定的。

一般而言，设想为车辆在各种各样的环境中进行行驶来唯一地决定上述各种阈值。因此，这样决定的阈值有可能不是对异常诊断中使用阈值时的车辆的行驶环境最佳的值。因此，使用了如上述那样的阈值的异常诊断的结果有可能不是考虑了车辆的行驶环境的结果。

发明内容

以下，对本公开的多个技术方案及其作用效果进行记载。

技术方案1.根据本公开的一个技术方案，提供一种车辆用控制装置。所述车辆用控制装置应用于第1车辆，所述第1车辆构成为进行车车间通信，所述车车间通信是与第2车辆的直接通信，所述车辆用控制装置具备处理电路(processing circuitry)，所述处理电路构成为执行：指标导出处理，导出行驶性能指标，所述行驶性能指标是与所述第1车辆的行驶性能有关的指标；指标接收处理，通过所述车车间通信从所述第2车辆接收该第2车辆的所述行驶性能指标；以及性能判定处理，通过对所述第2车辆的所述行驶性能指标与所述第1车辆的所述行驶性能指标进行比较，判定所述第1车辆的行驶性能是否比所述第2车辆的行驶性能低。

车车间通信是相互在附近行驶的车辆彼此的无线通信。因此，能够与第1车辆进行车车间通信的第2车辆行驶在第1车辆的周围。即，进行车车间通信的2台车辆能够推测为正行驶在相同的行驶环境中。于是，在上述构成中设为：通过车车间通信从在第1车辆的周围行驶的第2车辆接收该第2车辆的行驶性能指标，对所接收到的第2车辆的行驶性能指标与第1车辆的行驶性能指标进行比较，由此，进行第1车辆的行驶性能是否比第2车辆的行驶性能低的判定。通过这样使用行驶环境相同的第2车辆的行驶性能指标和第1车辆的行驶性能指标来进行比较，能够进行考虑了那时的车辆的行驶环境的判定。

技术方案2.在技术方案1所记载的车辆用控制装置中，也可以具备存储装置，所述存储装置存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述车辆的状态是对由所述行驶性能指标表示的车辆的行驶性能产生影响的状态，所述行动变量是与所述车辆的电子设备的操作有关的变量，所述处理电路也可以构成为执行：取得处理，取得对所述车辆的状态进行检测的传感器的检测值；操作处理，基于由所述检测值和所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作；奖励算出处理，在所述检测值为表示所述第1车辆的行驶性能比基准性能高的值时，给与比所述检测值为表示所述第1车辆的行驶性能不高于所述基准性能的值时大的奖励；以及更新处理，使用所述检测值、在所述电子设备的操作中所使用了的所述行动变量的值以及与该操作对应的所述奖励来作为向预先确定的更新映射的输入，对所述关系规定数据进行更新，所述更新映射可以输出以使关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，所述处理电路也可以构成为：在所述奖励算出处理中，在通过所述性能判定处理判定为所述第1车辆的行驶性能比所述第2车辆的行驶性能低的情况下，使为表示所述第1车辆的行驶性能比所述基准性能高的值时所给与的奖励为比未判定为所述第1车辆的行驶性能比所述第2车辆的行驶性能低的情况下的该奖励大的值。

在上述构成中，通过算出伴随着电子设备的操作的奖励，能够掌握通过该操作能得到什么样的奖励。并且，基于所得到的奖励来通过进行了强化学习的更新映射对关系规定数据进行更新，由此，能够将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的关系。因此，能够在车辆的行驶中对车辆的状态与行动变量的关系进行优化。

在通过第2车辆的行驶性能指标与第1车辆的行驶性能指标的比较判定为第1车辆的行驶性能比第2车辆的行驶性能低的情况下，在第1车辆中，车辆的状态与行动变量的关系的优化有可能比第2车辆晚。于是，在上述构成中，在判定为第1车辆的行驶性能比第2车辆的行驶性能低的情况下，使第1车辆的行驶性能比基准性能高时所给与的奖励比未判定为第1车辆的行驶性能低于第2车辆的行驶性能的情况下的该奖励大。由此，能够在车辆的状态与行动变量的关系的优化有可能比第2车辆晚的情况下，提高关系规定数据的更新速度，使该关系的优化提前。其结果，能够提高第1车辆的行驶性能。

技术方案3.在技术方案1所记载的车辆用控制装置中，也可以具备存储装置，所述存储装置存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述车辆的状态是对由所述行驶性能指标表示的车辆的行驶性能产生影响的状态，所述行动变量是与所述车辆的电子设备的操作有关的变量，所述处理电路也可以构成为执行：取得处理，取得对所述车辆的状态进行检测的传感器的检测值；操作处理，基于由所述检测值和所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作；奖励算出处理，在所述检测值为表示所述第1车辆的行驶性能比基准性能高的值时，给与比所述检测值为表示所述第1车辆的行驶性能不高于所述基准性能的值时大的奖励；更新处理，使用所述检测值、在所述电子设备的操作中所使用了的所述行动变量的值以及与该操作对应的所述奖励来作为向预先确定的更新映射的输入，对所述关系规定数据进行更新；以及数据置换处理，在通过所述性能判定处理判定为所述第1车辆的行驶性能比所述第2车辆的行驶性能低时，从所述第2车辆接收所述关系规定数据，将存储于所述存储装置的所述关系规定数据置换为从所述第2车辆接收到的所述关系规定数据，所述更新映射也可以输出以使关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益增加的方式进行了更新的所述关系规定数据。

在通过第2车辆的行驶性能指标与第1车辆的行驶性能指标的比较判定为第1车辆的行驶性能比第2车辆的行驶性能低的情况下，在第1车辆中，车辆的状态与行动变量的关系的优化有可能比第2车辆晚。于是，在上述构成中，在判定为第1车辆的行驶性能比第2车辆的行驶性能低的情况下，存储于第1车辆的存储装置的关系规定数据被置换为在该第2车辆中所使用的关系规定数据。由此，与关系规定数据的置换前相比，能够提高第1车辆的行驶性能。

技术方案4.在技术方案3所记载的车辆用控制装置中，所述处理电路也可以构成为：在即使通过执行所述数据置换处理对所述存储装置的所述关系规定数据进行置换、所述第1车辆的行驶性能也不提高时，执行对在所述第1车辆产生了异常进行报知的异常报知处理。

认为在即使将存储于第1车辆的存储装置的关系规定数据置换为在第2车辆中所使用的关系规定数据、第1车辆的行驶性能也不提高的情况下，第1车辆的行驶性能低的原因并不是车辆的状态与行动变量的关系的优化晚。于是，在上述构成中，当即使是在进行了关系规定数据的置换以后、第1车辆的行驶性能也不提高时，有可能在第1车辆的构成部件中产生了故障等的异常，因此，对在第1车辆中产生了异常进行报知。由此，能够对该车辆的所有者催促搭载车辆用控制装置的车辆向修理工厂等的入库。

技术方案5.在技术方案1～技术方案4中的任一项所记载的车辆用控制装置中，所述处理电路也可以构成为：在所述指标导出处理中，导出与车辆的能量的利用效率有关的指标来作为所述行驶性能指标，在所述性能判定处理中，判定所述第1车辆的能量的利用效率是否比所述第2车辆的能量的利用效率低。

技术方案6.在技术方案1～技术方案4中的任一项所记载的车辆用控制装置中，所述处理电路也可以构成为：在所述指标导出处理中，导出与车辆的加速性能有关的指标来作为所述行驶性能指标，在所述性能判定处理中，判定所述第1车辆的加速性能是否比所述第2车辆的加速性能低。

技术方案7.在技术方案1～技术方案6中的任一项所记载的车辆用控制装置中，所述处理电路也可以构成为执行：装载量取得处理，取得所述第1车辆的装载量的推定值；和装载量接收处理，通过所述车车间通信接收所述第2车辆的装载量的推定值，所述处理电路构成为：以所述第2车辆的装载量的推定值与所述第1车辆的装载量的推定值的差分小于装载量差分判定值为条件，执行所述性能判定处理。

在对装载量不同的2台车辆的行驶性能指标进行了比较的情况下，装载量少的车辆的行驶性能容易变为比装载量多的车辆的行驶性能高。于是，在上述构成中为：以第2车辆的装载量的推定值与第1车辆的装载量的推定值的差分小于装载量差分判定值为条件，执行性能判定处理。换言之，在该差分为装载量差分判定值以上时，不执行性能判定处理。由此，能够在判断为第1车辆与第2车辆的装载量较大地不同时，执行性能判定处理。

技术方案8.在技术方案1～技术方案7中的任一项所记载的车辆用控制装置中，所述处理电路也可以构成为执行：行驶距离取得处理，取得所述第1车辆的行驶距离；和行驶距离接收处理，通过所述车车间通信接收所述第2车辆的行驶距离，所述处理电路也可以构成为：以所述第2车辆的行驶距离与所述第1车辆的行驶距离的差分小于距离差分判定值为条件，执行所述性能判定处理。

车辆的行驶距离越长，能够推测为车辆的构成部件的特性的历时变化的程度越大。并且，车辆的构成部件的特性的历时变化的程度越大，能够推测为车辆的性能特性越容易变低。于是，在上述构成中为：以第2车辆的行驶距离与第1车辆的行驶距离的差分小于距离差分判定值为条件，执行性能判定处理。换言之，在该差分为距离差分判定值以上时，不执行性能判定处理。由此，能够在第1车辆的构成部件的特性的历时变化的程度有可能与第2车辆的构成部件的特性的历时变化的程度较大地不同时，对执行性能判定处理进行抑制。

技术方案9.根据本公开的一个技术方案，提供一种车辆控制方法。所述车辆控制方法应用于第1车辆，所述第1车辆构成为进行车车间通信，所述车车间通信是与在所述第1车辆的周围行驶的第2车辆的直接通信，所述车辆控制方法包括：所述第1车辆的处理电路执行导出行驶性能指标的指标导出处理，所述行驶性能指标是与所述第1车辆的行驶性能有关的指标；所述处理电路执行通过所述车车间通信从所述第2车辆接收该第2车辆的所述行驶性能指标的指标接收处理；以及所述处理电路执行性能判定处理，所述性能判定处理通过对所述第2车辆的所述行驶性能指标与所述第1车辆的所述行驶性能指标进行比较，判定所述第1车辆的行驶性能是否比所述第2车辆的行驶性能低。

根据上述方法，通过使车辆的处理电路执行上述各处理，能够得到与上述车辆用控制装置同等的作用效果。

技术方案10.根据本公开的一个技术方案，提供一种非瞬时性的计算机可读介质，存储车辆用控制程序。在由构成为进行与在第1车辆的周围行驶的第2车辆的直接通信即车车间通信的第1车辆的处理电路执行所述车辆用控制程序时，所述车辆用控制程序使所述处理电路执行：指标导出处理，导出行驶性能指标，所述行驶性能指标是与所述第1车辆的行驶性能有关的指标；指标接收处理，通过所述车车间通信从所述第2车辆接收该第2车辆的所述行驶性能指标；以及性能判定处理，通过对所述第2车辆的所述行驶性能指标与所述第1车辆的所述行驶性能指标进行比较，判定所述第1车辆的行驶性能是否比所述第2车辆的行驶性能低。

根据上述构成，通过将该车辆用控制程序安装于车辆，使处理电路执行上述各处理，能够得到与上述车辆用控制装置同等的作用效果。

附图说明

图1是表示第1实施方式涉及的控制装置和驱动系统的图。

图2是示意性地表示具备该控制装置的车辆彼此进行车车间通信的状况的框图。

图3是表示该控制装置执行的处理的步骤的流程图。

图4是表示该控制装置执行的更新处理的流程图。

图5是表示导出用于向其他车辆发送的信息时该控制装置执行的处理的步骤的流程图。

图6是表示向其他车辆发送信息时该控制装置执行的处理的步骤的流程图。

图7是表示对自身车辆的行驶性能是否比其他车辆的行驶性能低进行判定时该控制装置执行的处理的步骤的流程图。

图8是表示执行异常报知处理时该控制装置执行的处理的步骤的流程图。

图9是表示在第2实施方式涉及的控制装置中导出用于向其他车辆发送的信息时所执行的处理的步骤的流程图。

具体实施方式

(第1实施方式)

以下，参照附图对车辆用控制装置和车辆控制方法的第1实施方式进行说明。

在图1中图示了作为车辆用控制装置的控制装置70和具备控制装置70的车辆VC的驱动系统的构成。

如图1所示，车辆VC具备内燃机10来作为车辆VC的推力生成装置。在内燃机10的进气通路12从上游侧开始依次设置有节流阀14和燃料喷射阀16，被吸入到进气通路12的空气和从燃料喷射阀16喷射的燃料伴随着进气阀18的开阀而流入到由气缸20和活塞22区划的燃烧室24。在燃烧室24内，燃料与空气的混合气伴随着点火装置26的火花放电而被供于燃烧，通过燃烧产生了的能量经由活塞22被变换为曲轴28的旋转能量。被供于了燃烧的混合气伴随着排气阀30的开阀而被作为排气排出到排气通路32。在排气通路32设置有作为对排气进行净化的后处理装置的催化剂34。

在曲轴28能够经由具备锁止离合器42的转矩转换器40而以机械的方式连结有变速装置50的输入轴52。变速装置50是使变速比为可变的装置，该变速比是输入轴52的转速与输出轴54的转速之比。在输出轴54以机械的方式连结有驱动轮60。

控制装置70将内燃机10作为控制对象，为了对作为其控制量的转矩、排气成分比率等进行控制，对节流阀14、燃料喷射阀16以及点火装置26等的内燃机10的操作部进行操作。另外，控制装置70将转矩转换器40作为控制对象，为了对锁止离合器42的接合状态进行控制，对锁止离合器42进行操作。另外，控制装置70将变速装置50作为控制对象，为了对作为其控制量的变速比进行控制，对变速装置50进行操作。此外，在图1中记载了节流阀14、燃料喷射阀16、点火装置26、锁止离合器42以及变速装置50各自的操作信号MS1～MS5。这样被输入来自控制装置70的操作信号MS1～MS5的操作部分别是“电子设备”的一个例子。

控制装置70为了控制量的控制，对由空气流量计80检测的吸入空气量Ga、作为由节气阀传感器82检测的节流阀14的开口度的节气阀开口度TA以及曲轴角传感器84的输出信号Scr进行参照。另外，控制装置70对作为由加速器传感器88检测的加速踏板86的踏下量的加速器操作量PA、以及由加速度传感器90检测的车辆VC的前后方向上的加速度Gx进行参照。

控制装置70具备CPU72、ROM74、作为能够电重写的非易失性存储器的存储装置76、通信机77以及外围电路78，那些部件设为能够经由局域网络79进行通信。在此，外围电路78包括生成对内部动作进行规定的时钟信号的电路、电源电路以及复位电路等。

在ROM74中存储有控制程序74a和学习程序74b。另一方面，在存储装置76中存储有关系规定数据DR。关系规定数据DR是指对加速器操作量PA与作为节气阀开口度TA的指令值的节气阀开口度指令值TA＊以及点火装置26的延迟量aop的关系进行规定的数据。节气阀开口度指令值TA＊以及延迟量aop是行动变量的一个例子。在此，延迟量aop是相对于预先确定的基准点火正时的延迟量，基准点火正时是MBT点火正时和爆震极限点中的延迟侧的正时。MBT点火正时是能得到最大转矩的点火正时(最大转矩点火正时)。另外，爆震极限点是在使用爆震极限高的高辛烷值燃料时在所设想的最佳条件下能够使爆震落在能容许的等级以内的点火正时的提前极限值。另外，在存储装置76中存储有转矩输出映射数据DT。由转矩输出映射数据DT规定的转矩输出映射是将曲轴28的转速NE、充填效率η以及点火正时aig作为输入、并输出转矩Trq的映射。

另外，如图2所示，通信机77是用于进行车车间通信的装置，该车车间通信是车辆间的直接通信。车车间通信是指不经由服务器等而在车辆间直接进行通信、且相互在附近进行行驶的车辆彼此的无线通信。也即是，搭载通信机77的车辆VC可以说是具有进行车车间通信的功能的车辆。在以后的记载中，有时也将自身车辆作为“自身车辆VC1”，将与自身车辆VC1进行车车间通信的车辆称为“其他车辆VC2”。

自身车辆VC1的控制装置70能够通过车车间通信与其他车辆VC2的控制装置70进行各种信息的收发。此外，在能进行车车间通信的情况下，能够与自身车辆VC1进行车车间通信的其他车辆VC2行驶在自身车辆VC1的周围。即，进行车车间通信的2台车辆可以说正在相同的行驶环境中进行行驶。

在图3中表示控制装置70执行的处理的步骤。图3所示的处理通过CPU72例如以预定周期反复执行存储于ROM74的控制程序74a和学习程序74b来实现。此外，以下通过在开头赋予了“S”的数字来表示各处理的步骤编号。

在图3所示的一系列处理中，CPU72取得由加速器操作量PA的6个采样值“PA(1)、PA(2)、……、PA(6)”构成的时间序列数据来作为状态s(S10)。在此，构成时间序列数据的各采样值是在互不相同的定时采样到的采样值。在本实施方式中，由以一定的采样周期进行采样的情况下的相互在时间序列上相邻的6个采样值构成时间序列数据。

接着，CPU72按照关系规定数据DR确定的策略π，设定由与通过S10的处理取得的状态s相应的节气阀开口度指令值TA＊和延迟量aop构成的行动a(S12)。

在本实施方式中，关系规定数据DR是确定行动价值函数Q和策略π的数据。在本实施方式中，行动价值函数Q是表示与状态s和行动a的8维独立变量相应的期待收益的值的表型式的函数。另外，策略π确定如下规则：在优先选择被提供了状态s时、独立变量成为所提供的状态s的行动价值函数Q中的期待收益成为最大的行动a(贪婪(greedy)行动)的同时，以预定的概率来选择那以外的行动a。

详细而言，本实施方式涉及的行动价值函数Q的独立变量可取的值的数量是通过人的见解等削减了状态s和行动a可取的值的全部组合中的一部分后的数量。即，例如作为如加速器操作量PA的时间序列数据中的相互相邻的2个采样值中的一个成为加速器操作量PA的最小值、且另一个成为最大值这样的情况不能由人的加速踏板86的操作产生，不定义行动价值函数Q。在本实施方式中，通过基于人的见解等的维度削减，将定义行动价值函数Q的状态s可取的值限制为10的4次方个以下、更优选是10的3次方个以下。

接着，CPU72基于所设定的节气阀开口度指令值TA＊和延迟量aop，向节流阀14输出操作信号MS1来对节气阀开口度TA进行操作，并且，向点火装置26输出操作信号MS3来对点火正时进行操作(S14)。在此，在本实施方式中，例示将节气阀开口度TA反馈控制为节气阀开口度指令值TA＊，因此，即使节气阀开口度指令值TA＊为相同的值，操作信号MS1也可能成为互不相同的信号。另外，例如在进行周知的爆震控制(KCS)等的情况下，点火正时被设为通过KCS对使基准点火正时延迟了延迟量aop后的值进行反馈修正后的值。在此，通过CPU72根据曲轴28的转速NE和充填效率η来以可变的方式设定基准点火正时。此外，转速NE由CPU72基于曲轴角传感器84的输出信号Scr来算出。另外，充填效率η由CPU72基于转速NE和吸入空气量Ga来算出。

接着，CPU72取得内燃机10的转矩Trq、对于内燃机10的转矩指令值Trq＊以及加速度Gx(S16)。在此，CPU72通过将转速NE、充填效率η以及点火正时输入到转矩输出映射来算出转矩Trq。另外，CPU72根据加速器操作量PA来设定转矩指令值Trq＊。

接着，CPU72判定过渡标志F是否为“1”(S18)。过渡标志F在为“1”的情况下表示处于过渡运转时，在为“0”的情况下表示不是过渡运转时。CPU72在判定为过渡标志F是“0”的情况下(S18：否)，判定加速器操作量PA的每单位时间的变化量ΔPA的绝对值是否为预定量ΔPAth以上(S20)。在此，变化量ΔPA例如设为执行S20的处理的定时的最新的加速器操作量PA与相对于该定时的单位时间之前的加速器操作量PA之差即可。

CPU72在判定为变化量ΔPA的绝对值为预定量ΔPAth以上的情况下(S20：是)，将“1”代入到过渡标志F(S22)。

与此相对，CPU72在判定为过渡标志F是“1”的情况下(S18：是)，判定从S22的处理的执行起是否经过了预定期间(S24)。在此，预定期间设为到加速器操作量PA的每单位时间的变化量ΔPA的绝对值成为比预定量ΔPAth小的规定量以下的状态持续预定时间为止的期间。CPU72在判定为经过了预定期间的情况下(S24：是)，将“0”代入到过渡标志F(S26)。

CPU72在S22、S26的处理完成的情况下，作为一个片段已结束，通过强化学习对行动价值函数Q进行更新(S28)。

在图4中表示S28的处理的详细。

在图4所示的一系列处理中，CPU72取得由最近结束的片段中的转矩指令值Trq＊、转矩Trq以及加速度Gx这三个采样值的组构成的时间序列数据、和状态s以及行动a的时间序列数据(S30)。在此，最近的片段在接着S22的处理进行S30的处理的情况下是过渡标志F持续为“0”的期间，在接着S26的处理进行S30的处理的情况下是过渡标志F持续为“1”的期间。

在图4中表示括号中的数字不同的值是不同的采样定时的变量的值。例如，转矩指令值Trq＊(1)和转矩指令值Trq＊(2)的采样定时互不相同的指令值。另外，将属于最近的片段的行动a的时间序列数据作为行动集合Aj，将属于该片段的状态s的时间序列数据定义为状态集合Sj。

接着，CPU72判定属于最近的片段的任意的转矩Trq与转矩指令值Trq＊之差的绝对值为规定量ΔTrq以下这一条件(A)和加速度Gx为下限值GxL以上且上限值GxH以下这一条件(B)的逻辑积是否为真(S32)。

在此，CPU72根据片段开始时的加速器操作量PA的每单位时间的变化量ΔPA来以可变的方式设定规定量ΔTrq。即，CPU72在基于片段开始时的加速器操作量PA的每单位时间的变化量ΔPA判定为是与过渡时有关的片段的情况下，将规定量ΔTrq设定为比稳态时的情况下的该规定量ΔTrq大的值。

另外，CPU72根据片段开始时的加速器操作量PA的变化量ΔPA来以可变的方式设定下限值GxL。即，CPU72在为与过渡时有关的片段且变化量ΔPA为正的情况下，将下限值GxL设定为比与稳态时有关的片段的情况下的该下限值GxL大的值。另外，CPU72在为与过渡时有关的片段且变化量ΔPA为负的情况下，将下限值GxL设定为比与稳态时有关的片段的情况下的该下限值GxL小的值。

另外，CPU72根据片段开始时的加速器操作量PA的每单位时间的变化量ΔPA来以可变的方式设定上限值GxH。即，CPU72在为与过渡时有关的片段且变化量ΔPA为正的情况下，将上限值GxH设定为比与稳态时有关的片段的情况下的该上限值GxH大的值。另外，CPU72在为与过渡时有关的片段且变化量ΔPA为负的情况下，将上限值GxH设定为比与稳态时有关的片段的情况下的该上限值GxH小的值。

CPU72在判定为逻辑积是真的情况下(S32：是)，将正的值α代入到奖励r(S34)，另一方面，在判定为是假的情况下(S32：否)，将负的值β代入到奖励r(S36)。例如，负的值β为正的值α与“－1”之积。CPU72在S34、S36的处理完成的情况下，对存储于图1所示的存储装置76的关系规定数据DR进行更新。在本实施方式中，使用ε软策略蒙特卡罗方法(ε-soft on-policy Monte Carlo method)。

即，CPU72对由通过上述S30的处理读出的各状态和所对应的行动的组确定的收益R(Sj，Aj)分别加上奖励r(S38)。在此，“R(Sj，Aj)”是对将状态集合Sj的要素之一作为状态、将行动集合Aj的要素之一作为行动的收益R进行了总括的记载。接着，关于由通过上述S30的处理读出的各状态和所对应的行动的组确定的收益R(Sj，Aj)分别进行平均化并代入到所对应的行动价值函数Q(Sj，Aj)(S40)。在此，平均化设为将通过S38的处理算出的收益R除以对进行S38的处理的次数加上预定数而得到的值的处理即可。此外，收益R的初始值设为所对应的行动价值函数Q的初始值即可。

接着，CPU72关于通过上述S30的处理读出的状态，分别将如下行动代入到行动Aj＊(S42)，该行动是所对应的行动价值函数Q(Sj，A)中的、成为最大值时的节气阀开口度指令值TA＊和延迟量aop的组。在此，“A”表示可取的任意的行动。此外，行动Aj＊根据通过上述S30的处理读出的状态的种类而成为互不相同值，但在此简化标记而用同一标号进行记载。

接着，CPU72关于通过上述S30的处理读出的状态，分别对所对应的策略π(Aj|Sj)进行更新(S44)。即，当将行动的总数设为“|A|”时，将通过S42选择的行动Aj＊的选择概率设为“1－ε+ε/|A|”。另外，将行动Aj＊以外的“|A|－1”个行动的选择概率分别设为“ε/|A|”。由于S44的处理是基于通过S40的处理进行了更新的行动价值函数Q的处理，由此，成为对状态s与行动a的关系进行规定的关系规定数据DR被进行更新以使收益R增加。

此外，CPU72在S44的处理完成的情况下，暂时结束图4所示的一系列处理。

返回图3，CPU72在S28的处理完成的情况下、在S20、S24的处理中作出否定判定的情况下，暂时结束图3所示的一系列处理。此外，S10～S26的处理通过CPU72执行控制程序74a来实现，S28的处理通过CPU72执行学习程序74b来实现。另外，车辆VC出厂时的关系规定数据DR设为通过在用试验台对车辆的行驶进行模拟等的同时执行与图3所示的处理同样的处理来预先进行了学习的数据。

如上所述，控制装置70具有与其他车辆的控制装置70进行各种信息的收发的功能。在图5中表示为了导出向该其他车辆发送的信息而控制装置70执行的处理的步骤。图5所示的处理通过CPU72例如以预定周期反复执行存储于ROM74的控制程序74a来实现。

在图5所示的一系列处理中，CPU72导出行驶性能指标Idp(S50)，该行驶性能指标Idp是与车辆VC的行驶性能有关的指标。

本实施方式中的行驶性能包括车辆VC的加速性能。因此，行驶性能指标Idp也可以说是与车辆VC的加速性能有关的指标。在加速器操作量PA变化的情况下根据加速器操作量PA设定的转矩指令值Trq＊与内燃机10的转矩Trq之间难以产生背离的车辆VC可以说是加速性能比容易产生背离的车辆VC的加速性能高的车辆。于是，例如在加速器操作量PA增加的情况下，增加速度变化比率CRtd被作为行驶性能指标Idp进行导出，该增加速度变化比率CRtd是对相对于加速器操作量PA的增加速度的、内燃机10的转矩Trq的增加速度进行表示的值。

此外，在车辆VC定速行驶的情况下，也可以导出加速器操作量PA与作为车辆的速度的车速SP之间的关系来作为行驶性能指标Idp。

接着，CPU72取得作为车辆VS的装载量的车辆装载量的推定值LC(S52)。例如，车辆VS的搭乘人数越多，取得越大的值来作为车辆装载量的推定值LC。关于搭乘人数，能够基于埋入到车辆VS的座席的就座传感器的检测结果来进行导出。另外，在车辆VS设置有对车室内进行拍摄的摄像头的情况下，也能够基于摄像头的拍摄结果来导出车辆VS的搭乘人数。

接着，CPU72取得车辆VS的行驶距离Mil(S54)。例如取得设置于车辆VS的里程表的测定结果来作为行驶距离Mil。当这样行驶性能指标Idp、车辆装载量的推定值LC以及行驶距离Mil的取得完成时，CPU72暂时结束图5所示的一系列处理。

在本实施方式中，通过对自身车辆VC1的行驶性能指标Idp和与自身车辆VC1相同的车种的其他车辆VC2的行驶性能指标Idp进行比较，进行自身车辆VC1的行驶性能是否比其他车辆VC2的行驶性能低的判定。在图7中表示为了进行这样的判定而控制装置70执行的处理的步骤。图7所示的一系列处理通过CPU72执行存储于ROM74的控制程序74a来实现。

在本实施方式中，在车辆VC的行驶期间，进行能够进行车车间通信的其他车辆的搜索。并且，在发现了能够进行车车间通信的其他车辆VC2的情况下，以该其他车辆VC2是与自身车辆VC1相同的车种为条件，开始图7所示的一系列处理。

在图7所示的一系列处理中，CPU72对能够进行车车间通信的其他车辆VC2要求其他车辆VC2的行驶性能指标Idp(S70)。此时，除了行驶性能指标Idp之外，CPU72也要求其他车辆VC2的车辆装载量的推定值LC以及行驶距离Mil。在此，将自身车辆VC1的行驶性能指标Idp作为“行驶性能指标Idp1”，将自身车辆VC1的车辆装载量的推定值LC作为“车辆装载量的推定值LC1”，将自身车辆VC1的行驶距离作为“行驶距离Mil1”。另外，将其他车辆VC2的行驶性能指标Idp作为“行驶性能指标Idp2”，将其他车辆VC2的车辆装载量的推定值LC作为“车辆装载量的推定值LC2”，将其他车辆VC2的行驶距离作为“行驶距离Mil2”。

接着，CPU72判定是否接收到其他车辆VC2的行驶性能指标Idp2、车辆装载量的推定值LC2以及行驶距离Mil2来作为对于要求的回答(S72)。在回答的接收未完成的情况下(S72：否)，CPU72反复进行判定直到完成回答的接收。另一方面，在回答的接收已完成的情况下(S72：是)，CPU72判定比较条件是否成立(S74)。例如，即使车辆装载量的推定值LC不同的两个车辆的行驶性能进行比较，也难以说通过比较进行了的判定的精度高。另外，车辆的行驶距离Mil越长，车载的各种电子设备的特性的经年变化越发展。也即是，在自身车辆VC1与其他车辆VC2的行驶距离Mil互不相同的情况下，自身车辆VC1的电子设备的特性的经年变化的发展程度有可能与其他车辆VC2的电子设备的特性的经年变化的发展程度不同。在这样的状况下，即使对自身车辆VC1与其他车辆VC2的行驶性能进行比较，也难以说通过比较进行了的判定的精度高。

于是，例如CPU72判定自身车辆VC1的车辆装载量的推定值LC1与其他车辆VC2的车辆装载量的推定值LC2的差分ΔLC小于装载量差分判定值ΔLCTh这一条件(C)和自身车辆VC1的行驶距离Mil1与其他车辆VC2的行驶距离Mil2的差分ΔMil小于距离差分判定值ΔMilTh这一条件(D)的逻辑积是否为真。在该情况下，当逻辑积为真时，CPU72判定为比较条件成立。另一方面，当逻辑积为假时，CPU72判定为比较条件不成立。

在比较条件不成立的情况下(S74：否)，CPU72暂时结束图7所示的一系列处理。另一方面，在比较条件成立的情况下(S74：是)，CPU72对自身车辆VC1的行驶性能指标Idp1与其他车辆VC2的行驶性能指标Idp2进行比较(S76)。

在此，对在导出了增加速度变化比率CRtd来作为行驶性能指标Idp的情况下的、自身车辆VC1的行驶性能指标Idp1与其他车辆VC2的行驶性能指标Idp2的比较进行说明。在加速器操作量PA的增加速度为相同程度的情况下，内燃机10的转矩Trq的增加速度越高，能够推测为车辆VC的行驶性能、即加速性能越高。另外，在内燃机10的转矩Trq的增加速度为相同程度的情况下，加速器操作量PA的增加速度越低，能够推测为车辆VC的行驶性能、即加速性能越高。于是，CPU72在自身车辆VC1的增加速度变化比率CRtd比其他车辆VC2的增加速度变化比率CRtd低时，判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低、即自身车辆VC1的加速性能比其他车辆VC2的加速性能低。另一方面，CPU72在自身车辆VC1的增加速度变化比率CRtd为其他车辆VC2的增加速度变化比率CRtd以上时，不判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低，即不判定为自身车辆VC1的加速性能比其他车辆VC2的加速性能低。

另外，对导出了车辆VC进行定速行驶时的加速器操作量PA与车速SP的关系来作为行驶性能指标Idp的情况下的、自身车辆VC1的行驶性能指标Idp1与其他车辆VC2的行驶性能指标Idp2的比较进行说明。在车速SP为相同程度的情况下，加速器操作量PA越低，能够推测为车辆VC的行驶性能越高。另外，在加速器操作量PA为相同程度的情况下，车速SP越高，能够推测为车辆VC的行驶性能越高。尽管车速SP为相同程度，在加速器操作量PA多的情况下，当为了使车辆VC进行加速而加速器操作量PA被进一步增加了时，能够推定为车辆VC的加速度Gx难以变大。因此，在该情况下能够判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低时，能够判定为自身车辆VC1的加速性能有可能比其他车辆VC2的加速性能低。

接着，CPU72判定在上述的比较中是否判定为了自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低、即在本实施方式中是否判定为了自身车辆VC1的加速性能比其他车辆VC2的加速性能低(S78)。在未判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下(S78：否)，CPU72暂时结束图7所示的一系列处理。另一方面，在判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下(S78：是)，CPU72对其他车辆VC2的控制装置70要求其他车辆VC2的关系规定数据DR(S80)。接着，CPU72判定是否接收到其他车辆VC2的关系规定数据DR来作为对于要求的回答(S82)。在回答的接收未完成的情况下(S82：否)，CPU72反复进行判定直到回答的接收完成。另一方面，在回答的接收已完成的情况下(S82：是)，CPU72将存储于存储装置76的关系规定数据DR置换为从其他车辆VC2接收到的关系规定数据DR(S84)。当数据置换完成时，CPU72暂时结束图7所示的一系列处理。

此外，在图6中表示在通过车车间通信从其他车辆要求了信息的发送时控制装置70执行的处理的步骤。图6所示的处理通过CPU72例如以预定周期反复执行存储于ROM74的控制程序74a来实现。

在图6所示的一系列处理中，CPU72判定是否通过车车间通信从其他车辆的控制装置70要求了信息的发送(S60)。在未要求发送的情况下(S60：否)，CPU72暂时结束图6所示的一系列处理。另一方面，在要求了发送的情况下(S60：是)，CPU72将所要求的信息经由车车间通信发送至其他车辆的控制装置70。例如，在被要求了行驶性能指标Idp、车辆装载量的推定值LC以及行驶距离Mil的情况下，CPU72经由通信机77发送通过图5所示的一系列处理导出的行驶性能指标Idp、车辆装载量的推定值LC以及行驶距离Mil。另外，在被要求了关系规定数据DR的情况下，CPU72经由通信机77发送存储于存储装置76的关系规定数据DR。当这样发送完成时，CPU72暂时结束图6所示的一系列处理。

在图7所示的一系列处理中，设为判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的理由是由于自身车辆VC1内的关系规定数据DR的更新晚了。在该情况下，当使行驶性能比自身车辆VC1的行驶性能高的其他车辆VC2的关系规定数据DR存储于自身车辆VC1的存储装置76时，然后使自身车辆VC1进行了行驶时，自身车辆VC1的行驶性能应该提高。换言之，认为在即使置换关系规定数据DR、自身车辆VC1的行驶性能也不提高的情况下，自身车辆VC1的行驶性能低的原因不是自身车辆VC1内的关系规定数据DR的更新晚。在图8中表示对关系规定数据DR进行了置换之后的车辆VC的行驶时控制装置70执行的处理的步骤。图8所示的一系列处理通过CPU72执行存储于ROM74的控制程序74a来实现。此外，图8所示的一系列处理以取得了能够判定通过伴随着数据置换处理的执行的关系规定数据DR的置换、车辆VC的行驶性能是否已提高的数据为条件来开始。

在图8所示的一系列处理中，CPU72判定通过伴随着数据置换处理的执行的关系规定数据DR的置换、车辆VC的行驶性能是否已提高、即在本实施方式中车辆VC的加速性能是否已提高(S90)。

在此，以导出上述的增加速度变化比率CRtd来作为行驶性能指标Idp的情况为例，对车辆VC的行驶性能指标Idp是否已提高的判定进行说明。在关系规定数据DR的置换后所导出的增加速度变化比率CRtd比关系规定数据DR的置换前所导出的增加速度变化比率CRtd高的情况下，判定为车辆VC的行驶性能已提高。另一方面，CPU72在关系规定数据DR的置换后所导出的增加速度变化比率CRtd不比关系规定数据DR的置换前所导出的增加速度变化比率CRtd高的情况下，不判定为车辆VC的行驶性能已提高。

另外，以导出加速器操作量PA与车速SP的关系来作为行驶性能指标Idp的情况为例，对车辆VC的行驶性能指标Idp是否已提高的判定进行说明。例如，在将由关系规定数据DR的置换前的上述关系表示的车速SP作为了置换前车速的情况下，CPU72导出车速SP与置换前车速相同时的加速器操作量PA、和那时的车速SP来作为关系规定数据DR的置换后的上述关系。并且，CPU72在由置换后的上述关系表示的加速器操作量PA比由置换前的上述关系表示的加速器操作量PA小的情况下，判定为车辆VC的行驶性能已提高。另一方面，CPU72在由置换前的上述关系表示的加速器操作量PA为由置换后的上述关系表示的加速器操作量PA以上的情况下，不判定为车辆VC的行驶性能已提高。

此外，增加速度变化比率CRtd以及加速器操作量PA与车速SP的关系等的行驶性能指标Idp可能被如路面坡度等那样的车辆所行驶的路面状况左右。因此，在与导出了关系规定数据DR的置换前的行驶性能指标Idp的时间点相同程度的路面状况下导出了行驶性能指标Idp后进行上述的判定。

在判定为了车辆VC的行驶性能已提高的情况下(S90：是)，CPU72结束图8所示的一系列处理。另一方面，在未判定为车辆VC的行驶性能已提高的情况下(S90：否)，CPU72执行对在车辆VC、更详细而言为车辆VC的内燃机10产生了异常进行报知的异常报知处理(S92)。作为异常报知处理，例如通过设置于车室内的引导装置对车辆VC的乘员进行报知。作为引导装置，例如可以举出车载扬声器、车载的画面。

并且，当成为进行报知时，CPU72结束图8所示的一系列处理。

对本实施方式的作用和效果进行说明。

(1)在车种与自身车辆VC1的车种相同的其他车辆VC2行驶在能够与自身车辆VC1进行车车间通信的范围内的情况下，自身车辆VC1的控制装置70与其他车辆VC2进行车车间通信。即，根据本实施方式，能够使能推测为正在相同的行驶环境中行驶的2台车辆彼此进行车车间通信。在此所说的行驶环境是指车辆VC的行驶路面的μ值、行驶路面的坡度以及天气等。

在本实施方式中，当经由车车间通信从在相同的行驶环境中行驶的其他车辆VC2接收到行驶性能指标Idp2时，自身车辆VC1的行驶性能指标Idp1与其他车辆VC2的行驶性能指标Idp2被进行比较。通过这样的比较，进行自身车辆VC1的行驶性能是否比其他车辆VC2的行驶性能低的判定、即自身车辆VC1的加速性能是否比其他车辆VC2的加速性能低的判定。通过这样对行驶环境相同的其他车辆VC2的行驶性能指标Idp2与自身车辆VC1的行驶性能指标Idp1进行比较，能够进行考虑了自身车辆VC1的行驶环境的判定。

(2)在此，考虑经由服务器对自身车辆VC1的行驶性能与其他车辆VC2的行驶性能进行比较的情况。在该情况下，在服务器中执行对行驶环境相同的2台车辆进行搜索的处理。为了进行该处理，需要从大量的车辆VC收集各种各样的信息。因此，服务器收集的数据量会成为庞大的数据量。另外，在服务器中成为使用所收集到的信息对行驶环境相同的2台车辆进行搜索，因此，能够进行比较的2台车辆VC的搜索需要时间。

这一点，能够通过车车间通信进行信息的收发的范围比较小。因此，能够进行车车间通信的各车辆VC能够推测为彼此正行驶在附近。即，通过能够经由车车间通信进行信息的收发，能够判断为自身车辆VC1和其他车辆VC2正行驶在相同的行驶环境中。因此，能够抑制为了发现在与自身车辆VC1相同的行驶环境中行驶的其他车辆VC2而将极多的信息收集到服务器所导致的服务器负荷的增大。另外，也能够抑制进行比较所需要的时间变长。

(3)在通过其他车辆VC2的行驶性能指标Idp2与自身车辆VC1的行驶性能指标Idp1的比较判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下，在自身车辆VC1中，车辆的状态与行动变量的关系的优化有可能比其他车辆VC2晚。即，关系规定数据DR的更新有可能比其他车辆VC2晚。于是，在本实施方式中，在判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下，存储于自身车辆VC1的存储装置76的关系规定数据DR被置换为在其他车辆VC2中所使用的关系规定数据DR。由此，在由于关系规定数据DR的更新晚而自身车辆VC1的行驶性能低了的情况下，能够使自身车辆VC1的行驶性能、即加速性能相比于关系规定数据DR的置换前而提高。

(4)认为在即使将存储于自身车辆VC1的存储装置76的关系规定数据DR置换为在其他车辆VC2中所使用的关系规定数据DR、自身车辆VC1的行驶性能、即加速性能也不提高的情况下，自身车辆VC1的行驶性能、即加速性能低的原因不是车辆的状态与行动变量的关系的优化晚。于是，在本实施方式中，在即使是进行了关系规定数据DR的置换以后、自身车辆VC1的行驶性能、即加速性能也不提高时，有可能在自身车辆VC1的构成部件产生了故障等的异常，因此，对在自身车辆VC1产生了异常进行报知。由此，能够对车辆VC的所有者、乘员催促车辆VC向修理工厂等的入库。

(5)即使在载量较大地不同的车辆VC彼此进行行驶性能指标Idp的比较，也无法判断自身车辆VC1的基于强化学习的行动价值函数Q的更新是否比其他车辆VC2的基于强化学习的行动价值函数Q的更新晚。换言之，通过在装载量为相同程度的车辆VC彼此进行行驶性能指标Idp的比较，能够判断自身车辆VC1的基于强化学习的行动价值函数Q的更新是否比其他车辆VC2的基于强化学习的行动价值函数Q的更新晚。于是，在本实施方式中为：以其他车辆VC2的装载量的推定值LC2与自身车辆VC1的装载量的推定值LC的差分ΔLC小于装载量差分判定值ΔLCTh为条件，进行该比较。由此，能够提高自身车辆VC1的基于强化学习的行动价值函数Q的更新是否比其他车辆VC2的基于强化学习的行动价值函数Q的更新晚的判断的精度。

(6)车辆VC的行驶距离Mil越长，能够推测为车辆VC的构成部件的特性的历时变化的程度越大。并且，即使在车辆VC的构成部件的特性的历时变化的程度较大地不同的车辆VC彼此进行行驶性能指标Idp的比较，也无法判断自身车辆VC1的基于强化学习的行动价值函数Q的更新是否比其他车辆VC2的基于强化学习的行动价值函数Q的更新晚。换言之，通过在构成部件的特性的历时变化的程度为相同程度的车辆VC彼此进行行驶性能指标Idp的比较，判断自身车辆VC1的基于强化学习的行动价值函数Q的更新是否比其他车辆VC2的基于强化学习的行动价值函数Q的更新晚。于是，在本实施方式中为：以其他车辆VC2的行驶距离Mil2与自身车辆VC1的行驶距离Mil1的差分ΔMil小于距离差分判定值ΔMilTh为条件，进行该比较。由此，能够提高自身车辆VC1的基于强化学习的行动价值函数Q的更新是否比其他车辆VC2的基于强化学习的行动价值函数Q的更新晚的判断的精度。

(第2实施方式)

以下，以与第1实施方式的不同点为中心，参照附图对第2实施方式进行说明。

在图9中表示为了进行自身车辆VC1的行驶性能是否比其他车辆VC2的行驶性能低的判定、即自身车辆VC1的加速性能是否比其他车辆VC2的加速性能低的判定而控制装置70执行的处理的步骤。图9所示的处理通过CPU72例如以预定周期反复执行存储于ROM74的控制程序74a来实现。

在本实施方式中，在车辆VC的行驶期间，进行能够进行车车间通信的其他车辆的搜索。并且，在发现了能够进行车车间通信的其他车辆VC2的情况下，以该其他车辆VC2是与自身车辆VC1相同的车种为条件，开始图9所示的一系列处理。

在图9所示的一系列处理中，CPU72当通过执行S70、S72的处理取得其他车辆VC2的行驶性能指标Idp2时，判定比较条件是否成立(S74)。并且，在比较条件成立的情况下(S74：是)，CPU72执行S76、S78的处理。在自身车辆VC1的行驶性能不比其他车辆VC2的行驶性能低的情况下、即自身车辆VC1的加速性能不比其他车辆VC2的加速性能低的情况下(S78：否)，CPU72将值α1设定为上述正的值α，将值β1设定为上述负的值β(S86)。另一方面，在自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下、即自身车辆VC1的加速性能比其他车辆VC2的加速性能低的情况下(S78：是)，CPU72将值α2设定为上述正的值α，将值β2设定为上述负的值β(S88)。各值α1、α2为正的值，值α2比值α1大。各值β1、β2为负的值，值β2的绝对值比值β1的绝对值大。当这样设定正的值α和负的值β后，CPU72结束图9所示的一系列处理。

此外，在本实施方式中，在上述第1实施方式的效果(1)、(2)、(5)以及(6)之外，还能够得到以下所示的效果。

(7)在判定为自身车辆VC1的加速性能比其他车辆VC2的加速性能低的情况下，与不判定为自身车辆VC1的加速性能比其他车辆VC2的加速性能低的情况相比，正的值α和负的值β的绝对值分别变大。由此，在判定为自身车辆VC1的加速性能比其他车辆VC2的加速性能低的情况下，自身车辆VC1的加速性能比基准性能高时所给予的奖励r比不判定为自身车辆VC1的加速性能比其他车辆VC2的加速性能低的情况下的该奖励r大。由此，能够提高关系规定数据DR的更新速度，将车辆VC的状态与行动变量的关系的优化提前。其结果，在由于关系规定数据DR的更新晚而自身车辆VC1的行驶性能低了的情况下，能够期待提高自身车辆VC1的加速性能。

(8)通过如上述那样增大奖励r来将车辆VC的状态与行动变量的关系的优化提前，自身车辆VC1的加速性能变高。在这样自身车辆VC1的加速性能变高了的状态下，有时会再次基于通过车车间通信得到的信息进行自身车辆VC1的加速性能是否比其他车辆VC2的加速性能低的判定。此时，在自身车辆VC1的加速性能不比其他车辆VC2的加速性能低的情况下，给与大的值(即值α2)来作为奖励r的状态被解除。即，正的值α恢复为值α1，并且，负的值β恢复为值β1。由此，能够抑制关系规定数据DR被过度地进行更新。

(第3实施方式)

以下，以与第1实施方式的不同点为中心，参照附图对第3实施方式进行说明。

在本实施方式中，行驶性能是指车辆VC的能量的利用效率。因此，在本实施方式中所导出的行驶性能指标Idp是指与车辆VC的能量的利用效率有关的指标。

在此，一般而言，在车辆VC中进行如使内燃机10的转矩Trq骤变那样的驾驶的情况下，车辆VC的能量的利用效率会变低，即燃料经济性会变低。因此，在伴随着加速器操作量PA的变更而内燃机10的转矩Trq变化时，能够将转矩Trq的变化速度低的车辆VC称为是能量的利用效率比转矩Trq的变化速度高的车辆VC的能量的利用效率高的车辆。于是，例如加速器操作量PA的变化与内燃机10的转矩Trq的变化的关系被作为行驶性能指标Idp进行导出。具体而言，也可以导出上述的增加速度变化比率CRtd来作为行驶性能指标Idp。在该情况下，在能量的利用效率高的车辆VS中，增加速度变化比率CRtd容易变为比利用效率不高的车辆VC的增加速度变化比率CRtd小。

接着，参照图4对本实施方式中执行的更新处理进行说明。

在图4所示的一系列处理中，CPU72与上述第1实施方式的情况同样地取得由最近结束的片段中的转矩指令值Trq＊、转矩Trq以及加速度Gx这三个采样值的组构成的时间序列数据、和状态s以及行动a的时间序列数据(S30)。接着，CPU72判定属于最近的片段的任意的转矩Trq与转矩指令值Trq＊之差的绝对值是否为规定量ΔTrq以下这一条件(A)和加速度Gx为下限值GxL以上且上限值GxH以下这一条件(B)的逻辑积是否为真(S32)。

在此，与上述第1实施方式的情况同样地，CPU72根据片段开始时的加速器操作量PA的变化量ΔPA来以可变的方式设定下限值GxL。即，CPU72在为与过渡时有关的片段且变化量ΔPA为正的情况下，将下限值GxL设定为比与稳态时有关的片段的情况下的该下限值GxL大的值。另外，CPU72在为与过渡时有关的片段且变化量ΔPA为负的情况下，将下限值GxL设定为比与稳态时有关的片段的情况下的该下限值GxL小的值。

另外，与上述第1实施方式的情况同样地，CPU72根据片段开始时的加速器操作量PA的每单位时间的变化量ΔPA来以可变的方式设定上限值GxH。即，CPU72在为与过渡时有关的片段且变化量ΔPA为正的情况下，将上限值GxH设定为比与稳态时有关的片段的情况下的该上限值GxH大的值。另外，CPU72在为与过渡时有关的片段且变化量ΔPA为负的情况下，将上限值GxH设定为比与稳态时有关的片段的情况下的该上限值GxH小的值。

但是，在上述第1实施方式中，作为与车辆VC的加速性能有关的指标来导出行驶性能指标Idp，与此相对，在本实施方式中，作为与车辆VC的能量的利用效率有关的指标来导出行驶性能指标Idp。因此，分别设定下限值GxL和上限值GxH以使得下限值GxL与上限值GxH的差分比第1实施方式的情况下的该差分小。由此，使S32的判定为肯定判定的加速度Gx的范围变小。

CPU72在判定为逻辑积是真的情况下(S32：是)，将正的值α代入到奖励r(S34)，另一方面，在判定为逻辑积是假的情况下(S32：否)，将负的值β代入到奖励r(S36)。并且，CPU72当执行S38～S44的处理后，结束图4所示的一系列处理。

在本实施方式中，在上述第1实施方式的效果(2)、(4)～(6)之外，还能够得到以下所示的效果。

(9)在车种与自身车辆VC1的车种相同的其他车辆VC2行驶在能够与自身车辆VC1进行车车间通信的范围内的情况下，自身车辆VC1的控制装置70与其他车辆VC2进行车车间通信。即，根据本实施方式，能够在能推测为正行驶在相同的行驶环境中的2台车辆彼此进行车车间通信。在此所说的行驶环境是指车辆VC的行驶路面的μ值、行驶路面的坡度以及天气等。

在本实施方式中，当经由车车间通信从行驶在相同的行驶环境中的其他车辆VC2接收行驶性能指标Idp2时，通过对自身车辆VC1的行驶性能指标Idp1和其他车辆VC2的行驶性能指标Idp2进行比较，进行自身车辆VC1的能量的利用效率是否比其他车辆VC2的能量的利用效率低的判定。通过这样对行驶环境相同的其他车辆VC2的行驶性能指标Idp2和自身车辆VC1的行驶性能指标Idp1进行比较，能够进行考虑了自身车辆VC1的行驶环境的判定。

(10)在通过其他车辆VC2的行驶性能指标Idp2与自身车辆VC1的行驶性能指标Idp1的比较判定为自身车辆VC1的能量的利用效率比其他车辆VC2的能量的利用效率低的情况下，在自身车辆VC1中，车辆的状态与行动变量的关系的优化有可能比其他车辆VC2的该优化晚。即，与其他车辆VC2相比，关系规定数据DR的更新有可能晚。于是，在本实施方式中，在判定为自身车辆VC1的能量的利用效率比其他车辆VC2的能量的利用效率低的情况下，存储于自身车辆VC1的存储装置76的关系规定数据DR被置换为在其他车辆VC2中所使用的关系规定数据DR。由此，在由于关系规定数据DR的更新晚而自身车辆VC1的行驶性能低了的情况下，与关系规定数据DR的置换前相比，能够提高自身车辆VC1的能量的利用效率。

(第4实施方式)

以下，以与第2实施方式的不同点为中心，参照附图对第4实施方式进行说明。

参照图9，对为了进行自身车辆VC1的能量的利用效率是否比其他车辆VC2的能量的利用效率低的判定而控制装置70执行的处理的步骤进行说明。

在图9所示的一系列处理中，CPU72当通过执行S70、S72的处理取得其他车辆VC2的行驶性能指标Idp2时，判定比较条件是否成立(S74)。并且，在比较条件成立的情况下(S74：是)，CPU72执行S76、S78的处理。在自身车辆VC1的行驶性能不比其他车辆VC2的行驶性能低的情况下，即在自身车辆VC1的能量的利用效率不比其他车辆VC2的能量的利用效率低的情况下(S78：否)，CPU72将值α1设定为上述正的值α，将值β1设定为上述负的值β(S86)。另一方面，在自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下，即在自身车辆VC1的能量的利用效率比其他车辆VC2的能量的利用效率低的情况下(S78：是)，CPU72将值α2设定为上述正的值α，将值β2设定为上述负的值β(S88)。各值α1、α2为正的值，值α2比值α1大。各值β1、β2为负的值，值β2的绝对值比值β1的绝对值大。当这样设定正的值α和负的值β后，CPU72结束图9所示的一系列处理。

此外，在本实施方式中，在上述第1实施方式的效果(2)、(5)、(6)以及(9)之外，还能够得到以下所示的效果。

(11)在判定为自身车辆VC1的能量的利用效率比其他车辆VC2的能量的利用效率低的情况下，与不判定为自身车辆VC1的能量的利用效率比其他车辆VC2的能量的利用效率低的情况相比，正的值α和负的值β的绝对值分别变大。由此，在判定为自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低的情况下，在自身车辆VC1的能量的利用效率比基准性能高时所给与的奖励r比不判定为自身车辆VC1的能量的利用效率比其他车辆VC2的能量的利用效率低的情况下的该奖励r大。由此，能够提高关系规定数据DR的更新速度，能够使车辆VC的状态与行动变量的关系的优化提前。其结果，在因关系规定数据DR的更新晚而自身车辆VC1的行驶性能低了的情况下，能够期待提高自身车辆VC1的能量的利用效率。

(12)通过如上述那样增大奖励r来使车辆VC的状态与行动变量的关系的优化提前，自身车辆VC1的能量的利用效率变高。这样在自身车辆VC1的能量的利用效率变高了的状态下，有时会再次基于通过车车间通信得到的信息进行自身车辆VC1的能量的利用效率是否比其他车辆VC2的能量的利用效率低的判定。此时，在自身车辆VC1的能量的利用效率不比其他车辆VC2的能量的利用效率的情况下，给与大的值(即值α2)来作为奖励r的状态被解除。即，正的值α恢复为值α1，并且，负的值β恢复为值β1。由此，能够抑制关系规定数据DR被过度地进行更新。

(对应关系)

上述实施方式中的事项与上述“发明内容”一栏所记载的事项的对应关系为如下所述。在以下中，与“发明内容”一栏所记载的技术方案的编号一起表示对应关系。

[1～10]执行装置即处理电路在图1中对应于CPU72和ROM74，存储装置对应于存储装置76。指标导出处理对应于图5的S50的处理，指标接收处理对应于图7的S70、S72的处理，性能判定处理对应于图7和图9的S76、S78的处理。取得处理对应于图3的S10、S16的处理，操作处理对应于图3的S16的处理，奖励算出处理对应于图4的S32～S36的处理，更新处理对应于图4的S38～S44的处理。更新映射对应于由学习程序74b中的执行S38～S44的处理的指令规定的映射。数据置换处理对应于图7的S84的处理。异常报知处理对应于图8的S92的处理。装载量取得处理对应于图5的S52的处理，装载量接收处理对应于在图7的S70中要求了车辆装载量的推定值的发送的情况下的图6的S62的处理。行驶距离取得处理对应于图5的S54的处理，行驶距离接收处理对应于在图7的S70中要求了行驶距离的发送的情况下的图6的S62的处理。

(变更例)

上述各实施方式可以如以下那样变更来实施。上述实施方式以及以下的变更例可以在技术上不矛盾的范围内相互组合来实施。

“关于异常报知处理”

·异常报知处理也可以是向车辆的销售公司、工厂通知在车辆VC产生了某种异常的处理。例如，控制装置70经由通信机77向销售公司、工厂的服务器发生产生了异常之意的信号。此时，控制装置70优选也发送能够确定自身车辆VC1的信息。由此，成为在销售公司、工厂中，能够确定有可能产生了异常的车辆VC，并且，能够对该车辆VC的所有者催促入库。

·在上述第1实施方式和第3实施方式中设为：即使将存储于自身车辆VC1的存储装置76的关系规定数据DR置换为其他车辆VC2的关系规定数据DR、也无法判定为自身车辆VC1的行驶性能已提高时，执行异常报知处理。但是，也可以在将关系规定数据DR置换为其他车辆VC2的关系规定数据DR之后，与自身车辆VC1的行驶性能是否已提高的判定结果无关地，不执行异常报知处理。在这样不执行异常报知处理的情况下，也可以不进行自身车辆VC1的行驶性能是否已提高的判定自身。

·也可以设为：在通过执行性能判定处理判定为了自身车辆VC1的行驶性能比其他车辆VC2的行驶性能低时，代替进行关系规定数据DR的置换、奖励r的给与方式的变更，而执行异常报知处理。

“在比较条件的成立(S74)中”

·也可以进一步将自身车辆VC1的车辆装载量的推定值LC1与其他车辆VC2的车辆装载量的推定值LC2的差分ΔLC小于装载量差分判定值ΔLCTh、和自身车辆VC1的行驶距离Mil1与其他车辆VC2的行驶距离Mil2的差分ΔMil小于距离差分判定值ΔMilTh以外的条件添加到比较条件中。例如，也可以将自身车辆VC1的行进方向与其他车辆VC2的行进方向相同添加到比较条件中。另外，例如也可以将在自身车辆VC1中使用的燃料的性状与在其他车辆VC2中使用的燃料的性状的背离程度处于容许范围内添加到比较条件。

·若自身车辆VC1的车辆装载量的推定值LC1与其他车辆VC2的车辆装载量的推定值LC2的差分ΔLC小于装载量差分判定值ΔLCTh包含于比较条件，则使自身车辆VC1的行驶距离Mil1与其他车辆VC2的行驶距离Mil2的差分ΔMil小于距离差分判定值ΔMilTh包含在比较条件中并不是必须的。

·若自身车辆VC1的行驶距离Mil1与其他车辆VC2的行驶距离Mil2的差分ΔMil小于距离差分判定值ΔMilTh包含于比较条件，则使自身车辆VC1的车辆装载量的推定值LC1与其他车辆VC2的车辆装载量的推定值LC2的差分ΔLC小于装载量差分判定值ΔLCTh包含在比较条件中并不是必须的。

·在图7、图9所示的一系列处理中，也可以省略S74的判定。即，也可以设为：若能够从其他车辆VC2接收到行驶性能指标Idp2，则与比较条件是否成立无关地，进行自身车辆VC1的行驶性能指标Idp1与其他车辆VC2的行驶性能指标Idp2的比较。

“关于行驶性能指标”

·在上述第1实施方式和第2实施方式中，导出与车辆VC的加速性能有关的指标来作为行驶性能指标Idp。该情况下的行驶性能指标Idp只要是表示车辆VC的加速性能的数据，则也可以设为导出与在上述第1实施方式和第2实施方式中说明过的增加速度变化比率CRtd不同的数据来作为行驶性能指标Idp。

·在上述第3实施方式和第4实施方式中，导出与车辆VC的能量的利用效率有关的指标来作为行驶性能指标Idp。该情况下的行驶性能指标Idp只要是表示车辆VC的能量的利用效率的数据，则也可以设为导出与在上述第3实施方式和第4实施方式中说明过的增加速度变化比率CRtd不同的数据来作为行驶性能指标Idp。

“关于车辆的行驶性能”

·也可以将与车辆VS的加速性能以及能量的利用效率不同的性能作为车辆VC的行驶性能。例如，也可以将车辆VC的排气性能作为行驶性能。在该情况下，在指标导出处理中，导出与排气性能有关的指标来作为行驶性能指标Idp。并且，在比较判定处理中，通过对与自身车辆VC1的排气性能有关的指标和与其他车辆VC2的排气性能有关的指标进行比较，判定自身车辆VC1的排气性能是否比其他车辆VC2的排气性能低。

“关于表形式的数据的维度削减”

·作为表形式的数据的维度削减方法，不限于在上述各实施方式中例示的方法。例如加速器操作量PA很少会成为最大值，因此，关于加速器操作量PA成为规定量以上的状态，也可以不定义行动价值函数Q，对加速器操作量PA成为规定量以上的情况下的节气门开口度指令值TA＊等另外进行适配。另外，例如也可以通过从行动可取的值去掉节气门开口度指令值TA＊成为规定值以上的值等来进行维度削减。

“关于关系规定数据”

·在上述实施方式中将行动价值函数Q设为了表形式的函数，但不限于此。例如，也可以使用函数近似器。

·例如，也可以代替使用行动价值函数Q，通过将状态s和行动a作为独立变量、并将采取行动a的概率作为从属变量的函数近似器来表现策略π，根据奖励r来对确定函数近似器的参数进行更新。

“关于操作处理”

·例如如“关于关系规定数据”一栏所记载的那样，在将行动价值函数设为函数近似器的情况下，将针对关于上述各实施方式中的表型式的函数的成为独立变量的行动的、离散的值的全部组，与状态s一起输入到行动价值函数Q，由此，确定使行动价值函数Q最大化的行动a即可。在该情况下，例如在主要将所确定的行动a采用于操作的同时，以预定概率选择那以外的行动即可。

·例如如“关于关系规定数据”一栏所记载的那样，在设为将策略π设为如下的函数近似器的情况下，基于由策略π表示的概率来选择行动a即可，该函数近似器将状态s和行动a作为独立变量、并将采取行动a的概率作为从属变量。

“关于更新映射”

·在S38～S44的处理中，例示了基于ε软策略蒙特卡罗方法的处理，但不限于此。例如，也可以是基于离策略蒙特卡罗法(off-policy Monte Carlo method)的。当然，不限于蒙特卡罗法，例如也可以使用离策略TD法(off-policy TD method)，另外，例如也可以如SARSA法那样使用在策略TD法(on-policy TD method)，另外，例如也可以使用资格迹法(eligibility trace method)来作为在策略的学习。

·例如如“关于关系规定数据”一栏所记载的那样，在使用函数近似器来表现策略π、基于奖励r直接对其进行更新的情况下，使用策略梯度法等来构成更新映射即可。

·不限于仅将行动价值函数Q和策略π中的某一方作为基于奖励r的直接的更新对象。例如，也可以如Actor-Critic法那样分别对行动价值函数Q和策略π进行更新。另外，在Actor-Critic法中，不限于此，例如也可以代替行动价值函数Q而将价值函数V作为更新对象。

·在上述各实施方式中，通过进行了强化学习的更新映射使用关系规定数据来进行电子设备的操作。但是，只要是基于通过车辆的行驶得到的信息使与车辆的行驶性能有关的参数进行学习的车辆，则也可以将车辆用控制装置应用于这样的不使用关系规定数据地控制电子设备的操作的车辆。

“关于行动变量”

·在上述各实施方式中，作为与作为行动变量的节流阀的开口度有关的变量，例示了节气门开口度指令值TA＊，但不限于此。例如，也可以用无用时间和二阶滞后滤波器表现节气门开口度指令值TA＊对于加速器操作量PA的响应性，将无用时间、规定二阶滞后滤波器的两个变量的合计三个变量作为与节流阀的开口度有关的变量。但是，在该情况下，对于状态变量，优选代替加速器操作量PA的时间序列数据而设为加速器操作量PA的每单位时间的变化量。

·在各实施方式中，作为行动变量，例示了与节流阀的开口度有关的变量，但不限于此。例如，在与节流阀的开口度有关的变量之外，也可以使用与点火正时有关的变量、与空燃比控制有关的变量以及变速装置50的变速比。

·如下述“关于内燃机”一栏所记载的那样，在为压缩着火式的内燃机的情况下，使用与喷射量有关的变量来代替与节流阀的开口度有关的变量即可。另外，在此基础上，例如也可以使用与喷射正时有关的变量、与一个燃烧周期中的喷射次数有关的变量、与用于一个燃烧周期中的一个气缸的在时间序列上相邻的2个燃料喷射中的一方的结束定时与另一方的开始定时之间的时间间隔有关的变量。

·例如也可以在变速装置50为有级变速装置的情况下，将用于通过油压对离合器的接合状态进行调整的电磁阀的电流值等作为行动变量。

·如下述“关于电子设备”一栏所记载的那样，在与行动变量相应的操作的对象包括旋转电机的情况下，在行动变量中包括旋转电机的转矩、电流即可。即，作为与推力生成装置的负荷有关的变量即负荷变量，不限于与节流阀的开口度有关的变量、喷射量，也可以是旋转电机的转矩、电流。

·如下述“关于电子设备”一栏所记载的那样，在与行动变量相应的操作的对象包括锁止离合器42的情况下，也可以在行动变量中包括表示锁止离合器42的接合状态的变量。

“关于状态”

·在各实施方式中，将加速器操作量PA的时间序列数据作为了由以等间隔采样到的6个值构成的数据，但不限于此。只要为由互不相同的采样定时的2个以上的采样值构成的数据即可，此时，更优选是由3个以上的采样值构成的数据、采样间隔为等间隔的数据。

·作为与加速器操作量有关的状态变量，不限于加速器操作量PA的时间序列数据，例如也可以如“关于行动变量”一栏所记载的那样为加速器操作量PA的每单位时间的变化量等。

·例如如“关于行动变量”一栏所记载的那样，在将电磁阀的电流值作为行动变量的情况下，在状态包括变速装置的输入轴52的转速、输出轴54的转速、由电磁阀进行调整的油压即可。另外，例如如“关于行动变量”一栏所记载的那样，在将旋转电机的转矩、输出作为行动变量的情况下，在状态包括电池的充电率、温度即可。另外，例如如“关于行动变量”一栏所记载的那样，在行动包括压缩机的负荷转矩、空调装置的消耗电力的情况下，在状态包括车室内的温度即可。

“关于电子设备”

·作为成为与行动变量相应的操作的对象的内燃机的电子设备，不限于节流阀14。例如也可以是点火装置26、燃料喷射阀16。

·也可以将推力生成装置与驱动轮之间的驱动系统装置作为成为与行动变量相应的操作的对象的电子设备。在该情况下，将变速装置50、锁止离合器42作为成为与行动变量相应的操作的对象的电子设备即可。

在将变速装置50作为成为与行动变量相应的操作的对象的电子设备的情况下，为了提高车辆VC的加速性能，对关系规定数据DR进行更新以使得容易选择大的值来作为变速装置50的变速比、即容易选择低速侧的变速级来作为变速级即可。另一方面，为了提高车辆VC的能量的利用效率，对关系规定数据DR进行更新以使得容易选择小的值来作为变速装置50的变速比、即容易选择高速侧的变速级来作为变速级即可。

在将锁止离合器42作为成为与行动变量相应的操作的对象的电子设备的情况下，为了提高车辆VC的能量的利用效率，对关系规定数据DR进行更新以使得能够从车速更低的阶段开始使锁止离合器42成为接合状态。

·如下述“关于车辆”一栏所记载的那样，在车辆具备旋转电机来作为推力生成装置的情况下，也可以将成为与行动变量相应的操作的对象的电子设备设为连接于旋转电机的变换器等的电力变换电路。当然，不限于车载驱动系统的电子设备，例如也可以是车载空调装置等。即使是在该情况下，例如当车载空调装置由推力生成装置的旋转动力进行驱动时，推力生成装置的动力中的被供给至驱动轮60的动力依赖于车载空调装置的负荷转矩，因此，将车载空调装置的负荷转矩包含于行动变量等是有效的。另外，例如即使为车载空调装置不利于推力生成装置的旋转动力，由于会影响到能量利用效率，因此，在行动变量中添加车载空调装置的消耗电力也是有效的。

“关于车辆用控制程序”

·在上述各实施方式中为：通过CPU72执行预先存储于控制装置70的ROM74的控制程序74a和学习程序74b，进行自身车辆VC1的行驶性能与其他车辆VC2的行驶性能的比较。但是，包括进行该比较所需要的各种处理的车辆控制用程序也可以不预先存储于ROM74。例如也可以设为：通过车辆VC的所有者的指示，使该车辆控制用程序从车外的服务器安装到控制装置70。在该情况下，该车辆控制用程序被存储于控制装置70的非易失性存储器。并且，通过使CPU72执行存储于非易失性存储器的车辆控制用程序，能够得到与上述各实施方式同等的效果。此外，车辆用控制程序也可以存储于非瞬时性的计算机可读介质。

“关于执行装置”

·作为执行装置，不限于具备CPU72和ROM74来执行软件处理的装置。例如，也可以具备对在上述各实施方式中被执行的软件处理的至少一部分进行处理的例如ASIC等的专用的硬件电路。即，执行装置是以下的(a)～(c)中的任一结构即可。(a)具备按照程序执行全部的上述处理的处理装置和存储程序的ROM等的程序保存装置。(b)具备按照程序来执行上述处理的一部分的处理装置以及程序保存装置、和执行其余的处理的专用的硬件电路。(c)具备执行全部的上述处理的专用的硬件电路。在此，具备处理装置和程序保存装置的软件执行装置、专用的硬件电路也可以是多个。即，上述处理通过具备一个或者多个软件执行装置和一个或者多个专用的硬件电路中的至少一方的处理电路(processing circuitry)执行即可。程序保存装置即计算机可读介质包括能够由通用或者专用的计算机访问的所有能够利用的介质。

“关于存储装置”

·在上述各实施方式中，使存储关系规定数据DR的存储装置76和存储学习用程序74b、控制程序74a的存储装置(ROM74)为互不相同的存储装置，但不限于此。

“关于内燃机”

·作为内燃机，不限于具备向进气通路12喷射燃料的端口喷射阀来作为燃料喷射阀的内燃机，既可以是具备向燃烧室24直接喷射燃料的缸内喷射阀的内燃机，另外，例如也可以是具备端口喷射阀和缸内喷射阀这两方的内燃机。

·作为内燃机，不限于火花点火式内燃机，例如也可以是使用轻油等来作为燃料的压缩着火式内燃机等。

“关于车辆”

·车辆也可以不是仅具备内燃机来作为车辆的推力生成装置的车辆，而例如是具备内燃机和旋转电机这两方的混合动力车辆。另外，例如车辆也可以是如电动汽车、燃料电池车那样的推力生成装置仅为旋转电机的车辆。

Claims (10)

1.一种车辆用控制装置，应用于第1车辆，所述第1车辆构成为进行作为与第2车辆的直接通信的车车间通信，

所述车辆用控制装置具备处理电路，

所述处理电路构成为执行：

指标导出处理，导出行驶性能指标，所述行驶性能指标是与所述第1车辆的行驶性能有关的指标；

指标接收处理，通过所述车车间通信从所述第2车辆接收该第2车辆的所述行驶性能指标；以及

性能判定处理，通过对所述第2车辆的所述行驶性能指标与所述第1车辆的所述行驶性能指标进行比较，判定所述第1车辆的行驶性能是否比所述第2车辆的行驶性能低。

2.根据权利要求1所述的车辆用控制装置，

具备存储装置，所述存储装置存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述车辆的状态是对由所述行驶性能指标表示的车辆的行驶性能产生影响的状态，所述行动变量是与所述车辆的电子设备的操作有关的变量，

所述处理电路构成为执行：

取得处理，取得对所述车辆的状态进行检测的传感器的检测值；

操作处理，基于由所述检测值和所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作；

奖励算出处理，在所述检测值为表示所述第1车辆的行驶性能比基准性能高这一情况的值时，与所述检测值为表示所述第1车辆的行驶性能不高于所述基准性能这一情况的值时相比，给与较大的奖励；以及

更新处理，使用所述检测值、在所述电子设备的操作中所使用的所述行动变量的值以及与该操作对应的所述奖励来作为向预先确定的更新映射的输入，对所述关系规定数据进行更新，

所述更新映射输出以使按照所述关系规定数据操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据，

所述处理电路构成为：在所述奖励算出处理中，在通过所述性能判定处理判定为所述第1车辆的行驶性能比所述第2车辆的行驶性能低的情况下，与未判定为所述第1车辆的行驶性能比所述第2车辆的行驶性能低的情况相比，使在表示所述第1车辆的行驶性能比所述基准性能高这一情况的值时所给与的奖励为较大的值。

3.根据权利要求1所述的车辆用控制装置，

具备存储装置，所述存储装置存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述车辆的状态是对由所述行驶性能指标表示的车辆的行驶性能产生影响的状态，所述行动变量是与所述车辆的电子设备的操作有关的变量，

所述处理电路构成为执行：

取得处理，取得对所述车辆的状态进行检测的传感器的检测值；

操作处理，基于由所述检测值和所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作；

奖励算出处理，在所述检测值为表示所述第1车辆的行驶性能比基准性能高这一情况的值时，与所述检测值为表示所述第1车辆的行驶性能不高于所述基准性能这一情况的值时相比，给予较大的奖励；

更新处理，使用所述检测值、在所述电子设备的操作中所使用的所述行动变量的值以及与该操作对应的所述奖励来作为向预先确定的更新映射的输入，对所述关系规定数据进行更新；以及

数据置换处理，在通过所述性能判定处理判定为所述第1车辆的行驶性能比所述第2车辆的行驶性能低时，从所述第2车辆接收所述关系规定数据，将存储于所述存储装置的所述关系规定数据置换为从所述第2车辆接收到的所述关系规定数据，

所述更新映射输出以使按照所述关系规定数据操作所述电子设备的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据。

4.根据权利要求3所述的车辆用控制装置，

所述处理电路构成为：在即使通过执行所述数据置换处理对所述存储装置的所述关系规定数据进行置换、所述第1车辆的行驶性能也不提高时，执行对在所述第1车辆产生了异常这一意思进行报知的异常报知处理。

5.根据权利要求1～4中任一项所述的车辆用控制装置，

所述处理电路构成为：

在所述指标导出处理中，导出与车辆的能量的利用效率有关的指标来作为所述行驶性能指标，

在所述性能判定处理中，判定所述第1车辆的能量的利用效率是否比所述第2车辆的能量的利用效率低。

6.根据权利要求1～4中任一项所述的车辆用控制装置，

所述处理电路构成为：

在所述指标导出处理中，导出与车辆的加速性能有关的指标来作为所述行驶性能指标，

在所述性能判定处理中，判定所述第1车辆的加速性能是否比所述第2车辆的加速性能低。

7.根据权利要求1～6中任一项所述的车辆用控制装置，

所述处理电路构成为执行：

装载量取得处理，取得所述第1车辆的装载量的推定值；和

装载量接收处理，通过所述车车间通信接收所述第2车辆的装载量的推定值，

所述处理电路构成为：以所述第2车辆的装载量的推定值与所述第1车辆的装载量的推定值的差分小于装载量差分判定值为条件，执行所述性能判定处理。

8.根据权利要求1～7中任一项所述的车辆用控制装置，

所述处理电路构成为执行：

行驶距离取得处理，取得所述第1车辆的行驶距离；和

行驶距离接收处理，通过所述车车间通信接收所述第2车辆的行驶距离，

所述处理电路构成为：以所述第2车辆的行驶距离与所述第1车辆的行驶距离的差分小于距离差分判定值为条件，执行所述性能判定处理。

9.一种车辆控制方法，应用于第1车辆，所述第1车辆构成为进行车车间通信，所述车车间通信是与在所述第1车辆的周围行驶的第2车辆的直接通信，所述车辆控制方法包括：

所述第1车辆的处理电路执行导出行驶性能指标的指标导出处理，所述行驶性能指标是与所述第1车辆的行驶性能有关的指标；

所述处理电路执行通过所述车车间通信从所述第2车辆接收该第2车辆的所述行驶性能指标的指标接收处理；以及

所述处理电路执行性能判定处理，所述性能判定处理通过对所述第2车辆的所述行驶性能指标与所述第1车辆的所述行驶性能指标进行比较，判定所述第1车辆的行驶性能是否比所述第2车辆的行驶性能低。

10.一种非瞬时性的计算机可读介质，存储车辆用控制程序，

在由构成为进行与在第1车辆的周围行驶的第2车辆的直接通信即车车间通信的第1车辆的处理电路执行所述车辆用控制程序时，所述车辆用控制程序使所述处理电路执行：

指标导出处理，导出行驶性能指标，所述行驶性能指标是与所述第1车辆的行驶性能有关的指标；

指标接收处理，通过所述车车间通信从所述第2车辆接收该第2车辆的所述行驶性能指标；以及

性能判定处理，通过对所述第2车辆的所述行驶性能指标与所述第1车辆的所述行驶性能指标进行比较，判定所述第1车辆的行驶性能是否比所述第2车辆的行驶性能低。

Images