CN112682181B - 车辆用控制装置、车辆用控制系统以及车辆控制方法 - Google Patents

车辆用控制装置、车辆用控制系统以及车辆控制方法 Download PDF

Info

Publication number
CN112682181B
CN112682181B CN202011094495.0A CN202011094495A CN112682181B CN 112682181 B CN112682181 B CN 112682181B CN 202011094495 A CN202011094495 A CN 202011094495A CN 112682181 B CN112682181 B CN 112682181B
Authority
CN
China
Prior art keywords
vehicle
processor
electronic device
specifying data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011094495.0A
Other languages
English (en)
Other versions
CN112682181A (zh
Inventor
桥本洋介
片山章弘
大城裕太
杉江和纪
冈尚哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN112682181A publication Critical patent/CN112682181A/zh
Application granted granted Critical
Publication of CN112682181B publication Critical patent/CN112682181B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/021—Introducing corrections for particular conditions exterior to the engine
    • F02D41/0215—Introducing corrections for particular conditions exterior to the engine in relation with elements of the transmission
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/04—Introducing corrections for particular operating conditions
    • F02D41/10—Introducing corrections for particular operating conditions for acceleration
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2438—Active learning methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2441—Methods of calibrating or learning characterised by the learning conditions
    • F02D41/2445—Methods of calibrating or learning characterised by the learning conditions characterised by a plurality of learning conditions or ranges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/018—Certifying business or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/06—Fuel or fuel supply system parameters
    • F02D2200/0614—Actual fuel mass or fuel injection amount
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/06—Fuel or fuel supply system parameters
    • F02D2200/0625—Fuel consumption, e.g. measured in fuel liters per 100 kms or miles per gallon
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/10—Parameters related to the engine output, e.g. engine torque or engine speed
    • F02D2200/1002—Output torque
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/10—Parameters related to the engine output, e.g. engine torque or engine speed
    • F02D2200/101—Engine speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/50—Input parameters for engine control said parameters being related to the vehicle or its components
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/50—Input parameters for engine control said parameters being related to the vehicle or its components
    • F02D2200/501—Vehicle speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/60—Input parameters for engine control said parameters being related to the driver demands or status
    • F02D2200/602—Pedal position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2250/00—Engine control related to specific problems or objectives
    • F02D2250/12—Timing of calculation, i.e. specific timing aspects when calculation or updating of engine parameter is performed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Resources & Organizations (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)

Abstract

提供一种车辆用控制装置、车辆用控制系统以及车辆控制方法。车辆用控制装置包括存储装置和处理器。存储装置构成为存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述处理器构成为算出与所述电子设备的操作对应的奖励。所述处理器在所述处理器的运算负荷为预定负荷以下时，将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据。

Description

车辆用控制装置、车辆用控制系统以及车辆控制方法
技术领域
本发明涉及车辆用控制装置、车辆用控制系统以及车辆控制方法。
背景技术
例如日本特开2016－6327记载了一种控制装置，其基于对加速踏板的操作量进行了滤波器处理后的值，对作为搭载于车辆的内燃机的操作部的节气门进行操作。
发明内容
然而，上述滤波器需要根据加速踏板的操作量将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量，因此，其适配会需要熟练者花费许多工时。这样，以往要进行与车辆的状态相应的车辆内的电子设备的操作量等的适配，熟练者花费了许多工时。
本发明的第一技术方案涉及车辆用控制装置。所述车辆用控制装置包括存储装置和处理器，所述存储装置构成为存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量，所述处理器构成为以下。取得对所述车辆的状态进行检测的传感器的检测值，基于由所取得的所述检测值和从所述存储装置读出的所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作，基于所取得的所述检测值来算出奖励，以使得所述车辆的特性满足预定基准的情况下的该奖励大于不满足该预定条件的情况下的该奖励，在所述处理器的运算负荷为预定负荷以下时，将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据。所述更新映射是输出被进行了更新以使期待收益增加的所述关系规定数据的映射，所述期待收益是关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益。
在上述构成中，通过算出伴随着电子设备的操作的奖励，能够掌握通过该操作能得到什么样的奖励。并且，基于奖励，通过基于强化学习的更新映射来对关系规定数据进行更新，由此能够将车辆的状态与行动变量的关系设定为在车辆行驶中适当的关系。因此，能够在设定车辆的状态与行动变量的关系时，削减对熟练者要求的工时。
另外，通过执行更新处理，执行装置的运算负荷会变大。于是，在上述构成中，通过在运算负荷为预定以下时执行更新处理，能够抑制如下情况：执行更新处理会影响到执行装置应该执行的其他任务。
在上述第一技术方案的车辆控制装置中，所述处理器也可以构成为取得对具备内燃机的所述车辆的状态进行检测的传感器的检测值。所述处理器也可以构成为对控制所述内燃机的电子设备进行操作。所述处理器也可以构成为在所述内燃机的曲轴的转速为预定速度以下时认为所述运算负荷为所述预定负荷以下，对所述关系规定数据进行更新。
为了对内燃机的控制量进行控制而对操作部进行操作的处理包括与压缩上止点的出现间隔相应的处理，因此，在曲轴的转速高的情况下，用于内燃机的控制的运算负荷大于曲轴的转速低的情况下的该运算负荷。于是，在上述构成中，通过在转速为预定速度以下时执行更新处理，能够抑制执行装置的运算负荷因与内燃机的控制量的控制有关的运算负荷和更新处理的运算负荷而变得过大。
在上述第一技术方案的车辆控制装置中，所述处理器也可以构成为在所述车辆停着车时认为所述运算负荷为所述预定负荷以下，对所述关系规定数据进行更新。
在车辆行驶时，具有执行装置的运算负荷大于停车时的该运算负荷的倾向。于是，在上述构成中，通过在车辆停着车时执行更新处理，能够抑制执行装置的运算负荷因由伴随着车辆的行驶而执行装置执行的处理产生的运算负荷和因更新处理产生的运算负荷而变得过大。
本发明的第二技术方案涉及车辆用控制系统。所述车辆用控制系统包括：搭载于车辆的第1处理器和存储装置；以及配置在所述车辆的外部的第2处理器。所述存储装置构成为存储关系规定数据，所述关系规定数据对所述车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量，所述第1处理器构成为：取得对所述车辆的状态进行检测的传感器的检测值，基于由所取得的所述检测值和从所述存储装置读出的所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作，基于所取得的所述检测值算出奖励，以使得所述车辆的特性满足预定基准的情况下该奖励大于不满足该预定基准的情况下的该奖励，在所述第1处理器的运算负荷为预定负荷以下时，向所述第2处理器发送基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励。所述第2处理器构成为：接收从第1处理器发送来的、基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励，将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据新，向所述车辆的存储装置发送所述更新后的所述关系规定数据。所述更新映射是输出被进行了更新以使期待收益增加的所述关系规定数据的映射，所述期待收益是关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益。
在上述构成中，通过第2执行装置执行更新处理，能够减轻第1执行装置的运算负荷。并且，通过第1执行装置在运算负荷为预定以下时执行车辆侧发送处理，能够抑制第1执行装置的运算负荷因由车辆侧发送处理产生的运算负荷而变得过大。
本发明的第三技术方案涉及车辆用控制方法。所述车辆包括存储装置和处理器，所述存储装置构成为存储关系规定数据，所述关系规定数据对所述车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量。所述车辆控制方法包括：通过所述处理器取得对所述车辆的状态进行检测的传感器的检测值；通过所述处理器，基于由所取得的所述检测值和从所述存储装置读出的所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作；通过所述处理器，基于所取得的所述检测值来算出奖励，以使得所述车辆的特性满足预定基准的情况下的该奖励大于不满足该预定基准的情况下的该奖励；在所述处理器的运算负荷为预定负荷以下时，将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据。所述更新映射是输出被进行了更新以使期待收益增加的所述关系规定数据映射，所述期待收益是关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益。
附图说明
下文将参照附图说明本发明示例性实施例的特征、优点以及技术和产业的意义，其中相同的标号表示同样的要素，并且，其中：
图1是表示第1实施方式涉及的控制装置及其驱动系统的图。
图2是表示该实施方式涉及的控制装置执行的处理的步骤的流程图。
图3是表示该实施方式涉及的控制装置执行的处理的步骤的流程图。
图4是表示第2实施方式涉及的车辆用控制系统的构成的图。
图5是表示车辆用控制系统执行的处理的步骤的流程图。
具体实施方式
以下，参照附图对车辆用制御装置涉及的第1实施方式进行说明。图1示出本实施方式涉及的车辆VC1的驱动系统和控制装置的构成。
如图1所示，在内燃机1的进气通路12从上游侧开始依次设置有节气门14和燃料喷射阀16，被吸入到进气通路12的空气、从燃料喷射阀16喷射的燃料伴随着进气门18的开门而流入到由气缸20和活塞22区划的燃烧室24。在燃烧室24内，燃料和空气的混合气伴随着点火装置26的火花放电而供于燃烧，通过燃烧产生的能量经由活塞22而被转换为曲轴28的旋转能。供于燃烧的混合气伴随着排气门30的开门，被作为排气而排出到排气通路32。在排气通路32设置有对排气进行净化的作为后处理装置的催化剂34。
变速装置50的输入轴52能够经由具备锁止离合器42的转矩转换器40而以机械的方式连结于曲轴28。变速装置50是使变速比可变的装置，该变速比是输入轴52的转速与输出轴54的转速之比。在输出轴54以机械的方式连结有驱动轮60。
控制装置70为了将内燃机10作为控制对象并对作为其控制量的转矩、排气成分比率等进行控制，对节气门14、燃料喷射阀16以及点火装置26等的内燃机10的操作部进行操作。另外，控制装置70为了将转矩转换器40作为控制对象并对锁止离合器42的接合状态进行控制，对锁止离合器42进行操作。另外，控制装置70为了将变速装置50作为控制对象并对作为其控制量的变速比进行控制，对变速装置50进行操作。此外，在图1中记载了节气门14、燃料喷射阀16、点火装置26、锁止离合器42以及变速装置50各自的操作信号MS1～MS5。
控制装置70为了控制量的控制，对通过空气流量计80检测的吸入空气量Ga、通过节气门传感器82检测的节气门14的开口度(节气门开口度TA)、曲轴角传感器84的输出信号Scr进行参照。另外，控制装置70对通过加速器传感器88检测的加速踏板86的踏下量(加速器操作量PA)、通过加速度传感器90检测的车辆VC1的前后方向上的加速度Gx进行参照。
控制装置70具备CPU72、ROM74、能够电重写的非易失性存储器(存储装置76)以及外围电路78，那些部件能够经由本地网络79进行通信。在此，外围电路78包括生成对内部的动作进行规定的时钟信号的电路、电源电路、复位电路等。
在ROM74中存储有控制程序74a和学习程序74b。另一方面，在存储装置76中存储有对加速器操作量PA、节气门开口度TA的指令值(节气门开口度指令值TA＊)以及点火装置26的延迟量aop的关系进行规定的关系规定数据DR。在此，延迟量aop是相对于预先确定的基准点火正时的延迟量，基准点火正时是MBT点火正时和爆震极限点中的延迟侧的正时。MBT点火正时是获得最大转矩的点火正时(最大转矩点火正时)。另外，爆震极限点是在使用爆震极限高的高辛烷值燃料时在所设想的最佳条件下能够落在能容许爆震的等级以内的点火正时的提前极限值。另外，在存储装置76中存储有转矩输出映射数据DT。由转矩输出映射数据DT规定的转矩输出映射是将曲轴28的转速NE、填充效率η以及点火正时作为输入而输出转矩Trq的映射。
在图2中表示本实施方式涉及的控制装置70执行的处理的步骤。图2所示的处理通过CPU72例如以预定周期反复执行存储于ROM74的控制程序74a来实现。此外，以下由在开头赋予了“S”的数字来表示各处理的步骤编号。
在图2所示的一系列处理中，CPU72首先取得包括加速器操作量PA的6个采样值“PA(1)、PA(2)、……、PA(6)”的时间序列数据(时序数据)来作为状态s(S10)。在此，构成时间序列数据的各采样值是在互不相同的定时采样到的采样值。在本实施方式中，由以一定的采样周期采样的情况下的在时间序列上相互相邻的6个采样值构成时间序列数据。
接着，CPU72按照关系规定数据DR确定的策略π，设定包括与通过S10的处理取得的状态s相应的节气门开口度指令值TA＊和延迟量aop的行动a(S12)。
在本实施方式中，关系规定数据DR是确定行动价值函数Q和策略π的数据。在本实施方式中，行动价值函数Q是对与状态s和行动a的8维的自变量相应的期待收益的值进行表示的表形式的函数。另外，策略π确定如下规则：在提供了状态s时，虽然优选选择自变量成为所提供的状态s的行动价值函数Q中的成为最大的行动a(贪婪行动(greedy action))，并且，但是以预定的概率ε选择除此之外的行动a。
详细而言，本实施方式涉及的行动价值函数Q的自变量可取的值的数量是根据人的见解等削减了状态s和行动a可取的值的全部组合中的一部分后的数量。即，例如对于加速器操作量PA的时间序列数据中的相邻的两个采样值中的一个成为加速器操作量PA的最小值、另一个成为最大值这一情况，认为不会是由人对加速踏板86的操作产生的，不定义行动价值函数Q。在本实施方式中，通过基于人的见解等的维度削减，将对行动价值函数Q进行定义的状态s可取的值限制为10的4次方个以下、更优选为10的3次方个以下。
接着，CPU72基于所设定的节气门开口度指令值TA＊和延迟量aop，向节气门14输出操作信号MS1，对节气门开口度TA进行操作，并且，向点火装置26输出操作信号MS3，对点火正时进行操作(S14)。在此，在本实施方式中，对将节气门开口度TA反馈控制为节气门开口度指令值TA＊进行例示，因此，即使节气门开口度指令值TA＊是相同的值，操作信号MS1也可能成为互不相同的信号。另外，例如在进行周知的爆震控制(KCS)等的情况下，点火正时被设为通过KCS对使基准点火正时延迟了延迟量aop后的值进行了反馈修正后的值。在此，对于基准点火正时，通过CPU72根据曲轴28的转速NE和填充效率η来以可变的方式进行设定。此外，转速NE是通过CPU72基于曲轴角传感器84的输出信号Scr来算出的。另外，填充效率η是通过CPU72基于转速NE和吸入空气量Ga来算出的。
接着，CPU72取得内燃机10的转矩Trq、对于内燃机10的转矩指令值Trq＊、以及加速度Gx(S16)。在此，CPU72通过将转速NE、填充效率η以及点火正时输入到转矩输出映射来算出转矩Trq。另外，CPU72根据加速器操作量PA来设定转矩指令值Trq＊。
接着，CPU72判定过渡标志F是否为“1”(S18)。过渡标志F在为“1”的情况下表示处于过渡运转时，在为“0”的情况下表示不处于过渡运转时。CPU72在判定为过渡标志F是“0”的情况下(S18：否)，判定加速器操作量PA的每单位时间的变化量ΔPA的绝对值是否为预定量ΔPAth以上(S20)。在此，变化量ΔPA例如设为S20的处理的执行定时的最新的加速器操作量PA与相对于该定时的单位时间前的加速器操作量PA之差即可。
CPU72在判定为是预定量ΔPAth以上的情况下(S20：是)，向过渡标志F代入“1”(S22)。与此相对，CPU72在判定为过渡标志F是“1”的情况下(S18：是)，判定是否从S22的处理的执行定时经过了预定期间(S24)。在此，预定期间设为到加速器操作量PA的每单位时间的变化量ΔPA的绝对值成为比预定量ΔPAth小的规定量以下的状态持续预定时间为止的期间。CPU72在判定为经过了预定期间的情况下(S24：是)，向过渡标志F代入“0”(S26)。
CPU72在S22、S26的处理完成的情况下、在S20、S24的处理中作出否定判定的情况下，转移至S28的处理。CPU72在S28的处理中将通过S10的处理取得的状态s、通过S12的处理设定的行动a、通过S16的处理取得的转矩Trq、转矩指令值Trq＊及加速度Gx、以及当前的过渡标志F的值存储于存储装置76。此外，CPU72在完成S28的处理的情况下，暂时结束图2所示的一系列处理。
在图3中表示在本实施方式中控制装置70执行的处理的步骤。图3所示的处理通过CPU72例如以预定周期反复执行存储于ROM74的学习程序74b来实现。
在图3所示的一系列处理中，CPU72首先判定是否为行程的结束时(S30)。在此，行程是指车辆的行驶允许信号为激活(on)状态的1次期间。在本实施方式中，行驶允许信号相当于点火信号。
CPU72在判定为是行程的结束时的情况下(S30：是)，选择过渡标志F为一定的1个期间、即1个情节(S32)。各情节(episode)是指从进行S26的处理到进行S22的处理为止的期间、从进行S22的处理到进行S26的处理为止的期间。
接着，CPU72读出包括在S32的处理中选择出的1个情节内的转矩指令值Trq＊、转矩Trq以及加速度Gx的3个采样值的组的时间序列数据、和状态s及行动a的时间序列数据来作为在以下的处理中利用的数据(S34)。在图3中示出括号中的数字不同的值是不同的采样定时的变量的值。例如，转矩指令值Trq＊(1)和转矩指令值Trq＊(2)是采样定时互不相同的值。另外，将属于所选择的情节的行动a的时间序列数据作为行动集合Aj，将属于该情节的状态s的时间序列数据定义为状态集合Sj。
接着，CPU72判定属于所选择的情节的任意的转矩Trq与转矩指令值Trq＊之差的绝对值为规定量ΔTrq以下之意的条件(a)和加速度Gx为下限值GxL以上且为上限值GxH以下之意的条件(b)的逻辑积是否为真(S36)。
在此，CPU72根据情节开始时的加速器操作量PA的每单位时间的变化量ΔPA的符号和过渡标志F的值，以可变的方式设定规定量ΔTrq。即，CPU72在过渡标志F为“1”的情节的情况下，作为是与过渡时有关的情节，将规定量ΔTrq设定为比过渡标志F为“0”的情况下的规定量ΔTrq大的值。另外，CPU72根据变化量ΔPA的符号，将规定量ΔTrq设定为互不相同的值。
另外，CPU72根据情节开始时的加速器操作量PA的变化量ΔPA的符号和过渡标志F的值，以可变的方式设定下限值GxL。即，CPU72在为与过渡时有关的情节且变化量ΔPA为正的情况下，将下限值GxL设定为比与稳态时有关的情节的情况下的下限值GxL大的值。另外，CPU72在为与过渡时有关的情节且变化量ΔPA为负的情况下，将下限值GxL设定为比与稳态时有关的情节的情况下的下限值GxL小的值。
另外，CPU72根据情节开始时的加速器操作量PA的每单位时间的变化量ΔPA的符号和过渡标志F的值，以可变的方式设定上限值GxH。即，CPU72在为与过渡时有关的情节且变化量ΔPA为正的情况下，将上限值GxH设定为比与稳态时有关的情节的情况下的上限值GxH大的值。另外，CPU72在为与过渡时有关的情节且变化量ΔPA为负的情况下，将上限值GxH设定为比与稳态时有关的情节的情况下的上限值GxH小的值。
CPU72在判定为逻辑积是真的情况下(S36：是)，向奖励r代入“10”(S38)，另一方面，在判定为是假的情况下(S36：否)，向奖励r代入“－10”(S40)。CPU72在S38、S40的处理完成的情况下，对存储于图1所示的存储装置76的关系规定数据DR进行更新。在本实施方式中，使用ε软同策略型蒙特卡罗法(ε-soft on-policy Monte Carlo method)。
即，CPU72对由通过上述S34的处理读出的各状态和所对应的行动的组确定的收益R(Sj，Aj)分别加上奖励r(S42)。在此，“R(Sj，Aj)”是对将状态集合Sj的要素之一作为状态、将行动集合Aj的要素之一作为行动的收益R进行了总括的记载。接着，对由通过上述S34的处理读出的各状态和所对应的行动的组确定的各个收益R(Sj，Aj)进行平均化并代入到所对应的行动价值函数Q(Sj，Aj)(S44)。在此，平均化设为用对进行了S42的处理的次数加上预定数而得到的数除通过S42的处理算出的收益R的处理即可。此外，收益R的初始值设为行动价值函数Q的初始值即可。
接着，CPU72关于通过上述S34的处理读出的状态，分别将作为所对应的行动价值函数Q(Sj，A)中的、成为最大值时的节气门开口度指令值TA＊和延迟量aop的组的行动代入到行动Aj＊(S46)。在此，“A”表示可取的任意的行动。此外，行动Aj＊是根据通过上述S34的处理读出的状态的种类而成为不同的值的行动，但在此对记载进行简化，用同一标号进行记载。
接着，CPU72关于通过上述S34的处理读出的各个状态，对所对应的策略π(Aj|Sj)进行更新(S48)。即，当将行动的总数设为“|A|”时，将通过S46选择出的行动Aj＊的选择概率设为“1－ε+ε/|A|”。另外，将行动Aj＊以外的“|A|－1”个行动的选择概率分别设为“ε/|A|”。S48的处理是基于通过S44的处理更新后的行动价值函数Q的处理，因此，由此，对状态s和行动a的关系进行规定的关系规定数据DR被进行更新以使收益R增加。
CPU72在S48的处理完成的情况下，判定是否在S32的处理中选择了通过S28的处理存储的全部情节、S34～S48的处理是否已完成(S50)。CPU72在判定为存在尚未被选择的情节的情况下(S50：否)，返回到S32的处理，对该情节进行选择。与此相对，CPU72在判定为全部情节都已被选择的情况下(S50：是)、在S30的处理中作出否定判定的情况下，暂时结束图3所示的一系列处理。
在此，对本实施方式的作用和效果进行说明。CPU72伴随着用户的加速踏板86的操作，取得加速器操作量PA的时间序列数据，按照策略π来对包括节气门开口度指令值TA＊和延迟量aop的行动a进行设定。在此，CPU72基本上基于由关系规定数据DR规定的行动价值函数Q，选择使期待收益为最大的行动a。但是，CPU72通过以预定的概率ε选择使期待收益最大化的行动a以外的行动，从而进行使期待收益最大化的行动a的搜索。由此，能够伴随着由用户进行的车辆VC1的驾驶，通过强化学习对关系规定数据DR进行更新。因此，能够不过度地增大熟练者的工时，而将与加速器操作量PA相应的节气门开口度指令值TA＊和延迟量aop设定为在车辆VC1的行驶中适当的值。
特别是，在本实施方式中，在行程结束时进行更新处理。在行程结束时，与行程期间相比，与内燃机10的控制有关的运算负荷小，因此，CPU72的运算负荷比较小。因此，能够通过CPU72适当地执行S32～S50的处理。
根据以上说明的本实施方式，能进一步得到以下所记载的作用效果。(1)在行动价值函数Q的自变量中包含了加速器操作量PA的时间序列数据。由此，与关于加速器操作量PA仅将单一的采样值作为自变量的情况相比，能够相对于加速器操作量PA的各种各样的变化细腻地对行动a的值进行调整。
(2)在行动价值函数Q的自变量中包含了节气门开口度指令值TA＊自身。由此，例如与将对节气门开口度指令值TA＊的行为进行模型化后的模型式的参数等作为与节气门开口度有关的自变量的情况相比，容易提高基于强化学习的搜索的自由度。
第2实施方式
以下，以与第1实施方式的不同点为中心，参照附图对第2实施方式进行说明。
在图4中表示在本实施方式中执行强化学习的控制系统的构成。此外，在图4中，为了便于说明，对与图1所示的部件对应的部件标记同一标号。
在图4所示的车辆VC1内的ROM74中，除了控制程序74a之外，还存储有学习用子程序74c。另外，控制装置70具备通信机77。通信机77是用于经由车辆VC1外部的网络100与数据解析中心110进行通信的设备。
数据解析中心110对从多个车辆VC1、VC2、……发送来的数据进行解析。数据解析中心110具备CPU112、ROM114及能电重写的非易失性存储器(存储装置116)、外围电路118以及通信机117，那些部件能够通过本地网络119进行通信。在ROM114中存储有学习用主程序114a。在存储装置116中存储有关系规定数据DR。
在图5中表示本实施方式涉及的强化学习的处理步骤。图5左侧所示的处理通过CPU72执行存储于图4所示的ROM74的学习用子程序74c来实现。另外，图5右侧所示的处理通过CPU112执行存储于ROM114的学习用主程序114a来实现。此外，在图5中，为了便于说明，对与图3所示的处理对应的处理标记同一步骤编号。以下，沿着强化学习的时间序列对图5所示的处理进行说明。
在图5左侧所示的一系列处理中，CPU72在S30的处理中作出肯定判定的情况下，对通信机77进行操作，发送关系规定数据DR的更新所需要的数据(S60)。即，CPU72发送在该行程中通过S28的处理存储的状态s、行动a、转矩Trq、转矩指令值Trq＊、加速度Gx、过渡标志F的时间序列数据。
与此相对，如图5右侧所示，CPU112接收通过S60的处理发送来的数据(S70)，执行S32～S50的处理。并且，CPU112在S50的处理中作出肯定判定的情况下，通过对通信机117进行操作，发送被更新后的关系规定数据DR(S72)。此外，CPU112在完成S72的处理的情况下，暂时结束图5右侧所示的一系列处理。
与此相对，如图5左侧所示，CPU72接收被更新后的关系规定数据DR(S62)，利用该数据对在S12的处理中使用的关系规定数据DR进行覆盖(S64)。
此外，CPU72在S64的处理完成的情况下、在S30的处理中作出否定判定的情况下，暂时结束图5左侧所示的一系列处理。这样，在本实施方式中，通过在数据解析中心110中执行关系规定数据DR的更新处理，能够减轻CPU72的运算负荷。
根据以上说明的本实施方式，能进一步得到以下所记载的作用效果。(3)CPU72在行程结束时发送了关系规定数据DR的更新所需要的数据。由此，与在行程期间进行发送的情况相比，能够减轻行程期间为了发送所需要的运算负荷。
对应关系
上述实施方式中的事项与上述的“用于解决问题的技术方案”一栏中所记载的事项的对应关系为如下所述。
实施方式的CPU72和ROM74能够视为本发明的执行装置，实施方式的存储装置76能够视为本发明的存储装置。实施方式的S10、S16的处理能够视为本发明的取得处理，实施方式的S14的处理能够视为本发明的操作处理，实施方式的S36～S40的处理能够视为本发明的奖励算出处理，实施方式的S42～S48的处理能够视为本发明的更新处理。由实施方式的学习程序74b中的执行S42～S48的处理的指令规定的映射能够视为本发明的更新映射。实施方式的行程结束时能够视为本发明的运算负荷为预定负荷以下时。实施方式的CPU72和ROM74能够视为本发明的第1执行装置，实施方式的CPU112和ROM114能够视为本发明的第2执行装置。实施方式的S60的处理能够视为本发明的车辆侧发送处理，实施方式的S62的处理能够视为本发明的车辆侧接收处理。实施方式的S70的处理能够视为本发明的外部侧接收处理，实施方式的S72的处理能够视为本发明的外部侧发送处理。
其他实施方式
此外，本实施方式可以如以下那样进行变更来实施。本实施方式和以下的变更例可以在技术上不矛盾的范围内相互组合来实施。
关于行动变量
在上述实施方式中，作为与作为行动变量的节气门的开口度有关的变量，例示了节气门开口度指令值TA＊，但不限于此。例如，也可以用无用时间(dead time)和二阶延迟滤波器来表现节气门开口度指令值TA＊对于加速器操作量PA的响应性，将无用时间和规定二阶延迟滤波器的两个变量这合计3个变量作为与节气门的开口度有关的变量。但是，在该情况下，状态变量优选设为加速器操作量PA的每单位时间的变化量来代替加速器操作量PA的时间序列数据。
在上述实施方式中，作为与作为行动变量的点火正时有关的变量，例示了延迟量aop，但不限于此。例如，也可以是被作为KCS的修正对象的点火正时自身。
在上述实施方式中，作为行动变量，例示了与节气门的开口度有关的变量和与点火正时有关的变量，但不限于此。例如，除了与节气门的开口度有关的变量和与点火正时有关的变量之外，还可以使用燃料喷射量。另外，关于那些3个变量，作为行动变量，也可以仅采用与节气门的开口度有关的变量和燃料喷射量，或者仅采用与点火正时有关的变量和燃料喷射量。进一步，关于那些3个变量，作为行动变量，也可以仅采用那些中的1个。
另外，如在“关于内燃机”一栏中所记载的那样，在压缩着火式的内燃机的情况下，使用与喷射量有关的变量来代替与节气门的开口度有关的变量，使用与喷射正时有关的变量来作为与点火正时有关的变量即可。此外，优选除了与喷射正时有关的变量之外还加入与1个燃烧周期中的喷射次数有关的变量、与1个燃烧周期中用于一个气缸的在时间序列上相邻的2个燃料喷射中的一方的结束定时和另一方的开始定时之间的时间间隔有关的变量。
另外，例如在变速装置50为有级变速装置的情况下，也可以将用于通过油压对离合器的接合状态进行调整的电磁阀的电流值等作为行动变量。另外，例如也可以在如下述的“关于车辆”这一栏所记载的那样采用混合动力车、电动汽车、燃料电池车来作为车辆的情况下，将旋转电机的转矩和/或输出作为行动变量。另外，例如也可以在具备具有压缩机的车载空调装置的情况下，将压缩机的负荷转矩包含于行动变量，该压缩机利用内燃机的曲轴的旋转动力来进行旋转。另外，也可以在具备电动式的车载空调装置的情况下，将空调装置的消耗电力包含在行动变量中。
关于状态
在上述实施方式中，将加速器操作量PA的时间序列数据设为了包括以等间隔采样到的6个值的数据，但不限于此。只要是包括互不相同的采样定时的2个以上的采样值的数据即可，此时，更优选为包括3个以上的采样值的数据、采样间隔为等间隔的数据。
作为与加速器操作量有关的状态变量，不限于加速器操作量PA的时间序列数据，例如也可以如“关于行动变量”一栏所记载的那样为加速器操作量PA的每单位时间的变化量等。
另外，例如如“关于行动变量”一栏所记载的那样，在将电磁阀的电流值作为行动变量的情况下，在状态中包含变速装置的输入轴52的转速、输出轴54的转速、由电磁阀调整的油压即可。另外，例如如“关于行动变量”一栏所记载的那样，在将旋转电机的转矩、输出作为行动变量的情况下，在状态中包含电池的充电率、温度即可。另外，例如如“关于行动变量”一栏所记载的那样，在将压缩机的负荷转矩、空调装置的消耗电力包含于行动变量的情况下，在状态中包含车室内的温度即可。
关于关系规定数据，
在上述实施方式中，将行动价值函数Q设为了表形式的函数，但不限于此。例如，也可以使用函数近似器。
例如，也可以代替使用行动价值函数Q，而用将状态s和行动a作为自变量、将采取行动a的概率作为因变量的函数近似器来表现策略π，根据奖励r来对确定函数近似器的参数进行更新。
关于表形式的数据的维度削减
作为表形式的数据的维度削减方法，不限于在上述实施方式中例示的方法。例如由于少有加速器操作量PA成为最大值的情况，因此，也可以对加速器操作量PA成为规定量以上的状态不定义行动价值函数Q，对加速器操作量PA成为规定量以上的情况下的节气门开口度指令值TA＊等另行进行适配。另外，例如也可以从行动可取的值除去节气门开口度指令值TA＊成为规定值以上的值等来进行维度削减。
但是，进行维度削减不是必须的。例如，在第2实施方式中，若CPU72的运算能力、存储装置76的存储容量是足够的，则也可以在车辆出厂前仅对作为行动价值函数的自变量可取的行动中的一部分进行学习，但在出厂后能够通过搜索来执行全部行动。由此，鉴于在出厂后能够确保比出厂前充足的学习用的数据，能够增加作为搜索可取的行动的数量，能够找出更适当的行动。
关于更新映射
在S42～S48的处理中，例示了基于ε软同策略型蒙特卡罗法的处理，但不限于此。例如，也可以是基于异策略型蒙特卡罗法(off-policy Monte Carlo method)的处理。但是不限于蒙特卡罗法，例如也可以使用异策略型TD法，另外，例如也可以使用如SARSA法那样的同策略型TD法，另外，例如也可以使用资格迹法(eligibility trace method)来作为同策略型的学习。
另外，例如在如“关于关系规定数据”一栏所记载那样使用函数近似器来表现策略π，基于奖励r直接对其进行更新的情况下，使用策略梯度法(policy gradient method)等来构成更新映射即可。
另外，不限于仅将行动价值函数Q和策略π中的某一方作为基于奖励r的直接的更新对象。例如，也可以如actor critic法那样对行动价值函数Q和策略π分别进行更新。另外，在actor critic法中，不限于此，例如也可以代替行动价值函数Q而将价值函数V作为更新对象。
此外，关于确定策略π的“ε”，不限于固定值，也可以按照根据学习的进行程度预先确定的规则进行变更。
关于奖励算出处理
在图3的处理中，根据条件(a)和条件(b)的逻辑积是否为真来给与了奖励，但不限于此。例如，也可以执行根据是否满足条件(a)来给与奖励的处理、和根据是否满足条件(b)来给与奖励的处理。另外，例如关于根据是否满足条件(a)来给与奖励的处理、和根据是否满足条件(b)来给与奖励的处理的两个处理，也可以仅执行它们中的任一个处理。
另外，例如也可以设为如下处理：代替在满足条件(a)的情况下一律给与相同的奖励，而是在转矩Trq与转矩指令值Trq＊之差的绝对值小的情况下给与所述差比该绝对值大的情况下的奖励大的奖励。另外，例如也可以设为如下处理：代替在不满足条件(a)的情况下一律给与相同的奖励，在转矩Trq与转矩指令值Trq＊之差的绝对值大情况下，给与所述差比该绝对值小的情况下的奖励小的奖励。
另外，例如也可以设为如下处理：代替在满足条件(b)的情况下一律给与相同的奖励，而是根据加速度Gx的大小来使奖励的大小为可变。另外，例如也可以设为如下处理：代替在不满足条件(b)的情况下一律给与相同的奖励，而是根据加速度Gx的大小来使奖励的大小为可变。
在上述实施方式中，根据是否满足与驾驶性能有关的基准来给与奖励r，但作为与驾驶性能有关的基准，不限于上述的基准，例如也可以根据噪声和/或振动强度是否满足基准来进行设定。但是，不限于此，例如也可以为上述加速度是否满足基准、转矩Trq的跟随性是否满足基准、噪声是否满足基准以及振动强度是否满足基准这4个中的任意1个以上。
作为奖励算出处理，不限于根据是否满足与驾驶性能有关的基准来给与奖励r的处理。例如，也可以是在燃料消耗率满足基准的情况下给与比不满足基准的情况下的奖励大的奖励的处理。另外，例如也可以是在排气特性满足基准的情况下给与比不满足基准的情况下的奖励大的奖励的处理。此外，也可以包括在满足与驾驶性能有关的基准的情况下给与比不满足基准的情况下的奖励大的奖励的处理、在燃料消耗率满足基准的情况下给与比不满足基准的情况下的奖励大的奖励的处理、在排气特性满足基准的情况下给与比不满足基准的情况下的奖励大的奖励的处理这3个处理中的2个或者3个。
另外，例如如“关于行动变量”一栏所记载的那样，在将变速装置50的电磁阀的电流值作为行动变量的情况下，例如在奖励算出处理中包括以下的(a)～(c)这3个处理中的至少一个处理即可。
(a)是如下处理：在变速装置的变速比的切换所需要的时间为预定时间以内的情况下给与比超过预定时间的情况下的奖励大的奖励。(b)是如下处理：在变速装置的输入轴52的转速的变化速度的绝对值为输入侧预定值以下的情况下，给与比超过输入侧预定值的情况下的奖励大的奖励。
(c)是如下处理：在变速装置的输出轴54的转速的变化速度的绝对值为输出侧预定值以下的情况下，给与比超过输出侧预定值的情况下的奖励大的奖励。另外，例如如“关于行动变量”一栏所记载的那样，在将旋转电机的转矩、输出作为行动变量的情况下，也可以包括在电池的充电率处于预定范围内的情况下给与比不处于预定范围内的情况下的奖励大的奖励的处理、在电池的温度处于预定范围内的情况下给与比不处于预定范围内的情况下的奖励大的奖励的处理。另外，例如如“关于行动变量”一栏所记载的那样，在将压缩机的负荷转矩、空调装置的消耗电力包含于行动变量的情况下，也可以加入在车室内的温度处于预定范围内的情况下给与比不处于预定范围内的情况下的奖励大的奖励的处理。
关于车辆用控制系统
作为车辆用控制系统，不限于由控制装置70和数据解析中心110构成的系统。例如，也可以代替数据解析中心110，使用用户所持有的便携终端，由控制装置70和便携终端构成车辆用控制系统。另外，例如也可以由控制装置70、便携终端以及数据解析中心110构成车辆用控制系统。这例如能够通过由便携终端执行S12的处理来实现。
关于执行装置
作为执行装置，不限于具备CPU72(112)和ROM74(114)、并执行软件处理的装置。例如，也可以具备对在上述实施方式中进行了软件处理的部分的至少一部分进行硬件处理的例如ASIC等的专用硬件电路。即，执行装置为以下的(a)～(c)中的任一构成即可。(a)具备按照程序执行全部的上述处理的处理装置、和存储程序的ROM等的程序保存装置。(b)具备按照程序来执行上述处理的一部分的处理装置及程序保存装置、和执行其余的处理的专用硬件电路。(c)具备执行全部的上述处理的专用硬件电路。在此，具备处理装置和程序保存装置的软件执行装置、专用硬件电路也可以为多个。
关于存储装置
在上述实施方式中，将存储关系规定数据DR的存储装置和存储学习程序74b、控制程序74a的存储装置(ROM74)设为了不同的存储装置，但不限于此。
关于内燃机
作为内燃机，不限于具备向进气通路12喷射燃料的端口喷射阀来作为燃料喷射阀的内燃机，既可以是具备向燃烧室24直接喷射燃料的缸内喷射阀的内燃机，另外，例如也可以是具备端口喷射阀和缸内筒内喷射阀这两双的内燃机。
作为内燃机，不限于火花点火式内燃机，例如也可以是使用轻油等来作为燃料的压缩着火式内燃机等。
关于车辆
作为车辆，不限于推力产生装置仅为内燃机的车辆，例如也可以是具备内燃机和旋转电机的所谓的混合动力车辆。另外，例如也可以是不具备内燃机、而具备旋转电机来作为推力产生装置的所谓的电动汽车、燃料电池车。

Claims (5)

1.一种车辆用控制装置，包括存储装置和处理器，
所述存储装置构成为存储关系规定数据，所述关系规定数据对车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量，
所述处理器构成为：
取得对所述车辆的状态进行检测的传感器的检测值，
基于由所取得的所述检测值和从所述存储装置读出的所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作，
基于所取得的所述检测值来算出奖励，以使得所述车辆的特性满足预定基准的情况下的该奖励大于所述车辆的特性不满足该预定基准的情况下的该奖励，并且，
在所述处理器的运算负荷为预定负荷以下时执行多次更新处理，所述更新处理是将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据的处理，
所述更新映射是输出被进行了更新以使期待收益增加的所述关系规定数据的映射，所述期待收益是关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益。
2.根据权利要求1所述的车辆用控制装置，其中，
所述处理器构成为取得对具备内燃机的所述车辆的状态进行检测的传感器的检测值，
所述处理器构成为对控制所述内燃机的电子设备进行操作，
所述处理器构成为在所述内燃机的曲轴的转速为预定速度以下时认为所述运算负荷为所述预定负荷以下，对所述关系规定数据进行更新。
3.根据权利要求1或者2所述的车辆用控制装置，其中，
所述处理器构成为在所述车辆停着车时认为所述运算负荷为所述预定负荷以下，对所述关系规定数据进行更新。
4.一种车辆用控制系统，包括：
搭载于车辆的第1处理器和存储装置；以及
配置在所述车辆的外部的第2处理器，
所述存储装置构成为存储关系规定数据，所述关系规定数据对所述车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量，
所述第1处理器构成为：
取得对所述车辆的状态进行检测的传感器的检测值，
基于由所取得的所述检测值和从所述存储装置读出的所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作，
基于所取得的所述检测值算出奖励，以使得所述车辆的特性满足预定基准的情况下的该奖励大于所述车辆的特性不满足该预定基准的情况下的该奖励，
在所述第1处理器的运算负荷为预定负荷以下时，向所述第2处理器发送基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励，
所述第2处理器构成为：
接收从第1处理器发送来的、基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励，
执行多次更新处理，所述更新处理是将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据的处理，并且，
向所述车辆的所述存储装置发送所述更新后的所述关系规定数据，
所述更新映射是输出被进行了更新以使期待收益增加的所述关系规定数据的映射，所述期待收益是关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益。
5.一种车辆控制方法，所述车辆包括存储装置和处理器，所述存储装置构成为存储关系规定数据，所述关系规定数据对所述车辆的状态与行动变量的关系进行规定，所述行动变量是与所述车辆内的电子设备的操作有关的变量，所述车辆控制方法包括：
通过所述处理器取得对所述车辆的状态进行检测的传感器的检测值；
通过所述处理器，基于由所取得的所述检测值和从所述存储装置读出的所述关系规定数据确定的所述行动变量的值，对所述电子设备进行操作；
通过所述处理器，基于所取得的所述检测值来算出奖励，以使得所述车辆的特性满足预定基准的情况下的该奖励大于所述车辆的特性不满足该预定基准的情况下的该奖励；
在所述处理器的运算负荷为预定负荷以下时执行多次更新处理，所述更新处理是将基于所取得的所述检测值的所述车辆的状态、在所述电子设备的操作中所使用了的所述行动变量的值、以及与所述电子设备的操作对应的所述奖励作为对预先确定的更新映射的输入，更新所述关系规定数据的处理，
所述更新映射是输出被进行了更新以使期待收益增加的所述关系规定数据的映射，所述期待收益是关于按照所述关系规定数据操作所述电子设备的情况下的所述奖励的期待收益。
CN202011094495.0A 2019-10-18 2020-10-14 车辆用控制装置、车辆用控制系统以及车辆控制方法 Active CN112682181B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-191094 2019-10-18
JP2019191094A JP6809587B1 (ja) 2019-10-18 2019-10-18 車両用制御装置

Publications (2)

Publication Number Publication Date
CN112682181A CN112682181A (zh) 2021-04-20
CN112682181B true CN112682181B (zh) 2023-04-07

Family

ID=73992955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011094495.0A Active CN112682181B (zh) 2019-10-18 2020-10-14 车辆用控制装置、车辆用控制系统以及车辆控制方法

Country Status (9)

Country Link
US (1) US11248553B2 (zh)
JP (1) JP6809587B1 (zh)
CN (1) CN112682181B (zh)
AU (1) AU2020256309A1 (zh)
CA (1) CA3096160A1 (zh)
MX (1) MX2020010935A (zh)
PH (1) PH12020050407A1 (zh)
SG (1) SG10202010146QA (zh)
TW (1) TW202117180A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6705545B1 (ja) 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6705544B1 (ja) 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP7243642B2 (ja) 2020-01-09 2023-03-22 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP7331704B2 (ja) 2020-01-09 2023-08-23 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、および車両用制御システム
JP7287287B2 (ja) 2020-01-09 2023-06-06 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2022007027A (ja) * 2020-06-25 2022-01-13 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP7331789B2 (ja) * 2020-06-25 2023-08-23 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
TWI801870B (zh) * 2021-05-13 2023-05-11 樹德科技大學 汽車聲響警示系統及方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2974440B2 (ja) 1991-03-22 1999-11-10 株式会社日立製作所 自動車総合制御装置
JP3071333B2 (ja) * 1993-02-26 2000-07-31 トヨタ自動車株式会社 車両の駆動力制御装置
DE19527323A1 (de) * 1995-07-26 1997-01-30 Siemens Ag Schaltungsanordnung zum Steuern einer Einrichtung in einem Kraftfahrzeug
JPH10254505A (ja) * 1997-03-14 1998-09-25 Toyota Motor Corp 自動制御装置
JP2000250604A (ja) * 1999-03-02 2000-09-14 Yamaha Motor Co Ltd 特性最適化方法における最適化の協調方法
EP1033637A3 (en) 1999-03-02 2001-05-02 Yamaha Hatsudoki Kabushiki Kaisha Method and apparatus for optimizing overall characteristic of device, using heuristic method
WO2001007768A1 (fr) * 1999-07-28 2001-02-01 Hitachi, Ltd. Procede et appareil pour papillon commande par moteur, automobile, procede de mesure de la temperature d'un moteur pour la commande du papillon et procede de mesure de la temperature du moteur
JP2002322934A (ja) * 2001-04-26 2002-11-08 Toyota Motor Corp 内燃機関の吸気制御装置
US6654677B2 (en) * 2001-09-18 2003-11-25 Visteon Global Technologies, Inc. Method and system for providing vehicle control to a driver
JP4005483B2 (ja) * 2002-11-20 2007-11-07 日産自動車株式会社 車線逸脱防止装置
ES2286958B1 (es) 2005-07-11 2008-09-01 Honda Motor Co., Ltd Sistema de control de vehiculo, sistema de control de transmision continuamente variable y metodo.
JP2009019523A (ja) * 2007-07-10 2009-01-29 Honda Motor Co Ltd 内燃機関の制御装置
JP4930389B2 (ja) * 2008-01-18 2012-05-16 三菱自動車工業株式会社 空燃比制御装置及び空燃比制御方法
US8352152B2 (en) * 2009-02-10 2013-01-08 Honeywell International Inc. System, method, apparatus and computer program product for providing improved engine control
JP6312618B2 (ja) * 2015-03-13 2018-04-18 日立オートモティブシステムズ株式会社 内燃機関の制御装置及び異常燃焼検出方法
JP6026612B2 (ja) 2015-09-22 2016-11-16 本田技研工業株式会社 車両用内燃機関の制御装置
JP6253000B1 (ja) * 2016-09-14 2017-12-27 マツダ株式会社 車両の制御装置
JP6253001B1 (ja) * 2016-09-29 2017-12-27 マツダ株式会社 車両の制御装置
US9989964B2 (en) 2016-11-03 2018-06-05 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling vehicle using neural network
JP6695266B2 (ja) 2016-12-09 2020-05-20 日立オートモティブシステムズ株式会社 内燃機関の異常燃焼検出装置
JP6919997B2 (ja) 2018-02-06 2021-08-18 株式会社日立製作所 制御装置、制御方法、および制御プログラム
JP2019144748A (ja) * 2018-02-19 2019-08-29 株式会社デンソー 情報処理システム、車載制御装置、及び情報処理装置
US20190360421A1 (en) * 2018-05-24 2019-11-28 GM Global Technology Operations LLC Method to evaluate the instantaneous fuel to torque ice efficiency status
JP6665961B1 (ja) * 2019-08-01 2020-03-13 トヨタ自動車株式会社 内燃機関の状態検出システム、データ解析装置、及び車両
JP2021032114A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用学習制御システム、車両用制御装置、および車両用学習装置
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6744598B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御システム、車両用制御装置、および車両用学習装置
JP6705546B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置
JP6705544B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御装置、車両用制御システム、および車両用学習装置

Also Published As

Publication number Publication date
SG10202010146QA (en) 2021-05-28
TW202117180A (zh) 2021-05-01
PH12020050407A1 (en) 2021-06-14
CN112682181A (zh) 2021-04-20
US11248553B2 (en) 2022-02-15
MX2020010935A (es) 2021-04-19
CA3096160A1 (en) 2021-04-18
AU2020256309A1 (en) 2021-05-06
JP2021067193A (ja) 2021-04-30
JP6809587B1 (ja) 2021-01-06
US20210115870A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
CN112682181B (zh) 车辆用控制装置、车辆用控制系统以及车辆控制方法
CN112682184B (zh) 车辆用控制装置、车辆用控制系统以及车辆控制方法
CN112682197B (zh) 车辆用控制数据的生成方法、车辆用控制装置和控制系统
CN112682203B (zh) 车辆用控制装置、系统、方法、学习装置、以及存储介质
CN112682182B (zh) 车辆用控制装置、车辆用控制系统以及车辆控制方法
JP7287287B2 (ja) 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
CN113187612A (zh) 车辆用控制装置、车辆用控制系统、车辆用控制方法及车辆用控制系统的控制方法
CN112682198B (zh) 车辆用控制系统、车辆用控制装置及车辆用控制方法
CN113266479B (zh) 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置
CN113090400B (zh) 车辆用控制装置及控制系统、车辆用学习装置及学习方法、车辆用控制方法以及存储介质
JP7331704B2 (ja) 車両用制御データの生成方法、車両用制御装置、および車両用制御システム
CN113006951B (zh) 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置
JP7327198B2 (ja) 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
CN112682196A (zh) 车辆用控制装置、车辆用控制系统、以及车辆用学习装置
CN113217204B (zh) 车辆控制方法、车辆用控制装置以及服务器
CN113266481A (zh) 车辆控制方法、车辆用控制装置以及服务器
CN112682204B (zh) 车辆用控制装置、控制系统、学习装置和方法及存储介质
JP7207289B2 (ja) 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
JP2021067261A (ja) 車両用制御装置、車両用制御システム、および車両用学習装置
CN113187613A (zh) 控制车辆的方法、用于车辆的控制装置、以及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant