CN113090404B - 车辆用控制装置、车辆用控制系统以及车辆用学习装置 - Google Patents

车辆用控制装置、车辆用控制系统以及车辆用学习装置 Download PDF

Info

Publication number
CN113090404B
CN113090404B CN202011521755.8A CN202011521755A CN113090404B CN 113090404 B CN113090404 B CN 113090404B CN 202011521755 A CN202011521755 A CN 202011521755A CN 113090404 B CN113090404 B CN 113090404B
Authority
CN
China
Prior art keywords
vehicle
processing
variable
value
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011521755.8A
Other languages
English (en)
Other versions
CN113090404A (zh
Inventor
桥本洋介
片山章弘
大城裕太
杉江和纪
冈尚哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113090404A publication Critical patent/CN113090404A/zh
Application granted granted Critical
Publication of CN113090404B publication Critical patent/CN113090404B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2438—Active learning methods
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0002—Controlling intake air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D29/00—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto
    • F02D29/02—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto peculiar to engines driving vehicles; peculiar to engines driving variable pitch propellers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D31/00—Use of speed-sensing governors to control combustion engines, not otherwise provided for
    • F02D31/001—Electric control of rotation speed
    • F02D31/002—Electric control of rotation speed controlling air supply
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0025—Controlling engines characterised by use of non-liquid fuels, pluralities of fuels, or non-fuel substances added to the combustible mixtures
    • F02D41/0047—Controlling exhaust gas recirculation [EGR]
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0025—Controlling engines characterised by use of non-liquid fuels, pluralities of fuels, or non-fuel substances added to the combustible mixtures
    • F02D41/0047—Controlling exhaust gas recirculation [EGR]
    • F02D41/005—Controlling exhaust gas recirculation [EGR] according to engine operating conditions
    • F02D41/0052—Feedback control of engine parameters, e.g. for control of air/fuel ratio or intake air amount
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/22—Safety or indicating devices for abnormal conditions
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2451—Methods of calibrating or learning characterised by what is learned or calibrated
    • F02D41/2454—Learning of the air-fuel ratio control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2451—Methods of calibrating or learning characterised by what is learned or calibrated
    • F02D41/2464—Characteristics of actuators
    • F02D41/2467—Characteristics of actuators for injectors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2487—Methods for rewriting
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/30—Controlling fuel injection
    • F02D41/3005—Details not otherwise provided for
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0002—Controlling intake air
    • F02D2041/0017—Controlling intake air by simultaneous control of throttle and exhaust gas recirculation
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/22—Safety or indicating devices for abnormal conditions
    • F02D2041/224—Diagnosis of the fuel system
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/04—Engine intake system parameters
    • F02D2200/0404—Throttle position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/10—Parameters related to the engine output, e.g. engine torque or engine speed
    • F02D2200/101—Engine speed
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1438—Introducing closed-loop corrections using means for determining characteristics of the combustion gases; Sensors therefor
    • F02D41/1444—Introducing closed-loop corrections using means for determining characteristics of the combustion gases; Sensors therefor characterised by the characteristics of the combustion gases
    • F02D41/1454—Introducing closed-loop corrections using means for determining characteristics of the combustion gases; Sensors therefor characterised by the characteristics of the combustion gases the characteristics being an oxygen content or concentration or the air-fuel ratio
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/22—Safety or indicating devices for abnormal conditions
    • F02D41/221—Safety or indicating devices for abnormal conditions relating to the failure of actuators or electrically driven elements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/12—Improving ICE efficiencies

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Control Of Throttle Valves Provided In The Intake System Or In The Exhaust System (AREA)
  • Control Of Vehicle Engines Or Engines For Specific Uses (AREA)
  • Electrical Control Of Air Or Fuel Supplied To Internal-Combustion Engine (AREA)

Abstract

本公开涉及车辆用控制装置、车辆用控制系统以及车辆用学习装置。车辆用控制装置具备处理电路以及存储装置。在存储装置中存储有关系规定数据，关系规定数据是规定车辆的状态与行动变量的关系的数据，行动变量是与内燃机的操作部的操作有关的变量。处理电路构成为执行：取得车辆的状态的取得处理；基于行动变量的值操作操作部的操作处理；奖励计算处理；更新关系规定数据的更新处理；以及以行动变量中的至少一个等于预先确定的值为条件所执行的判定内燃机有无劣化的判定处理。

Description

车辆用控制装置、车辆用控制系统以及车辆用学习装置
技术领域
本公开涉及车辆用控制装置、车辆用控制系统以及车辆用学习装置。
背景技术
例如日本特开2016-6327号公报中记载了一种控制装置，该控制装置基于将加速器(油门)踏板的操作量用过滤器进行处理得到的值，操作作为搭载于车辆的内燃机的操作部的节气门。
上述过滤器需要根据加速器踏板的操作量将搭载于车辆的内燃机的节气门的操作量设定为适当的操作量。因此，过滤器的适配需要本领域技术人员花费许多工时。如此，以往在与车辆的状态相应的内燃机的操作部的操作量等的适配中，本领域技术人员花费了许多工时。
发明内容
以下，对本公开的多个技术方案及其作用效果进行说明。
技术方案1.根据本公开的一个技术方案，提供一种具备处理电路(processingcircuitry)以及存储装置的车辆用控制装置。在所述存储装置中存储有关系规定数据，所述关系规定数据是规定车辆的状态与行动变量的关系的数据，所述行动变量是与搭载于所述车辆的内燃机的操作部的操作有关的变量，所述处理电路构成为执行：取得处理，取得基于传感器的检测值的所述车辆的状态；操作处理，基于由所述关系规定数据和通过所述取得处理所取得的所述车辆的状态而确定的所述行动变量的值，操作所述操作部；奖励计算处理，基于通过所述取得处理所取得的所述车辆的状态，给予奖励，且在所述车辆的特性满足基准的情况下所给予的所述奖励大于在所述车辆的特性不满足所述基准的情况下所给予的所述奖励；更新处理，使用通过所述取得处理所取得的所述车辆的状态、所述操作部的操作中所使用了的所述行动变量的值、和与该操作对应的所述奖励，作为向预先确定的更新映射的输入，更新所述关系规定数据；以及判定处理，以所述行动变量中的至少一个等于预先确定的值为条件而执行，判定所述内燃机有无劣化，所述更新映射是输出以使按照所述关系规定数据来操作所述操作部的情况下的关于所述奖励的期待收益(回报)增加的方式进行了更新的所述关系规定数据的映射。
在上述构成中，通过计算伴随操作部的操作的奖励，能够掌握通过该操作而获得怎样的奖励。而且，通过基于奖励，根据按照强化学习的更新映射，更新关系规定数据，从而能够将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的关系。因此，能够削减在将车辆的状态与行动变量的关系设定为在车辆的行驶中适当的关系时需要本领域技术人员花费的工时。
在进行强化学习的情况下，操作部会被怎样操作取决于学习的结果。另一方面，内燃机有无劣化的判定有时以若干个状态是预先确定的状态为前提并基于除此之外的状态来进行。因此，当在进行了强化学习、或基于通过强化学习而更新了的关系规定数据操作了操作部的情况下尝试进行这样的判定的情况下，很可能没有满足用于进行判定的前提条件。于是，在上述构成中，通过以行动变量中的至少一个是预先确定的值为条件来执行判定处理，能够满足判定处理的执行条件。
技术方案2.在技术方案1所述的车辆用控制装置中，所述处理电路也可以构成为，使所述操作处理停止，执行操作所述操作部以使得所述行动变量中的至少一个成为预先确定的值的主动(active)处理，并在该主动处理的执行期间执行所述判定处理。
在上述构成中，通过执行主动处理，能够切实地将行动变量中的至少一个设为预先确定的值。由此，在上述构成中，与不执行主动处理的情况相比，能够早期地并且切实地将行动变量中的至少一个设为预先确定的值。
技术方案3.在技术方案1或2所述的车辆用控制装置中，所述处理电路也可以构成为，以所述车辆处于停止中为条件，执行所述判定处理。
在车辆停止期间，与车辆行驶期间相比，对于内燃机的要求较小。在上述构成中，在车辆停止中进行判定处理。由此，与车辆行驶期间相比，较易使判定处理的前提条件成立。
技术方案4.在技术方案1～3中任一项所述的车辆用控制装置中，所述内燃机也可以具备节气门和构成为调整EGR(排气(废气)再循环)量的EGR调整装置作为所述操作部，所述操作处理也可以包括操作所述节气门和所述EGR调整装置以将所述内燃机的曲轴的转速控制为目标转速的处理，所述行动变量也可以包括与所述节气门的开度有关的变量和EGR变量，所述EGR变量是操作所述EGR调整装置所用的变量，所述判定处理也可以包括如下处理：以所述EGR调整装置处于预定状态为条件，基于所述节气门的开度，判定所述内燃机的进气系统有无劣化。
例如，存在沉积物沉积于进气通路而进气通路的流路截面面积减小的情况。若流路截面面积减小，则与流路截面面积没有减小的情况相比，作为在将内燃机的曲轴的转速控制为目标转速时的操作量的节气门的开度增大。因此，如果EGR调整装置的状态恒定，就能够基于节气门的开度判定进气系统的这种异常。
另一方面，在上述构成中，要将转速控制为目标转速时，不仅能操作节气门，还能操作EGR调整装置。因此，从降低燃料消耗量的观点等来看，能够执行更适当的控制。在涉及的构成中，由于适配工时增大，因此通过强化学习，搜索适当的行动变量的值。但是，即使吸入空气量相同，而在EGR调整装置的状态不同的情况下，在将转速设为目标转速方面适当的节气门的开度不同，所以也难以在将转速控制为目标转速时从节气门的开度判定进气系统有无劣化。于是，在上述构成中，通过以EGR调整装置的状态是预定状态为条件来执行判定处理，能够基于节气门的开度判定有无劣化。
技术方案5.在技术方案1～4中任一项所述的车辆用控制装置中，所述内燃机也可以具备燃料喷射阀作为所述操作部，所述行动变量也可以包括空燃比变量，所述空燃比变量是确定所述内燃机的燃烧室内的混合气的空燃比的变量，所述判定处理也可以包括如下处理：以空燃比变量是预定值为条件，基于所述燃料喷射阀的开阀时间，判定所述燃料喷射阀有无劣化。
若燃料喷射阀劣化，则要喷射预定的燃料所需要的开阀时间趋于延长。因此，例如在目标空燃比恒定的情况下，能够基于燃料喷射阀的开阀时间判定有无劣化。
另一方面，例如对于在使设置于排气通路的催化剂的下游侧的排气特性的控制最优化方面应该如何设每次的燃烧室内的混合气的空燃比，未必清楚。因此，在上述构成中，将空燃比变量作为强化学习的对象，搜索最优值。然而，在该情况下，难以基于燃料喷射阀的开阀时间判定有无异常。于是，在上述构成中，以空燃比变量是预定值为条件，执行判定处理，从而能够基于开阀时间判定燃料喷射阀有无劣化。
技术方案6.根据本公开的一个技术方案，提供一种车辆用控制系统。所述车辆用控制系统具备技术方案1～5中任一项所述的所述处理电路以及所述存储装置，所述处理电路包括搭载于所述车辆的第1执行装置和有别于车载装置的第2执行装置，所述第1执行装置构成为至少执行所述取得处理和所述操作处理，所述第2执行装置构成为至少执行所述更新处理。
在上述构成中，通过由第2执行装置执行更新处理，与第1执行装置执行更新处理的情况相比，能够减轻第1执行装置的运算负荷。
此外，第2执行装置是有别于车载装置的装置意味着第2执行装置不是车载装置。
技术方案7.根据本公开的一个技术方案，提供一种具备技术方案6所述的第1执行装置的车辆用控制装置。
技术方案8.根据本公开的一个技术方案，提供一种具备技术方案6所述的第2执行装置的车辆用学习装置。
附图说明
图1是表示第1实施方式涉及的控制装置以及车辆的驱动系统的构成的图。
图2是表示第1实施方式涉及的怠速(空转)转速控制有关的处理的步骤的流程图。
图3是表示第1实施方式涉及的学习处理的详细的步骤的流程图。
图4是表示第1实施方式涉及的劣化判定处理的步骤的流程图。
图5是表示第2实施方式涉及的劣化判定处理的步骤的流程图。
图6是表示第3实施方式涉及的控制装置执行的处理的步骤的流程图。
图7是表示第3实施方式涉及的学习处理的详细的步骤的流程图。
图8是表示第3实施方式涉及的劣化判定处理的步骤的流程图。
图9是表示第4实施方式涉及的控制系统的构成的图。
图10是表示第4实施方式涉及的控制系统执行的处理的步骤的流程图。
具体实施方式
＜第1实施方式＞
图1中表示本实施方式涉及的车辆VC1的驱动系统以及控制装置的构成。
如图1所示，在内燃机10的进气通路12，从上游侧起依次设置有节气门14和燃料喷射阀16，被吸入到进气通路12的空气和从燃料喷射阀16喷射出的燃料随着进气门18的开阀而向由汽缸20和活塞22划分的燃烧室24流入。在燃烧室24内，燃料与空气的混合气伴随着点火装置26的火花放电而用于燃烧，通过燃烧产生的能量经由活塞22被转换为曲轴28的旋转能。用于了燃烧的混合气随着排气门30的开阀而作为排气(废气)向排气通路32排出。在排气通路32设置有作为净化排气的后处理装置的催化剂34。
曲轴28的旋转动力经由正时链条36传递到进气侧凸轮轴40以及排气侧凸轮轴42。详细而言，曲轴28的旋转动力经由进气门正时可变装置44传递到进气侧凸轮轴40。
在曲轴28上，可经由具备锁止离合器52的变矩器50而以机械方式连结有变速装置60的输入轴62。变速装置60是使作为输入轴62的转速与输出轴64的转速之比的变速比(传动比、齿轮速比)可变的装置。在输出轴64上以机械方式连结有驱动轮66。
控制装置70将内燃机10作为控制对象，操作节气门14、燃料喷射阀16、点火装置26以及进气门正时可变装置44等内燃机10的操作部以控制作为内燃机10的控制量的转矩(torque)和/或排气成分比率等。另外，控制装置70将变矩器50作为控制对象，操作锁止离合器52以控制锁止离合器52的接合状态。另外，控制装置70将变速装置60作为控制对象，操作变速装置60以控制作为其控制量的变速比。此外，在图1中记载了节气门14、燃料喷射阀16、点火装置26、进气门正时可变装置44、锁止离合器52以及变速装置60各自的操作信号MS1～MS6。
控制装置70为了进行控制量的控制，参照由空气流量计80检测的吸入空气量Ga、由节气门传感器82检测的节气门14的开度(节气门开度TA)、曲轴角传感器84的输出信号Scr、和凸轮角传感器85的输出信号Sca。另外，控制装置70参照上游侧检测值Afu和下游侧检测值Afd，上游侧检测值Afu是设置在催化剂34的上游侧的上游侧空燃比传感器86的检测值，下游侧检测值Afd是设置在催化剂34的下游侧的下游侧空燃比传感器88的检测值。另外，控制装置70参照由加速器传感器90检测的加速器踏板92的踏入量(加速器操作量PA)、和由加速度传感器94检测的车辆VC1的前后方向的加速度Gx。
控制装置70具备CPU72、ROM74、可电改写的非易失性存储器(存储装置76)以及外围电路78，它们能够经由局域网79进行通信。在此，外围电路78包括生成规定内部动作的时钟信号的电路、电源电路、复位(reset)电路等。
在ROM74中存储有控制程序74a、学习程序74b以及劣化判定程序74c。另一方面，在存储装置76中存储有关系规定数据DR，关系规定数据DR规定转速NE及目标转速NE*、与节气门开度TA的指令值(节气门开度指令值TA*)及作为进气相位差DIN的指令值的进气相位差指令值DIN*的关系。在此，进气相位差DIN是进气侧凸轮轴40的旋转角度相对于曲轴28的旋转角度之差。另外，在存储装置76中存储有转矩输出映射数据DT。由转矩输出映射数据DT规定的转矩输出映射是以曲轴28的转速NE、填充效率η及点火正时作为输入并输出转矩Trq的映射。
图2中表示本实施方式涉及的控制装置70执行的处理的步骤。图2所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的控制程序74a以及学习程序74b来实现。此外，以下利用开头附加有“S”的数字来表示各处理的步骤编号。
在图2所示的一系列处理中，首先，CPU72判定怠速转速控制(ISC)的执行条件是否成立(S10)。该执行条件例如设作加速器操作量PA为零、和转速NE在预定值以下的逻辑与(AND)为真等条件即可。此外，转速NE由CPU72基于曲轴角传感器84的输出信号Scr来算出。
CPU72在判定为执行条件成立的情况下(S10：是)，取得转速NE以及目标转速NE*作为状态s(S12)。在此，目标转速NE*设为如下转速即可：由CPU72例如在被内燃机10要求的轴转矩大的情况下比该轴转矩小的情况下算出为较大的值。
接着，CPU72按照由关系规定数据DR确定的策略π，设定包括与通过S12的处理取得的状态s相应的节气门开度指令值TA*以及进气相位差指令值DIN*的行动a(S14)。
在本实施方式中，关系规定数据DR是确定行动价值函数Q及策略π的数据。在本实施方式中，行动价值函数Q是表示与状态s及行动a的4维自变量相应的期待收益的值的表(table)形式的函数。另外，策略π确定以下规则：在被给出了状态s时，优先选择自变量成为被给出的状态s的行动价值函数Q中的期待收益的值成为最大的行动a(贪婪行动(greedyaction))，并且也以预定的概率选择除此以外的行动a。
接着，CPU72基于所设定的节气门开度指令值TA*以及进气相位差指令值DIN*，对节气门14输出操作信号MS1来操作节气门开度TA，并且对进气门正时可变装置44输出操作信号MS4来将进气相位差DIN进行反馈控制(S16)。此外，进气相位差DIN是调整内部EGR(Exhaust Gas Recirculation，排气再循环)量的变量，由CPU72基于曲轴角传感器84的输出信号Scr以及凸轮角传感器85的输出信号Sca来算出。
接着，CPU72取得喷射量指令值Q*(S18)。在此，喷射量指令值Q*是由CPU72例如作为在将上游侧检测值Afu控制为目标值上所需的燃料量而算出的值。
然后，CPU72判定从在S10的处理中做出否定判定的状态切换为做出肯定判定的状态的定时和执行了后述的S22的处理的定时中的较晚一方起是否经过了预定期间(S20)。而且，CPU72在判定为经过了预定期间的情况下(S20：是)，更新关系规定数据DR(S22)。
图3中表示S22的处理的详情。
在图3所示的一系列处理中，首先，CPU72取得预定期间内的喷射量指令值Q*的时间序列数据、和状态s以及行动a的时间序列数据(S30)。在图3中，括号中的数字不同的变量表示是在不同的采样定时(sampling timing)的变量的值。例如，喷射量指令值Q*(1)和喷射量指令值Q*(2)是采样定时互不相同的值。另外，将在预定期间内的行动a的时间序列数据定义为行动集合Aj，将在预定期间内的状态s的时间序列数据定义为状态集合Sj。接着，CPU72计算喷射量指令值Q*的时间序列数据的累计值InQ(S32)。
然后，CPU72判定条件(A)是否成立，条件(A)是预定期间内的转速NE与目标转速NE*之差的绝对值在预定值Δ以下这一意思的条件(S34)。CPU72在判定为条件(A)成立的情况下(S34：是)，判定条件(B)是否成立，条件(B)是累计值InQ在高效率侧阈值InQL以下这一意思的条件(S36)。在此，CPU72根据目标转速NE*，可变地设定高效率侧阈值InQL。详细而言，CPU72在目标转速NE*大的情况下，相比于目标转速NE*小的情况下，将高效率侧阈值InQL设定为较大的值。CPU72在判定为条件(B)成立的情况下(S36：是)，对奖励r代入“10”(S38)。
与此相对，CPU72在判定为累计值InQ大于高效率侧阈值InQL的情况下(S36：否)，判定条件(C)是否成立，条件(C)是累计值InQ在低效率侧阈值InQH以上这一意思的条件(S40)。在此，CPU72根据目标转速NE*，可变地设定低效率侧阈值InQH。详细而言，CPU72在目标转速NE*大的情况下，相比于目标转速NE*小的情况下，将低效率侧阈值InQH设定为较大的值。CPU72在判定为条件(C)成立的情况下(S40：是)或在S34的处理中做出否定判定的情况下，对奖励r代入“-10”(S42)。
此外，S36～S42的处理是在能量利用效率大的情况下比在能量利用效率小的情况下给予较大的奖励的处理。
CPU72在完成S38、S42的处理的情况下或在S40的处理中做出否定判定的情况下，更新图1所示的存储于存储装置76的关系规定数据DR。在本实施方式中，使用ε软同策略型蒙特卡洛方法(ε-soft on-policy type Monte Carlo method)。
即，CPU72对由通过上述S30的处理读取到的各状态和对应的行动的组所确定的收益R(Sj,Aj)分别加上奖励r(S44)。在此，“R(Sj,Aj)”是对将状态集合Sj的元素之一作为状态、将行动集合Aj的元素之一作为行动的收益R进行了总括的记载。接着，对于由通过上述S30的处理读取到的各状态和对应的行动的组所确定的收益R(Sj,Aj)的每一个，进行平均化并代入到对应的行动价值函数Q(Sj,Aj)(S46)。在此，关于平均化，只要将通过S44的处理计算出的收益R除以对进行了S44的处理的次数加上预定数所得到的数即可。此外，收益R的初始值设为对应的行动价值函数Q的初始值即可。
接着，CPU72对于通过上述S30的处理读取到的状态，分别将对应的行动价值函数Q(Sj,A)中的、期待收益成为最大值时的节气门开度指令值TA*以及进气相位差指令值DIN*的组即行动代入到行动Aj*(S48)。在此，“A”表示可取的任意的行动。此外，行动Aj*根据通过上述S30的处理读取到的状态的种类而成为各不相同的值，但在此对记载进行简化，用同一标号进行记载。
接着，CPU72对于通过上述S30的处理读取到的状态的每一个，将对应的策略π(Aj|Sj)更新(S50)。即，若将行动的总数设为“|A|”，则将通过S44选择出的行动Aj*的选择概率设为“(1-ε)+ε/|A|”。另外，将行动Aj*以外的“|A|-1”个行动的选择概率分别设为“ε/|A|”。S50的处理是基于通过S46的处理而更新了的行动价值函数Q的处理，由此，规定状态s与行动a的关系的关系规定数据DR以使收益R增加的方式被更新。
此外，CPU72在S50的处理完成的情况下，暂时结束图3所示的一系列的处理。
回到图2，CPU72在S22的处理完成的情况下或在S10、S20的处理中做出否定判定的情况下，暂时结束图2所示的一系列的处理。此外，S10～S20的处理通过CPU72执行控制程序74a来实现，S22的处理通过CPU72执行学习程序74b来实现。另外，在车辆VC1出厂时的关系规定数据DR成为通过在测试台(test bench)上执行与图2所示的处理同样的处理从而预先学习过的数据。
图4中表示由控制装置70执行的与进气系统有无劣化的判定有关的处理的步骤。图4所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的劣化判定程序74c来实现。
在图4所示的一系列处理中，CPU72首先判定怠速转速控制的执行条件是否成立(S60)。而且，CPU72在判定为执行条件成立的情况下(S60：是)，判定劣化判定处理的执行条件是否成立(S62)。在此，劣化判定处理的执行条件例如设为如下意思的条件即可：在内燃机10的累计运转时间成为预定时间的整数倍这一意思的条件和/或车辆VC1的行驶距离成为预定距离的整数倍这一意思的条件成立后尚未完成有无劣化的判定。此外，预定距离例如优选设为5000千米以上，更优选设为1万千米以上。
接着，CPU72判定进气相位差DIN在下限值DINL以上且在上限值DINH以下、目标转速NE*成为基准速度NE0的状态是否持续了预定时间(S64)。而且，CPU72在判定为该状态持续了预定时间的情况下(S64：是)，判定节气门开度指令值TA*是否在上限开度TAH以下(S66)。该处理是判定进气系统是否有异常的处理。即，例如在由于沉积物沉积于节气门14和/或进气通路12而引起进气系统产生劣化的情况下，进气通路12的流路截面面积减小，所以吸入空气量Ga也与节气门开度TA成比例地减小。因此，将转速NE反馈控制为目标转速NE*时的节气门开度指令值TA*相比于进气系统劣化前而增大。为此，使用上限开度TAH判定有无劣化。
CPU72在判定为节气门开度指令值TA*超过上限开度TAH的情况下(S66：否)，判定为进气系统产生了劣化(S68)，通过操作图1所示的警告灯98，执行将产生了劣化这一意思通知给用户的报知处理(S70)。
此外，CPU72在S70的处理完成的情况下或在S66的处理中做出肯定判定的情况下、在S60、S62、S64的处理中做出否定判定的情况下，暂时结束图4所示的一系列的处理。
在此，对本实施方式的作用及效果进行说明。
CPU72在怠速转速控制时，不仅将节气门开度TA作为操作量，还将进气相位差DIN作为操作量，从而将转速NE控制为目标转速NE*。由此，若与将进气相位差指令值DIN*固定而执行怠速转速控制的情况相比，能够执行降低了燃料消耗量的控制。但是，在将进气相位差指令值DIN*加入到操作量的情况下，适配工时增大。于是，在本实施方式中，使用通过强化学习而学习过的关系规定数据DR执行怠速转速控制。
再者，CPU72按照策略π，设定包括节气门开度指令值TA*以及进气相位差指令值DIN*的行动a。在此，CPU72基本上基于关系规定数据DR中所规定的行动价值函数Q选择使期待收益最大的行动a。但是，CPU72通过以预定的概率“ε-ε/|A|”选择使期待收益最大化的行动a以外的行动，进行使期待收益最大化的行动a的搜索。由此，能够通过强化学习将关系规定数据DR向反映了内燃机10的个体差异和经年变化的适当的数据更新。
但是，如上所述，不仅将节气门开度TA、还将进气相位差DIN也作为怠速转速控制的操作量的情况下，与仅将节气门开度TA作为操作量的情况相比，很可能无法精确地进行进气系统的劣化判定。这是因为，在仅将节气门开度TA作为怠速转速控制的操作量的情况下，虽然在进气系统产生了劣化的情况下与没有产生劣化的情况相比节气门开度TA会增大，但是若使进气相位差DIN可变，则节气门开度TA取决于进气相位差DIN。
于是，在本实施方式中，以目标转速NE*是基准速度NE0且进气相位差DIN是下限值DINL以及上限值DINH的范围内的值为条件，基于节气门开度指令值TA*判定进气系统有无劣化。如此，通过设置强化学习的行动变量中的进气相位差DIN成为预定范围内的值这一意思的条件，能够使条件统一地判定有无劣化。
＜第2实施方式＞
以下，参照附图，以与第1实施方式的不同之处为中心，对第2实施方式进行说明。
图5中表示本实施方式涉及的判定进气系统有无劣化有关的处理的步骤。图5所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的劣化判定程序74c来实现。此外，在图5中，为方便起见，对与图4所示的处理对应的处理标记同一步骤编号。
在图5所示的一系列处理中，CPU72首先判定是否是IG信号从接通(ON)状态切换到断开(OFF)状态时，IG信号是与点火开关的操作相应的信号(S80)。而且，CPU72在判定为是IG信号从接通状态切换到断开状态时的情况下(S80：是)，执行S62的处理，并在做出肯定判定的情况下，对进气相位差指令值DIN*代入基准相位差DIN0，并且，对目标转速NE*代入基准速度NE0(S82)。
接着，CPU72计算节气门开度指令值TA*作为用于将转速NE反馈控制为目标转速NE*的操作量(S84)。即，在本实施方式中，当劣化判定处理的执行条件成立时，不使用关系规定数据DR，执行怠速转速控制，而将转速NE反馈控制为目标转速NE*。在本实施方式中，将如下输出值之和设为节气门开度指令值TA*：对转速NE与目标转速NE*之差乘以比例增益Kp1的比例元素的输出值、将对该差乘以积分增益Ki1得到的值进行累计的积分元素的输出值、和对该差的时间微分值乘以微分增益Kd1的微分元素的输出值。
然后，CPU72对节气门14输出操作信号MS1以将节气门开度TA反馈控制为节气门开度指令值TA*，并且，对进气门正时可变装置44输出操作信号MS4以将进气相位差DIN反馈控制为进气相位差指令值DIN*(S86)。然后，CPU72执行S66～S70的处理。
此外，CPU72在完成S70的处理的情况下或在S66的处理中做出肯定判定的情况下、在S80、S62的处理中做出否定判定的情况下，使内燃机10停止(S88)，暂时结束图5所示的一系列的处理。
如此，在本实施方式中，不在IG信号变为断开时立即使内燃机10停止，而在IG信号变为断开时执行劣化判定处理。然后在劣化判定处理结束时使内燃机10停止。而且，在执行劣化判定处理的情况下，不根据关系规定数据DR，而将进气相位差DIN以及目标转速NE*固定来执行怠速转速控制，从而能够高精度地满足判定有无劣化的前提条件，进而能够提高判定有无劣化的判定精度。
根据以上说明的本实施方式，还能获得以下所述的作用效果。
(1)在IG信号为断开状态时判定了有无劣化。在IG信号为断开状态的情况下，与接通状态相比，对于内燃机10的要求减小，所以较易执行将进气相位差DIN和/或目标转速NE*固定的所谓的主动控制。
＜第3实施方式＞
以下，参照附图，以与第1实施方式的不同之处为中心，对第3实施方式进行说明。
在本实施方式中，作为强化学习，使用策略梯度法。
另外，在本实施方式中，不限于怠速转速控制，将节气门开度指令值TA*、点火正时的延迟量aop、基本喷射量Qbse以及上游侧检测值Afu的目标值Afu*作为一般的行动变量，执行强化学习。在此，延迟量aop是相对于预先确定的基准点火正时的延迟量，基准点火正时是MBT点火正时和爆震临界点中的延迟侧的正时。MBT点火正时是获得最大转矩的点火正时(最大转矩点火正时)。另外，爆震临界点是在使用爆震临界高的高辛烷值燃料时能够在设想的最佳的条件下将爆震控制(KCS)在能容许的等级以内的点火正时的提前界限值。另外，基本喷射量Qbse是用于将上游侧检测值Afu控制为目标值Afu*的开环操作量。
图6中表示本实施方式涉及的控制装置70执行的处理的步骤。图6所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的控制程序74a以及学习程序74b来实现。
在图6所示的一系列处理中，首先，CPU72取得加速器操作量PA、转速NE、填充效率η以及下游侧检测值Afd的时间序列数据作为状态s(S90)。在本实施方式中，将加速器操作量PA、转速NE、填充效率η以及下游侧检测值Afd的各时间序列数据设为按等间隔采样得到的6个值。
然后，CPU72对确定策略π的函数逼近器的输入变量代入状态s(S92)。详细而言，CPU72设“i＝1～6”，对输入变量x(i)代入加速器操作量PA(i)，对输入变量x(6+i)代入转速NE(i)，对输入变量x(12+i)代入填充效率η(i)，对输入变量x(18+i)代入下游侧检测值Afd。
然后，CPU72对确定策略的函数逼近器代入输入变量x(1)～x(24)(S94)。在本实施方式中，将策略π设为确定可取确定行动的各操作量的概率的多元高斯分布。在此，多元高斯分布的平均值μ(1)表示节气门开度指令值TA*的平均值，平均值μ(2)表示延迟量aop的平均值，平均值μ(3)表示基本喷射量Qbse的平均值，平均值μ(4)表示目标值Afu*的平均值。另外，在本实施方式中，将多元高斯分布的协方差矩阵设为对角矩阵，与各平均值μ(i)对应的方差σ(i)可能成为各不相同的值。
在本实施方式中，由中间层的层数为“p-1”个且各中间层的激励函数h1～hp-1为双曲正切函数、输出层的激励函数hp为ReLU的神经网络构成平均值μ(i)。在此，ReLU是将输入和“0”中的不小的一方输出的函数。另外，若设m＝2、3、……、p，则第“m-1”个中间层的各节点的值通过向激励函数hm输入由系数w(m)规定的线性映射的输出而生成。在此，n1、n2、……、np-1分别为第1、第2、……、第p-1中间层的节点数量。例如，第1中间层的各节点的值通过将对由系数w(1)ji(j＝0～n1，i＝0～18)规定的线性映射输入了上述输入变量x(1)～x(24)时的输出向激励函数h1输入而生成。顺便一提，w(1)j0等是偏置参数，将输入变量x(0)定义为“1”。
上述神经网络将激励函数hp的4个输出分别作为平均值μ(i)。
另外，在本实施方式中，将方差σ(i)设为在对函数f输入了利用由系数wTik(i＝1～4，k＝1～24)规定的线性映射将输入变量x(1)～x(24)进行线性变换所得到的值中的每一个时的函数f的值。在本实施方式中，例示ReLU作为函数f。
接着，CPU72基于由通过S94的处理计算出的平均值μ(i)以及方差σ(i)所定义的策略π，决定行动a(S96)。在此，选择平均值μ(i)的概率最高，并且，选择平均值μ(i)的概率在方差σ(i)小的情况下比方差σ(i)大的情况下增大。
接着，CPU72通过利用反馈校正系数KAF校正基本喷射量Qbse，计算喷射量指令值Q*，反馈校正系数KAF是用于将上游侧检测值Afu反馈控制为目标值Afu*的操作量(S98)。
然后，CPU72对节气门14输出操作信号MS1以操作节气门开度TA，对燃料喷射阀16输出操作信号MS2以操作燃料喷射量，对点火装置26输出操作信号MS3以操作点火正时(S100)。CPU72在被进行周知的爆震控制(KCS)等的情况下，将点火正时设为通过KCS对使基准点火正时延迟了延迟量aop后的值进行反馈校正而得到的值。在此，基准点火正时由CPU72根据曲轴28的转速NE以及填充(充气)效率η可变地设定。此外，填充效率η由CPU72基于转速NE以及吸入空气量Ga算出。
然后，CPU72执行用于将关系规定数据DR更新的处理(S22a)，并暂时结束图6所示的一系列的处理。
图7中表示S22a的处理的详情。
CPU72除了取得行动a以及状态s，还取得转矩指令值Trq*、转矩Trq、加速度Gx以及下游侧检测值Afd(S110)。在此，CPU72通过将转速NE、填充效率η以及点火正时输入到转矩输出映射来计算转矩Trq。另外，CPU72根据加速器操作量PA设定转矩指令值Trq*。
接着，CPU72判定以下的条件(F)～条件(H)的逻辑与(AND)是否为真(S112)。
条件(F)：转矩Trq与转矩指令值Trq*之差的绝对值在规定量ΔTrq以下这一意思的条件。
条件(G)：加速度Gx在下限值GxL以上且在上限值GxH以下这一意思的条件。
条件(H)：下游侧检测值Afd在浓(rich)侧阈值AfR以上且在淡(lean)侧阈值AfL以下这一意思的条件。
而且，CPU72在判定为逻辑与是真的情况下(S112：是)，对奖励r代入“10”(S114)，另一方面，在判定为是假的情况下(S112：否)，对奖励r代入“-10”(S116)。CPU72在S114、S116的处理完成的情况下，对收益R加上奖励r(S118)。此外，S112～S114、S116的处理是在驾驶性能满足基准的情况下比驾驶性能不满足基准的情况下给予较大的奖励的处理以及在排气特性满足基准的情况下比排气特性不满足基准的情况下给予较大的奖励的处理。
然后，CPU72判定变量t是否达到了预定时间T-1(S120)。CPU72在判定为变量t没有达到预定时间T-1的情况下(S120：否)，将变量t增量加1(S122)。
与此相对，CPU72在判定为变量t达到预定时间T-1的情况下(S120：是)，对收益Ri代入收益R后，将收益R初始化，进而将变量t初始化(S124)。接着，CPU72判定变量i是否达到了预定值N(S126)。而且，CPU72在判定为变量i没有达到预定值N的情况下(S126：否)，将变量i增量加1(S128)。
与此相对，CPU72在判定为变量i达到预定值N的情况下(S126：是)，利用策略梯度法，将规定策略π的变量w(1)～w(p)和系数wT更新(S130)。在图7中，将规定策略π的变量w(1)～w(p)和系数wT总括地记载为参数θ。
在此，将变量t成为0～T-1为止的、状态s、行动a以及奖励r的T个组设为轨迹(trajectory)ht，将概率pθ(ht)设为按照由参数θ规定的策略π而成为轨迹ht的概率pθ(ht)。在此，“pθ(ht)·Rt”的基于轨迹ht的积分值是收益R(ht)的期待值(期待收益J)，以使该积分值最大化的方式更新参数θ。这能够通过将参数θ的各分量的更新量设为与由该分量将上述期待收益J进行偏微分所得到的值成比例的量来实现。
在此，若使用状态s0、s1、……sT和行动a0、a1、……aT，则概率pθ(ht)成为
pθ(ht)＝p(s0)·p(s1|s0,a0)·π(a0|s0)·p(s2|s1,a1)·π(a1|s1)…p(sT|sT-1,aT-1)·π(aT-1|sT-1)。
其中，初始概率p(s0)是成为状态s0的概率，转移概率p(st+1|st,at)是在状态st、行动at时从状态st转移到状态st+1的概率。
因此，期待收益J的偏微分成为下记的式(c1)。
在此，关于概率pθ(ht)，是无法得知的，所以将上述式(c1)中的积分替换为多个(在此为预定值N个)轨迹ht的平均值。
由此，期待收益J的参数θ的各分量的偏微分成为如下的值：将策略π(at|st)的对数的参数θ的对应的分量的偏微分系数的“t＝0～T-1”中的之和与收益Ri的乘积对于预定值N个收益Ri相加，并除以预定值N所得到的值。
而且，CPU72将对参数θ的各分量的期待收益J的偏微分系数乘以学习率α所得的值设为参数θ中的对应的分量的更新量。
此外，S118～S130的处理通过执行存储于ROM74的学习程序74b中的、以状态s0、s1、…、行动a0、a1、…及奖励r为输入并输出更新后的参数θ的更新映射的执行指令来实现。
CPU72在S130的处理完成的情况下，将变量i以及收益R1～RN初始化(S132)。
此外，CPU72在S122、S128、S132的处理完成的情况下，暂时结束图7所示的一系列的处理。
图8中表示本实施方式涉及的判定燃料喷射阀16有无劣化有关的处理的步骤。图8所示的处理通过由CPU72例如按预定周期反复执行存储于ROM74的劣化判定程序74c来实现。此外，在图8中，为方便起见，对与图5所示的处理对应的处理标记同一步骤编号。
在图8所示的一系列处理中，CPU72在判定为劣化判定处理的执行条件成立的情况下(S62：是)，执行S84的处理。然后，CPU72通过利用反馈校正系数KAF校正基本喷射量Qbse0，计算喷射量指令值Q*，反馈校正系数KAF是用于将上游侧检测值Afu反馈控制为基准值Afs的操作量(S98a)。在此，基本喷射量Qbse0是与关系规定数据DR无关而与填充效率η成比例的值，成为用于将上游侧检测值Afu开环控制为基准值Afs的操作量。
然后，CPU72为了将节气门开度TA反馈控制为节气门开度指令值TA*而输出操作信号MS1来操作节气门14，并且，为了将从燃料喷射阀16喷射的燃料量设为与喷射量指令值Q*相应的量而输出操作信号MS2来操作燃料喷射阀16(S140)。
然后，CPU72以转速NE以及反馈校正系数KAF收敛为条件，判定反馈校正系数KAF是否在上限值KAFH以下(S142)。该处理是判定燃料喷射阀16是否产生了劣化的处理。这是鉴于以下情况的处理：在沉积物沉积于燃料喷射阀16的喷射孔，产生喷射孔的流路截面面积减小的劣化的情况下，基于反馈校正系数KAF的喷射量的增量校正增大。
CPU72在判定为反馈校正系数KAF超过上限值KAFH的情况下(S142：否)，执行S68、S70的处理。
CPU72在S70的处理完成的情况下或在S142的处理中做出肯定判定的情况下、在S80、S62的处理中做出否定判定的情况下，使内燃机10停止(S88)，暂时结束图8所示的一系列的处理。
在此，对本实施方式的作用及效果进行说明。
CPU72取得加速器操作量PA、转速NE、填充效率η以及下游侧检测值Afd的时间序列数据，按照策略π，设定包括节气门开度指令值TA*、延迟量aop、基本喷射量Qbse以及目标值Afu*的行动a。在此，基本喷射量Qbse不限于成为将由目标值Afu*确定的比例系数乘以填充效率η所得到的值。然而，由此，例如在加速器操作量PA大幅变化的过渡时，对于作为在设为目标值Afu*上的开环控制的操作量的基本喷射量Qbse，能够通过强化学习找出适当的值。同样地，目标值Afu*不必限于设定在浓侧上限值AfdR与淡侧上限值AfdL之间。然而，由此，能够在将下游侧检测值Afd控制在浓侧上限值AfdR与淡侧上限值AfdL之间上，通过强化学习找出适当的目标值Afu*。
如此，在本实施方式中，通过将基本喷射量Qbse和目标值Afu*也作为行动变量，能够通过搜索找出在以催化剂34的下游的排气成分为目标上适当的控制。
但是，在该情况下，燃料喷射阀16的劣化的影响怎样反映于反馈校正系数KAF变得不明确。于是，在本实施方式中，在IG信号为断开状态时，执行怠速转速控制，将反馈校正系数KAF设为对于基本喷射量Qbse0的反馈校正量。由此，反馈校正系数KAF成为补偿基于基本喷射量Qbse0的上游侧检测值Afu的向基准值Afs的控制误差的值，所以反馈校正系数KAF与燃料喷射阀16的劣化程度的关系变得明确。因此，能够高精度地判定燃料喷射阀16有无劣化。
根据以上说明的本实施方式，还能获得以下的作用及效果。
(2)通过对关系规定数据DR使用函数逼近器，即使状态和/或行动为连续变量，也能够容易地处理。
(3)使行动价值函数Q的自变量包含了加速器操作量PA的时间序列数据。由此，与关于加速器操作量PA仅将单一的采样值作为自变量的情况相比，能够针对加速器操作量PA的各种变化细致地调整行动a的值。
(4)使行动价值函数Q的自变量包含了节气门开度指令值TA*本身。由此，例如与将对节气门开度指令值TA*的行为进行建模得到的模型式的参数等作为与节气门开度有关的自变量的情况相比，容易提高基于强化学习的搜索的自由度。
＜第4实施方式＞
以下，参照附图，以与第3实施方式的不同之处为中心，对第4实施方式进行说明。
在本实施方式中，在车辆VC1之外执行关系规定数据DR的更新。
图9表示在本实施方式中执行强化学习的控制系统的构成。此外，在图9中，为方便起见，对与图1所示的部件对应的部件标记同一标号。
图9所示的车辆VC1内的控制装置70中的ROM74存储有控制程序74a，但没有存储学习程序74b。另外，控制装置70具备通信机77。通信机77是用于经由车辆VC1外部的网络100与数据解析中心110进行通信的设备。
数据解析中心110解析从多个车辆VC1、VC2、……发送的数据。数据解析中心110具备CPU112、ROM114、可电改写的非易失性存储器(存储装置116)、外围电路118以及通信机117，它们能够通过局域网119进行通信。在ROM114中存储有学习程序114a，在存储装置116中存储有关系规定数据DR。
图10表示本实施方式涉及的强化学习的处理步骤。图10的(a)所示的处理通过图9所示的CPU72执行存储于ROM74的控制程序74a来实现。另外，图10的(b)所示的处理通过由CPU112执行存储于ROM11的学习程序114a来实现。此外，在图10中，为方便起见，对与图6所示的处理对应的处理标记同一步骤编号。以下，按照强化学习的时间序列，说明图10所示的处理。
在图10的(a)所示的一系列处理中，CPU72执行S90～S100的处理，通过操作通信机77，发送进行关系规定数据DR的更新处理所需的数据(S150)。在此，成为发送对象的数据包括：在S90的处理中所设定的状态s、在S96的处理中所设定的行动a、和转矩指令值Trq*、转矩Trq、加速度Gx以及下游侧检测值Afd。
对此，如图10的(b)所示，CPU112接收被发送的数据(S160)，基于接收到的数据更新关系规定数据DR(S22a)。然后，CPU112判定是否存在要发送的被更新了的关系规定数据DR(S162)，在判定为存在的情况下(S162：是)，操作通信机117，向发送了通过S160的处理接收到的数据的车辆VC1发送关系规定数据DR(S164)。此外，要发送的被更新了的关系规定数据DR例如设为更新次数在预定次数以上的数据即可。CPU112在完成S164的处理的情况下或在S162的处理中做出否定判定的情况下，暂时结束图10的(b)所示的一系列的处理。
对此，如图10的(a)所示，CPU72判定是否存在更新数据(S152)，在判定为存在的情况下(S152：是)，接收被更新了的关系规定数据DR(S154)。然后，CPU72将在S96的处理中利用的关系规定数据DR改写成接收到的关系规定数据DR(S156)。此外，CPU72在完成S156的处理的情况下或在S152的处理中做出否定判定的情况下，暂时结束图10的(a)所示的一系列的处理。
如此，根据本实施方式，在车辆VC1的外部进行关系规定数据DR的更新处理，所以能够减轻控制装置70的运算负荷。再者，例如如果在S90的处理中接收来自多个车辆VC1、VC2、……的数据而进行S22a的处理，则能够容易地增大用于进行学习的数据的数量。
＜对应关系＞
上述实施方式中的事项与上述“发明内容”一栏中记载的事项的对应关系为如下所述。以下，按“发明内容”一栏中记载的技术方案的编号表示了对应关系。
[1]执行装置即处理电路对应于CPU72以及ROM74，存储装置对应于存储装置76。取得处理对应于S12、S18、S90、S110的处理，操作处理对应于S16、S100的处理。奖励计算处理对应于图3的S34～S42的处理、或图7的S112～S116的处理。更新处理对应于图3的S44～S50的处理、或图7的S118～S130的处理。更新映射对应于由学习程序74b中的执行S44～S50的处理的指令所规定的映射、或由执行S118～S130的处理的指令所规定的映射。判定处理对应于S66、S68的处理、或S142、S68的处理。
[2]主动处理对应于S86的处理、或S140的处理。
[3]判定处理对应于图5以及图8的处理。
[4]EGR调整装置对应于进气门正时可变装置44。
[5]空燃比变量对应于目标值Afu*。
[6～8]第1执行装置对应于CPU72以及ROM74，第2执行装置对应于CPU112以及ROM114。
＜其他实施方式＞
此外，本实施方式可以通过如以下那样进行变更来实施。本实施方式以及以下的变更例可以在技术上不矛盾的范围内相互组合来实施。
[关于行动变量]
·在图2的处理中，作为调整EGR量的变量，使用了进气相位差DIN，但不限于此。例如在如下述“关于EGR量调整装置”一栏中记载的那样，内燃机10具备排气门正时可变装置的情况下，也可以使用表示排气门30的气门特性的变量作为调整EGR量的变量。另外，例如在如下述“关于EGR量调整装置”一栏中记载的那样，内燃机10具备使排气通路32的排气流出到进气通路12的EGR通路的情况下，也可以使用与调整经由EGR通路流出到进气通路12的排气的流量的调整装置的操作有关的变量。
·在图2的处理中，将行动变量设为了与节气门的开度有关的变量和EGR变量的组，EGR变量是与进气门正时可变装置44等EGR量调整装置的操作有关的变量，但不限于此。例如，也可以除了与节气门的开度有关的变量和EGR变量这两个变量之外还包括与点火正时有关的变量。
·在图6的处理中，作为作为行动变量的与节气门的开度有关的变量，例示了节气门开度指令值TA*，但不限于此。例如，也可以用浪费时间(停滞时间)以及二阶滞后滤波器来表现相对于加速器操作量PA的节气门开度指令值TA*的响应性，并将浪费时间和规定二阶滞后滤波器的两个变量的共计3个变量作为与节气门的开度有关的变量。但是，在该情况下，状态变量优选设为加速器操作量PA的每单位时间的变化量以取代加速器操作量PA的时间序列数据。
·在图6的处理中，作为作为行动变量的与点火正时有关的变量，例示了延迟量aop，但不限于此。例如，也可以是被作为KCS的校正对象的点火正时本身。
·在图6的处理中，作为与喷射量有关的变量，例示了基本喷射量Qbse，但不限于此。例如也可以设为不执行空燃比反馈控制，使喷射量指令值Q*包含于行动变量。在该情况下，喷射量指令值Q*也是确定燃烧室24内的混合气的空燃比的变量，所以也成为空燃比变量。
·在图6的处理中，作为行动变量，例示了与节气门的开度有关的变量、与点火正时有关的变量、与喷射量有关的变量、和与空燃比控制有关的变量的组，但不限于此。例如关于它们4个，也可以仅采用3个，或仅采用2个，或仅采用1个。
·在如“关于内燃机”一栏中记载的那样是压缩着火式的内燃机的情况下，使用与喷射量有关的变量代替与节气门的开度有关的变量、使用与喷射正时有关的变量代替与点火正时有关的变量即可。此外，优选除了与喷射正时有关的变量之外，还加入与1个燃烧循环(cycle)中的喷射次数有关的变量和/或与1个燃烧循环内的用于一个汽缸的在时间序列上相邻的两个燃料喷射中的一方的结束定时与另一方的开始定时之间的时间间隔有关的变量。
[关于状态]
·在图6以及图10的处理中，将加速器操作量PA的时间序列数据设为了包括按等间隔采样得到的6个值的数据，但不限于此。只要是包括在互不相同的采样定时的2个以上的采样值的数据即可，此时，更优选为包括3个以上的采样值的数据、采样间隔为等间隔的数据。
·作为与加速器操作量有关的状态变量，不限于加速器操作量PA的时间序列数据，例如，如“关于行动变量”一栏中记载的那样，也可以是加速器操作量PA的每单位时间的变化量等。
·在图6以及图10的处理中，将转速NE的时间序列数据设为了包括按等间隔采样得到的6个值的数据，但不限于此。只要是包括在互不相同的采样定时的2个以上的采样值的数据即可，此时，更优选为包括3个以上的采样值的数据、采样间隔为等间隔的数据。
·在图6以及图10的处理中，将填充效率η的时间序列数据设为了包括按等间隔采样得到的6个值的数据，但不限于此。只要是包括在互不相同的采样定时的2个以上的采样值的数据即可，此时，更优选为包括3个以上的采样值的数据、采样间隔为等间隔的数据。
·在图6以及图10的处理中，将下游侧检测值Afd的时间序列数据设为了包括按等间隔采样得到的6个值的数据，但不限于此。只要是包括在互不相同的采样定时的2个以上的采样值的数据即可，此时，更优选为包括3个以上的采样值的数据、采样间隔为等间隔的数据。
·在图6以及图10的处理中，不必使用加速器操作量PA、转速NE、填充效率η以及下游侧检测值Afd这4个的时间序列数据，关于它们4个，也可以仅使用它们中的3个，或仅使用2个，或仅使用1个。另外，在使用多个变量的时间序列数据的情况下，它们各个变量的时间序列数据的采样数量也不必相同。
[关于关系规定数据]
·在上述实施方式中，将行动价值函数Q设为了表形式的函数，但不限于此。例如也可以使用函数逼近器。
[关于操作处理]
·例如在如“关于关系规定数据”一栏中记载的那样将行动价值函数设为函数逼近器的情况下，通过将成为上述实施方式中的表形式的函数的自变量的关于行动的离散的值的全部组与状态s一起输入到行动价值函数Q，确定使行动价值函数Q最大化的行动a即可。即，例如在操作中主要采用所确定的行动a，并且也以预定的概率选择除此以外的行动即可。
[关于更新映射]
·在S44～S50的处理中，例示了利用ε软同策略型蒙特卡洛方法的处理，但不限于此。例如也可以是利用异策略型(off-policy type)蒙特卡洛方法的处理。不过，也不限于蒙特卡洛方法，例如也可以使用异策略型TD(Temporal-difference，时序分差)法，另外例如也可以使用如SARSA(state-action-reward-state'-action')法的同策略型TD法，另外例如作为同策略型的学习，也可以使用资格迹方法(eligibility trace method)。
·不限于仅将行动价值函数Q和策略π中的某一方作为基于奖励r的直接的更新对象。例如，也可以如Actor Critic(演员评判家)法那样对行动价值函数Q和策略π分别进行更新。另外，在Actor Critic法中，不限于此，例如也可以代替行动价值函数Q而将价值函数V作为更新对象。
[关于奖励计算处理]
·在图3的处理中，在满足条件(A)和条件(B)的情况下、在满足条件(A)且不满足条件(B)和条件(C)的情况下、以及在不满足条件(A)或者满足条件(C)的情况下，分别给予了不同的奖励，但不限于此。例如也可以，根据满足条件(A)和不满足条件(C)的逻辑与是否为真，执行S38和S42中的某个处理。
·作为在能量利用效率在效率下限值以上的情况下比该能量利用效率低于效率下限值的情况下给予较大的奖励的处理，不限于根据是否满足上述条件(C)而给予奖励的处理。例如，也可以是在车辆VC1在预定道路上行驶的情况下的燃料消耗量在消耗上限值以下的情况下比该燃料消耗量超过消耗上限值的情况下给予较大的奖励的处理。
·作为奖励计算处理，不限于如下处理中的某一个：在能量利用效率满足基准的情况下比该能量利用效率不满足基准的情况下给予较大的奖励r的处理；在满足与驾驶性能有关的基准的情况下比不满足该基准的情况下给予较大的奖励的处理；和在排气特性满足基准的情况下比该排气特性不满足基准的情况下给予较大的奖励的处理。可以包括以下的3个处理中的1个、2个或者3个：在满足与驾驶性能有关的基准的情况下比不满足该基准的情况下给予较大的奖励的处理；在能量利用效率满足基准的情况下比该能量利用效率不满足基准的情况下给予较大的奖励的处理；和在排气特性满足基准的情况下比该排气特性不满足基准的情况下给予较大的奖励的处理。
·在图7的处理中，根据条件(F)～条件(H)的逻辑与是否为真而给予了奖励，但不限于此。例如，也可以执行根据是否满足条件(F)来给予奖励的处理、根据是否满足条件(G)来给予奖励的处理、和根据是否满足条件(H)来给予奖励的处理。另外，例如关于根据是否满足条件(F)来给予奖励的处理、根据是否满足条件(G)来给予奖励的处理、和根据是否满足条件(H)来给予奖励的处理这3个处理，也可以仅执行它们中的某一个处理，或仅执行它们中的某两个处理。
[关于EGR调整装置]
·在上述实施方式中，作为EGR量调整装置，例示了进气门正时可变装置44，但不限于此。例如，也可以是使排气门30的气门特性可变的排气门正时可变装置。另外，例如也可以，内燃机10具备使排气通路32的排气流出到进气通路12的EGR通路，将调整经由EGR通路流出到进气通路12的排气的流量的气门、泵等调整装置作为EGR量调整装置。
[关于车辆用控制系统]
·在图10所示的例子中，由数据解析中心110执行了S22a的全部处理，但不限于此。例如也可以，在数据解析中心110中，执行S118～S130的处理，但不执行奖励的计算处理即S112～S116的处理，而在S150的处理中发送S114、S116的处理的结果。
·作为车辆用控制系统，不限于由控制装置70以及数据解析中心110构成的系统。例如，也可以使用用户携带的便携终端代替数据解析中心110，由控制装置70以及便携终端构成车辆用控制系统。另外，例如也可以由控制装置70、便携终端以及数据解析中心110构成系统。这能够通过在图10中例如由便携终端执行S96的处理来实现。
[关于执行装置]
·作为执行装置，不限于具备CPU72(112)和ROM74(114)而执行软件处理的装置。例如，也可以具备对在上述实施方式中所执行的软件处理的至少一部分进行处理的例如ASIC等专用的硬件电路。即，执行装置是以下的(a)～(c)中的某个构成即可。(a)具备按照程序执行上述处理的全部的处理装置、和存储程序的ROM等程序存储装置。(b)具备按照程序执行上述处理的一部分的处理装置以及程序存储装置、和执行其余处理的专用硬件电路。(c)具备执行上述处理的全部的专用硬件电路。在此，具备处理装置以及程序存储装置的软件执行装置、和专用硬件电路也可以为多个。即，上述处理通过具备一个或多个软件执行装置以及一个或多个专用的硬件电路中的至少一方的处理电路(processingcircuitry)执行即可。程序存储装置即计算机可读介质包括能够由通用或者专用的计算机访问的所有的可利用的介质。
[关于存储装置]
·在上述实施方式中，将存储关系规定数据DR的存储装置与存储学习程序74b和控制程序74a的存储装置(ROM74)设为有别的存储装置，但不限于此。
[关于内燃机]
·作为内燃机，不限于具备向进气通路12喷射燃料的进气口喷射阀作为燃料喷射阀的内燃机，也可以是具备直接向燃烧室24喷射燃料的缸内喷射阀的内燃机，另外，例如也可以是具备进气口喷射阀和缸内喷射阀双方的内燃机。
·作为内燃机，不限于火花点火式内燃机，例如也可以是使用轻油等作为燃料的压缩着火式内燃机等。
[关于车辆]
·作为车辆，不限于推力生成装置仅为内燃机的车辆，例如也可以是具备内燃机和旋转电机的所谓的混合动力车辆。另外，例如也可以是不具备内燃机而具备旋转电机作为推力生成装置的所谓的电动汽车和燃料电池车。

Claims (7)

1.一种车辆用控制装置，
具备处理电路以及存储装置，
在所述存储装置中存储有关系规定数据，所述关系规定数据是规定车辆的状态与行动变量的关系的数据，所述行动变量是与搭载于所述车辆的内燃机的操作部的操作有关的变量，
所述处理电路构成为执行：
取得处理，取得基于传感器的检测值的所述车辆的状态；
操作处理，基于由所述关系规定数据和通过所述取得处理所取得的所述车辆的状态而确定的所述行动变量的值，操作所述操作部；
奖励计算处理，基于通过所述取得处理所取得的所述车辆的状态，给予奖励，且在所述车辆的特性满足基准的情况下所给予的所述奖励大于在所述车辆的特性不满足所述基准的情况下所给予的所述奖励；
更新处理，使用通过所述取得处理所取得的所述车辆的状态、所述操作部的操作中所使用了的所述行动变量的值、和与该操作对应的所述奖励，作为向预先确定的更新映射的输入，更新所述关系规定数据；以及
判定处理，以所述行动变量中的至少一个等于预先确定的值为条件而执行，判定所述内燃机有无劣化，
所述更新映射是输出以使按照所述关系规定数据来操作所述操作部的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据的映射，
所述内燃机具备节气门和构成为调整排气再循环量的排气再循环调整装置作为所述操作部，
所述操作处理包括操作所述节气门和所述排气再循环调整装置以将所述内燃机的曲轴的转速控制为目标转速的处理，
所述行动变量包括与所述节气门的开度有关的变量和排气再循环变量，所述排气再循环变量是操作所述排气再循环调整装置所用的变量，
所述判定处理包括如下处理：以所述排气再循环调整装置处于预定状态为条件，基于所述节气门的开度，判定所述内燃机的进气系统有无劣化。
2.一种车辆用控制装置，
具备处理电路以及存储装置，
在所述存储装置中存储有关系规定数据，所述关系规定数据是规定车辆的状态与行动变量的关系的数据，所述行动变量是与搭载于所述车辆的内燃机的操作部的操作有关的变量，
所述处理电路构成为执行：
取得处理，取得基于传感器的检测值的所述车辆的状态；
操作处理，基于由所述关系规定数据和通过所述取得处理所取得的所述车辆的状态而确定的所述行动变量的值，操作所述操作部；
奖励计算处理，基于通过所述取得处理所取得的所述车辆的状态，给予奖励，且在所述车辆的特性满足基准的情况下所给予的所述奖励大于在所述车辆的特性不满足所述基准的情况下所给予的所述奖励；
更新处理，使用通过所述取得处理所取得的所述车辆的状态、所述操作部的操作中所使用了的所述行动变量的值、和与该操作对应的所述奖励，作为向预先确定的更新映射的输入，更新所述关系规定数据；以及
判定处理，以所述行动变量中的至少一个等于预先确定的值为条件而执行，判定所述内燃机有无劣化，
所述更新映射是输出以使按照所述关系规定数据来操作所述操作部的情况下的关于所述奖励的期待收益增加的方式进行了更新的所述关系规定数据的映射，
所述内燃机具备燃料喷射阀作为所述操作部，
所述行动变量包括空燃比变量，所述空燃比变量是确定所述内燃机的燃烧室内的混合气的空燃比的变量，
所述判定处理包括如下处理：以空燃比变量是预定值为条件，基于所述燃料喷射阀的开阀时间，判定所述燃料喷射阀有无劣化。
3.根据权利要求1或2所述的车辆用控制装置，
所述处理电路构成为，使所述操作处理停止，执行操作所述操作部以使得所述行动变量中的至少一个成为预先确定的值的主动处理，并在该主动处理的执行期间执行所述判定处理。
4.根据权利要求1或2所述的车辆用控制装置，
所述处理电路构成为，以所述车辆处于停止中为条件，执行所述判定处理。
5.根据权利要求1或2所述的车辆用控制装置，
所述处理电路包括搭载于所述车辆的执行装置，所述执行装置构成为至少执行所述取得处理和所述操作处理。
6.根据权利要求1或2所述的车辆用控制装置，
所述处理电路包括有别于车载装置的执行装置，所述执行装置被包括在车辆用学习装置中，并且所述执行装置构成为至少执行所述更新处理。
7.一种车辆用控制系统，
具备权利要求1至4中任一项所述的所述处理电路以及所述存储装置，
所述处理电路包括搭载于所述车辆的第1执行装置和有别于车载装置的第2执行装置，
所述第1执行装置构成为至少执行所述取得处理和所述操作处理，
所述第2执行装置构成为至少执行所述更新处理。
CN202011521755.8A 2019-12-23 2020-12-21 车辆用控制装置、车辆用控制系统以及车辆用学习装置 Active CN113090404B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019231145A JP7302466B2 (ja) 2019-12-23 2019-12-23 車両用内燃機関の劣化判定装置
JP2019-231145 2019-12-23

Publications (2)

Publication Number Publication Date
CN113090404A CN113090404A (zh) 2021-07-09
CN113090404B true CN113090404B (zh) 2023-08-18

Family

ID=76438041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011521755.8A Active CN113090404B (zh) 2019-12-23 2020-12-21 车辆用控制装置、车辆用控制系统以及车辆用学习装置

Country Status (3)

Country Link
US (1) US11421622B2 (zh)
JP (1) JP7302466B2 (zh)
CN (1) CN113090404B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6705545B1 (ja) * 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
US11603111B2 (en) * 2019-10-18 2023-03-14 Toyota Jidosha Kabushiki Kaisha Vehicle controller, vehicle control system, and learning device for vehicle
JP7205503B2 (ja) 2020-01-22 2023-01-17 トヨタ自動車株式会社 内燃機関の制御装置
JP7222366B2 (ja) * 2020-01-27 2023-02-15 トヨタ自動車株式会社 内燃機関の制御装置
JP7359011B2 (ja) 2020-02-05 2023-10-11 トヨタ自動車株式会社 内燃機関の制御装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62186029A (ja) * 1986-02-12 1987-08-14 Toyota Motor Corp リ−ンセンサの異常判定方法
US5327876A (en) * 1991-10-21 1994-07-12 Nissan Motor Co., Ltd. Air-fuel ratio control system for engines
JPH10254505A (ja) * 1997-03-14 1998-09-25 Toyota Motor Corp 自動制御装置
US6401700B2 (en) * 1999-12-09 2002-06-11 International Engine Intellectual Property Company, L.L.C. Closed loop diesel engine EGR control including event monitoring
CN104797801A (zh) * 2012-11-19 2015-07-22 丰田自动车株式会社 内燃机的控制装置
CN105074181A (zh) * 2013-02-25 2015-11-18 丰田自动车株式会社 内燃机的控制装置
JP2019081531A (ja) * 2017-10-30 2019-05-30 株式会社デンソー 路面状態判別装置およびそれを備えたタイヤシステム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2843878B2 (ja) * 1993-01-21 1999-01-06 本田技研工業株式会社 内燃機関の空燃比制御装置
US5636621A (en) * 1994-12-30 1997-06-10 Honda Giken Kogyo Kabushiki Kaisha Fuel metering control system for internal combustion engine
US5666934A (en) * 1994-12-30 1997-09-16 Honda Giken Kogyo Kabushiki Kaisha Fuel metering control system for internal combustion engine
US5715796A (en) * 1995-02-24 1998-02-10 Honda Giken Kogyo Kabushiki Kaisha Air-fuel ratio control system having function of after-start lean-burn control for internal combustion engines
US6041279A (en) * 1995-02-25 2000-03-21 Honda Giken Kogyo Kabushiki Kaisha Fuel metering control system for internal combustion engine
JP2888178B2 (ja) * 1995-04-13 1999-05-10 トヨタ自動車株式会社 内燃機関のバルブタイミング制御装置
JP3449170B2 (ja) * 1996-08-09 2003-09-22 トヨタ自動車株式会社 内燃機関の失火検出装置
JP3436660B2 (ja) * 1997-07-18 2003-08-11 トヨタ自動車株式会社 内燃機関のスロットル弁制御装置
JP2000018139A (ja) * 1998-07-03 2000-01-18 Hitachi Ltd 燃料噴射装置
DE60121457T2 (de) * 2000-10-05 2007-02-08 Nissan Motor Co., Ltd., Yokohama Regelung eines turboladers
JP2004060540A (ja) * 2002-07-29 2004-02-26 Honda Motor Co Ltd 内燃機関のスロットル開度制御装置
JP2006138236A (ja) * 2004-11-11 2006-06-01 Nissan Motor Co Ltd 内燃機関のバルブ開口面積算出装置
CN101285431B (zh) * 2007-04-09 2010-04-14 山东申普汽车控制技术有限公司 组合脉谱对发动机控制的方法
JP4428405B2 (ja) * 2007-06-12 2010-03-10 株式会社デンソー 燃料噴射制御装置及びエンジン制御システム
JP4782759B2 (ja) * 2007-10-24 2011-09-28 株式会社デンソー 内燃機関制御装置および内燃機関制御システム
JP2010086405A (ja) * 2008-10-01 2010-04-15 Fuji Heavy Ind Ltd 制御パラメータの適合化システム
DE112009004382B4 (de) * 2009-01-30 2015-01-08 Toyota Jidosha Kabushiki Kaisha Luft-Kraftstoff-Verhältnis-Steuervorrichtung einer Mehrfachzylinderbrennkraftmaschine
KR101592402B1 (ko) * 2013-12-17 2016-02-05 현대자동차주식회사 가솔린 직접 분사 엔진의 고장 진단 방법 및 시스템
JP6026612B2 (ja) 2015-09-22 2016-11-16 本田技研工業株式会社 車両用内燃機関の制御装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62186029A (ja) * 1986-02-12 1987-08-14 Toyota Motor Corp リ−ンセンサの異常判定方法
US5327876A (en) * 1991-10-21 1994-07-12 Nissan Motor Co., Ltd. Air-fuel ratio control system for engines
JPH10254505A (ja) * 1997-03-14 1998-09-25 Toyota Motor Corp 自動制御装置
US6401700B2 (en) * 1999-12-09 2002-06-11 International Engine Intellectual Property Company, L.L.C. Closed loop diesel engine EGR control including event monitoring
CN104797801A (zh) * 2012-11-19 2015-07-22 丰田自动车株式会社 内燃机的控制装置
CN105074181A (zh) * 2013-02-25 2015-11-18 丰田自动车株式会社 内燃机的控制装置
JP2019081531A (ja) * 2017-10-30 2019-05-30 株式会社デンソー 路面状態判別装置およびそれを備えたタイヤシステム

Also Published As

Publication number Publication date
JP7302466B2 (ja) 2023-07-04
US11421622B2 (en) 2022-08-23
JP2021099060A (ja) 2021-07-01
CN113090404A (zh) 2021-07-09
US20210189990A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
CN113090404B (zh) 车辆用控制装置、车辆用控制系统以及车辆用学习装置
CN112682182B (zh) 车辆用控制装置、车辆用控制系统以及车辆控制方法
US11673556B2 (en) Method of generating vehicle control data, vehicle control device, and vehicle control system
JP6705545B1 (ja) 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
CN112682198B (zh) 车辆用控制系统、车辆用控制装置及车辆用控制方法
CN112682196B (zh) 车辆用控制装置、车辆用控制系统、以及车辆用学习装置
CN113090400B (zh) 车辆用控制装置及控制系统、车辆用学习装置及学习方法、车辆用控制方法以及存储介质
CN113153550B (zh) 内燃机的控制装置以及控制方法
CN113175385B (zh) 内燃机的控制装置以及控制方法
CN113217205B (zh) 内燃机的控制装置及控制方法
CN113107685B (zh) 车辆用控制数据的生成方法及装置、车辆用控制装置及系统、车辆用学习装置以及存储介质
CN113217204B (zh) 车辆控制方法、车辆用控制装置以及服务器
CN113266481A (zh) 车辆控制方法、车辆用控制装置以及服务器
CN112682204B (zh) 车辆用控制装置、控制系统、学习装置和方法及存储介质
JP7205456B2 (ja) 車両用制御装置、車両用制御システム、および車両用学習装置
JP7207289B2 (ja) 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
JP2021067256A (ja) 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
CN113187613A (zh) 控制车辆的方法、用于车辆的控制装置、以及服务器
JP2021095859A (ja) スロットル制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant