JP2021116740A - 内燃機関の制御装置 - Google Patents

Abstract

【課題】内燃機関の操作部の操作量の適合に係る熟練者の工数を軽減できる内燃機関の制御装置を提供する。【解決手段】予め適合済みのデータを用いた第１演算処理により演算した操作量にて内燃機関の操作部を操作する第１操作処理（Ｓ１２０、Ｓ１３０）と、車両走行中の強化学習により適合される関係規定データを用いた第２演算処理により演算した操作量にて内燃機関の操作部を操作するとともに第１演算処理により一部の操作量の演算を行う第２操作処理（Ｓ１４０〜Ｓ１６０）とを、車両が自動アクセル走行中であるか（Ｓ１１０：ＹＥＳ）、手動アクセル走行中であるか（Ｓ１１０：ＮＯ）、により切り替える。さらに、第２操作処理の実行中も、一部の操作量については第１演算処理による演算を続ける（Ｓ１７０）。【選択図】図２

Description

本発明は、車両に搭載された内燃機関の制御装置に関する。

特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６−００６３２７号公報

上記フィルタには、内燃機関の効率や排気性状、乗員の快適性などの多数の要求を同時に満たす値をスロットルバルブの操作量として設定するものであることが求められるため、その適合は熟練者が多くの工数を掛けて行う必要がある。そうした実情は、スロットルバルブ以外のエンジンの操作部の操作量の適合についても同様となっている。

上記課題を解決する内燃機関の制御装置は、車両に搭載された内燃機関の操作部を操作することで同内燃機関の制御量を変化させる。また、同制御装置は、内燃機関の状態を含む車両の状態を示す変数である状態変数と操作部の操作量との関係を規定するデータであって車両の走行中に更新される関係規定データが記憶されるとともに、状態変数の検出値に基づく操作量の演算に用いられるデータであって車両の走行中に更新されない適合済みデータが予め記憶された記憶装置と、操作部の操作を実行する実行装置と、を備えている。そして、同制御装置における実行装置は、適合済みデータを用いて状態変数の検出値に基づき操作量を演算する第１演算処理と、関係規定データと状態変数とにより定まる値を操作量として演算する第２演算処理と、第２演算処理により演算された操作量により操作部が操作されているときの状態変数の検出値に基づいて報酬を算出するとともに、状態変数、操作量、及び報酬に基づいて、報酬の期待収益を増加させるように関係規定データを更新する強化学習処理と、第１演算処理を実行するとともに、同第１演算処理による操作量の演算値に応じて操作部を操作する第１操作処理と、第１演算処理及び第２演算処理の双方を実行するとともに、第２演算処理による操作量の演算値に応じて操作部を操作する第２操作処理と、操作部を操作する処理を車両の状態に応じて第１操作処理と第２操作処理とに切り替える切替処理と、を実行する。

予め記憶装置に記憶された適合済みデータを用いる第１演算処理により演算した操作量で操作部を操作する第１操作処理については、車両の出荷前の操作量の適合が必要となる。これに対して、車両走行中の強化学習処理を通じて更新される関係規定データを用いる第２演算処理により演算した操作量で操作部を操作する第２操作処理については、車両の走行中に自動で操作量の適合が進められるため、車両出荷前の熟練者による操作量の適合に係る工数を低減できる。ただし、そうした強化学習は車両の様々な状態のもとでそれぞれ時間を掛けて行う必要があり、車両の運用によっては適合の完了に時間を要することがある。そのため、車両の運用によっては、車両走行中の強化学習により操作量を適合するよりも、車両の出荷前に適合を済ませておいた方が、望ましい結果が得られる場合がある。これに対して上記内燃機関の制御装置における実行装置は、切替処理において、車両の状態に応じて操作部を操作する処理を、第１操作処理と第２操作処理とに切り替えている。したがって、上記内燃機関の制御装置によれば、内燃機関の操作部の操作量の適合に係る熟練者の工数を好適に軽減できる。

ここで、第１操作処理での操作量の演算に用いられる値に、操作量の演算毎に、状態変数の値から算出された更新量に応じて更新される値が含まれている場合がある。この場合の上記値の更新は、そのときの状態変数の瞬時値に基づいて行われるが、更新された値は、それまでの操作量の演算毎の状態変数の値に基づき算出された更新量を積算した値となる。このように、第１操作処理での操作量の演算が、状態変数の瞬時値に基づいて行われる場合にあっても、それまでの状態変数の値の推移を反映した値として操作量が演算される場合がある。そうした場合、第２操作処理から第１操作処理への切替直後の操作量の演算値には、第２操作処理中の状態変数の値の推移が反映されないため、以前から第１操作処理が継続されていた場合とは異なった値が操作量として設定されてしまう。

その点、上記内燃機関の制御装置では、第２演算処理で演算した操作量により操作部を操作する第２操作処理においても、第１演算処理による操作量の演算を行うようにしている。このように上記内燃機関の制御装置では、第２操作処理の実行中も第１演算処理による操作量の演算を継続している。そのため、第２操作処理から第１操作処理への切替直後に、その切替前の第２操作処理の実行中の状態変数の値の推移を反映した値として操作量を設定できる。なお、第２操作処理の実行中の第１演算処理による操作量の演算値は、実際の操作部の操作に用いられない。そのため、第２操作処理を実行する車両の状態での第１演算処理の操作量については簡易的な適合を行うだけでよい。そのため、操作処理を切り替えずに第１操作処理のみで内燃機関の操作部を操作する場合に比べれば、内燃機関の操作部の操作量の適合に係る熟練者の工数は少なくなる。

なお、上記内燃機関の制御装置では、第２操作処理の実行中には、第１演算処理、及び第２演算処理の双方の演算処理が実行されるため、実行装置の演算負荷が高くなる。一方、第１演算処理で演算する操作量の中に、その時々の状態変数の瞬時値から一義に値が決定されるものがある場合、その操作量の演算結果は、第２操作処理の実行中に演算を継続した場合とその実行中に演算を中断した場合とで違いが生じることはない。よって、第２操作処理を実行する際の実行装置の演算負荷の増加を抑えるには、第２操作処理による操作部の操作時には、第１操作処理による操作部の操作時に演算する複数の操作量の中の一部の操作量に限定して演算を行うものとして第１演算処理を実行するとよい。

ところで、第１演算処理での操作量の演算に際して実行される処理として、制御量の目標値と検出値との偏差に応じて操作量を補正するフィードバック補正処理が含まれる場合がある。こうしたフィードバック補正処理による目標値への制御量の収束にはある程度の時間を要するため、第２操作処理から第１操作処理への切替と共に上記フィードバック補正処理を開始すると、一時的に制御量が目標値から乖離して内燃機関の制御性が悪化することがある。よって、そうしたフィードバック補正処理を通じて演算される操作量は、第２操作処理の実行中も第１演算処理の演算を継続する上記一部の操作量に含めることが望ましい。

また、第１演算処理において、下記の緩変化処理を通じて演算される操作量が含まれている場合、２操作処理の実行中も第１演算処理の演算を継続する上記一部の操作量にその操作量を含めることが望ましい。緩変化処理を通じた操作量の演算には、適合済みデータに含まれるデータであって、特定の状態変数である状態変数を入力とするとともに操作量を出力とする写像を規定するデータが用いられる。そして緩変化処理は、状態変数の検出値を入力とするとともに同検出値に対して遅れを有して変化する値を上記写像の入力値として出力する処理、及び上記写像の出力値を入力とするとともに同出力値に対して遅れを有して変化する値を操作量の演算値として出力する処理のいずれか一方の処理である。

なお、運転者のアクセルペダル操作に応じて車両の加減速を行う手動アクセル走行と、アクセルペダル操作に基づかずに前記車両の加減速を自動で行う自動アクセル走行と、を行う車両では、自動アクセル走行中と手動アクセル走行中とでは、内燃機関の運用が大きく異なる場合がある。そしてその結果、車両走行中の強化学習による適合と従来手法による車両の出荷前の適合との２つの適合手法のうち、より好ましい結果が得られる適合手法が自動アクセル走行中と手動アクセル走行中とで異なることがある。よって、そうした車両に搭載の内燃機関に上記制御装置を適用する場合には、上記切替処理を、車両が手動アクセル走行を行っているか、自動アクセル走行を行っているかにより、第１操作処理と第２操作処理とを切り替える処理とするとよい。

第１実施形態に係る内燃機関の制御装置の構成を模式的に示す図。 同制御装置における実行装置が実行する処理のフローチャート。 同制御装置が実行する第１演算処理での開口度指令値の演算に係る処理の流れを示す制御ブロック図。 同制御装置が実行する第１演算処理での噴射量指令値の演算に係る処理の流れを示す制御ブロック図。 同制御装置が実行する第１演算処理での点火時期指令値の演算に係る処理の流れを示す制御ブロック図。 同制御装置が実行する第２演算処理、及び強化学習処理に係る処理の流れを示すフローチャート。 （ａ）は要求トルク及びその緩変化値の推移を、（ｂ）は開口度指令値の推移を、それぞれ示すタイムチャート。 第１演算処理における開口度指令値の演算処理の変更例における処理の流れを示すフローチャート。

以下、内燃機関の制御装置の一実施形態を、図１〜図７を参照して詳細に説明する。
図１に、本実施形態の制御装置７０、及び同制御装置７０が制御対象とする車両ＶＣ１に搭載された内燃機関１０の構成を示す。内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４及び燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０及びピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

制御装置７０は、内燃機関１０の状態を示す制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６及び点火装置２６等の内燃機関１０の操作部を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６のそれぞれの操作信号ＭＳ１〜ＭＳ３が記載されている。

制御装置７０は、内燃機関１０の制御量の制御のために、内燃機関１０の状態を検出する各種センサの検出値を取得する。内燃機関１０の状態を検出するセンサには、吸入空気量Ｇａを検出するエアフローメータ８０、吸気温ＴＨＡを検出する吸気温センサ８１、吸気圧Ｐｍを検出する吸気圧センサ８２、スロットルバルブ１４の開口度であるスロットル開口度ＴＡを検出するスロットルセンサ８３、クランク軸２８の回転角θｃを検出するクランク角センサ８４が含まれる。また、上記センサには、燃焼室２４でのノッキングの発生状況に応じたノック信号Ｋｎｋを出力するノックセンサ８５、燃焼室２４で燃焼された混合気の空燃比ＡＦを検出する空燃比センサ８６も含まれる。また、制御装置７０は、アクセルペダル８７の踏み込み量であるアクセル操作量ＰＡを検出するアクセルペダルセンサ８８や、車両ＶＣ１の前後方向の加速度Ｇｘを検出する加速度センサ８９、車速Ｖを検出する車速センサ９０などの車両ＶＣ１の状態を検出するセンサの検出値も参照する。

さらに、車両ＶＣ１には、手動アクセル走行と自動アクセル走行との走行モードの切替や、自動アクセル走行時の設定速度を変更するための操作パネル９２が設置されている。手動アクセル走行は、運転者のアクセルペダル８７の操作に応じて車両ＶＣ１の加減速を行う走行モードであり、自動アクセル走行は、アクセルペダル８７の操作に基づかずに、車速Ｖを設定速度に維持すべく車両ＶＣ１の加減速を自動で行う走行モードである。制御装置７０は、内燃機関１０の制御量の制御に際して、手動アクセル走行、自動アクセル走行のいずれが車両ＶＣ１の走行モードとして選択されているかを示すモード変数ＭＶの値を参照してもいる。なお、手動アクセル走行から自動アクセル走行への切替は、既定のオートクルーズ許可条件を満たした状態で操作パネル９２において設定速度の設定、及びオートクルーズの開始操作を行うことで許可される。オートクルーズ許可条件には、自動車専用道路を走行中であること、車速Ｖが既定の範囲内の速度であること、などが含まれる。一方、自動アクセル走行から手動アクセル走行への切替は、運転者がブレーキペダルを踏むことや、操作パネル９２においてオートクルーズの解除操作を行うことで実施される。

制御装置７０は、内燃機関１０の制御に係る処理を実行する実行装置としてのＣＰＵ７２と、周辺回路７８と、を備えている。周辺回路７８には、内部の動作を規定するクロック信号を生成する回路や電源回路、リセット回路等が含まれる。また、制御装置７０は、車両ＶＣ１の走行中に記憶したデータ等の書き換えが不能な読込専用メモリ７４と、車両ＶＣ１の走行中に記憶したデータ等を電気的に書き換え可能な不揮発性メモリ７６と、を記憶装置として備えている。これらＣＰＵ７２、読込専用メモリ７４、不揮発性メモリ７６、及び周辺回路７８は、ローカルネットワーク７９を介して通信可能とされている。

読込専用メモリ７４には、内燃機関１０の制御用の制御プログラム７４ａが記憶されている。制御プログラム７４ａには、内燃機関１０の各操作部の操作量の演算用のプログラムである第１演算プログラム７４ｂと第２演算プログラム７４ｃとの２つのプログラムが含まれている。また、読込専用メモリ７４には、第１演算プログラム７４ｂによる操作量の演算に用いられる複数の適合済みデータＤＳが記憶されている。一方、不揮発性メモリ７６には、車両ＶＣ１の状態と操作量との関係を規定するデータであり、第２演算プログラム７４ｃによる操作量の演算に用いられる関係規定データＤＲが記憶されている。そして、読込専用メモリ７４には、関係規定データＤＲの更新用のプログラムである学習プログラム７４ｄが記憶されている。

適合済みデータＤＳには、内燃機関１０の各操作部の操作量の演算に用いられる各種のマップデータが含まれる。マップデータは、入力変数の離散的な値と、入力変数のそれぞれの値に対する出力変数の値と、の組データである。マップデータには、要求トルク演算用のマップデータＤＳ１、開口度演算用のマップデータＤＳ２、基本点火時期演算用のマップデータＤＳ３、限界遅角点火時期演算用のマップデータＤＳ４等が含まれる。要求トルク演算用のマップデータＤＳ１は、アクセル操作量ＰＡと車速Ｖとを入力変数とするとともに内燃機関１０のトルクの要求値である要求トルクＴｏｒ＊を出力変数とするマップデータである。開口度演算用のマップデータＤＳ２は、内燃機関１０のトルクを入力変数とするとともに、そのトルクの発生に必要なスロットル開口度ＴＡの値を出力変数とするマップデータである。基本点火時期演算用のマップデータＤＳ３は、機関回転数ＮＥ及び吸気量ＫＬを入力変数とするとともに基本点火時期Ａｂｓｅを出力変数とするマップデータである。基本点火時期Ａｂｓｅは、内燃機関１０のトルクが最大となる点火時期である最適点火時期と、ノッキングを抑制し得る点火時期の進角限界であるトレースノック点火時期と、の２つの時期のうち、より遅角側の時期である。限界遅角点火時期演算用のマップデータＤＳ４は、機関回転数ＮＥと吸気量ＫＬとを入力変数とするとともに限界遅角点火時期Ａｋｍｆを出力変数とするマップデータである。限界遅角点火時期Ａｋｍｆは、燃焼室２４での混合気の燃焼が悪化しない点火時期の遅角限界である。

また、適合済みデータＤＳには、吸気量演算用のモデルデータＤＳ５が含まれる。モデルデータＤＳ５は、燃焼室２４に流入する吸気量ＫＬの演算に用いられる内燃機関１０の吸気挙動の物理モデルのデータであり、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、スロットル開口度ＴＡ、機関回転数ＮＥ等の入力に応じて吸気量ＫＬを出力するものとなっている。

これらマップデータＤＳ１〜ＤＳ４及びモデルデータＤＳ５は、これらを用いて演算される操作量が、内燃機関１０の排気性状、燃料消費率、運転者の快適性などの要件を満たす値となるように予め適合されている。そして、マップデータＤＳ１〜ＤＳ４及びモデルデータＤＳ５は、車両ＶＣ１の出荷前に読込専用メモリ７４に予め書き込まれており、整備施設などに設置された専用の設備を用いてのみ更新可能とされている。すなわち、適合済みデータＤＳは、車両ＶＣ１の走行中には更新されないデータとなっている。

図２に、本実施形態に係る制御装置７０が実行する内燃機関１０の各操作部の操作に係る処理の手順を示す。図２に示す処理は、読込専用メモリ７４に記憶された制御プログラム７４ａをＣＰＵ７２が既定の制御周期毎に繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。本実施形態では、図２の処理を通じて、車両ＶＣ１が手動アクセル走行を行っているか、自動アクセル走行を行っているかにより、第１演算処理により演算した操作量により操作部を操作するか、第２演算処理により演算した操作量により操作部を操作するかを切り替える切替処理が行われる。

図２に示す一連の処理が開始されると、ＣＰＵ７２はまずステップＳ１００において、モード変数ＭＶの値を取得する。続いてＣＰＵ７２は、ステップＳ１１０において、モード変数ＭＶの値が示す車両ＶＣ１の走行モードが自動アクセル走行であるか否かを判定する。

車両ＶＣ１の走行モードが自動アクセル走行である場合（Ｓ１１０：ＹＥＳ）には、ＣＰＵ７２は、ステップＳ１２０において、第１演算プログラム７４ｂにより内燃機関１０の各操作部の操作量を演算する第１演算処理を実行する。そして、ＣＰＵ７２は続くステップＳ１３０において、第１演算処理での操作量の演算値に基づき、内燃機関１０の各操作部を操作した後、図に示す処理を一旦終了する。

これに対して、車両ＶＣ１の走行モードが手動アクセル走行である場合（Ｓ１１０：ＮＯ）には、ＣＰＵ７２は、ステップＳ１４０において、第２演算プログラム７４ｃにより内燃機関１０の各操作部の操作量を演算する第２演算処理を実行する。そして、ＣＰＵ７２は、続くステップＳ１５０において、第２演算処理での操作量の演算値に応じて内燃機関１０の各操作部を操作する。さらにＣＰＵ７２は、続くステップＳ１６０において、学習プログラム７４ｄにより関係規定データＤＲを更新する強化学習処理を実施する。加えて、ＣＰＵ７２は、次のステップＳ１７０において内燃機関１０の一部の操作部の操作量を第１演算処理により演算した後、図２に示す処理を一旦終了する。

以上のように、ＣＰＵ７２は、自動アクセル走行中には、第１演算処理により演算した操作量にて操作部を操作する内燃機関１０の操作処理を実行し、手動アクセル走行中は、第２演算処理により演算した操作量にて内燃機関１０を操作するとともに第１演算処理により一部の操作量を演算する内燃機関１０の操作処理を実行していた。以下の説明では、自動アクセル走行中に実行する上記操作処理を第１操作処理と記載し、手動アクセル走行中に実行する上記操作処理を第２操作処理と記載する。すなわち、図２のステップＳ１２０、及びステップＳ１３０の処理が第１操作処理に対応し、図２のステップＳ１４０、ステップＳ１５０、及びステップＳ１７０の処理が第２操作処理に対応する。

続いて、第１演算処理における内燃機関１０の各操作部の操作量の演算について説明する。第１演算処理では、読込専用メモリ７４に予め記憶された適合済みデータＤＳを用いて内燃機関１０の各操作部の操作量が演算される。ここでは内燃機関１０の操作部の操作量のうちのスロットルバルブ１４の操作量である開口度指令値ＴＡ＊、燃料噴射弁１６の操作量である噴射量指令値Ｑｉ、及び点火装置２６の操作量である点火時期指令値Ａｏｐの３つの操作量の第１演算処理での演算態様を説明する。なお、本実施形態では、図２のステップＳ１２０では、開口度指令値ＴＡ＊、噴射量指令値Ｑｉ、及び点火時期指令値Ａｏｐを演算するが、図２のステップＳ１７０では、それらのうちの開口度指令値ＴＡ＊及び噴射量指令値Ｑｉのみを演算している。

図３に、第１演算処理での開口度指令値ＴＡ＊の演算に係る処理手順を示す。なお、以下の説明では第１演算処理による開口度指令値ＴＡ＊の演算値を「ＴＡ＊［１］」と記載し、第２演算処理による開口度指令値ＴＡ＊の演算値を「ＴＡ＊［２］」と記載する。

図３に示されるように、第１演算処理における開口度指令値ＴＡ＊［１］の演算に際してはまず、アクセル操作量ＰＡ及び車速Ｖを入力としたマップデータＤＳ１の出力が、要求トルクＴｏｒ＊の値として演算される。なお、自動アクセル走行時の、すなわち図２のステップＳ１２０での開口度指令値ＴＡ＊［１］の演算では、運転者の実際のアクセルペダルの操作量ではなく、車速Ｖを設定速度に保持するために必要な車両ＶＣ１の加減速の要求量をアクセルペダルの操作量に換算した仮想的なアクセル操作量が、マップデータＤＳ１に入力するアクセル操作量ＰＡとして用いられる。

続いて、要求トルクＴｏｒ＊に緩変化処理を施した値が要求トルク緩変化値Ｔｏｒｓｍ＊として演算される。緩変化処理は、要求トルクＴｏｒ＊を入力とし、その要求トルクＴｏｒ＊に対して遅れを有して追従する値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として出力するフィルタ処理である。本実施形態では、要求トルクＴｏｒ＊の移動平均値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として出力するフィルタ処理を緩変化処理として採用している。こうした緩変化処理により、スロットル開口度ＴＡの急激な変化により、機関回転数ＮＥが急変して運転者の快適性が損なわれたり、吸気の応答遅れにより排気性状が悪化したり、することが抑えられる。そして、第１演算処理では、要求トルク緩変化値Ｔｏｒｓｍ＊を入力としたマップデータＤＳ２の出力が、スロットル開口度ＴＡの指令値である開口度指令値ＴＡ＊［１］の値として演算される。

なお、車両ＶＣ１が自動アクセル走行中であって、図２のステップＳ１２０において第１演算処理が実施された場合には、続くステップＳ１３０において開口度指令値ＴＡ＊［１］へのスロットル開口度ＴＡの変更を指令する指令信号ＭＳ１がスロットルバルブ１４に出力される。一方、車両ＶＣ１が手動アクセル走行中であって、図２のステップＳ１７０において第１演算処理が実施された場合には、同ステップＳ１７０で開口度指令値ＴＡ＊［１］が演算されるものの、その演算結果は実際のスロットルバルブ１４の操作に用いられないことになる。

図４に、第１演算処理での噴射量指令値Ｑｉの演算に係るＣＰＵ７２の処理手順を示す。なお、以下では、第１演算処理による噴射量指令値Ｑｉの演算値を「Ｑｉ［１］」と記載するとともに、第２演算処理による噴射量指令値Ｑｉの演算値を「Ｑｉ［２］」と記載する。

図４に示されるように、第１演算処理での噴射量指令値Ｑｉ［１］の演算に際してはまず、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、スロットル開口度ＴＡ、機関回転数ＮＥ等を入力としたモデルデータＤＳ５の出力が吸気量ＫＬの値として演算される。そして、燃焼室２４で燃焼する混合気の空燃比の目標値である目標空燃比ＡＦ＊により吸気量ＫＬを割った商が基本噴射量Ｑｂの値として演算される。

また、噴射量指令値Ｑｉ［１］の演算に際しては、空燃比フィードバック補正値ＦＡＦが演算される。自動アクセル走行時、すなわち図２のステップＳ１２０での噴射量指令値Ｑｉ［１］の演算に際しては、目標空燃比ＡＦ＊に対する空燃比ＡＦの検出値の偏差に応じて空燃比フィードバック補正値ＦＡＦが演算される。これに対して、手動アクセル走行時、すなわち図２のステップＳ１５０での噴射量指令値Ｑｉ［１］の演算に際しては、目標空燃比ＡＦ＊に対する仮想空燃比ｖＡＦの偏差に応じて空燃比フィードバック補正値ＦＡＦが演算される。仮想空燃比ｖＡＦは、空燃比ＡＦの検出値、第１演算処理による噴射量指令値Ｑｉ［１］の演算値、及び第２演算処理による噴射量指令値Ｑｉ［２］の演算値のそれぞれの前回の制御周期の値に対して式（１）の関係を満たす値として求められる。こうした仮想空燃比ｖＡＦの値は、第２演算処理による噴射量指令値Ｑｉ［２］の演算値に応じて燃料噴射弁１６を操作する代わりに、第１演算処理による噴射量指令値Ｑｉ［１］に応じて燃料噴射弁１６を操作したと仮定した場合の空燃比ＡＦの値を示している。

なお、本実施形態では、空燃比フィードバック補正値ＦＡＦの演算をＰＩＤ処理により行っている。すなわち、下記の比例項、積分項、及び微分項を足し合わせた和が、空燃比フィードバック補正値ＦＡＦの値として演算される。比例項は、目標空燃比ＡＦ＊に対する空燃比ＡＦ又は仮想空燃比ｖＡＦの偏差に既定の比例ゲインを乗算した積である。また、積分項は、上記偏差の時間積分値に既定の積分ゲインを乗算した積である。そして、微分項は、上記偏差の時間微分値に既定の微分ゲインを乗算した積である。

また、第１演算処理による噴射量指令値Ｑｉ［１］の演算に際しては、空燃比学習値ＫＧの学習処理が行われる。空燃比学習値ＫＧの学習処理は、機関回転数ＮＥや吸気量ＫＬが安定した内燃機関１０の定常運転時における空燃比フィードバック補正値ＦＡＦの値に基づいて次の（イ）〜（ハ）の態様で空燃比学習値ＫＧの値を更新することで行われる。（イ）空燃比フィードバック補正値ＦＡＦの絶対値が既定の更新判定値未満の場合には、空燃比学習値ＫＧの値を保持する。（ロ）空燃比フィードバック補正値ＦＡＦが正の値であり、かつその絶対値が既定の更新判定値以上の場合には、更新前の値から既定の更新量を引いた差を更新後の値とするように空燃比学習値ＫＧの値を更新する。（ハ）空燃比フィードバック補正値ＦＡＦが負の値であり、かつその絶対値が更新判定値以上の場合には、更新前の値に上記更新量を足した和を更新後の値とするように空燃比学習値ＫＧの値を更新する。

そして、第１演算処理では、基本噴射量Ｑｂ、空燃比フィードバック補正値ＦＡＦ、及び空燃比学習値ＫＧを足し合わせた和が噴射量指令値Ｑｉの値として演算される。なお、車両ＶＣ１が自動アクセル走行中であって、図２のステップＳ１２０において第１演算処理が実施された場合には、そのステップＳ１２０で噴射量指令値Ｑｉ［１］が演算されるとともに、続くステップＳ１３０においてその噴射量指令値Ｑｉ［１］の値分の燃料噴射を指令する指令信号ＭＳ２が燃料噴射弁１６に出力される。一方、車両ＶＣ１が手動アクセル走行中であって、図２のステップＳ１７０において第１演算処理が実施された場合には、同ステップＳ１７０で噴射量指令値Ｑｉ［１］が演算されるものの、その演算結果は実際の燃料噴射弁１６の操作に用いられないことになる。

図５に、第１演算処理における点火装置２６の操作量である点火時期指令値Ａｏｐの演算に係るＣＰＵ７２の処理手順を示す。なお、以下の説明では第１演算処理による点火時期指令値Ａｏｐの演算値を「Ａｏｐ［１］」と記載し、第２演算処理による点火時期指令値Ａｏｐの演算値を「Ａｏｐ［２］」と記載する。

第１演算処理における点火時期指令値Ａｏｐ［１］の演算に際してはまず、機関回転数ＮＥ及び吸気量ＫＬを入力としたマップデータＤＳ３の出力が基本点火時期Ａｂｓｅの値として演算される。また、機関回転数ＮＥ及び吸気量ＫＬを入力としたマップデータＤＳ４の出力が限界遅角点火時期Ａｋｍｆの値として演算される。そして、基本点火時期Ａｂｓｅから限界遅角点火時期Ａｋｍｆを引いた差が限界遅角量Ａｋｍａｘの値として演算される。

また、第１演算処理での点火時期指令値Ａｏｐ［１］の演算に際しては、ノック信号Ｋｎｋに基づくノック制御量Ａｋｃｓの演算処理が行われる。ノック制御量Ａｋｃｓの演算は、下記（ニ）、（ホ）の態様でノック制御量Ａｋｃｓの値を更新することで行われる。（ニ）ノック信号Ｋｎｋがノッキングの発生を示す値である場合には、更新前の値に既定のノック遅角量を加えた和を更新後の値とするようにノック制御量Ａｋｃｓの値を更新する。（ホ）ノック信号Ｋｎｋがノッキングの発生がないことを示す値である場合には、更新前の値から既定のノック進角量を引いた差を更新後の値とするようにノック制御量Ａｋｃｓの値を更新する。なお、ノック遅角量には正の値が、ノック進角量にはノック遅角量よりも大きい値が、それぞれ設定されている。

続いて、限界遅角量Ａｋｍａｘにノック制御量Ａｋｃｓを加えた和が点火時期遅角量Ａｋｎｋの値として演算される。そして、基本点火時期Ａｂｓｅから点火時期遅角量Ａｋｎｋを引いた差が点火時期指令値Ａｏｐ［１］の値として演算される。

なお、上述のように、第１演算処理での点火時期指令値Ａｏｐ［１］の演算は、自動アクセル走行時にのみ行われる。すなわち、点火時期指令値Ａｏｐ［１］は、車両ＶＣ１が自動アクセル走行中である場合の図２のステップＳ１２０における第１演算処理では演算されるが、車両ＶＣ１が手動アクセル走行中である場合の図２のステップＳ１７０における第１演算処理では演算されないことになる。なお、図２のステップＳ１３０では、ステップＳ１２０で演算した点火時期指令値Ａｏｐ［１］に対応した時期の点火の実行を指令する指令信号ＭＳ３が点火装置２６に出力される。

続いて、車両ＶＣ１が手動アクセル走行中である場合の図２のステップＳ１４０〜Ｓ１６０における第２演算処理による操作量の演算、その演算値に応じた操作部の操作、及び強化学習に係る一連の処理について説明する。第２演算処理では、不揮発性メモリ７６に記憶された関係規定データＤＲと車両ＶＣ１の状態とにより定まる操作量に応じて内燃機関１０の各操作部の操作が行われる。

なお、本実施形態における関係規定データＤＲは、行動価値関数Ｑ、及び方策πを定めるデータとされている。行動価値関数Ｑは、状態ｓ及び行動ａの各独立変数に応じた期待収益の値を示すテーブル形式の関数である。本実施形態では、状態ｓを、機関回転数ＮＥ、吸気量ＫＬ、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、空燃比ＡＦ、アクセル操作量ＰＡ、及び車速Ｖの８つの変数としている。また、本実施形態では、行動ａを、内燃機関１０の操作部の操作量である開口度指令値ＴＡ＊［２］、噴射量指令値Ｑｉ［２］、及び点火時期指令値Ａｏｐ［２］の３つの変数としている。すなわち、状態ｓは８次元のベクトルであり、行動ａは３次元のベクトルである。また、本実施形態に係る行動価値関数Ｑ（ｓ，ａ）は、テーブル形式の関数とされている。

図６に、第２演算処理、及び強化学習処理の各処理に係るＣＰＵ７２の処理手順を示す。図６に示す一連の処理は、図２のステップＳ１４０〜Ｓ１６０の処理に対応している。すなわち、図６のＳ５１０〜Ｓ５２０の処理が図２のステップＳ１４０においてＣＰＵ７２が行う処理に、図６のステップＳ５３０の処理が図２のステップＳ１５０においてＣＰＵ７２が行う処理に、図６のステップＳ５４０〜Ｓ５９０の処理が図２のステップＳ１６０においてＣＰＵ７２が行う処理に、それぞれ対応している。

図６に示す一連の処理が開始されると、まずステップＳ５００において、「ｔ」の値が「０」にリセットされる。続いてステップＳ５１０において、車両ＶＣ１の最新の状態ｓが読み込まれ、その読み込まれた状態ｓの各変数の値が状態ｓ［ｔ］の各変数の値として代入される。次に、ステップＳ５２０において、関係規定データＤＲに規定された方策π［ｔ］に従って、行動ａ［ｔ］が選択される。ここでの行動ａ［ｔ］は、状態ｓ［ｔ］に対して選択された行動ａであることを意味する。また、方策π［ｔ］は、状態ｓ［ｔ］において、行動価値関数Ｑ（ｓ［ｔ］，ａ）を最大化する行動ａを、すなわちグリーディな行動を選択する確率を最大としつつも、それ以外の行動ａの選択確率も「０」としないものとなっている。このようにグリーディな行動を採用しない場合があることで、最適な行動を探るための探索を可能としている。こうした方策πは、εグリーディ行動選択手法や、ソフトマックス行動選択手法によって実現できる。そして、続くステップＳ５３０において、行動ａ［ｔ］として選択された開口度指令値ＴＡ＊［２］、噴射量指令値Ｑｉ［２］、及び点火時期指令値Ａｏｐ［２］に応じて、スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６のそれぞれに操作信号ＭＳ１〜ＭＳ３が出力される。

その後、ステップＳ５４０及びステップＳ５５０において、報酬算出処理が実施される。報酬算出処理では、まずステップＳ５４０において、上記行動ａ［ｔ］に応じた操作部の操作後の最新の状態ｓが読み込まれて、その読み込まれた状態ｓの各変数の値が状態ｓ［ｔ＋１］の各変数の値として設定される。そして、続くステップＳ５５０において、状態ｓ［ｔ＋１］に基づき、行動ａ［ｔ］による報酬ｒ［ｔ］が算出される。報酬ｒ［ｔ］は、目標空燃比ＡＦ＊に対する空燃比ＡＦの偏差の積算値等から求められた内燃機関１０の排気特性に関する報酬、噴射量指令値Ｑｉの積算値等から求められた内燃機関１０の燃料消費率に関する報酬、加速度Ｇｘの積算値等から求められた運転者の快適性に関する報酬など、観点の異なる複数の報酬の和として算出される。

続いてステップＳ５６０において、行動価値関数Ｑのうち、状態ｓ［ｔ］、行動ａ［ｔ］の場合の行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）の値を更新する更新量を算出するための誤差δ［ｔ］が算出される。本実施形態では、方策オフ型ＴＤ法を用いて誤差δ［ｔ］を算出している。すなわち、割引率γを用いて、誤差δ［ｔ］を、行動価値関数Ｑ（ｓ［ｔ＋１］，Ａ）のうちの最大値に割引率γを乗算した値、及び報酬ｒ［ｔ］の和から行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）を減算した値とする。なお、「Ａ」は、行動ａの集合を意味する。次に、ステップＳ５７０において、誤差δ［ｔ］に学習率αを乗算した積を行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）に加算することによって、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が更新される。すなわち、関係規定データＤＲによって規定されている行動価値関数Ｑ（ｓ，ａ）のうち、独立変数が状態ｓ［ｔ］及び行動ａ［ｔ］となるものの値を、「α・δ［ｔ］」だけ変化させる。これらステップＳ５６０及びステップＳ５７０の処理により、報酬ｒ［ｔ］の期待収益を増加させるように関係規定データＤＲが更新される。これは、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が更新されることによって、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が実際の期待収益をより高精度に表現する値に更新されるためである。

続くステップＳ５８０では、各独立変数について行動価値関数Ｑの値が収束したか否かが判定される。収束していないと判定された場合（ＮＯ）には、ステップＳ５９０において、「ｔ」の値が「１」加増された後、ステップＳ５３０に処理が戻される。これに対して、行動価値関数Ｑの値が収束したと判定された場合（Ｓ５８０：ＹＥＳ）には、図６に示す一連の処理が一旦終了される。

本実施形態の作用及び効果について説明する。
本実施形態における制御装置７０は、第１演算処理と第２演算処理との２つの処理を、内燃機関１０の各操作部の操作量を演算する処理として有している。第１演算処理では、読込専用メモリ７４に予め記憶された適合済みデータＤＳを用いて操作量を演算する。こうした第１演算処理での操作量の演算に用いる適合済みデータＤＳは、車両ＶＣ１の出荷前に予め適合を済ませておく必要がある。一方、第２演算処理では、不揮発性メモリ７６に記憶された関係規定データＤＲと車両ＶＣ１の状態とにより定まる操作量にて操作部を演算する。そして、第２操作処理の実行中は、同第２演算処理の操作量の演算値に基づく操作部の操作の結果として変化する車両ＶＣ１の状態から報酬ｒが算出されるとともに、その報酬ｒの期待収益が増加するように関係規定データＤＲが更新される。すなわち、第２演算処理の演算値による内燃機関１０の操作部の操作時には、強化学習による操作量の適合が進められる。このように車両ＶＣ１の走行中に強化学習による操作量の適合を行えば、車両出荷前の熟練者による操作量の適合に係る工数を低減できる。しかしながら、車両走行中の強化学習による操作量の適合は、制御装置７０の演算負荷の増大を伴うものとなっている。このように車両走行中の強化学習による操作量の適合には、熟練者による操作量の適合に係る工数を低減できるというメリットがある一方で、制御装置７０の演算負荷を増加させるというデメリットが存在する。また、強化学習による操作量の適合の完了にはある程度の時間を要するため、適合が完了するまでは内燃機関１０の制御性が悪化する虞もある。

本実施形態の制御装置７０が適用される内燃機関１０が搭載された車両ＶＣ１は、運転者のアクセルペダル操作に応じて車両ＶＣ１の加減速を行う手動アクセル走行と、アクセルペダル操作に基づかずに車両ＶＣ１の加減速を自動で行う自動アクセル走行と、を行うものとなっている。手動アクセル走行時と自動アクセル走行時とでは、車両ＶＣ１が取り得る状態に違いがあるため、操作量の適合もそれぞれ個別に行う必要がある。なお、車両ＶＣ１での自動アクセル走行は、自動車専用道路の走行中に運転者が自動アクセル走行を選択した場合に限り実施される。そのため、自動アクセル走行は、手動アクセル走行に比べて低い頻度でしか実施されない可能性が高く、自動アクセル走行時の操作量の適合を強化学習で行うとすると、その適合が未完了の状態が長く続く虞がある。

そこで本実施形態では、想定される実施頻度の高い手動アクセル走行については、車両走行中の強化学習により操作量の適合を行う一方で、想定される実施頻度の低い自動アクセル走行については従来手法により操作量の適合を行うようにしている。こうした本実施形態では、自動アクセル走行については従来手法により操作量を適合する必要があるが、手動アクセル走行、自動アクセル走行の双方について従来手法により操作量を適合する場合に比べてば、熟練者の適合に係る工数は少なくて済む。

ところで、上述のように、第１演算処理でのスロットルバルブ１４の開口度指令値ＴＡ＊の演算に際しては、要求トルクＴｏｒ＊を入力とするとともにその要求トルクＴｏｒ＊の変化に対して遅れを有して追従する値を要求トルク緩変化値Ｔｏｒｓｍ＊として出力する緩変化処理が行われる。そして、要求トルク緩変化値Ｔｏｒｓｍ＊を入力としたマップデータＤＳ２の出力が開口度指令値ＴＡ＊［１］の値として演算されている。

図７（ａ）には要求トルクＴｏｒ＊が急減したときの要求トルクＴｏｒ＊が二点鎖線で、そのときの要求トルク緩変化値Ｔｏｒｓｍ＊の推移が実線で、それぞれ示されている。また、図７（ｂ）にはそのときの開口度指令値ＴＡ＊［１］の推移が実線で示されている。このように、開口度指令値ＴＡ＊［１］は、要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値として演算されている。第１演算処理では、緩変化処理により、吸気の応答遅れによる内燃機関１０の排気性状の悪化や機関回転数ＮＥの急変による運転者の快適性の低下を抑制している。

一方、上述のように第２演算処理では、車両ＶＣ１の状態ｓを入力とした関係規定データＤＲの出力として内燃機関１０の各操作部の操作量が演算されている。また、第２演算処理の操作量の適合は、内燃機関１０の排気性状や運転者の快適性の観点から算出された報酬ｒに基づく強化学習により行われている。こうした強化学習による適合が適切になされれば、第２演算処理の開口度指令値ＴＡ＊［２］も、第１演算処理の開口度指令値ＴＡ＊［１］と同様に、要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値となるように演算される。なお、以下の説明では、要求トルクＴｏｒ＊の変更に応じて開口度指令値ＴＡ＊の値が変化し始めた時点から、変更後の要求トルクＴｏｒ＊に応じた値に開口度指令値ＴＡ＊が収束する時点までの開口度指令値ＴＡ＊が変化している期間を過渡期間と記載する。

ここで、図７に示される過渡期間中の時刻ｔ１に、車両ＶＣ１が自動アクセル走行から手動アクセル走行に切り替わり、第２演算処理の開口度指令値ＴＡ＊［２］を用いたスロットルバルブ１４の操作が終了されて第１演算処理の開口度指令値ＴＡ＊［１］を用いたスロットルバルブ１４の操作が開始されたとする。そして、この時刻ｔ１までは、開口度指令値ＴＡ＊の演算を第２演算処理だけで行い、第１演算処理による演算は時刻ｔ１から開始する場合を考える。図７には、この場合の要求トルク緩変化値Ｔｏｒｓｍ＊及び開口度指令値ＴＡ＊の推移がそれぞれ点線で示されている。なお、この場合には、時刻ｔ１以前は第２演算処理の開口度指令値ＴＡ＊［２］が、時刻ｔ１以降は第１演算処理の開口度指令値ＴＡ＊［１］が、それぞれスロットルバルブ１４の操作に用いられる。この場合には、緩変化処理も時刻ｔ１に開始されるため、時刻ｔ１における第１演算処理の開口度指令値ＴＡ＊［１］には、時刻ｔ１以前の要求トルクＴｏｒ＊の推移は反映されなくなる。そのため、第２演算処理の操作量の演算値による操作から第１演算処理の操作量の演算値による操作への切替前後で開口度指令値ＴＡ＊に段差が生じてしまい、内燃機関１０の制御性が悪化する。

これに対して本実施形態では、ＣＰＵ７２は、第２演算処理の開口度指令値ＴＡ＊［２］を用いてスロットルバルブ１４を操作している時刻ｔ１以前の期間にも、第１演算処理による開口度指令値ＴＡ＊［１］の演算を行っている。こうした場合、第１演算処理の開口度指令値ＴＡ＊［１］を用いたスロットルバルブ１４の操作を開始する時刻ｔ１における開口度指令値ＴＡ＊［１］として、時刻ｔ１以前の要求トルクＴｏｒ＊の推移を反映した値を設定できる。そのため、内燃機関１０の操作部の操作に用いる操作量の演算処理を第２演算処理から第１演算処理に切り替える際に、開口度指令値ＴＡ＊に段差が生じにくくなる。

さらに本実施形態では、第１演算処理において、空燃比フィードバック補正値ＦＡＦによる噴射量指令値Ｑｉ［１］の補正、すなわち空燃比フィードバック補正を行っている。そして、こうした空燃比フィードバック補正により、燃料噴射弁１６の噴射特性や内燃機関１０の吸気特性等の個体差や経時変化による目標空燃比ＡＦ＊に対する空燃比ＡＦのずれを補償している。こうした空燃比フィードバック補正による目標空燃比ＡＦ＊への空燃比ＡＦの収束にはある程度の時間を要する。そのため、第２操作処理を終了して第１操作処理を開始する際に、空燃比フィードバック補正も空燃比フィードバック補正値ＦＡＦの値が「０」の状態から開始するとすれば、一時的に空燃比ＡＦが目標空燃比ＡＦ＊から乖離して内燃機関１０の排気性状が悪化する虞がある。

これに対して本実施形態では、第２演算処理による噴射量指令値Ｑｉ［２］の演算値を用いて燃料噴射弁１６を操作する車両ＶＣ１の手動アクセル走行時にも、第１演算処理による噴射量指令値Ｑｉ［１］の演算を継続している。このときの第１演算処理の噴射量指令値Ｑｉ［１］の演算に際して、第１演算処理及び第２演算処理のそれぞれの噴射量指令値Ｑｉ［１］、Ｑｉ［２］、及び空燃比ＡＦの検出値から、仮想空燃比ｖＡＦが演算されている。この仮想空燃比ｖＡＦの値は、第１演算処理の噴射量指令値Ｑｉ［１］を用いて燃料噴射弁１６を操作すると仮定した場合の空燃比ＡＦの値がそして、その仮想空燃比ｖＡＦを用いて空燃比フィードバック補正値ＦＡＦを算出して噴射量指令値Ｑｉが演算されている。これにより、第２演算処理の噴射量指令値Ｑｉ［２］を用いた燃料噴射弁１６の操作中にも、第１演算処理における噴射量指令値Ｑｉ［１］の空燃比フィードバック補正が継続される。そのため、第２演算処理の噴射量指令値Ｑｉ［２］を用いた操作から第１演算処理の噴射量指令値Ｑｉ［１］を用いた操作への切替後の目標空燃比ＡＦ＊からの空燃比ＡＦの乖離が生じ難くなる。

なお、こうした本実施形態では、第２演算処理により演算した操作量で内燃機関１０の操作部を操作する第２操作処理の実行中にも、第１演算処理による開口度指令値ＴＡ＊［１］、噴射量指令値Ｑｉ［１］の演算が続けられる。ただし、このときの開口度指令値ＴＡ＊［１］、噴射量指令値Ｑｉ［１］の演算値は実際のスロットルバルブ１４や燃料噴射弁１６の操作に使われる訳ではない。そのため、第２操作処理を実行する状態、すなわち手動アクセル走行時の開口度指令値ＴＡ＊［１］、噴射量指令値Ｑｉ［１］の値については簡易的な適合を行うだけでよい。また、点火時期指令値Ａｏｐ［１］等の他の操作量については、手動アクセル走行時に演算しないため、手動アクセル走行におけるそれら操作量の車両出荷前の適合は不要である。このように、本実施形態の内燃機関１０の制御装置では、自動アクセル走行、及び手動アクセル走行の双方における内燃機関１０の操作量の適合を車両出荷前に行う場合に比べれば、熟練者の適合に係る工数は少なくなる。

以上の本実施形態によれば、以下の効果を奏することができる。
（１）上記実施形態では、想定される実施の頻度が高い手動アクセル走行における内燃機関１０の操作部の操作量の適合は車両走行中の強化学習により行っている。一方、想定される実施の頻度が低く、車両走行中の強化学習の実施機会が限られると考えられる自動アクセル走行における操作部の適合については従来手法で行っている。よって、手動アクセル走行、自動アクセル走行の双方における操作量の適合を各々に適した手法で実施でき、かつ熟練者の適合に係る工数を低減できる。

（２）手動アクセル走行時の操作量の適合が、車両走行中の強化学習を通じて行われる。そのため、手動アクセル走行時における内燃機関１０の操作部の操作量の適合結果に内燃機関１０の個体差や経時変化が反映され、そうした個体差や経時変化に起因した内燃機関１０の制御性の悪化が抑えられる。

（３）第２演算処理で演算した操作量により内燃機関１０を操作する第２操作処理の実行中も、第１演算処理の開口度指令値ＴＡ＊［１］の演算を続けている。そのため、第２操作処理から第１操作処理への切替に際して、開口度指令値ＴＡ＊に段差が生じ難くなる。

（４）第２操作処理の実行中も、第１演算処理の噴射量指令値Ｑｉ［１］の演算を続けている。そのため、第２操作処理から第１操作処理への切替後の内燃機関１０の排気性状の悪化が抑えられる。

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・自動アクセル走行、手動アクセル走行について
上記実施形態における自動アクセル走行は、車速Ｖを設定速度に維持すべく、車両ＶＣ１の加減速を自動で行う走行モードとしていたが、走行中の道路や周辺の車両や歩行者などを検知してその検知結果に基づき車両ＶＣ１の加減速を自動で行う走行モードを自動アクセル走行として行うようにしてもよい。また、自動アクセル走行において、車両ＶＣ１の加減速に加えて車両ＶＣ１の操舵や制動の少なくとも一方を自動で行うようにしてもよい。また、手動アクセル走行において、車両ＶＣ１の加減速は運転者のアクセルペダル操作に応じて手動で行う一方で、車両ＶＣ１の操舵、制動の少なくとも一方は自動で行うようにしてもよい。

・切替処理について
上記実施形態では、自動アクセル走行中に第１操作処理を、手動アクセル走行中に第２操作処理を、それぞれ実行していた。主に自動アクセル走行を行い、限られた状況でのみ手動アクセル走行を行うように運用される車両などでは、車両走行中の強化学習による操作量の適合が、自動アクセル走行には適しているが、手動アクセル走行には不適となる場合がある。そうした場合、自動アクセル走行中に第２操作処理を、手動アクセル走行中に第１操作処理をそれぞれ実行するようにしてもよい。

さらに、切替処理による第１操作処理、第２操作処理の切替の対象とする操作部を内燃機関の操作部の中の一部の操作部に限定し、残りの操作部については手動・自動のいずれのアクセル操作走行においても、第１又は第２のいずれかの操作処理で操作するようにしてもよい。

また、上記以外の車両ＶＣ１の状態に応じて操作処理の切替を行うようにしてもよい。内燃機関１０の運転領域に、例えば高負荷高回転領域など、使用頻度の低い領域が存在する場合がある。使用頻度の低い運転領域では、他の運転領域に比べて、車両走行中の強化学習による操作量の適合が遅れる。そのため、使用頻度の低い運転領域では第１操作処理により、使用頻度が高い運転領域では第２操作処理により、それぞれ内燃機関１０の操作部を操作することが考えられる。

・内燃機関の操作部について
スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６以外の操作部を、第１操作処理と第２操作処理との切替の対象とする内燃機関１０の操作部としてもよい。例えば排気の一部を吸気中に再循環する排気再循環機構を備えるとともに排気の再循環量を調整するＥＧＲバルブが同排気再循環機構に設けられた内燃機関の場合、ＥＧＲバルブを第１操作処理と第２操作処理との切替対象とする内燃機関の操作部としてもよい。また、吸気バルブ１８や排気バルブ３０の動弁特性を可変とする可変動弁機構を備える内燃機関の場合には、同可変動弁機構を第１操作処理と第２操作処理との切替対象とする内燃機関の操作部としてもよい。

・状態ｓについて
上記実施形態では、機関回転数ＮＥ、吸気量ＫＬ、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、空燃比ＡＦ、アクセル操作量ＰＡ、及び車速Ｖの８つの変数を状態ｓとしていたが、それらのうちの一つ以上を状態ｓから割愛したり、内燃機関１０や車両ＶＣ１の状態を示すそれら以外の変数を状態ｓに加えたりしてもよい。

・報酬ｒについて
状態ｓに基づく報酬ｒの算出を、上記実施形態とは異なる態様で行うようにしてもよい。例えば窒素酸化物や微粒子物質などの排気の有害成分の排出量を取得するとともにその排出量に基づき内燃機関１０の排気特性に関する報酬を算出したり、車室の振動や騒音レベルを測定するとともにその測定結果に基づいて快適性に関する報酬を算出したり、してもよい。

・行動価値関数Ｑについて
上記実施形態では、行動価値関数Ｑをテーブル形式の関数としていたが、これに限らない。例えば関数近似器を行動価値関数Ｑとして用いるようにしてもよい。また、行動価値関数Ｑを用いる代わりに、状態ｓ及び行動ａを独立変数とするとともに行動ａを取る確率を従属変数とする関数近似器にて方策πを表現し、報酬ｒに応じてその方策πを更新するようにしてもよい。

・関係規定データＤＲの更新について
上記実施形態では、方策オフ型ＴＤ法により関係規定データＤＲを更新していたが、例えばＳＡＲＳＡ法のような方策オン型ＴＤ法により同更新を行うようにしてもよい。また、方策オン型の更新手法として、適格度トレース法を用いるようにしてもよい。さらに、モンテカルロ法などの上記以外の方法により、関係規定データＤＲの更新を行うことも可能である。

・フィードバック補正処理について
上記実施形態における第１演算処理での燃料噴射弁１６の噴射量指令値Ｑｉの演算は、空燃比ＡＦに応じたフィードバック補正処理を通じて行われていた。第１操作処理で演算する操作量の中に、噴射量指令値Ｑｉの他にもフィードバック補正処理を通じて演算される操作量が存在する場合、その操作量も、第２操作処理中に第１演算処理による演算を続ける操作量に含めるようにするとよい。

ちなみに、ここでのフィードバック補正処理とは、次の処理である。すなわち、フィードバック補正処理とは、車両ＶＣ１の状態変数の一つを制御量として、同制御量の目標値と検出値との偏差に応じてフィードバック補正値を演算するとともに、適合済みデータＤＳを用いて演算された操作量の値を、そのフィードバック補正値により補正する処理である。

・緩変化処理について
上記実施形態における第１演算処理でのスロットルバルブ１４の開口度指令値ＴＡ＊の演算は、緩変化処理を通じて行われていた。そして、第２操作処理の実行中も、緩変化処理を通じた第１演算処理の開口度指令値ＴＡ＊の演算を継続していた。第１演算処理で演算する操作量の中に、開口度指令値ＴＡ＊の他にも緩変化処理を通じて演算される操作量が存在する場合、その操作量も、第２操作処理中に第１演算処理による演算を続ける操作量に含めるようにするとよい。

ちなみに、ここでの緩変化処理とは、次の処理である。緩変化処理での操作量の演算は、予め記憶装置に記憶されたデータであって、車両の状態変数に含まれる変数である状態変数を入力とするとともに操作量を出力とする写像を規定する適合済みのデータを用いて行われる。そして、緩変化処理は、次の２つの処理Ａ、Ｂのいずれか一方の処理となっている。処理Ａは、状態変数の検出値を入力とするとともに同検出値に対して遅れを有して変化する値を上記写像の入力値として出力する処理である。これに対して、処理Ｂは、上記写像の出力値を入力とするとともに同出力値に対して遅れを有して変化する値を操作量の演算値として出力する処理である。なお、上記実施形態でのスロットルバルブ１４の開口度指令値ＴＡ＊の演算に際しては、上記処理Ａが緩変化処理として行われるが、上記処理Ｂを緩変化処理として行うことも可能である。

図８には、処理Ｂを緩変化処理として行って開口度指令値ＴＡ＊を演算する場合の第１操作処理におけるスロットルバルブ１４の操作に係るＣＰＵ７２の処理手順を示す。図８に示されるように、この場合の第１操作処理におけるスロットルバルブ１４の操作に際してはまず、アクセル操作量ＰＡ及び車速Ｖを入力としたマップデータＤＳ１の出力が、要求トルクＴｏｒ＊の値として演算される。続いて、要求トルクＴｏｒ＊を入力としたマップデータＤＳ２の出力が開口度指令値ＴＡ＊の値として演算される。さらに、開口度指令値ＴＡ＊に緩変化処理を施した値が開口度緩変化指令値ＴＡｓｍ＊として演算される。そして、信号出力処理により、開口度緩変化指令値ＴＡｓｍ＊へのスロットル開口度ＴＡの変更を指令する指令信号ＭＳ１がスロットルバルブ１４に出力される。

なお、第２操作処理の実行中に第１演算処理による演算を継続する操作量は、緩変化処理やフィードバック補正処理を通じて演算される操作量に限る必要はない。また、第１操作処理の実行中に第１演算処理により演算するすべての操作量を、第２操作処理の実行中にも演算を続ける第１演算処理の操作量としてもよい。

１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２０…シリンダ
２２…ピストン
２４…燃焼室
２６…点火装置
２８…クランク軸
３０…排気バルブ
３２…排気通路
３４…触媒
７０…制御装置
７２…ＣＰＵ
７４…読込専用メモリ
７４ａ…制御プログラム
７４ｂ…第１演算プログラム
７４ｃ…第２演算プログラム
７４ｄ…学習プログラム
７６…不揮発性メモリ
７８…周辺回路
７９…ローカルネットワーク
８０…エアフローメータ
８２…スロットルセンサ
８４…クランク角センサ
８６…空燃比センサ
８７…アクセルペダル
８８…アクセルペダルセンサ
９０…加速度センサ
ＤＲ…関係規定データ
ＤＳ…適合済みデータ
ＶＣ１…車両

Claims (5)

1. 車両に搭載された内燃機関の操作部を操作することで同内燃機関の制御量を変化させる内燃機関の制御装置であって、
   前記内燃機関の状態を含む前記車両の状態を示す変数である状態変数と前記操作部の操作量との関係を規定するデータであって前記車両の走行中に更新される関係規定データが記憶されるとともに、前記状態変数の検出値に基づく前記操作量の演算に用いられるデータであって前記車両の走行中に更新されない適合済みデータが予め記憶された記憶装置と、
   前記操作部の操作を実行する実行装置と、
   を備えており、
   かつ前記実行装置は、
   前記適合済みデータを用いて前記状態変数の検出値に基づき前記操作量を演算する第１演算処理と、
   前記関係規定データと前記状態変数とにより定まる値を前記操作量として演算する第２演算処理と、
   前記第２演算処理により演算された前記操作量により前記操作部が操作されているときの前記状態変数の検出値に基づいて報酬を算出するとともに、前記状態変数、前記操作量、及び前記報酬に基づいて、前記報酬の期待収益を増加させるように前記関係規定データを更新する強化学習処理と、
   前記第１演算処理を実行するとともに、同第１演算処理による前記操作量の演算値に応じて前記操作部を操作する第１操作処理と、
   前記第１演算処理及び前記第２演算処理の双方を実行するとともに、前記第２演算処理による前記操作量の演算値に応じて前記操作部を操作する第２操作処理と、
   前記操作部を操作する処理を前記車両の状態に応じて前記第１操作処理と前記第２操作処理とに切り替える切替処理と、
   を実行する内燃機関の制御装置。
2. 前記第１演算処理は、前記第２操作処理による前記操作部の操作時には、前記第１操作処理による前記操作部の操作時に演算する複数の操作量の中の一部の操作量に限定して演算を行う請求項１に記載の内燃機関の制御装置。
3. 前記一部の操作量に含まれる操作量の一つを操作量Ａとしたとき、
   前記第１演算処理には、前記操作量Ａの演算に際して実行される処理であって、前記制御量の目標値と検出値との偏差に応じて前記操作量Ａを補正するフィードバック補正処理が含まれる請求項２に記載の内燃機関の制御装置。
4. 前記一部の操作量に含まれる操作量の一つを操作量Ｂとしたとき、
   前記適合済みデータには、前記状態変数を入力とするとともに前記操作量Ｂを出力とする写像を規定するデータが含まれており、
   前記第１演算処理には、前記操作量Ｂの演算に際して実行される処理であって、前記状態変数の検出値を入力として同検出値に対して遅れを有して追従する値を前記写像の入力値として出力する処理、及び前記写像の出力値に対して遅れを有して追従する値を前記操作量Ｂの演算値として出力する処理の２つの処理のうちのいずれか一方の処理である緩変化処理が含まれる
   請求項２又は３に記載の内燃機関の制御装置。
5. 前記車両は、運転者のアクセルペダル操作に応じて車両の加減速を行う手動アクセル走行と、前記アクセルペダル操作に基づかずに前記車両の加減速を自動で行う自動アクセル走行と、を行うものであり、
   かつ前記切替処理は、前記車両が前記手動アクセル走行を行っているか、前記自動アクセル走行を行っているかにより、前記第１操作処理と前記第２操作処理とを切り替える処理である
   請求項１〜請求項４のいずれか１項に記載の内燃機関の制御装置。

Images