JP2021099060A - 車両用制御装置、車両用制御システム、および車両用学習装置 - Google Patents

Abstract

【課題】車両の状態と内燃機関の操作量との関係を車両の走行において適切な関係に設定する際、熟練者に要求される工数を削減できる。【解決手段】ＣＰＵ７２は、アイドル回転速度制御時、回転速度および目標回転速度を入力とし、スロットルバルブ１４の開口度の指令値と、吸気バルブ１８の開弁タイミングとを行動変数とする、関係規定データＤＲを、強化学習によって更新する。ＣＰＵ７２は、吸気系の劣化の有無の判定処理をする場合、関係規定データＤＲによらずに、回転速度を目標回転速度にフィードバック制御する際のスロットルバルブ１４の開口度の大きさを用いる。【選択図】図１

Description

本発明は、車両用制御装置、車両用制御システム、および車両用学習装置に関する。

たとえば下記特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６−６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた内燃機関の操作部の操作量等の適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置および記憶装置を備え、前記記憶装置には、車両の状態と前記車両に搭載される内燃機関の操作部の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、前記実行装置は、センサの検出値に基づく前記車両の状態を取得する取得処理と、前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記操作部を操作する操作処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態、前記操作部の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、前記行動変数のうちの少なくとも１つが予め定められた値にあることを条件に実行される前記内燃機関の劣化の有無を判定する判定処理と、を実行し、前記更新写像は、前記関係規定データに従って前記操作部が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである車両用制御装置である。

上記構成では、操作部の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な関係に設定することができる。したがって、車両の状態と行動変数との関係を車両の走行において適切な関係に設定する際、熟練者に要求される工数を削減できる。

ところで、強化学習がなされる場合、操作部がどのように操作されるかが学習の結果次第となる。一方、内燃機関の劣化の有無の判定は、いくつかの状態が予め定められた状態であることを前提とし、それ以外の状態に基づき行われることがある。そのため、強化学習がなされたり、強化学習によって更新された関係規定データに基づき操作部が操作されたりする場合にこうした判定を行うことを試みる場合には、その前提条件が満たされていないおそれがある。そこで上記構成では、行動変数のうちの少なくとも１つが予め定められた値であることを条件に判定処理を実行することにより、判定処理の実行条件を満たすことが可能となる。

２．前記実行装置は、前記操作処理を停止させ、前記行動変数のうちの少なくとも１つが予め定められた値となるように前記操作部を操作するアクティブ処理を実行し、該アクティブ処理の実行中に前記判定処理を実行する上記１記載の車両用制御装置である。

上記構成では、アクティブ処理を実行することにより、行動変数のうちの少なくとも１つを、予め定められた値に確実にすることができることから、アクティブ処理を実行しない場合と比較して、行動変数のうちの少なくとも１つを予め定められた値に早期且つ確実にすることができる。

３．前記実行装置は、前記判定処理を、停車中であることを条件に実行する上記１または２記載の車両用制御装置である。
停車中には、走行中と比較して内燃機関に対する要求が小さいことから、上記構成のように、判定処理を停車中に行うことにより、走行中と比較して、その前提条件を成立させやすい。

４．前記内燃機関は、前記操作部として、スロットルバルブと、ＥＧＲ量を調整するＥＧＲ調整装置と、を備え、前記操作処理は、前記内燃機関のクランク軸の回転速度を目標回転速度に制御すべく前記スロットルバルブおよび前記ＥＧＲ調整装置を操作する処理を含み、前記行動変数は、前記スロットルバルブの開口度に関する変数と、前記ＥＧＲ調整装置の操作に用いる変数であるＥＧＲ変数とを含み、前記判定処理は、前記ＥＧＲ調整装置が所定の状態にあることを条件に、前記スロットルバルブの開口度に基づき前記内燃機関の吸気系の劣化の有無を判定する処理を含む上記１〜３のいずれか１つに記載の車両用制御装置である。

たとえば、吸気通路に堆積物が堆積してその流路断面積が小さくなるなどすると、小さくなっていない場合と比較して、内燃機関のクランク軸の回転速度を目標回転速度に制御する際の操作量としてのスロットルバルブの開口度が大きくなる。そのため、こうした吸気系の異常は、ＥＧＲ調整装置の状態が一定であるなら、スロットルバルブの開口度に基づき判定できる。

一方、上記構成では、回転速度の目標回転速度への制御に際し、スロットルバルブのみならずＥＧＲ調整装置をも操作対象とすることにより、燃料消費量の低減の観点等からより適切な制御が実行可能となるものの、その場合には、適合工数が大きくなることから、強化学習によって、適切な行動変数の値を探索する。ただし、吸入空気量が同一であっても、ＥＧＲ調整装置の状態が異なる場合には、回転速度を目標回転速度とする上で適切なスロットルバルブの開口度が異なることから、回転速度の目標回転速度への制御時にスロットルバルブの開口度から吸気系の劣化の有無の判定をすることが困難となる。そこで上記構成では、ＥＧＲ調整装置の状態が所定の状態であることを条件に判定処理を実行することにより、スロットルバルブの開口度に基づき劣化の有無を判定できる。

５．前記内燃機関は、前記操作部として、燃料噴射弁を備え、前記行動変数は、前記内燃機関の燃焼室内の混合気の空燃比を定める変数である空燃比変数を含み、前記判定処理は、空燃比変数が所定値であることを条件に、前記燃料噴射弁の開弁時間に基づき前記燃料噴射弁の劣化の有無を判定する処理を含む上記１〜４のいずれか１つに記載の車両用制御装置である。

燃料噴射弁が劣化すると、所定の燃料を噴射するのに要する開弁時間が伸長する傾向がある。そのため、たとえば目標空燃比が一定である場合には、燃料噴射弁の開弁時間に基づき劣化の有無を判定できる。

一方、たとえば排気通路に設けられる触媒の下流における排気特性の制御を最適化するうえで都度の燃焼室内の混合気の空燃比をいかにすべきかについては必ずしも明らかではない。そのため、上記構成では、空燃比変数を強化学習の対象とし、最適な値を探索させる。しかしその場合、燃料噴射弁の開弁時間に基づき異常の有無を判定することが困難となる。そこで上記構成では、空燃比変数が所定値であることを条件に、判定処理を実行することにより、開弁時間に基づき燃料噴射弁の劣化の有無を判定できる。

６．上記１〜５のいずれか１つに記載の前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

７．上記６記載の第１実行装置を備える車両用制御装置である。
８．上記６記載の第２実行装置を備える車両用学習装置である。

第１の実施形態にかかる制御装置および車両の駆動系の構成を示す図。 同実施形態にかかるアイドル回転速度制御に関する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細な手順を示す流れ図。 同実施形態にかかる劣化判定処理の手順を示す流れ図。 第２の実施形態にかかる劣化判定処理の手順を示す流れ図。 第３の実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細な手順を示す流れ図。 同実施形態にかかる劣化判定処理の手順を示す流れ図。 第４の実施形態にかかる制御システムの構成を示す図。 （ａ）および（ｂ）は、同実施形態にかかる制御システムが実行する処理の手順を示す流れ図。

＜第１の実施形態＞
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。
図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８の回転動力は、タイミングチェーン３６を介して吸気側カム軸４０および排気側カム軸４２に伝達される。詳しくは、吸気側カム軸４０には、吸気バルブタイミング可変装置４４を介してクランク軸２８の回転動力が伝達される。

クランク軸２８には、ロックアップクラッチ５２を備えたトルクコンバータ５０を介して、変速装置６０の入力軸６２が機械的に連結可能とされている。変速装置６０は、入力軸６２の回転速度と出力軸６４の回転速度との比である変速比を可変とする装置である。出力軸６４には、駆動輪６６が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６、点火装置２６および吸気バルブタイミング可変装置４４等の内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ５０を制御対象とし、ロックアップクラッチ５２の係合状態を制御すべくロックアップクラッチ５２を操作する。また、制御装置７０は、変速装置６０を制御対象とし、その制御量としての変速比を制御すべく変速装置６０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、吸気バルブタイミング可変装置４４、ロックアップクラッチ５２、および変速装置６０のそれぞれの操作信号ＭＳ１〜ＭＳ６を記載している。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａや、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度（スロットル開口度ＴＡ）、クランク角センサ８４の出力信号Ｓｃｒ、カム角センサ８５の出力信号Ｓｃａを参照する。また、制御装置７０は、触媒３４の上流側に設けられた上流側空燃比センサ８６による検出値である上流側検出値Ａｆｕや、触媒３４の下流側に設けられた下流側空燃比センサ８８の検出値である下流側検出値Ａｆｄを参照する。また、ＣＰＵ７２は、アクセルセンサ９０によって検出されるアクセルペダル９２の踏み込み量（アクセル操作量ＰＡ）や、加速度センサ９４によって検出される車両ＶＣ１の前後方向の加速度Ｇｘを参照する。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａ、学習プログラム７４ｂ、および劣化判定プログラム７４ｃが記憶されている。一方、記憶装置７６には、回転速度ＮＥおよび目標回転速度ＮＥ＊と、スロットル開口度ＴＡの指令値（スロットル開口度指令値ＴＡ＊）および吸気位相差ＤＩＮの指令値である吸気位相差指令値ＤＩＮ＊との関係を規定する関係規定データＤＲが記憶されている。ここで、吸気位相差ＤＩＮは、クランク軸２８の回転角度に対する吸気側カム軸４０の回転角度の差である。また、記憶装置７６には、トルク出力写像データＤＴが記憶されている。トルク出力写像データＤＴによって規定されるトルク出力写像は、クランク軸２８の回転速度ＮＥ、充填効率η、および点火時期を入力とし、トルクＴｒｑを出力する写像である。

図２に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図２に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。

図２に示す一連の処理において、ＣＰＵ７２は、まず、アイドル回転速度制御の実行条件が成立するか否かを判定する（Ｓ１０）。この実行条件は、たとえばアクセル操作量ＰＡがゼロであることと、回転速度ＮＥが所定値以下であることとの論理積が真であるなどの条件とすればよい。なお、回転速度ＮＥは、ＣＰＵ７２により、クランク角センサ８４の出力信号Ｓｃｒに基づき算出される。

ＣＰＵ７２は、実行条件が成立していると判定する場合（Ｓ１０：ＹＥＳ）、状態ｓとして、回転速度ＮＥおよび目標回転速度ＮＥ＊を取得する（Ｓ１２）。ここで、目標回転速度ＮＥ＊は、ＣＰＵ７２により、たとえば内燃機関１０に要求される軸トルクが大きい場合に小さい場合よりも大きい値に算出されるものとすればよい。

次にＣＰＵ７２は、関係規定データＤＲが定める方策πに従い、Ｓ１２の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊からなる行動ａを設定する（Ｓ１４）。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの４次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

次にＣＰＵ７２は、設定されたスロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊に基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、吸気バルブタイミング可変装置４４に操作信号ＭＳ４を出力して吸気位相差ＤＩＮをフィードバック制御する（Ｓ１６）。なお、吸気位相差ＤＩＮは、内部ＥＧＲ量を調整する変数であり、ＣＰＵ７２によりクランク角センサ８４の出力信号Ｓｃｒおよびカム角センサ８５の出力信号Ｓｃａに基づき算出される。

次にＣＰＵ７２は、噴射量指令値Ｑ＊を取得する（Ｓ１８）。ここで、噴射量指令値Ｑ＊は、ＣＰＵ７２により、たとえば上流側検出値Ａｆｕを目標値に制御するうえで必要な燃料量として算出されるものである。

そしてＣＰＵ７２は、Ｓ１０の処理において否定判定される状態から肯定判定される状態に切り替わったタイミングと後述のＳ２２の処理が実行されたタイミングとのうちの遅い方から所定期間が経過したか否かを判定する（Ｓ２０）。そしてＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ２０：ＹＥＳ）、関係規定データＤＲを更新する（Ｓ２２）。

図３に、Ｓ２２の処理の詳細を示す。
図３に示す一連の処理において、ＣＰＵ７２は、まず、所定期間内における噴射量指令値Ｑ＊の時系列データと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ３０）。図３には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、噴射量指令値Ｑ＊（１）と噴射量指令値Ｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、所定期間における行動ａの時系列データを、行動集合Ａｊとし、所定期間における状態ｓの時系列データを、状態集合Ｓｊと定義する。次にＣＰＵ７２は、噴射量指令値Ｑ＊の時系列データの積算値ＩｎＱを算出する（Ｓ３２）。

そして、ＣＰＵ７２は、所定期間内における回転速度ＮＥと目標回転速度ＮＥ＊との差の絶対値が所定値Δ以下である旨の条件（ア）が成立するか否かを判定する（Ｓ３４）。ＣＰＵ７２は、条件（ア）が成立すると判定する場合（Ｓ３４：ＹＥＳ）、積算値ＩｎＱが高効率側閾値ＩｎＱＬ以下である旨の条件（イ）が成立するか否かを判定する（Ｓ３６）。ここで、ＣＰＵ７２は、高効率側閾値ＩｎＱＬを、目標回転速度ＮＥ＊に応じて可変設定する。詳しくは、ＣＰＵ７２は、目標回転速度ＮＥ＊が大きい場合に小さい場合よりも高効率側閾値ＩｎＱＬを大きい値に設定する。ＣＰＵ７２は、条件（イ）が成立すると判定する場合（Ｓ３６：ＹＥＳ）、報酬ｒに「１０」を代入する（Ｓ３８）。

これに対し、ＣＰＵ７２は、高効率側閾値ＩｎＱＬよりも大きいと判定する場合（Ｓ３６：ＮＯ）、積算値ＩｎＱが低効率側閾値ＩｎＱＨ以上である旨の条件（ウ）が成立するか否かを判定する（Ｓ４０）。ここで、ＣＰＵ７２は、低効率側閾値ＩｎＱＨを、目標回転速度ＮＥ＊に応じて可変設定する。詳しくは、ＣＰＵ７２は、目標回転速度ＮＥ＊が大きい場合に小さい場合よりも低効率側閾値ＩｎＱＨを大きい値に設定する。ＣＰＵ７２は、条件（ウ）が成立すると判定する場合（Ｓ４０：ＹＥＳ）や、Ｓ３４の処理において否定判定する場合には、報酬ｒに「−１０」を代入する（Ｓ４２）。

なお、Ｓ３６〜Ｓ４２の処理は、エネルギ利用効率が大きい場合に小さい場合よりも大きい報酬を与える処理である。
ＣＰＵ７２は、Ｓ３８，Ｓ４２の処理を完了する場合や、Ｓ４０の処理において否定判定する場合には、図１に示した記憶装置７６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ４４）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ４６）。ここで、平均化は、Ｓ４４の処理がなされた回数に所定数を加えた数によって、Ｓ４４の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、対応する行動価値関数Ｑの初期値とすればよい。

次にＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときのスロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊の組である行動を、行動Ａｊ＊に代入する（Ｓ４８）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ３０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ５０）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ４４によって選択された行動Ａｊ＊の選択確率を、「（１−ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜−１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ５０の処理は、Ｓ４６の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ７２は、Ｓ５０の処理が完了する場合、図３に示す一連の処理を一旦終了する。
図２に戻り、ＣＰＵ７２は、Ｓ２２の処理が完了する場合や、Ｓ１０，Ｓ２０の処理において否定判定する場合には、図２に示す一連の処理を一旦終了する。なお、Ｓ１０〜Ｓ２０の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２２の処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。また、車両ＶＣ１の出荷時における関係規定データＤＲは、テストベンチで図２に示した処理と同様の処理を実行することによってあらかじめ学習がなされたデータとする。

図４に、制御装置７０により実行される、吸気系の劣化の有無の判定に関する処理の手順を示す。図４に示す処理は、ＲＯＭ７４に記憶された劣化判定プログラム７４ｃをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。

図４に示す一連の処理において、ＣＰＵ７２は、まずアイドル回転速度制御の実行条件が成立しているか否かを判定する（Ｓ６０）。そしてＣＰＵ７２は、実行条件が成立していると判定する場合（Ｓ６０：ＹＥＳ）、劣化判定処理の実行条件が成立しているか否かを判定する（Ｓ６２）。ここで、劣化判定処理の実行条件は、たとえば内燃機関１０の累積稼働時間が所定時間の整数倍となる旨の条件や、車両ＶＣ１の走行距離が所定距離の整数倍となる旨の条件が成立してから未だ劣化の有無の判定が完了していない旨の条件とすればよい。なお、所定距離は、たとえば５０００キロメートル以上とすることが望ましく、１万キロメートル以上とすることがより望ましい。

次にＣＰＵ７２は、吸気位相差ＤＩＮが下限値ＤＩＮＬ以上であって上限値ＤＩＮＨ以下であり、目標回転速度ＮＥ＊が基準速度ＮＥ０となる状態が所定時間継続したか否かを判定する（Ｓ６４）。そしてＣＰＵ７２は、所定時間継続したと判定する場合（Ｓ６４：ＹＥＳ）、スロットル開口度指令値ＴＡ＊が上限開口度ＴＡＨ以下であるか否かを判定する（Ｓ６６）。この処理は、吸気系に異常があるか否かを判定する処理である。すなわち、たとえばスロットルバルブ１４や吸気通路１２に堆積物が堆積することによる吸気系の劣化が生じる場合には、吸気通路１２の流路断面積が小さくなることから、スロットル開口度ＴＡの割に吸入空気量Ｇａが小さくなる。したがって、回転速度ＮＥを目標回転速度ＮＥ＊にフィードバック制御する際のスロットル開口度指令値ＴＡ＊が、吸気系の劣化前と比較して大きくなる。そのため、劣化の有無を上限開口度ＴＡＨを用いて判定する。

ＣＰＵ７２は、上限開口度ＴＡＨを超えると判定する場合（Ｓ６６：ＮＯ）、吸気系が劣化していると判定し（Ｓ６８）、図１に示す警告灯９８を操作することによって、劣化が生じた旨のユーザに通知する報知処理を実行する（Ｓ７０）。

なお、ＣＰＵ７２は、Ｓ７０の処理が完了する場合や、Ｓ６６の処理において肯定判定する場合、Ｓ６０，Ｓ６２，Ｓ６４の処理において否定判定する場合には、図４に示す一連の処理を一旦終了する。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、アイドル回転速度制御時において、スロットル開口度ＴＡのみならず、吸気位相差ＤＩＮを操作量として、回転速度ＮＥを目標回転速度ＮＥ＊に制御する。これにより、吸気位相差指令値ＤＩＮ＊を固定してアイドル回転速度制御を実行する場合と比較すると、燃料消費量を低減した制御を実行可能となる。ただし、吸気位相差指令値ＤＩＮ＊を操作量に加える場合、適合工数が大きくなる。そこで本実施形態では、強化学習によって学習された関係規定データＤＲを用いてアイドル回転速度制御を実行する。

さらにＣＰＵ７２は、方策πに従って、スロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊からなる行動ａを設定する。ここでＣＰＵ７２は、基本的には、関係規定データＤＲに規定されている行動価値関数Ｑに基づき期待収益を最大とする行動ａを選択する。ただし、ＣＰＵ７２は、所定の確率「ε−ε／｜Ａ｜」で、期待収益を最大化する行動ａ以外の行動を選択することによって、期待収益を最大化する行動ａの探索を行う。これにより、関係規定データＤＲを、内燃機関１０の個体差や経年変化を反映した適切なデータへと強化学習によって更新できる。

ただし、上記のように、スロットル開口度ＴＡのみならず、吸気位相差ＤＩＮをもアイドル回転速度制御の操作量とする場合、スロットル開口度ＴＡのみを操作量とする場合と比較して、吸気系の劣化判定を精度良く判定できないおそれがある。これは、アイドル回転速度制御の操作量をスロットル開口度ＴＡのみとする場合、吸気系が劣化している場合には劣化していない場合と比較してスロットル開口度ＴＡが大きくなるものの、吸気位相差ＤＩＮが可変とされると、スロットル開口度ＴＡが吸気位相差ＤＩＮに依存するからである。

そこで本実施形態では、目標回転速度ＮＥ＊が基準速度ＮＥ０であって吸気位相差ＤＩＮが下限値ＤＩＮＬおよび上限値ＤＩＮＨの範囲内の値であることを条件に、スロットル開口度指令値ＴＡ＊に基づき吸気系の劣化の有無を判定する。このように、強化学習の行動変数のうちの吸気位相差ＤＩＮが所定範囲内の値となる旨の条件を設けることにより、条件をそろえて劣化の有無を判定できる。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図５に、本実施形態にかかる吸気系の劣化の有無の判定に関する処理の手順を示す。図５に示す処理は、ＲＯＭ７４に記憶された劣化判定プログラム７４ｃをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、図５において、図４に示した処理に対応する処理については、便宜上同一のステップ番号を付与している。

図５に示す一連の処理において、ＣＰＵ７２は、まずイグニッションスイッチの操作に応じた信号であるＩＧ信号がオン状態からオフ状態に切り替わったときであるか否かを判定する（Ｓ８０）。そしてＣＰＵ７２は、切り替わったときであると判定する場合（Ｓ８０：ＹＥＳ）、Ｓ６２の処理を実行し、肯定判定する場合には、吸気位相差指令値ＤＩＮ＊に基準位相差ＤＩＮ０を代入するとともに、目標回転速度ＮＥ＊に基準速度ＮＥ０を代入する（Ｓ８２）。

次にＣＰＵ７２は、回転速度ＮＥを目標回転速度ＮＥ＊にフィードバック制御するための操作量としてスロットル開口度指令値ＴＡ＊を算出する（Ｓ８４）。すなわち、本実施形態では、劣化判定処理の実行条件が成立すると、アイドル回転速度制御を関係規定データＤＲを用いることなく、回転速度ＮＥの目標回転速度ＮＥ＊へのフィードバック制御を実行する。本実施形態では、回転速度ＮＥと目標回転速度ＮＥ＊との差に比例ゲインＫｐ１を乗算する比例要素の出力値と、同差に積分ゲインＫｉ１を乗算した値を積算する積分要素の出力値と、同差の時間微分値に微分ゲインＫｄ１を乗算する微分要素の出力値との和を、スロットル開口度指令値ＴＡ＊とする。

そしてＣＰＵ７２は、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御すべくスロットルバルブ１４に操作信号ＭＳ１を出力するとともに、吸気位相差ＤＩＮを吸気位相差指令値ＤＩＮ＊にフィードバック制御すべく吸気バルブタイミング可変装置４４に操作信号ＭＳ４を出力する（Ｓ８６）。そしてＣＰＵ７２は、Ｓ６６〜Ｓ７０の処理を実行する。

なお、ＣＰＵ７２は、Ｓ７０の処理を完了する場合やＳ６６の処理において肯定判定する場合、Ｓ８０，Ｓ６２の処理において否定判定する場合には、内燃機関１０を停止させ（Ｓ８８）、図５に示す一連の処理を一旦終了する。

このように、本実施形態では、ＩＧ信号がオフになったときに直ちに内燃機関１０を停止させるのではなく、ＩＧ信号がオフとなると劣化判定処理を実行する。そして、劣化判定処理が終了すると、内燃機関１０を停止させる。そして、劣化判定処理を実行する場合、関係規定データＤＲによらずに、吸気位相差ＤＩＮおよび目標回転速度ＮＥ＊を固定してアイドル回転速度制御を実行することにより、劣化の有無の判定の前提条件を高精度に満たすことができ、ひいては劣化の有無の判定精度を高めることができる。

以上説明した本実施形態によれば、さらに以下に記載する作用効果が得られる。
（１）ＩＧ信号がオフ状態であるときに劣化の有無を判定した。ＩＧ信号がオフ状態である場合には、オン状態と比較して、内燃機関１０に対する要求が小さくなることから、吸気位相差ＤＩＮや目標回転速度ＮＥ＊を固定する、いわゆるアクティブ制御を実行しやすい。

＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、強化学習として、方策勾配法を用いる。
また、本実施形態では、スロットル開口度指令値ＴＡ＊、点火時期の遅角量ａｏｐ、ベース噴射量Ｑｂｓｅおよび上流側検出値Ａｆｕの目標値Ａｆｕ＊を、アイドル回転速度制御に限らない一般の行動変数として強化学習を実行する。ここで、遅角量ａｏｐは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、ＭＢＴ点火時期とノック限界点とのうちの遅角側の時期である。ＭＢＴ点火時期は、最大トルクの得られる点火時期（最大トルク点火時期）である。またノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。また、ベース噴射量Ｑｂｓｅは、上流側検出値Ａｆｕを目標値Ａｆｕ＊に制御するための開ループ操作量である。

図６に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図６に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。

図６に示す一連の処理において、ＣＰＵ７２は、まず、状態ｓとして、アクセル操作量ＰＡ、回転速度ＮＥ、充填効率η、および下流側検出値Ａｆｄの時系列データを取得する（Ｓ９０）。本実施形態では、アクセル操作量ＰＡ、回転速度ＮＥ、充填効率η、および下流側検出値Ａｆｄの各時系列データを、等間隔でサンプリングされた６個の値とする。

そして、ＣＰＵ７２は、方策πを定める関数近似器の入力変数に、状態ｓを代入する（Ｓ９２）。詳しくは、ＣＰＵ７２は、「ｉ＝１〜６」として、入力変数ｘ（ｉ）にアクセル操作量ＰＡ（ｉ）を代入し、入力変数ｘ（６＋ｉ）に回転速度ＮＥ（ｉ）を代入し、入力変数ｘ（１２＋ｉ）に充填効率η（ｉ）を代入し、入力変数ｘ（１８＋ｉ）に下流側検出値Ａｆｄを代入する。

そしてＣＰＵ７２は、方策を定める関数近似器に入力変数ｘ（１）〜ｓ（２４）を代入する（Ｓ９４）。本実施形態では、方策πを、行動を定める各操作量の取りうる確率を定める多変量ガウス分布とする。ここで、多変量ガウス分布の平均値μ（１）は、スロットル開口度指令値ＴＡ＊の平均値を示し、平均値μ（２）は、遅角量ａｏｐの平均値を示し、平均値μ（３）は、ベース噴射量Ｑｂｓｅの平均値を示し、平均値μ（４）は、目標値Ａｆｕ＊の平均値を示す。また、本実施形態では、多変量ガウス分布の共分散行列を対角行列とし、各平均値μ（ｉ）に対応する分散σ（ｉ）が各別の値となりうるものとする。

本実施形態では、平均値μ（ｉ）を、中間層の層数が「ｐ−１」個であって且つ、各中間層の活性化関数ｈ１〜ｈｐ−１がハイパボリックタンジェントであり、出力層の活性化関数ｈｐがＲｅＬＵであるニューラルネットワークによって構成されている。ここで、ＲｅＬＵは、入力と「０」とのうちの小さくない方を出力する関数である。また、ｍ＝２，３，…，ｐとすると、第「ｍ−１」の中間層の各ノードの値は、係数ｗ（ｍ）によって規定される線形写像の出力を活性化関数ｈｍに入力することによって生成される。ここで、ｎ１，ｎ２，…，ｎｐ−１は、それぞれ、第１、第２、…、第ｐ−１中間層のノード数である。たとえば、第１の中間層の各ノードの値は、係数ｗ（１）ｊｉ（ｊ＝０〜ｎ１，ｉ＝０〜１８）によって規定される線形写像に上記入力変数ｘ（１）〜ｘ（２４）を入力した際の出力を活性化関数ｈ１に入力することによって生成される。ちなみに、ｗ（１）ｊ０等は、バイアスパラメータであり、入力変数ｘ（０）は、「１」と定義している。

上記ニューラルネットワークは、活性化関数ｈｐの４つの出力それぞれを、平均値μ（ｉ）とするものである。
また、本実施形態では、分散σ（ｉ）を、係数ｗＴｉｋ（ｉ＝１〜４，ｋ＝１〜２４）によって規定される線形写像によって入力変数ｘ（１）〜ｘ（２４）を線形変換した値のそれぞれを関数ｆに入力した際の関数ｆの値とする。本実施形態では、関数ｆとして、ＲｅＬＵを例示する。

次にＣＰＵ７２は、Ｓ９４の処理によって算出された平均値μ（ｉ）および分散σ（ｉ）にて定義される方策πに基づき、行動ａを決定する（Ｓ９６）。ここでは、平均値μ（ｉ）を選択する確率が最も高く、且つ、平均値μ（ｉ）を選択する確率は、分散σ（ｉ）が小さい場合に大きい場合よりも大きくなる。

次に、ＣＰＵ７２は、ベース噴射量Ｑｂｓｅを、上流側検出値Ａｆｕを目標値Ａｆｕ＊にフィードバック制御するための操作量であるフィードバック補正係数ＫＡＦによって補正することによって、噴射量指令値Ｑ＊を算出する（Ｓ９８）。

そして、ＣＰＵ７２は、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作し、燃料噴射弁１６に操作信号ＭＳ２を出力して燃料噴射量を操作し、点火装置２６に操作信号ＭＳ３を出力して点火時期を操作する（Ｓ１００）。ＣＰＵ７２は、周知のノッキングコントロール（ＫＣＳ）等がなされる場合、点火時期を、基準点火時期を遅角量ａｏｐにて遅角させた値がＫＣＳにてフィードバック補正された値とする。ここで、基準点火時期は、ＣＰＵ７２により、クランク軸２８の回転速度ＮＥおよび充填効率ηに応じて可変設定される。なお、充填効率ηは、回転速度ＮＥおよび吸入空気量Ｇａに基づきＣＰＵ７２によって算出される。

そしてＣＰＵ７２は、関係規定データＤＲを更新するための処理を実行し（Ｓ２２ａ）、図６に示す一連の処理を一旦終了する。
図７に、Ｓ２２ａの処理の詳細を示す。

ＣＰＵ７２は、行動ａおよび状態ｓに加えて、トルク指令値Ｔｒｑ＊、トルクＴｒｑ、加速度Ｇｘおよび下流側検出値Ａｆｄを取得する（Ｓ１１０）。ここで、ＣＰＵ７２は、トルクＴｒｑを、回転速度ＮＥ、充填効率ηおよび点火時期をトルク出力写像に入力することによって算出する。また、ＣＰＵ７２は、トルク指令値Ｔｒｑ＊を、アクセル操作量ＰＡに応じて設定する。

次にＣＰＵ７２は、以下の条件（カ）〜条件（ク）の論理積が真であるか否かを判定する（Ｓ１１２）。
条件（カ）：トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件である。

条件（キ）加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件である。
条件（ク）：下流側検出値Ａｆｄがリッチ側閾値ＡｆＲ以上であって且つリーン側閾値ＡｆＬ以下である旨の条件である。

そしてＣＰＵ７２は、論理積が真であると判定する場合（Ｓ１１２：ＹＥＳ）、報酬ｒに「１０」を代入する（Ｓ１１４）一方、偽であると判定する場合（Ｓ１１２：ＮＯ）、報酬ｒに「−１０」を代入する（Ｓ１１６）。ＣＰＵ７２は、Ｓ１１４，Ｓ１１６の処理が完了する場合、収益Ｒに報酬ｒを加算する（Ｓ１１８）。なお、Ｓ１１２〜Ｓ１１４，Ｓ１１６の処理は、ドライバビリティが基準を満たす場合に満たさない場合よりも大きい報酬を与える処理および排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。

そして、ＣＰＵ７２は、変数ｔが所定時間Ｔ−１に達したか否かを判定する（Ｓ１２０）。ＣＰＵ７２は、所定時間Ｔ−１に達していないと判定する場合（Ｓ１２０：ＮＯ）、変数ｔをインクリメントする（Ｓ１２２）。

これに対しＣＰＵ７２は、所定時間Ｔ−１に達すると判定する場合（Ｓ１２０：ＹＥＳ）、収益Ｒｉに、収益Ｒを代入した後、収益Ｒを初期化し、さらに、変数ｔを初期化する（Ｓ１２４）。次にＣＰＵ７２は、変数ｉが所定値Ｎに達したか否かを判定する（Ｓ１２６）。そして、ＣＰＵ７２は、所定値Ｎに達していないと判定する場合（Ｓ１２６：ＮＯ）、変数ｉをインクリメントする（Ｓ１２８）。

これに対し、ＣＰＵ７２は、所定値Ｎに達すると判定する場合（Ｓ１２６：ＹＥＳ）、方策勾配法によって、方策πを規定する変数ｗ（１）〜ｗ（ｐ）や係数ｗＴを更新する（Ｓ１３０）。図７には、方策πを規定する変数ｗ（１）〜ｗ（ｐ）や係数ｗＴを総括してパラメータθと記載している。

ここで、変数ｔが０〜Ｔ−１となるまでにおける、状態ｓ、行動ａおよび報酬ｒの、Ｔ個の組を、トラジェクトリｈｔとし、確率ｐθ（ｈｔ）を、パラメータθによって規定される方策πに従ってトラジェクトリｈｔとなる確率ｐθ（ｈｔ）とする。ここでは、「ｐθ（ｈｔ）・Ｒｔ」のトラジェクトリｈｔによる積分値は、収益Ｒ（ｈｔ）の期待値（期待収益Ｊ）であり、これを最大化するように、パラメータθを更新する。これは、パラメータθの各成分の更新量を、同成分によって上記期待収益Ｊを偏微分した値に比例した量とすることにより実現できる。

ここで、確率ｐθ（ｈｔ）は、状態ｓ０，ｓ１，…ｓＴ、行動ａ０，ａ１，…ａＴを用いると、
ｐθ（ｈｔ）
＝ｐ（ｓ０）・ｐ（ｓ１｜ｓ０，ａ０）・π（ａ０｜ｓ０）・ｐ（ｓ２｜ｓ１，ａ１）・π（ａ１｜ｓ１）…ｐ（ｓＴ｜ｓＴ−１，ａＴ−１）・π（ａＴ−１｜ｓＴ−１）
となる。ただし、初期確率ｐ（ｓ０）は、状態ｓ０となる確率であり、遷移確率ｐ（ｓｔ＋１｜ｓｔ，ａｔ）は、状態ｓｔ、行動ａｔのときに状態ｓｔから状態ｓｔ＋１に遷移する確率である。

したがって、期待収益Ｊの偏微分は、下記の式（ｃ１）となる。

ここで、確率ｐθ（ｈｔ）については、知ることができないことから、上記の式（ｃ１）における積分を、複数（ここでは、所定値Ｎ個）のトラジェクトリｈｔによる平均値に置き換える。

これにより、期待収益Ｊのパラメータθの各成分による偏微分は、方策π（ａｔ｜ｓｔ）の対数のパラメータθの該当する成分による偏微分係数の「ｔ＝０〜Ｔ−１」における和と収益Ｒｉとの積を、所定値Ｎ個の収益Ｒｉについて加算し、所定値Ｎで除算した値となる。

そしてＣＰＵ７２は、パラメータθの各成分による期待収益Ｊの偏微分係数に学習率αを乗算した値を、パラメータθのうちの該当する成分の更新量とする。
なお、Ｓ１１８〜Ｓ１３０の処理は、ＲＯＭ７４に記憶された学習プログラム７４ｂのうち、状態ｓ０，ｓ１，…、行動ａ０，ａ１，…、および報酬ｒを入力とし、更新されたパラメータθを出力する更新写像の実行指令が実行されることによって実現される。

ＣＰＵ７２は、Ｓ１３０の処理が完了する場合、変数ｉおよび収益Ｒ１〜ＲＮを初期化する（Ｓ１３２）。
なお、ＣＰＵ７２は、Ｓ１２２，Ｓ１２８，Ｓ１３２の処理が完了する場合、図７に示す一連の処理を一旦終了する。

図８に、本実施形態にかかる燃料噴射弁１６の劣化の有無の判定に関する処理の手順を示す。図８に示す処理は、ＲＯＭ７４に記憶された劣化判定プログラム７４ｃをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお図８において、図５に示した処理に対応する処理については、便宜上同一のステップ番号を付与する。

図８に示す一連の処理において、ＣＰＵ７２は、劣化判定処理の実行条件が成立すると判定する場合（Ｓ６２：ＹＥＳ）、Ｓ８４の処理を実行する。そして、ＣＰＵ７２は、ベース噴射量Ｑｂｓｅ０を、上流側検出値Ａｆｕを基準値Ａｆｓにフィードバック制御するための操作量であるフィードバック補正係数ＫＡＦにて補正して噴射量指令値Ｑ＊を算出する（Ｓ９８ａ）。ここで、ベース噴射量Ｑｂｓｅ０は、関係規定データＤＲとは無関係に、充填効率ηに比例した値であり、上流側検出値Ａｆｕを基準値Ａｆｓに開ループ制御するための操作量となっている。

そしてＣＰＵ７２は、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御するために操作信号ＭＳ１を出力してスロットルバルブ１４を操作するとともに、燃料噴射弁１６から噴射される燃料量を噴射量指令値Ｑ＊に応じた量とするために操作信号ＭＳ２を出力して燃料噴射弁１６を操作する（Ｓ１４０）。

そして、ＣＰＵ７２は、回転速度ＮＥおよびフィードバック補正係数ＫＡＦが収束することを条件に、フィードバック補正係数ＫＡＦが、上限値ＫＡＦＨ以下であるか否かを判定する（Ｓ１４２）。この処理は、燃料噴射弁１６が劣化しているか否かを判定する処理である。これは、燃料噴射弁１６の噴射孔に堆積物が堆積し、噴射孔の流路断面積が小さくなる劣化が生じる場合、フィードバック補正係数ＫＡＦによる噴射量の増量補正が大きくなることに鑑みたものである。

ＣＰＵ７２は、上限値ＫＡＦＨを超えると判定する場合（Ｓ１４２：ＮＯ）、Ｓ６８、Ｓ７０の処理を実行する。
ＣＰＵ７２は、Ｓ７０の処理が完了する場合や、Ｓ１４２の処理において肯定判定する場合、Ｓ８０，Ｓ６２の処理において否定判定する場合には、内燃機関１０を停止させ（Ｓ８８）、図８に示す一連の処理を一旦終了する。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、アクセル操作量ＰＡ、回転速度ＮＥ、充填効率η、および下流側検出値Ａｆｄの時系列データを取得し、方策πに従って、スロットル開口度指令値ＴＡ＊、遅角量ａｏｐ、ベース噴射量Ｑｂｓｅおよび目標値Ａｆｕ＊からなる行動ａを設定する。ここで、ベース噴射量Ｑｂｓｅは、目標値Ａｆｕ＊によって定まる比例係数を充填効率ηに乗算した値となるとは限らない。しかし、これにより、たとえばアクセル操作量ＰＡが大きく変化する過渡時において、目標値Ａｆｕ＊とするうえでの開ループ制御の操作量としてのベース噴射量Ｑｂｓｅについて、適切な値を強化学習によって見出すことが可能となる。同様に、目標値Ａｆｕ＊は、必ずしもリッチ側上限値ＡｆｄＲとリーン側上限値ＡｆｄＬとの間に設定されるとは限らない。しかしこれにより、下流側検出値Ａｆｄをリッチ側上限値ＡｆｄＲとリーン側上限値ＡｆｄＬとの間に制御するうえで適切な目標値Ａｆｕ＊を強化学習によって見出すことが可能となる。

このように、本実施形態では、ベース噴射量Ｑｂｓｅや目標値Ａｆｕ＊までも行動変数とすることにより、触媒３４の下流の排気成分を狙いとするうえで適切な制御を探索によって見出すことができる。

ただし、その場合、フィードバック補正係数ＫＡＦに燃料噴射弁１６の劣化の影響がどのように反映されるか、不明確となる。そこで本実施形態では、ＩＧ信号がオフ状態であるときに、アイドル回転速度制御を実行し、フィードバック補正係数ＫＡＦをベース噴射量Ｑｂｓｅ０に対するフィードバック補正量とした。これにより、フィードバック補正係数ＫＡＦは、ベース噴射量Ｑｂｓｅ０による上流側検出値Ａｆｕの基準値Ａｆｓへの制御誤差を補償する値となることから、フィードバック補正係数ＫＡＦと燃料噴射弁１６の劣化度合いとの関係が明確となる。そのため、燃料噴射弁１６の劣化の有無を高精度に判定できる。

以上説明した本実施形態によれば、さらに以下の作用および効果が得られる。
（２）関係規定データＤＲに関数近似器を用いることにより、状態や行動が連続変数であっても、これを容易に扱うことができる。

（３）行動価値関数Ｑの独立変数にアクセル操作量ＰＡの時系列データを含めた。これにより、アクセル操作量ＰＡに関して単一のサンプリング値のみを独立変数とする場合と比較して、アクセル操作量ＰＡの様々な変化に対して行動ａの値をきめ細かく調整できる。

（４）行動価値関数Ｑの独立変数に、スロットル開口度指令値ＴＡ＊自体を含めた。これにより、たとえば、スロットル開口度指令値ＴＡ＊の挙動をモデル化したモデル式のパラメータ等をスロットル開口度に関する独立変数とする場合と比較して、強化学習による探索の自由度を高めることが容易である。

＜第４の実施形態＞
以下、第４の実施形態について、第３の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、関係規定データＤＲの更新を、車両ＶＣ１の外で実行する。
図９に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図９において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図９に示す車両ＶＣ１内の制御装置７０におけるＲＯＭ７４は、制御プログラム７４ａを記憶しているものの、学習プログラム７４ｂを記憶していない。また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１００を介してデータ解析センター１１０と通信するための機器である。

データ解析センター１１０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。データ解析センター１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリ（記憶装置１１６）、周辺回路１１８および通信機１１７を備えており、それらがローカルネットワーク１１９によって通信可能とされるものである。ＲＯＭ１１４には、学習プログラム１１４ａが記憶されており、記憶装置１１６には、関係規定データＤＲが記憶されている。

図１０に、本実施形態にかかる強化学習の処理手順を示す。図１０（ａ）に示す処理は、図９に示すＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。また、図１０（ｂ）に示す処理は、ＲＯＭ１１４に記憶されている学習プログラム１１４ａをＣＰＵ１１２が実行することにより実現される。なお、図１０において図６に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図１０に示す処理を説明する。

図１０（ａ）に示す一連の処理において、ＣＰＵ７２は、Ｓ９０〜Ｓ１００の処理を実行し、通信機７７を操作することによって、関係規定データＤＲの更新処理に必要なデータを送信する（Ｓ１５０）。ここで、送信対象とされるデータは、Ｓ９０の処理において設定された状態ｓ、Ｓ９６の処理において設定された行動ａ、ならびにトルク指令値Ｔｒｑ＊、トルクＴｒｑ、加速度Ｇｘ、および下流側検出値Ａｆｄを含む。

これに対し、図１０（ｂ）に示すように、ＣＰＵ１１２は、送信されたデータを受信し（Ｓ１６０）、受信したデータに基づき関係規定データＤＲを更新する（Ｓ２２ａ）。そしてＣＰＵ１１２は、送信すべき更新された関係規定データＤＲがあるか否かを判定し（Ｓ１６２）、あると判定する場合（Ｓ１６２：ＹＥＳ）、通信機１１７を操作して、Ｓ１６０の処理によって受信したデータを送信した車両ＶＣ１に関係規定データＤＲを送信する（Ｓ１６４）。なお、送信すべき更新された関係規定データＤＲは、たとえば更新回数が所定回数以上となったデータとすればよい。ＣＰＵ１１２は、Ｓ１６４の処理を完了する場合や、Ｓ１６２の処理において否定判定する場合には、図１０（ｂ）に示す一連の処理を一旦終了する。

これに対し、図１０（ａ）に示すように、ＣＰＵ７２は、更新データがあるか否かを判定し（Ｓ１５２）、あると判定する場合（Ｓ１５２：ＹＥＳ）、更新された関係規定データＤＲを受信する（Ｓ１５４）。そしてＣＰＵは、Ｓ９６の処理において利用する関係規定データＤＲを、受信した関係規定データＤＲに書き換える（Ｓ１５６）。なお、ＣＰＵ７２は、Ｓ１５６の処理を完了する場合や、Ｓ１５２の処理において否定判定する場合には、図１０（ａ）に示す一連の処理を一旦終了する。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置７０の演算負荷を軽減できる。さらに、たとえばＳ９０の処理において、複数の車両ＶＣ１，ＶＣ２からのデータを受信してＳ２２ａの処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、記憶装置は、記憶装置７６に対応する。取得処理は、Ｓ１２，Ｓ１８，Ｓ９０，Ｓ１１０の処理に対応し、操作処理は、Ｓ１６，Ｓ１００の処理に対応する。報酬算出処理は、図３のＳ３４〜Ｓ４２の処理や、図７のＳ１１２〜Ｓ１１６の処理に対応する。更新処理は、図３のＳ４４〜Ｓ５０の処理や、図７のＳ１１８〜Ｓ１３０の処理に対応する。更新写像は、学習プログラム７４ｂのうちＳ４４〜Ｓ５０の処理を実行する指令によって規定された写像や、Ｓ１１８〜Ｓ１３０の処理を実行する指令によって規定された写像に対応する。判定処理は、Ｓ６６，Ｓ６８の処理や、Ｓ１４２，Ｓ６８の処理に対応する。［２］アクティブ処理は、Ｓ８６の処理や、Ｓ１４０の処理に対応する。［３］図５および図８の処理に対応する。［４］ＥＧＲ調整装置は、吸気バルブタイミング可変装置４４に対応する。［５］空燃比変数は、目標値Ａｆｕ＊に対応する。［６〜８］第１実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、第２実行装置は、ＣＰＵ１１２およびＲＯＭ１１４に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「行動変数について」
・図２の処理では、ＥＧＲ量を調整する変数として、吸気位相差ＤＩＮを用いたが、これに限らない。たとえば下記「ＥＧＲ量調整装置について」の欄に記載したように、内燃機関１０に排気バルブタイミング可変装置を備える場合、排気バルブ３０のバルブ特性を示す変数をＥＧＲ量を調整する変数として用いてもよい。また、たとえば下記「ＥＧＲ量調整装置について」の欄に記載したように、内燃機関１０に排気通路３２の排気を吸気通路１２に流出させるＥＧＲ通路を備える場合、ＥＧＲ通路を介して吸気通路１２に流出する排気の流量を調整する調整装置の操作に関する変数を用いてもよい。

・図２の処理では、行動変数を、スロットルバルブの開口度に関する変数と、吸気バルブタイミング可変装置４４等のＥＧＲ量調整装置の操作に関する変数であるＥＧＲ変数との組としたが、これに限らない。たとえば、スロットルバルブの開口度に関する変数と、ＥＧＲ変数との２つの変数に加えて、点火時期に関する変数を含めてもよい。

・図６の処理では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。たとえば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間および２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・図６の処理では、行動変数としての点火時期に関する変数として、遅角量ａｏｐを例示したが、これに限らない。たとえば、ＫＣＳによる補正対象とされる点火時期自体であってもよい。

・図６の処理では、噴射量に関する変数としてベース噴射量Ｑｂｓｅを例示したが、これに限らない。たとえば空燃比フィードバック制御を実行しないこととし、噴射量指令値Ｑ＊を行動変数に含めてもよい。この場合、噴射量指令値Ｑ＊は、燃焼室２４内の混合気の空燃比を定める変数でもあることから、空燃比変数ともなる。

・図６の処理では、行動変数として、スロットルバルブの開口度に関する変数と、点火時期に関する変数と、噴射量に関する変数と、空燃比制御に関する変数と、の組を例示したが、これに限らない。たとえば、それら４つに関しては、３つのみを採用したり、２つのみを採用したり、１つのみを採用したりしてもよい。

・「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用い、点火時期に関する変数に代えて噴射時期に関する変数を用いればよい。なお、噴射時期に関する変数に加えて、１燃焼サイクルにおける噴射回数に関する変数や、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を加えることが望ましい。

「状態について」
・図６および図１０の処理では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、たとえば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量等であってもよい。

・図６および図１０の処理では、回転速度ＮＥの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・図６および図１０の処理では、充填効率ηの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・図６および図１０の処理では、下流側検出値Ａｆｄの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・図６および図１０の処理において、アクセル操作量ＰＡ、回転速度ＮＥ、充填効率ηおよび下流側検出値Ａｆｄの４つの時系列データを用いることは必須ではなく、それら４つに関しては、それらのうちの３つのみを用いたり、２つのみを用いたり、１つのみを用いたりしてもよい。また、複数の変数の時系列データを用いる場合、それら各変数の時系列データのサンプリング数が同一であることも必須ではない。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

「操作処理について」
・たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。すなわちたとえば、主として特定された行動ａを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。

「更新写像について」
・Ｓ４４〜Ｓ５０の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

「報酬算出処理について」
・図３の処理では、条件（ア）および条件（イ）を満たす場合と、条件（ア）を満たして且つ条件（イ）および条件（ウ）を満たさない場合と、条件（ア）を満たさないまたは条件（ウ）を満たす場合とで、各別の報酬を与えたがこれに限らない。たとえば、条件（ア）を満たすことと条件（ウ）を満たさないこととの論理積が真であるか否かに応じて、Ｓ３８，Ｓ４２のいずれかの処理を実行するようにしてもよい。

・エネルギ利用効率が効率下限値以上である場合に効率下限値を下回る場合よりも大きい報酬を与える処理としては、上記（ウ）の条件を満たすか否かに応じて報酬を与える処理に限らない。たとえば、車両ＶＣ１が所定の道路を走行する場合の燃料消費量が消費上限値以下である場合に消費上限値を超える場合よりも大きい報酬を与える処理であってもよい。

・報酬算出処理としては、報酬ｒを、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、のいずれかに限らない。ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理との３つの処理のうちの１つ、２つ、または３つを含んでよい。

・図７の処理では、条件（カ）〜条件（ク）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（カ）を満たすか否かに応じて報酬を与える処理と、条件（キ）を満たすか否かに応じて報酬を与える処理と、条件（ク）を満たすか否かに応じて報酬を与える処理と、を実行してもよい。また、たとえば、条件（カ）を満たすか否かに応じて報酬を与える処理と、条件（キ）を満たすか否かに応じて報酬を与える処理と、条件（ク）を満たすか否かに応じて報酬を与える処理と、の３つの処理に関しては、それらのうちのいずれか１つの処理のみを実行したり、２つの処理のみを実行したりしてもよい。

「ＥＧＲ調整装置について」
・上記実施形態では、ＥＧＲ量調整装置として、吸気バルブタイミング可変装置４４を例示したが、これに限らない。たとえば、排気バルブ３０のバルブ特性を可変とする排気バルブタイミング可変装置であってもよい。またたとえば、内燃機関１０に、排気通路３２の排気を吸気通路１２に流出させるＥＧＲ通路を備え、ＥＧＲ通路を介して吸気通路１２に流出する排気の流量を調整するバルブやポンプ等の調整装置をＥＧＲ量調整装置としてもよい。

「車両用制御システムについて」
・図１０に示した例では、Ｓ２２ａの処理の全てをデータ解析センター１１０にて実行したが、これに限らない。たとえば、データ解析センター１１０においては、Ｓ１１８〜Ｓ１３０の処理を実行するものの、報酬の算出処理であるＳ１１２〜Ｓ１１６の処理については実行せず、Ｓ１５０の処理において、Ｓ１１４，Ｓ１１６の処理の結果を送信することとしてもよい。

・車両用制御システムとしては、制御装置７０およびデータ解析センター１１０によって構成されるものに限らない。たとえば、データ解析センター１１０に代えて、ユーザが所持する携帯端末を用い、制御装置７０および携帯端末によって車両用制御システムを構成してもよい。また、たとえば、制御装置７０、携帯端末、およびデータ解析センター１１０によって構成してもよい。これは、図１０において、たとえば、Ｓ９６の処理を携帯端末によって実行することにより実現できる。

「実行装置について」
・実行装置としては、ＣＰＵ７２（１１２）とＲＯＭ７４（１１４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）〜（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラム７４ｂや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４）とを別の記憶装置としたが、これに限らない。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
「車両について」
・車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車であってもよい。

１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２６…点火装置
２８…クランク軸
３０…排気バルブ
３２…排気通路
３４…触媒
４４…吸気バルブタイミング可変装置
７０…制御装置
１１０…データ解析センター

Claims (8)

1. 実行装置および記憶装置を備え、
   前記記憶装置には、車両の状態と前記車両に搭載される内燃機関の操作部の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、
   前記実行装置は、
   センサの検出値に基づく前記車両の状態を取得する取得処理と、
   前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記操作部を操作する操作処理と、
   前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態、前記操作部の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
   前記行動変数のうちの少なくとも１つが予め定められた値にあることを条件に実行される前記内燃機関の劣化の有無を判定する判定処理と、
   を実行し、
   前記更新写像は、前記関係規定データに従って前記操作部が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである車両用制御装置。
2. 前記実行装置は、前記操作処理を停止させ、前記行動変数のうちの少なくとも１つが予め定められた値となるように前記操作部を操作するアクティブ処理を実行し、該アクティブ処理の実行中に前記判定処理を実行する請求項１記載の車両用制御装置。
3. 前記実行装置は、前記判定処理を、停車中であることを条件に実行する請求項１または２記載の車両用制御装置。
4. 前記内燃機関は、前記操作部として、スロットルバルブと、ＥＧＲ量を調整するＥＧＲ調整装置と、を備え、
   前記操作処理は、前記内燃機関のクランク軸の回転速度を目標回転速度に制御すべく前記スロットルバルブおよび前記ＥＧＲ調整装置を操作する処理を含み、
   前記行動変数は、前記スロットルバルブの開口度に関する変数と、前記ＥＧＲ調整装置の操作に用いる変数であるＥＧＲ変数とを含み、
   前記判定処理は、前記ＥＧＲ調整装置が所定の状態にあることを条件に、前記スロットルバルブの開口度に基づき前記内燃機関の吸気系の劣化の有無を判定する処理を含む請求項１〜３のいずれか１項に記載の車両用制御装置。
5. 前記内燃機関は、前記操作部として、燃料噴射弁を備え、
   前記行動変数は、前記内燃機関の燃焼室内の混合気の空燃比を定める変数である空燃比変数を含み、
   前記判定処理は、空燃比変数が所定値であることを条件に、前記燃料噴射弁の開弁時間に基づき前記燃料噴射弁の劣化の有無を判定する処理を含む請求項１〜４のいずれか１項に記載の車両用制御装置。
6. 請求項１〜５のいずれか１項に記載の前記実行装置および前記記憶装置を備え、
   前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
   前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、
   前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システム。
7. 請求項６記載の第１実行装置を備える車両用制御装置。
8. 請求項６記載の第２実行装置を備える車両用学習装置。

Images