JP2021116781A - 車両制御方法、車両用制御装置及びサーバ - Google Patents

Abstract

【課題】走行環境に応じた車両制御を提供できるようにすること。【解決手段】車両ＶＣ１の制御装置７０に、車両ＶＣ１の状態を取得する状態取得処理と、状態取得処理で取得された車両ＶＣ１の状態と、記憶装置７６に記憶されているマップデータＤＭと、に基づいて車両ＶＣ１の電子機器を操作する操作処理と、車両が走行している環境に関する情報である環境情報を取得する環境情報取得処理と、環境情報取得処理で取得された環境情報が示す環境が変わったか否かを判定する環境判定処理とを実行させる。また、制御装置７０とサーバ１３０との協働により、環境判定処理で環境情報が示す環境が変わったと判定されたときに、環境情報に応じたマップデータＤＭを、サーバ１３０から制御装置７０に取得させ、当該マップデータＤＭを記憶装置７６に記憶させるデータ変更処理を実行させる。【選択図】図２

Description

本発明は、車両制御方法、車両用制御装置及びサーバに関する。

特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置の一例が記載されている。

特開２０１６−６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた車両内の電子機器の操作量などの適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段及びその作用効果について記載する。
１．車両に設けられている車両用制御装置と、前記車両用制御装置と通信するサーバと、を備えるとともに、前記車両の電子機器を操作する際に用いられる操作用データが記憶される第１記憶装置が前記車両用制御装置に設けられているシステムに適用され、前記車両に設けられているセンサの検出値に基づく前記車両の状態を取得する状態取得処理と、前記状態取得処理で取得された前記車両の状態と、前記第１記憶装置に記憶されている前記操作用データと、に基づいて前記電子機器を操作する操作処理と、前記車両が走行している環境である走行環境に関する情報である環境情報を取得する環境情報取得処理と、前記環境情報取得処理で取得された前記環境情報が示す前記走行環境が変わったか否かを判定する環境判定処理と、前記環境判定処理で前記走行環境が変わったと判定されたときに、前記環境情報に応じた前記操作用データを、前記サーバから前記車両用制御装置に取得させ、当該操作用データを前記第１記憶装置に記憶させるデータ変更処理と、を実行装置に実行させる車両制御方法である。

上記構成によれば、車両の環境情報が示す走行環境が変わったと判定されると、車両用制御装置では、当該環境情報に応じた操作用データがサーバから取得され、当該操作用データが第１記憶装置に記憶される。その後においては、新たに第１記憶装置に記憶された操作用データに基づいて車両の電子機器が操作される。すなわち、上記構成によれば、そのときの車両の走行環境に応じた操作用データを車両に提供することにより、当該走行環境に応じた車両制御を実行させることができる。

２．前記環境情報は、前記車両が走行しているエリアに関する情報を含み、前記環境判定処理は、前記環境情報が示す前記車両が走行しているエリアが変わったときに、前記走行環境が変わったと判定する処理である上記１に記載の車両制御方法である。

上記構成によれば、車両が走行しているエリアが変わったと判定されると、車両が走行している新たなエリアに応じた操作用データが、サーバから車両用制御装置に提供される。その結果、そのときの走行エリアに応じた操作用データに応じた車両制御を実行させることができる。

３．前記環境情報は、現在の季節に関する情報を含み、前記環境判定処理は、前記環境情報が示す季節が変わったときに、前記走行環境が変わったと判定する処理である上記１又は２に記載の車両制御方法である。

上記構成によれば、季節が変わったと判定されると、新たな季節に応じた操作用データが、サーバから車両用制御装置に提供される。その結果、そのときの季節に応じた操作用データに応じた車両制御を実行させることができる。

４．前記操作用データは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データであり、前記関係規定データとは、前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える処理と、前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する処理と、を実行することによって得られるデータであり、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである上記１〜３のうち何れか一項に記載の車両制御方法である。

上記構成では、電子機器の操作に伴う報酬を算出することにより、当該操作によってどのような報酬が得られるかを把握できる。そして、得られた報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な関係に設定できる。そのため、車両の状態と行動変数との関係を車両の走行において適正化することが可能となる。すなわち、関係規定データを更新させることにより、車両制御の適正化を図ることができる。

５．前記操作用データは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データを基に作成される制御用写像データであり、前記関係規定データとは、前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える処理と、前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する処理と、を実行することによって得られるデータであり、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである上記１〜３のうち何れか一項に記載の車両制御方法である。

上記構成によれば、そのときの環境情報に応じた制御用写像データが、サーバから車両用制御装置に提供される。すると、当該制御用写像データが第１記憶装置に記憶され、当該制御用写像データに基づいて車両の電子機器が操作される。これにより、そのときの走行環境に応じた適切な車両制御を車両で実行させることが可能となる。

６．前記サーバは、想定する複数の前記環境情報の各々に対応する複数の前記操作用データを記憶する第２記憶装置を備えるものであり、前記データ変更処理は、前記第２記憶装置に記憶されている複数の前記操作用データの中から、前記環境情報取得処理で取得された前記環境情報に応じたデータを選択するデータ選択処理と、前記データ選択処理で選択された前記操作用データを前記車両用制御装置に送信する送信処理と、前記送信処理で前記サーバから送信された前記操作用データを前記第１記憶装置に記憶させるデータ記憶処理と、を含む上記１〜５のうち何れか一項に記載の車両制御方法である。

上記構成によれば、サーバの第２記憶装置に記憶されている複数の操作用データの中から、環境情報に応じたデータが選択され、当該操作用データが、サーバから車両用制御装置に送信される。

７．前記データ変更処理は、前記サーバと通信可能な複数の前記車両のうちの第１車両の前記環境情報が示す前記走行環境が変わったときに、変更後における前記第１車両の前記走行環境と同じ前記走行環境で走行している第２車両を探索する車両探索処理と、前記車両探索処理で探索された前記第２車両から当該第２車両の前記関係規定データを、前記サーバに取得させる変更用データ取得処理と、前記変更用データ取得処理で前記サーバに取得させた前記第２車両の前記関係規定データを、前記第１車両に送信する送信処理と、前記送信処理で前記サーバから前記第１車両に送信された前記第２車両の前記操作用データを、前記第１車両の前記第１記憶装置に記憶させるデータ記憶処理と、を含む上記４に記載の車両制御方法である。

上記構成によれば、第１車両の走行環境が変わったと判定されると、第１車両と同じ走行環境で走行している第２車両が探索される。そして、探索した第２車両の操作用データがサーバを介して第１車両に提供される。これにより、そのときの走行環境に応じた車両制御を第１車両で実行させることができる。

８．前記実行装置は、前記車両に設けられている第１実行装置と、前記サーバに設けられている第２実行装置と、を備えるものであり、前記状態取得処理及び前記操作処理を、前記第１実行装置に実行させ、前記環境情報取得処理を、前記第１実行装置又は前記第２実行装置に実行させ、前記データ変更処理を、前記第１実行装置及び前記第２実行装置の協働によって実行させる上記１〜７のうち何れか一項に記載の車両制御方法である。

９．上記８に記載の前記第１実行装置及び前記第１記憶装置を備える車両用制御装置である。
１０．上記８に記載の前記第２実行装置を備えるサーバである。

第１実施形態にかかる制御装置及び駆動系を示す図。 同制御装置の構成と、車両と通信するサーバの構成とを模式的に示すブロック図。 第１実施形態にかかるマップデータを生成するシステムを示す図。 第１実施形態にかかるシステムが実行する処理の手順を示す流れ図。 第１実施形態にかかる学習処理の詳細を示す流れ図。 車両の電子機器を操作する際に制御装置が実行する処理の手順を示す流れ図。 制御装置の記憶装置に記憶されるマップデータを書き換える際に制御装置が実行する処理の手順を示す流れ図。 車両の走行環境に応じたマップデータを車両に提供する際にサーバが実行する処理の手順を示す流れ図。 第２実施形態にかかる制御装置の構成と、サーバの構成とを模式的に示すブロック図。 車両の電子機器を操作する際に制御装置が実行する処理の手順を示す流れ図。 第３実施形態にかかる制御装置の構成と、サーバの構成とを模式的に示すブロック図。 車両の走行環境に応じたマップデータを車両に提供する際にサーバが実行する処理の手順を示す流れ図。

（第１実施形態）
以下、車両制御方法、車両用制御装置及びサーバの第１実施形態について、図面を参照しつつ説明する。

図１には、車両用制御装置である制御装置７０と、制御装置７０を備える車両ＶＣ１の駆動系の構成が図示されている。
図１に示すように、車両ＶＣ１は、車両ＶＣ１の推力生成装置として内燃機関１０を備えている。内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４及び燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気及び燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０及びピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８には、ロックアップクラッチ４２を備えたトルクコンバータ４０を介して、変速装置５０の入力軸５２が機械的に連結可能とされている。変速装置５０は、入力軸５２の回転速度と出力軸５４の回転速度との比である変速比を可変とする装置である。出力軸５４には、駆動輪６０が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率などを制御すべく、スロットルバルブ１４、燃料噴射弁１６及び点火装置２６などの内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ４０を制御対象とし、ロックアップクラッチ４２の係合状態を制御すべくロックアップクラッチ４２を操作する。また、制御装置７０は、変速装置５０を制御対象とし、その制御量としての変速比を制御すべく変速装置５０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、ロックアップクラッチ４２、及び変速装置５０のそれぞれの操作信号ＭＳ１〜ＭＳ５を記載している。このように制御装置７０からの操作信号ＭＳ１〜ＭＳ５が入力される操作部の各々が、「電子機器」の一例である。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａ、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度であるスロットル開口度ＴＡ、及び、クランク角センサ８４の出力信号Ｓｃｒを参照する。また、制御装置７０は、アクセルセンサ８８によって検出されるアクセルペダル８６の踏み込み量であるアクセル操作量ＰＡ、及び、加速度センサ９０によって検出される車両ＶＣ１の前後方向の加速度Ｇｘを参照する。また、制御装置７０は、全地球測位システム（ＧＰＳ９２）による位置データＰｇｐｓ、シフトポジションセンサ９４によって検出される変速比ＧＲ、及び、車速センサ９６によって検出される車速Ｖを参照する。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリである記憶装置７６、通信機７７及び周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路、電源回路及びリセット回路などを含む。

ＲＯＭ７４には、制御プログラム７４ａが記憶されている。一方、記憶装置７６には、スロットル開口度ＴＡの指令値であるスロットル開口度指令値ＴＡ＊、及び、変速比ＧＲの指令値である変速比指令値ＧＲ＊を出力変数とするマップデータＤＭと、地図データＤＧとが記憶されている。マップデータＤＭは、現在の変速比ＧＲ、車速Ｖ及びアクセル操作量ＰＡの時系列データを入力変数とし、スロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊を出力変数とするためのマップである。

図２に示すように、通信機７７は、車両ＶＣ１の外部のネットワーク１２０を介し、車外に設けられているサーバ１３０と通信するための機器である。
サーバ１３０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。サーバ１３０は、ＣＰＵ１３２、ＲＯＭ１３４、電気的に書き換え可能な不揮発性メモリである記憶装置１３６、周辺回路１３８及び通信機１３７を備えており、それらがローカルネットワーク１３９によって通信可能とされるものである。ＲＯＭ１３４には、制御プログラム１３４ａが記憶されており、記憶装置１３６には、マップデータＤＭが記憶されている。本実施形態では、記憶装置１３６には、マップデータＤＭとして、マップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…が記憶されている。

すなわち、マップデータＤＭとして、複数のエリアの各々に対応する複数のマップデータが用意されている。例えば、マップデータＤＭ１１，ＤＭ１２は、第１エリアＡＲ１で車両が走行することを想定した強化学習によって得られたマップデータである。マップデータＤＭ２１は、第１エリアＡＲ１とは異なる第２エリアＡＲ２で車両が走行することを想定した強化学習によって得られたマップデータである。図示は省略するが、エリアＡＲ１，ＡＲ２とは異なる第３エリアで車両が走行することを想定した強化学習によって得られたマップデータも用意されている。

例えば、第１エリアＡＲ１で給油施設から車両に供給される燃料の性状を第１性状とした場合、第２エリアＡＲ２とは、第１性状とは異なる第２性状の燃料を車両に供給するエリアである。すなわち、本実施形態におけるエリアとは、給油施設から車両に供給される燃料の性状の相違によって区分けされたエリアである。

また、本実施形態では、季節毎のマップデータが用意されている。例えば、第１エリアＡＲ１用のマップデータＤＭ１１，ＤＭ１２のうち、マップデータＤＭ１１は、冬以外の季節に車両が第１エリアＡＲ１を走行することを想定した強化学習によって得られたマップデータである。一方、マップデータＤＭ１２は、冬に車両が第１エリアＡＲ１を走行することを想定した強化学習によって得られたマップデータである。第２エリアＡＲ２用の複数のマップデータのうち、マップデータＤＭ１２は、冬以外の季節に車両が第２エリアＡＲ２を走行することを想定した強化学習によって得られたマップデータである。また、図示は省略するが、第２エリアＡＲ２用のマップデータとして、冬に車両が第２エリアＡＲ２を走行することを想定した強化学習によって得られたマップデータも用意されている。

各エリアＡＲ１，ＡＲ２では、給油施設から車両に供給する燃料の性状が季節によって変更される。例えば、冬のように気温が低い場合と、冬以外の季節のように気温があまり低くならない場合とでは、給油施設から車両に供給される燃料の揮発性が相違する。

図３に、上記マップデータＤＭを生成するシステムを示す。
図３に示すシステムでは、内燃機関１０のクランク軸２８にトルクコンバータ４０及び変速装置５０を介してダイナモメータ１００が機械的に連結される。そして、内燃機関１０を稼働させた際の様々な状態変数がセンサ群１０２によって検出され、検出結果が、マップデータＤＭを生成するコンピュータである生成装置１１０に入力される。なお、センサ群１０２には、図１に示した車両ＶＣ１に搭載されるセンサなどが含まれる。

生成装置１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリである記憶装置１１６、及び周辺回路１１８を備えており、それらがローカルネットワーク１１９によって通信可能とされたものである。記憶装置１１６には、マップデータＤＭが記憶されている。本実施形態では、記憶装置１１６には、マップデータＤＭとして、複数のマップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…が記憶されている。ＲＯＭ１１４には、強化学習によって、後述する関係規定データＤＲを学習する学習プログラム１１４ａが記憶されている。

図４に、生成装置１１０が実行する処理の手順を示す。図４に示す一連の処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図４に示す一連の処理において、ＣＰＵ１１２は、環境係数ＶＡの値を設定する（Ｓ１０）。環境係数ＶＡは、後述する各関係規定データＤＲ１１，ＤＲ１２，ＤＲ２１，…の何れの関係規定データの学習を行うかを決めるための係数である。すなわち、環境係数ＶＡを変えることにより、学習の行われる関係規定データＤＲを変更できる。例えば、環境係数ＶＡが「１１」であるときには、第１エリアＡＲ１用のマップデータのうち、冬以外の季節用のマップデータＤＭ１１の作成に用いられる関係規定データＤＲ１１が学習される。また例えば、環境係数ＶＡが「１２」であるときには、第１エリアＡＲ１用のマップデータのうち、冬用のマップデータＤＭ１２の作成に用いられる関係規定データＤＲ１２が学習される。また例えば、環境係数ＶＡが「２１」であるときには、第２エリアＡＲ２用のマップデータのうち、冬以外の季節用のマップデータＤＭ２１の作成に用いられる関係規定データＤＲ２１が学習される。また例えば、環境係数ＶＡが「２２」であるときには、第２エリアＡＲ２用のマップデータのうち、冬用のマップデータの作成に用いられる関係規定データが学習される。また例えば、環境係数ＶＡが「３１」であるときには、第３エリア用のマップデータのうち、冬以外の季節用のマップデータの作成に用いられる関係規定データが学習される。

ここで、関係規定データＤＲとは、状態変数としての、アクセル操作量ＰＡの時系列データ、車速Ｖ及び変速比ＧＲと、行動変数としてのスロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊との関係を規定するデータである。関係規定データＤＲは、強化学習によって導出されるデータである。関係規定データＤＲのうち、関係規定データＤＲ１１は、冬以外の季節に第１エリアＡＲ１を走行することを想定した強化学習を行うことによって導出された関係規定データである。また、関係規定データＤＲ１２は、冬に第１エリアＡＲ１を走行することを想定した強化学習を行うことによって導出された関係規定データである。また、関係規定データＤＲ２１は、冬以外の季節に第２エリアＡＲ２を走行することを想定した強化学習を行うことによって導出された関係規定データである。

本実施形態では、内燃機関１０を実際に稼働させることによって状態ｓを取得し、取得した状態ｓを基に関係規定データＤＲの更新が行われる。このように内燃機関１０を稼働させる場合、更新される関係規定データＤＲに対応する燃料が内燃機関１０に供給される。例えば、環境係数ＶＡが「１１」である場合、第１エリアＡＲ１において冬以外の季節に給油施設から車両に供給される燃料の性状と同じ性状の燃料を用いて内燃機関１０が稼働される。また例えば、環境係数ＶＡが「１１」から「１２」に変更された場合、内燃機関１０に供給される燃料を変更した上で、すなわち第１エリアＡＲ１において冬に給油施設から車両に供給される燃料の性状と同じ性状の燃料を内燃機関１０に供給するようにした上で、内燃機関１０が稼働される。

ＣＰＵ１１２は、内燃機関１０を稼働させた状態において、状態ｓとして、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データと、現在の変速比ＧＲと、車速Ｖとを取得する（Ｓ１２）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。ただし、図３に示すシステムにおいては、アクセルペダル８６は存在しない。そのため、アクセル操作量ＰＡを、生成装置１１０が車両ＶＣ１の状態を模擬することによって疑似的に生成されたものとし、疑似的に生成されたアクセル操作量ＰＡを、センサの検出値に基づく車両の状態とみなす。また、車速Ｖは、実際に車両が存在すると仮定した場合の車両の走行速度としてＣＰＵ１１２によって算出されるものであり、本実施形態では、この車速Ｖを、センサの検出値に基づく車両の状態とみなす。詳しくは、ＣＰＵ１１２は、クランク角センサ８４の出力信号Ｓｃｒに基づきクランク軸２８の回転速度ＮＥを算出し、回転速度ＮＥと変速比ＧＲとに基づき車速Ｖを算出する。

次にＣＰＵ１１２は、上記各関係規定データＤＲ１１，ＤＲ１２，ＤＲ２１，…のうちのＳ１０の処理によって設定された環境係数ＶＡの値に対応するデータが定める方策πに従い、Ｓ１２の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊からなる行動ａを設定する（Ｓ１４）。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑ及び方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓ及び行動ａの１０次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓ及び行動ａのとりうる値の全組み合わせの一部が、人の知見などによって削減されたものである。すなわち、例えばアクセル操作量ＰＡの時系列データのうち隣接する２つのサンプリング値の１つがアクセル操作量ＰＡの最小値となりもう１つが最大値となるようなことは、人によるアクセルペダル８６の操作からは生じえないとして、行動価値関数Ｑが定義されていない。また、変速比ＧＲが２速から４速へと急激に変化することを回避すべく、例えば現在の変速比ＧＲが２速の場合、とりうる行動ａとしての変速比指令値ＧＲ＊を１速と２速と３速とに制限している。すなわち、状態ｓとしての変速比ＧＲが２速の場合には４速以上の行動ａについては定義されていない。本実施形態では、人の知見などに基づく次元削減によって、行動価値関数Ｑを定義する独立変数の取りうる値を、１０の５乗個以下、より望ましくは１０の４乗個以下に制限する。

次にＣＰＵ１１２は、設定されたスロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊に基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、変速装置５０に操作信号ＭＳ５を出力して変速比を操作する（Ｓ１６）。次にＣＰＵ１１２は、回転速度ＮＥ、変速比ＧＲ、内燃機関１０のトルクＴｒｑ、内燃機関１０に対するトルク指令値Ｔｒｑ＊及び加速度Ｇｘを取得する（Ｓ１８）。ここで、ＣＰＵ１１２は、トルクＴｒｑを、ダイナモメータ１００が生成する負荷トルクと変速装置５０の変速比とに基づき算出する。また、トルク指令値Ｔｒｑ＊は、アクセル操作量ＰＡ及び変速比ＧＲに応じて設定される。なお、ここでは、変速比指令値ＧＲ＊が強化学習の行動変数であることから、変速比指令値ＧＲ＊がトルク指令値Ｔｒｑ＊を内燃機関１０で実現できる最大トルク以下とするものとなっているとは限らない。そのため、トルク指令値Ｔｒｑ＊は、内燃機関１０で実現できる最大トルク以下の値とは限らない。また、ＣＰＵ１１２は、加速度Ｇｘを、ダイナモメータ１００の負荷トルクなどに基づき、仮に内燃機関１０などが車両に搭載されていた場合に車両に生じると想定される値として算出する。すなわち、本実施形態においては、加速度Ｇｘについても仮想的なものであるが、この加速度Ｇｘについても、センサの検出値に基づく車両の状態とみなす。

次にＣＰＵ７２は、Ｓ１０の処理がなされたタイミング及び後述のＳ２２の処理がなされたタイミングのうちの何れか遅い方から所定期間が経過したか否かを判定する（Ｓ２０）。そして、ＣＰＵ１１２は、所定期間が経過したと判定する場合（Ｓ２０：ＹＥＳ）、強化学習によって関係規定データＤＲを更新する（Ｓ２２）。

図５に、Ｓ２２の処理の詳細を示す。
図５に示す一連の処理において、ＣＰＵ１１２は、所定期間内における回転速度ＮＥ、トルク指令値Ｔｒｑ＊、トルクＴｒｑ及び加速度Ｇｘの４つのサンプリング値の組からなる時系列データと、状態ｓ及び行動ａの時系列データとを取得する（Ｓ３０）。図５には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。例えば、トルク指令値Ｔｒｑ＊（１）とトルク指令値Ｔｒｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、所定期間内の行動ａの時系列データを、行動集合Ａｊとし、所定期間内の状態ｓの時系列データを、状態集合Ｓｊと定義する。

次にＣＰＵ１１２は、所定期間内の任意のトルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件（ア）と、加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件（イ）との論理積が真であるか否かを判定する（Ｓ３６）。

ここで、ＣＰＵ１１２は、規定量ΔＴｒｑを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡと環境係数ＶＡの値とによって可変設定する。すなわち、ＣＰＵ１１２は、変化量ΔＰＡの絶対値が大きい場合には過渡時に関するエピソードであるとして、定常時である場合と比較して、規定量ΔＴｒｑを大きい値に設定する。

また、ＣＰＵ１１２は、下限値ＧｘＬを、エピソードの開始時におけるアクセル操作量ＰＡの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ１１２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを大きい値に設定する。また、ＣＰＵ１１２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを小さい値に設定する。

また、ＣＰＵ７２は、上限値ＧｘＨを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを小さい値に設定する。

また、ＣＰＵ１１２は、下限値ＧｘＬ及び上限値ＧｘＨを、環境係数ＶＡの値に応じて可変設定する。例えば、第１エリアＡＲ１が、第２エリアＡＲ２よりも高燃費が求められているエリアであるとする。車両の燃費は、加速度Ｇｘの急変が生じにくいほど高くなりやすい。そこで、例えば、ＣＰＵ１１２は、第１エリアＡＲ１用の関係規定データＤＲ１１，ＤＲ１２の更新時には、第２エリアＡＲ２用の関係規定データＤＲ２１の更新時よりも下限値ＧｘＬと上限値ＧｘＨとの差分が小さくなるように、下限値ＧｘＬ及び上限値ＧｘＨを設定する。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ３６：ＹＥＳ）、報酬ｒとして正の値αを設定する一方（Ｓ３８）、偽であると判定する場合（Ｓ３６：ＮＯ）、報酬ｒとして負の値βを設定する（Ｓ４０）。Ｓ３６〜Ｓ４０の処理は、所定の基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。また、本実施形態では、環境係数ＶＡの値に応じて所定の基準が変更されている。

ＣＰＵ１１２は、Ｓ３８，Ｓ４０の処理が完了する場合、関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。
すなわち、ＣＰＵ１１２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ４６）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次にＣＰＵ１１２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ４８）。ここで、平均化は、Ｓ４８の処理がなされた回数によって、Ｓ４８の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、ゼロとすればよい。

次にＣＰＵ１１２は、上記Ｓ３０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときのスロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊の組である行動を、行動Ａｊ＊に代入する（Ｓ５０）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ３０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次にＣＰＵ１１２は、上記Ｓ３０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ５２）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ５２によって選択された行動Ａｊ＊の選択確率を、「（１−ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜−１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ５２の処理は、Ｓ４８の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ１１２は、Ｓ５２の処理が完了する場合、図５に示す一連の処理を一旦終了する。
図４に戻り、ＣＰＵ１１２は、Ｓ２２の処理が完了すると、行動価値関数Ｑが収束したか否かを判定する（Ｓ２４）。ここでは、Ｓ２２の処理による行動価値関数Ｑの更新量が所定値以下となる連続回数が所定回数に達する場合に収束したと判定すればよい。ＣＰＵ１１２は、収束していないと判定する場合（Ｓ２４：ＮＯ）や、Ｓ２０の処理において否定判定する場合には、Ｓ１２の処理に戻る。これに対し、ＣＰＵ１１２は、収束したと判定する場合（Ｓ２４：ＹＥＳ）、終了条件が成立したか否かを判定する（Ｓ２６）。本実施形態では、終了条件は、全ての関係規定データＤＲに関してＳ２４の処理において肯定判定することを含んでいる。

ＣＰＵ１１２は、終了条件が成立していない場合（Ｓ２６：ＮＯ）、Ｓ１０の処理に戻って、環境係数ＶＡを変更する。例えば環境係数ＶＡが「１１」であって関係規定データＤＲ１１の更新が完了した場合、ＣＰＵ１１２は、環境係数ＶＡを「１１」から「１２」に変更する。一方、終了条件が成立している場合（Ｓ２６：ＹＥＳ）、ＣＰＵ１１２は、関係規定データＤＲに基づいてマップデータＤＭを作成する。すなわち、ＣＰＵ１１２は、状態ｓと上記期待収益を最大化する行動変数の値とを対応付けることによって状態ｓを入力とし期待収益を最大化する行動変数の値を出力するデータとしてマップデータＤＭを作成する。このとき、ＣＰＵ１１２は、マップデータＤＭ１１を関係規定データＤＲ１１に基づいて作成し、マップデータＤＭ１２を関係規定データＤＲ１２に基づいて作成する。ＣＰＵ１１２は、マップデータＤＭ２１を関係規定データＤＲ２１に基づいて作成する。そして、ＣＰＵ１１２は、作成した各マップデータＤＭを記憶装置１１６に記憶させる。マップデータＤＭの記憶が完了すると、ＣＰＵ１１２は、図４に示す一連の処理を終了する。

本実施形態では、図４に示した一連の処理の実行を通じた強化学習によって作成されたマップデータＤＭ、すなわち各マップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…が、サーバ１３０の記憶装置１３６に記憶される。すなわち、サーバ１３０は、当該サーバ１３０と通信可能な車両ＶＣ１，ＶＣ２，…に対し、生成装置１１０で生成したマップデータＤＭを提供できる。

図６に、車両ＶＣ１を制御するために制御装置７０が実行する処理の手順を示す。図６に示す一連の処理は、ＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が例えば所定周期で繰り返し実行することにより実現される。

図６に示す一連の処理において、ＣＰＵ７２は、図４のＳ１２の処理と同様に、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データと、現在の変速比ＧＲと、車速Ｖとを取得する（Ｓ６０）。そして、ＣＰＵ７２は、記憶装置７６に記憶されているマップデータＤＭを用いて、スロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊をマップ演算する（Ｓ６２）。例えば、マップデータＤＭ１１がマップデータＤＭとして記憶装置７６に記憶されている場合、ＣＰＵ７２は、マップデータＤＭ１１を用いてマップ演算する。また、マップデータＤＭ２１がマップデータＤＭとして記憶装置７６に記憶されている場合、ＣＰＵ７２は、マップデータＤＭ２１を用いてマップ演算する。ここで、マップ演算は、例えば、入力変数の値がマップデータＤＭの入力変数の値の何れかに一致する場合、対応するマップデータＤＭの出力変数の値を演算結果とするのに対し、一致しない場合、マップデータＤＭに含まれる複数の出力変数の値の補間によって得られる値を演算結果とする処理とすればよい。

そして、ＣＰＵ７２は、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、変速装置５０に操作信号ＭＳ５を出力して変速比を操作する（Ｓ６４）。ここで、本実施形態では、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御することを例示することから、スロットル開口度指令値ＴＡ＊が同一の値であっても、操作信号ＭＳ１が互いに異なる信号となりうるものである。そして、ＣＰＵ７２は、Ｓ６４の処理が完了する場合、図６に示す一連の処理を一旦終了する。

本実施形態では、車両ＶＣ１の走行環境が変わったか否かの判定が行われる。走行環境が変わったと判定された場合、そのときの車両ＶＣ１の走行環境に関する情報である環境情報がサーバ１３０に送信される。そして、そのときの走行環境に応じたマップデータＤＭを車両ＶＣ１が受信すると、受信したマップデータＤＭが、車両ＶＣ１の制御装置７０の記憶装置７６に記憶される。図７には、こうした処理を実現するために制御装置７０が実行する処理の手順を示す。図７に示す一連の処理は、ＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。例えば、図７に示す一連の処理は、車両ＶＣ１の座席へのユーザの着座を検知したことを契機に実行される。

図７に示す一連の処理において、ＣＰＵ７２は、車両ＶＣ１の環境情報を取得する（Ｓ７０）。車両ＶＣ１の走行環境は、車両ＶＣ１のそのときの位置情報、すなわちそのときの車両ＶＣ１の走行エリア、及び、そのときの季節の双方を含んでいる。つまり、そのときの車両ＶＣ１の位置情報、及び、季節に関する情報が、車両ＶＣ１の環境情報である。例えば、ＣＰＵ７２は、位置データＰｇｐｓを取得し、且つ位置データＰｇｐｓによって地図データＤＧが示す地図上の位置を車両ＶＣ１の位置情報として取得する。また例えば、ＣＰＵ７２は、現在の季節又は現在の日付を特定する情報を、季節に関する情報として取得する。

次にＣＰＵ７２は、車両ＶＣ１の走行環境が変わったか否かを判定する（Ｓ７２）。図７に示す一連の処理の前回の実行時に取得された環境情報で示す位置情報及び季節と、今回に取得された環境情報で示す位置情報及び季節とを比較することにより、環境情報が変わったか否かを判定できる。前回の環境情報で示す位置情報を前回位置情報とし、季節を前回季節とする。また、今回の環境情報で示す位置情報を今回位置情報とし、季節を今回季節とする。そして、ＣＰＵ７２は、今回位置情報で示されるエリアが前回位置情報で示されるエリアと相違している旨の条件（ウ）と、今回季節が前回季節と相違している旨の条件（エ）との少なくとも一方が成立しているか否かを判定する。

条件（ウ）及び（エ）の何れもが成立していない場合（Ｓ７２：ＮＯ）、環境情報が変わっていないと判定できるため、ＣＰＵ７２は、図７に示す一連の処理を終了する。一方、条件（ウ）及び（エ）の少なくとも一方が成立している場合（Ｓ７２：ＹＥＳ）、環境情報が変わったと判定できるため、ＣＰＵ７２は、取得した環境情報をサーバ１３０に送信する（Ｓ７４）。そして、ＣＰＵ７２は、送信に対する回答として、マップデータＤＭを受信したか否かを判定する（Ｓ７６）。受信が完了していない場合（Ｓ７６：ＮＯ）、ＣＰＵ７２は、受信が完了するまでＳ７６の処理を繰り返す。一方、受信が完了した場合（Ｓ７６：ＹＥＳ）、ＣＰＵ７２は、受信したマップデータＤＭを、記憶装置７６に記憶させる（Ｓ７８）。記憶装置７６のマップデータＤＭの置換が完了すると、ＣＰＵ７２は、図７に示す一連の処理を終了する。

図８に、サーバ１３０が実行する一連の処理の流れを示す。図８に示す一連の処理は、ＲＯＭ１３４に記憶されている制御プログラム１３４ａをＣＰＵ１３２が実行することにより実現される。この一連の処理はサーバ１３０が稼働しているときに繰り返し実行される。

図８に示す一連の処理において、ＣＰＵ１３２は、サーバ１３０と通信可能な車両ＶＣ１から環境情報を受信したか否かを判定する（Ｓ８０）。受信していない場合（Ｓ８０：ＮＯ）、ＣＰＵ１３２は、図８に示す一連の処理を一旦終了する。一方、受信した場合（Ｓ８０：ＹＥＳ）、ＣＰＵ１３２は、受信した環境情報に応じたマップデータＤＭを、記憶装置１３６に記憶されている複数のマップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…の中から選択する（Ｓ８２）。例えば、車両ＶＣ１の走行エリアが第１エリアＡＲ１であり、季節が冬である旨の環境情報を受信した場合、ＣＰＵ１３２は、マップデータＤＭ１２を選択する。そして、ＣＰＵ１３２は、選択したマップデータＤＭを、環境情報を送信してきた車両ＶＣ１に送信する（Ｓ８４）。マップデータＤＭの送信が完了すると、ＣＰＵ１３２は、図８に示す一連の処理を一旦終了する。

本実施形態の作用及び効果について説明する。
車両ＶＣ１の走行環境が変わったと判定されると、そのときの走行環境に応じたマップデータＤＭがサーバ１３０から制御装置７０に提供される。すると、制御装置７０では、サーバ１３０から受信したマップデータＤＭを記憶装置７６に記憶させ、当該マップデータＤＭを用いて車両ＶＣ１の電子機器が操作されるようになる。すなわち、本実施形態では、そのときの車両ＶＣ１の走行環境に応じたマップデータＤＭを車両ＶＣ１に提供することにより、当該走行環境に応じた車両制御を制御装置７０に実行させることができる。

本実施形態では、以下に示す効果をさらに得ることができる。
（１）本実施形態では、車両ＶＣ１の走行エリアが変わったと判定されると、変わった後のエリアに応じたマップデータＤＭが、サーバ１３０から制御装置７０に提供される。その結果、そのときの走行エリアに応じた車両制御を制御装置７０に実行させることができる。

（２）また、走行エリアが変わっていなくても季節が変わったと判定されると、そのときの季節に応じたマップデータＤＭが、サーバ１３０から制御装置７０に提供される。その結果、そのときの季節に応じた車両制御を制御装置７０に実行させることができる。なお、本実施形態では、走行エリア及び季節の双方が変わったと判定された場合でも、そのときの走行エリア及び季節に応じたマップデータＤＭが、サーバ１３０から制御装置７０に提供される。

（３）制御装置７０の記憶装置７６には、行動価値関数Ｑなどではなく、マップデータＤＭを記憶するようにした。これにより、ＣＰＵ７２は、マップデータＤＭを用いたマップ演算に基づき、スロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊を設定するようになる。その結果、行動価値関数Ｑのうち最大値となるものを選択する処理をＣＰＵ７２に実行させる場合と比較して、ＣＰＵ７２の演算負荷を軽減できる。

（４）本実施形態では、複数のマップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…がサーバ１３０の記憶装置１３６に記憶されている。これにより、複数のマップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…を車両ＶＣ１の制御装置７０に記憶させておく場合と比較し、制御装置７０の記憶容量の増大を抑制できる。

（第２実施形態）
以下、第２実施形態について、第１実施形態との相違点を中心に図面を参照しつつ説明する。

図９に示すように、本実施形態では、車両ＶＣ１の制御装置７０の記憶装置７６には、マップデータＤＭの代わりに、関係規定データＤＲ及びトルク出力写像データＤＴが記憶されている。また、ＲＯＭ７４には、制御プログラム７４ａに加え、学習プログラム７４ｂも記憶されている。学習プログラム７４ｂは、強化学習によって、関係規定データＤＲを学習するためのものである。

また、トルク出力写像データＤＴによって規定されるトルク出力写像は、回転速度ＮＥ、充填効率η及び点火時期を入力とし、トルクＴｒｑを出力するニューラルネットワークなどの学習済みモデルに関するデータである。トルク出力写像データＤＴは、例えば図４の処理を実行する際、Ｓ１８の処理によって取得されるトルクＴｒｑを教師データとして学習されたものとすればよい。なお、充填効率ηは、ＣＰＵ７２により、回転速度ＮＥ及び吸入空気量Ｇａに基づき算出すればよい。

また、サーバ１３０の記憶装置１３６には、関係規定データＤＲとして、関係規定データＤＲ１１，ＤＲ１２，ＤＲ２１，…が記憶されている。記憶装置１３６に記憶されている各関係規定データＤＲ１１，ＤＲ１２，ＤＲ２１，…は、図４及び図５に示した一連の処理で導出された関係規定データである。

図１０に、車両ＶＣ１の電子機器を操作しつつ、記憶装置７６に記憶されている関係規定データＤＲを更新する際に車両ＶＣ１の制御装置７０が実行する処理の手順を示す。図１０に示す一連の処理は、ＲＯＭ７４に記憶された制御プログラム７４ａ及び学習プログラム７４ｂをＣＰＵ７２が実行することにより実現される。この一連の処理は内燃機関１０が稼働しているときに繰り返し実行される。

図１０に示す一連の処理において、ＣＰＵ７２は、状態ｓとして、アクセル操作量ＰＡの時系列データと、現在の変速比ＧＲと、車速Ｖとを取得する（Ｓ１００）。そして、ＣＰＵ７２は、図４のＳ１４と同様に、Ｓ１００の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊からなる行動ａを設定する（Ｓ１０２）。次にＣＰＵ１１２は、設定されたスロットル開口度指令値ＴＡ＊及び変速比指令値ＧＲ＊に基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、変速装置５０に操作信号ＭＳ５を出力して変速比を操作する（Ｓ１０４）。そして、ＣＰＵ１１２は、回転速度ＮＥ、変速比ＧＲ、内燃機関１０のトルクＴｒｑ、内燃機関１０に対するトルク指令値Ｔｒｑ＊及び加速度Ｇｘを取得する（Ｓ１０６）。ここで、ＣＰＵ７２は、トルクＴｒｑを、回転速度ＮＥ、充填効率η及び点火時期をトルク出力写像に入力することによって算出する。また、ＣＰＵ７２は、トルク指令値Ｔｒｑ＊を、アクセル操作量ＰＡに応じて設定する。

次にＣＰＵ１１２は、図４のＳ２０と同様に、後述のＳ１１０の処理がなされたタイミングから所定期間が経過したか否かを判定する（Ｓ１０８）。そして、ＣＰＵ１１２は、所定期間が経過したと判定する場合（Ｓ１０８：ＹＥＳ）、強化学習によって関係規定データＤＲを更新する（Ｓ１１０）。一方、所定期間が経過したと判定していない場合（Ｓ１０８：ＮＯ）、ＣＰＵ７２は、図１０に示す一連の処理を一旦終了する。

なお、図１０のＳ１１０の処理は、図５に示した一連の処理と同等の内容である。そのため、ここでは、図１０のＳ１１０の処理の具体的な説明は割愛する。
本実施形態では、図１０に示す一連の処理の実行によって車両ＶＣ１が走行する場合、図７のＳ７２の処理で肯定判定になった場合のように車両ＶＣ１の走行環境が変わったと判定されると、図７のＳ７４の処理と同様に、そのときの環境情報がサーバ１３０に送信される。図８のＳ８０の処理で肯定判定になった場合のように車両ＶＣ１から環境情報をサーバ１３０が受信すると、サーバ１３０では、図８のＳ８２の処理と同様に、記憶装置１３６に記憶されている複数のデータの中からデータが選択されるが、本実施形態では記憶装置１３６に記憶されている各関係規定データＤＲの中から、そのときの車両ＶＣ１の走行環境に応じた関係規定データＤＲが選択される。そして、サーバ１３０では、図８のＳ８４の処理と同様に、選択したデータが車両ＶＣ１に送信されるが、本実施形態では、関係規定データＤＲが車両ＶＣ１に送信される。車両ＶＣ１では、図７のＳ７８の処理と同様に、サーバ１３０から受信したデータが記憶装置７６に記憶されるが、本実施形態ではサーバ１３０から受信した関係規定データＤＲが、記憶装置７６に記憶される。

本実施形態では、車両ＶＣ１の制御装置７０に関係規定データＤＲ及び学習プログラム７４ｂが実装されている。そのため、そのときの走行環境に応じた関係規定データＤＲをサーバ１３０から車両ＶＣ１が受信した後では、当該関係規定データＤＲの更新が車両ＶＣ１で継続される。その結果、車両制御を、そのときの走行環境に応じた制御により近づけることができる。

（第３実施形態）
以下、第３実施形態について、第２実施形態との相違点を中心に図面を参照しつつ説明する。

図１１に示すように、本実施形態では、第２実施形態の場合とは異なり、サーバ１３０では複数の関係規定データＤＲが記憶されていない。
そして、サーバ１３０では、車両ＶＣ１の走行環境が変わったために車両ＶＣ１の環境情報を受信すると、車両ＶＣ１と同じ走行環境で走行している他の車両が探索される。そして、探索された他の車両を探索車両とした場合、探索車両で用いられている関係規定データＤＲが、サーバ１３０を通じて車両ＶＣ１に提供される。図１２は、この際にサーバ１３０で実行される処理の手順を示す。図１２に示す一連の処理は、ＲＯＭ１３４に記憶された制御プログラム１３４ａを、ＣＰＵ１３２が実行することにより実現される。この一連の処理はサーバ１３０が稼働しているときに繰り返し実行される。

図１２に示す一連の処理において、ＣＰＵ１３２は、サーバ１３０と通信可能な車両ＶＣ１から環境情報を受信したか否かを判定する（Ｓ１２０）。受信していない場合（Ｓ１２０：ＮＯ）、ＣＰＵ１３２は、図１２に示す一連の処理を一旦終了する。一方、受信した場合（Ｓ１２０：ＹＥＳ）、ＣＰＵ１３２は、車両ＶＣ１から受信した環境情報が示す走行環境と同じ走行環境で走行している他の車両、すなわち探索車両を、サーバ１３０と通信可能な複数の車両の中から探索する（Ｓ１２２）。Ｓ１２２の処理で探索された車両、すなわち車両ＶＣ１と同じ走行環境で走行していると判断できる車両が、複数存在することもある。このような場合、ＣＰＵ１３２は、条件を満たす複数の車両の中から１つの車両を探索車両として選択する。例えば、車両ＶＣ１の現在の走行環境を所定の走行環境とした場合、ＣＰＵ１３２は、所定の走行環境で走行する時間の最も長い車両を探索車両として選択する。これは、走行時間が長いほど、関係規定データＤＲの更新が進んでいると推測できるためである。

次にＣＰＵ１３２は、探索車両で用いられている関係規定データＤＲの送信を探索車両の制御装置７０に要求する（Ｓ１２４）。そして、ＣＰＵ１３２は、探索車両の関係規定データＤＲを探索車両から受信したか否かを判定する（Ｓ１２６）。受信が未だ完了していない場合（Ｓ１２６：ＮＯ）、ＣＰＵ１３２は、受信が完了するまでＳ１２６の処理を繰り返す。一方、受信が完了した場合（Ｓ１２６：ＹＥＳ）、ＣＰＵ１３２は、探索車両の関係規定データＤＲを、環境情報を送信してきた車両ＶＣ１に送信する（Ｓ１２８）。関係規定データＤＲの送信が完了すると、ＣＰＵ１３２は、図１２に示す一連の処理を一旦終了する。

すなわち、本実施形態では、図７のＳ７２の処理で肯定判定になった場合のように車両ＶＣ１の走行環境が変わったと判定されると、サーバ１３０では、車両ＶＣ１と同じ走行環境で走行している車両、すなわち探索車両の関係規定データＤＲが探索車両から受信する（図１２のＳ１２２〜Ｓ１２６）。そして、探索車両の関係規定データＤＲが車両ＶＣ１に送信される（図１２のＳ１２８）。車両ＶＣ１では、図７のＳ７６の処理と同様に、サーバ１３０からデータを受信するが、本実施形態では、そのときの車両ＶＣ１の走行環境と同じ環境で走行している他の車両（探索車両）の関係規定データＤＲが受信される。すると、車両ＶＣ１では、図７のＳ７８の処理と同様に、サーバ１３０から受信したデータが記憶装置７６に記憶されるが、本実施形態ではサーバ１３０から受信した探索車両の関係規定データＤＲが、記憶装置７６に記憶される。その後においては、新たに記憶装置７６に記憶された関係規定データＤＲに基づいて車両ＶＣ１の電子機器が操作されるようになる。

探索車両は、変更後の車両ＶＣ１の走行環境で走行している。すなわち、探索車両の制御装置７０では、その走行環境で強化学習が進められている。そのため、探索車両の関係規定データＤＲを、車両ＶＣ１の電子機器の操作に用いることにより、そのときの走行環境に適した車両制御を車両ＶＣ１で行うことができる。

また、この場合、サーバ１３０に複数の関係規定データＤＲを記憶させておく必要がなくなるため、サーバ１３０の記憶容量の増大を抑制できる。
（対応関係）
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］〜［３］車両用制御装置は、図２において制御装置７０に対応し、サーバは、図２においてサーバ１３０に対応する。第１記憶装置は、図２及び図９において記憶装置７６に対応する。実行装置は、図２及び図９においてはＣＰＵ７２及びＲＯＭ７４と、ＣＰＵ１３２及びＲＯＭ１３４とによって構成される。状態取得処理は、図６のＳ６０、及び、図１０のＳ１００，Ｓ１０６に対応し、操作処理は、図６のＳ６４や図１０のＳ１０４に対応し、環境判定処理は、図７のＳ７２に対応する。データ変更処理は、図７のＳ７６，Ｓ７８と、図８のＳ８２，Ｓ８４とによって構成される。第１記憶装置に記憶される操作用データとは、図２において記憶装置７６に記憶されるマップデータＤＭに対応し、図９において記憶装置７６に記憶される関係規定データＤＲに対応する。［４］関係規定データは、図９において記憶装置７６に記憶される関係規定データＤＲに対応する。［４］及び［５］更新写像は、学習プログラム１１４ａ，７４ｂのうち図５のＳ４６〜Ｓ５２の処理を実行する指令によって規定された写像に対応する。［５］制御用写像データは、図２において記憶装置７６に記憶されるマップデータＤＭに対応する。［６］第２記憶装置は、図２及び図９において記憶装置１３６に対応する。第２記憶装置に記憶されている各操作用データは、図２においては記憶装置１３６に記憶されている各マップデータＤＭ１１，ＤＭ１２，ＤＭ２１，…が対応し、図９においては記憶装置１３６に記憶されている各関係規定データＤＲ１１，ＤＲ１２，ＤＲ２１，…が対応する。データ選択処理は、図８のＳ８２に対応し、送信処理は、図８のＳ８４に対応する。データ記憶処理は、図７のＳ７６，Ｓ７８に対応する。［７］車両探索処理は、図１２のＳ１２２に対応し、変更用データ取得処理は、図１２のＳ１２４，Ｓ１２６に対応する。データ記憶処理は、図１２のＳ１２８、及び、図７のＳ７６，Ｓ７８によって構成される。第１車両は、車両ＶＣ１に対応し、第２車両は、探索車両に対応する。［８］及び［９］第１実行装置は図２及び図９においてＣＰＵ７２及びＲＯＭ７４に対応する。［８］及び［１０］第２実行装置は図２及び図９においてＣＰＵ１３２及びＲＯＭ１３４に対応する。

（変更例）
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「車両の走行環境について」
・上記各実施形態では、車両の現在の走行エリアと、現在の季節とを、環境情報として取得しているが、これに限らない。例えば、車両の現在の走行エリアと、現在の季節との何れか一方のみに関する情報を、環境情報として取得してもよい。

「走行エリアについて」
・上記各実施形態では、給油施設から車両に供給される燃料の性状の相違によってエリアを区切っているが、これに限らない。例えば、走行エリアを、国毎に区切ってもよい。これは、国毎に法規（例えば、排気に関する法規）が異なることがあるためである。

また、１つの国の中でも地域によって区切り、区切られた地域の各々を走行エリアとしてもよい。
また、車両の走行している道路毎に、走行エリアとして区切ってもよい。例えば、高速道路のように比較的高速で走行する道路と、一般道とで走行エリアを区切ってもよい。これは、一般道と高速道路とでは、車両の走らせ方が異なりうるためである。高速道路では、比較的高速で車両を定速走行させることが多いのに対し、一般道では、車両を加速させたり減速させたりするような走行を車両に行わせることが多いためである。

「テーブル形式のデータの次元削減について」
・テーブル形式のデータの次元削減手法としては、上記各実施形態において例示したものに限らない。例えばアクセル操作量ＰＡが最大値となることはまれであることから、アクセル操作量ＰＡが規定量以上となる状態については行動価値関数Ｑを定義せず、アクセル操作量ＰＡが規定量以上となる場合のスロットル開口度指令値ＴＡ＊などは、別途適合してもよい。また例えば、行動のとりうる値からスロットル開口度指令値ＴＡ＊が規定値以上となるものを除くなどして、次元削減をしてもよい。

「関係規定データについて」
・上記各実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。例えば、関数近似器を用いてもよい。

・例えば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓ及び行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。なお、その場合、環境係数ＶＡの値に応じた各別の関数近似器を備えてもよく、また例えば、単一の関数近似器の独立変数である状態ｓに環境係数ＶＡを含めてもよい。

「操作用データについて」
・操作用データは、車両ＶＣ１の電子機器の操作指令値を導出する際に用いられるデータであれば、関係規定データＤＲや制御用写像データとは異なるデータであってもよい。例えば、強化学習とは異なる学習処理を通じて更新されるデータを、操作用データとしてもよい。

・上記第１実施形態及び第２実施形態において、第２記憶装置に記憶される操作用データの数は、２つ以上であれば任意数であってもよい。
「操作処理について」
・例えば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記各実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。その場合、例えば、主として特定された行動ａを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。

・例えば「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

「データ変更処理について」
・上記第１実施形態のように環境情報に応じたマップデータＤＭを車両に提供する実施例において、例えば「車両の走行環境について」の欄に記載したように、車両の走行エリアに関する情報のみを環境情報として取得する場合を考える。この場合、例えば第１エリアＡＲ１では、第１エリアＡＲ１用のマップデータを記憶装置７６に予め記憶された車両である第１車両を販売し、第２エリアＡＲ２では、第２エリアＡＲ２用のマップデータを記憶装置７６に予め記憶された車両である第２車両を販売してもよい。そして、第１車両の走行するエリアが第１エリアＡＲ１から第２エリアＡＲ２に変わった場合、サーバ１３０は、第２エリアＡＲ２用のマップデータを第２車両から受信し、第２車両から受信した第２エリアＡＲ２用のマップデータを第１車両に提供するようにしてもよい。この場合、サーバ１３０の記憶装置１３６に多数のマップデータを記憶させておかなくてもよくなる。

「更新写像について」
・Ｓ４６〜Ｓ５２の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。例えば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、例えば、方策オフ型ＴＤ法を用いたり、また例えばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、また例えば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・例えば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法などを用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。例えば、アクター・クリティック法のように、行動価値関数Ｑ及び方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、例えば行動価値関数Ｑに代えて価値関数を更新対象としてもよい。

「行動変数について」
・上記各実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。例えば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間及び２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・上記各実施形態では、行動変数として、スロットルバルブの開口度に関する変数及び変速比に関する変数を例示したが、これに限らない。例えば、スロットルバルブの開口度に関する変数及び変速比に関する変数に加えて、点火時期に関する変数や空燃比制御に関する変数を用いてもよい。

・下記「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用いればよい。またこれに加えて、例えば、噴射時期に関する変数や、１燃焼サイクルにおける噴射回数に関する変数、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を用いてもよい。

・例えば変速装置５０が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値などを行動変数としてもよい。
・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象に回転電機が含まれる場合、行動変数に回転電機のトルクや電流を含めればよい。すなわち、推力生成装置の負荷に関する変数である負荷変数としては、スロットルバルブの開口度に関する変数や噴射量に限らず、回転電機のトルクや電流であってもよい。

・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象に、ロックアップクラッチ４２を含める場合、行動変数にロックアップクラッチ４２の係合状態を示す変数を含めればよい。ここで、ロックアップクラッチ４２の係合状態を行動変数に含める場合、エネルギ利用効率を高くする旨の要求事項の優先度の大小によって、行動変数の値を変えることが特に有効となる。

「車両用制御データの生成方法について」
・図４のＳ１４の処理では、行動価値関数Ｑに基づき行動を決定したが、これに限らず、とりうるすべての行動を等確率で選択してもよい。

「制御用写像データについて」
・車両の状態と期待収益を最大化する行動変数の値とを１対１に対応付けることによって車両の状態を入力とし期待収益を最大化する行動変数の値を出力する制御用写像データとしては、マップデータに限らない。例えば、関数近似器であってもよい。これは、例えば、上記「更新写像について」の欄に記載したように、方策勾配法などを用いる場合において、方策πを行動変数の値をとりうる確率を示すガウス分布にて表現し、その平均値を関数近似器にて表現しておき、平均値を表現する関数近似器のパラメータを更新することとし、学習後の平均値を制御用写像データとすることによって実現できる。すなわち、ここでは、関数近似器が出力する平均値を、期待収益を最大化する行動変数の値とみなす。この際、環境係数ＶＡの値毎に各別の関数近似器を設けてもよいが、単一の関数近似器の独立変数のうちの状態ｓに、環境係数ＶＡを含めてもよい。

「状態について」
・上記各実施形態では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、例えば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量などであってもよい。

・例えば「行動変数について」の欄に記載したように、ソレノイドバルブの電流値を行動変数とする場合、状態に、変速装置の入力軸５２の回転速度や出力軸５４の回転速度、ソレノイドバルブによって調整される油圧を含めればよい。また例えば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、状態に、バッテリの充電率や温度を含めればよい。また例えば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動に含める場合、状態に、車室内の温度を含めればよい。

「電子機器について」
・行動変数に応じた操作の対象となる内燃機関の操作部としては、スロットルバルブ１４に限らない。例えば、点火装置２６や燃料噴射弁１６であってもよい。

・行動変数に応じた操作の対象となる電子機器のうち、推力生成装置と駆動輪との間の駆動系装置としては、変速装置５０に限らず、例えばロックアップクラッチ４２であってもよい。

・下記「推力生成装置について」の欄に記載したように、推力生成装置として回転電機を備える場合、行動変数に応じた操作の対象となる電子機器を、回転電機に接続されるインバータ等の電力変換回路としてもよい。もっとも、車載駆動系の電子機器に限らず、例えば車載空調装置などであってもよい。この場合であっても、例えば車載空調装置が推力生成装置の回転動力によって駆動される場合、推力生成装置の動力のうち駆動輪６０に供給される動力が車載空調装置の負荷トルクに依存することから、車載空調装置の負荷トルクを行動変数に含めることなどが有効である。また例えば車載空調装置が推力生成装置の回転動力を利用しないものであったとしても、エネルギ利用効率に影響することから、行動変数に車載空調装置の消費電力を加えることは有効である。

「実行装置について」
・実行装置としては、ＣＰＵとＲＯＭとを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記各実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理する例えばＡＳＩＣなどの専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）〜（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭなどのプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置及びプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、また例えば、ポート噴射弁及び筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、例えば燃料として軽油などを用いる圧縮着火式内燃機関などであってもよい。
「車両について」
・車両は、車両の推力生成装置として内燃機関のみを備えたものではなく、例えば内燃機関及び回転電気の双方を備えるハイブリッド車両であってもよい。また例えば、車両は、電気自動車や燃料電池車のように、推力生成装置が回転電機のみの車両であってもよい。

１０…内燃機関
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２６…点火装置
５０…変速装置
７０…制御装置
７２…ＣＰＵ
７４…ＲＯＭ
７６…記憶装置
８８…アクセルセンサ
９０…加速度センサ
９４…シフトポジションセンサ
９６…車速センサ
１３０…サーバ
１３２…ＣＰＵ
１３４…ＲＯＭ
１３６…記憶装置
ＶＣ１，ＶＣ２…車両

Claims (10)

1. 車両に設けられている車両用制御装置と、前記車両用制御装置と通信するサーバと、を備えるとともに、前記車両の電子機器を操作する際に用いられる操作用データが記憶される第１記憶装置が前記車両用制御装置に設けられているシステムに適用され、
   前記車両に設けられているセンサの検出値に基づく前記車両の状態を取得する状態取得処理と、
   前記状態取得処理で取得された前記車両の状態と、前記第１記憶装置に記憶されている前記操作用データと、に基づいて前記電子機器を操作する操作処理と、
   前記車両が走行している環境である走行環境に関する情報である環境情報を取得する環境情報取得処理と、
   前記環境情報取得処理で取得された前記環境情報が示す前記走行環境が変わったか否かを判定する環境判定処理と、
   前記環境判定処理で前記走行環境が変わったと判定されたときに、前記環境情報に応じた前記操作用データを、前記サーバから前記車両用制御装置に取得させ、当該操作用データを前記第１記憶装置に記憶させるデータ変更処理と、を実行装置に実行させる
   車両制御方法。
2. 前記環境情報は、前記車両が走行しているエリアに関する情報を含み、
   前記環境判定処理は、前記環境情報が示す前記車両が走行しているエリアが変わったときに、前記走行環境が変わったと判定する処理である
   請求項１に記載の車両制御方法。
3. 前記環境情報は、現在の季節に関する情報を含み、
   前記環境判定処理は、前記環境情報が示す季節が変わったときに、前記走行環境が変わったと判定する処理である
   請求項１又は請求項２に記載の車両制御方法。
4. 前記操作用データは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データであり、
   前記関係規定データとは、
   前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える処理と、
   前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する処理と、を実行することによって得られるデータであり、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである
   請求項１〜請求項３のうち何れか一項に記載の車両制御方法。
5. 前記操作用データは、前記車両の状態と前記電子機器の操作に関する変数である行動変数との関係を規定する関係規定データを基に作成される制御用写像データであり、
   前記関係規定データとは、
   前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づいて前記電子機器が操作された際における前記車両の状態を基に、前記車両の特性が所定の基準を満たす場合には前記車両の特性が前記所定の基準を満たさない場合よりも大きい報酬を与える処理と、
   前記電子機器が操作された際における前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、及び当該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する処理と、を実行することによって得られるデータであり、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものである
   請求項１〜請求項３のうち何れか一項に記載の車両制御方法。
6. 前記サーバは、想定する複数の前記環境情報の各々に対応する複数の前記操作用データを記憶する第２記憶装置を備えるものであり、
   前記データ変更処理は、
   前記第２記憶装置に記憶されている複数の前記操作用データの中から、前記環境情報取得処理で取得された前記環境情報に応じたデータを選択するデータ選択処理と、
   前記データ選択処理で選択された前記操作用データを前記車両用制御装置に送信する送信処理と、
   前記送信処理で前記サーバから送信された前記操作用データを前記第１記憶装置に記憶させるデータ記憶処理と、を含む
   請求項１〜請求項５のうち何れか一項に記載の車両制御方法。
7. 前記データ変更処理は、
   前記サーバと通信可能な複数の前記車両のうちの第１車両の前記環境情報が示す前記走行環境が変わったときに、変更後における前記第１車両の前記走行環境と同じ前記走行環境で走行している第２車両を探索する車両探索処理と、
   前記車両探索処理で探索された前記第２車両から当該第２車両の前記関係規定データを、前記サーバに取得させる変更用データ取得処理と、
   前記変更用データ取得処理で前記サーバに取得させた前記第２車両の前記関係規定データを、前記第１車両に送信する送信処理と、
   前記送信処理で前記サーバから前記第１車両に送信された前記第２車両の前記操作用データを、前記第１車両の前記第１記憶装置に記憶させるデータ記憶処理と、を含む
   請求項４に記載の車両制御方法。
8. 前記実行装置は、前記車両に設けられている第１実行装置と、前記サーバに設けられている第２実行装置と、を備えるものであり、
   前記状態取得処理及び前記操作処理を、前記第１実行装置に実行させ、
   前記環境情報取得処理を、前記第１実行装置又は前記第２実行装置に実行させ、
   前記データ変更処理を、前記第１実行装置及び前記第２実行装置の協働によって実行させる
   請求項１〜請求項７のうち何れか一項に記載の車両制御方法。
9. 請求項８に記載の前記第１実行装置及び前記第１記憶装置を備える
   車両用制御装置。
10. 請求項８に記載の前記第２実行装置を備える
    サーバ。

Images