JP2021067255A - Vehicle control system, vehicle control device, and vehicle learning device - Google Patents
Vehicle control system, vehicle control device, and vehicle learning device Download PDFInfo
- Publication number
- JP2021067255A JP2021067255A JP2020057698A JP2020057698A JP2021067255A JP 2021067255 A JP2021067255 A JP 2021067255A JP 2020057698 A JP2020057698 A JP 2020057698A JP 2020057698 A JP2020057698 A JP 2020057698A JP 2021067255 A JP2021067255 A JP 2021067255A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- cpu
- value
- data
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Combined Controls Of Internal Combustion Engines (AREA)
Abstract
Description
本発明は、車両用制御システム、車両用制御装置、および車両用学習装置に関する。 The present invention relates to a vehicle control system, a vehicle control device, and a vehicle learning device.
たとえば下記特許文献1には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。
For example,
ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた車両内の電子機器の操作量等の適合には、熟練者が多くの工数をかけていた。 By the way, in the above filter, it is necessary to set the operation amount of the throttle valve of the internal combustion engine mounted on the vehicle to an appropriate operation amount according to the operation amount of the accelerator pedal. However, it is necessary to spend a lot of man-hours. As described above, conventionally, a skilled person has spent a lot of man-hours to adapt the operation amount of the electronic device in the vehicle according to the state of the vehicle.
以下、上記課題を解決するための手段およびその作用効果について記載する。
1.車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されている記憶装置と、前記車両に搭載される第1実行装置と、車載装置とは別の第2実行装置と、を備え、前記車両の状態を検出するセンサの検出値を取得する状態取得処理と、前記電子機器を操作する操作処理と、前記状態取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記状態取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、前記車両に関する情報を取得する車両情報取得処理と、前記車両に関する情報に基づき、複数の前記車両を複数のグループに分類する分類処理と、を前記第1実行装置および前記第2実行装置の協働で実行し、前記第1実行装置は、少なくとも前記状態取得処理および前記操作処理を実行し、前記第2実行装置は、前記更新処理、前記車両情報取得処理、および前記分類処理を少なくとも実行し、前記操作処理は、前記更新処理によって更新された前記関係規定データと前記車両の状態とに応じて前記電子機器を操作する処理を含み、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記更新処理は、分類された前記グループごとに前記関係規定データを更新すべく、同一のグループに属する複数の前記車両の状態、および該同一のグループに属する複数の前記車両の前記電子機器の操作に用いられた行動変数の値、および該操作に対応する前記報酬を前記更新写像への入力として前記第2実行装置によって実行される車両用制御システムである。
Hereinafter, means for solving the above problems and their actions and effects will be described.
1. 1. A storage device that stores relationship regulation data that defines the relationship between the state of the vehicle and an action variable that is a variable related to the operation of electronic devices in the vehicle, a first execution device mounted on the vehicle, and an in-vehicle device. A second execution device, which is different from the above, is provided with a state acquisition process for acquiring the detection value of the sensor for detecting the state of the vehicle, an operation process for operating the electronic device, and the state acquisition process. Based on the detected value, a reward calculation process that gives a larger reward than when the characteristics of the vehicle satisfy the criteria, and the state of the vehicle based on the detected value acquired by the state acquisition process, the electron. The value of the action variable used for the operation of the device and the reward corresponding to the operation are input to the predetermined update mapping, the update process for updating the relevant regulation data, and the information about the vehicle are acquired. The vehicle information acquisition process and the classification process for classifying a plurality of the vehicles into a plurality of groups based on the information about the vehicle are executed in cooperation with the first execution device and the second execution device. The 1 execution device executes at least the state acquisition process and the operation process, the second execution device executes at least the update process, the vehicle information acquisition process, and the classification process, and the operation process is the operation process. The update mapping includes the process of operating the electronic device according to the relational regulation data updated by the update processing and the state of the vehicle, and the update mapping is the reward when the electronic device is operated according to the relational regulation data. It outputs the relational regulation data updated so as to increase the expected profit of the above, and the update processing is a plurality of belonging to the same group in order to update the relational regulation data for each of the classified groups. The state of the vehicle, the values of the action variables used for the operation of the electronic devices of the plurality of vehicles belonging to the same group, and the reward corresponding to the operation as inputs to the update mapping. 2 It is a vehicle control system executed by an execution device.
上記構成では、電子機器の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な値に設定することができる。したがって、車両の状態と行動変数との関係を車両の走行において適切な値に設定する際、熟練者に要求される工数を削減できる。 In the above configuration, by calculating the reward associated with the operation of the electronic device, it is possible to grasp what kind of reward can be obtained by the operation. Then, based on the reward, the relationship between the state of the vehicle and the behavior variable can be set to an appropriate value in the running of the vehicle by updating the relational regulation data by the update mapping according to the reinforcement learning. Therefore, when setting the relationship between the state of the vehicle and the behavior variable to an appropriate value in the running of the vehicle, the man-hours required for the expert can be reduced.
さらに上記構成では、複数の車両についての状態、行動変数の値および報酬に基づき単一の関係規定データを更新することにより、単一の車両の状態、行動変数の値および報酬に基づき単一の関係規定データを更新する場合と比較して、更新頻度を高めることができる。 Further, in the above configuration, a single relational data is updated based on the state, the value of the action variable, and the reward for a plurality of vehicles, so that a single relationship rule data is updated based on the state, the value and the reward of the single vehicle. The update frequency can be increased as compared with the case of updating the related regulation data.
ここで、車両の走行環境、消耗度合い、ユーザの運転嗜好等によって、車両の状態と適切な行動変数の値との組は異なるものとなりうる。そこで上記構成では、分類処理によって車両を分類したグループ毎に関係規定データを更新することにより、システム内の第1実行装置を備えた全車両に関する車両の状態、行動変数の値、および報酬に基づき単一の関係規定データを更新する場合と比較して、各グループにとってより適切なデータへと関係規定データを更新することが可能となる。 Here, the set of the state of the vehicle and the value of the appropriate behavior variable may differ depending on the driving environment of the vehicle, the degree of wear, the driving preference of the user, and the like. Therefore, in the above configuration, by updating the relational regulation data for each group in which the vehicles are classified by the classification process, based on the vehicle state, the value of the action variable, and the reward for all the vehicles equipped with the first execution device in the system. Compared to updating a single relational data, it is possible to update the relational data to more appropriate data for each group.
2.前記車両情報取得処理は、前記車両に関する情報として、前記車両の消耗度合いを示す消耗度合い変数を取得する処理を含む上記1記載の車両用制御システムである。
車両の消耗度合いに応じてユーザによる運転操作に対する車両の応答性が異なるものとなることなどから、車両の消耗度合いに応じて、車両の状態にとって適切な行動変数の値が異なりうる。そこで上記構成では、車両の消耗度合いによって車両を分類することにより、車両の消耗度合いに応じて適切な関係規定データに更新することが可能となる。
2. The vehicle information acquisition process is the vehicle control system according to 1 above, which includes a process of acquiring a wear degree variable indicating the wear degree of the vehicle as information about the vehicle.
Since the responsiveness of the vehicle to the driving operation by the user differs depending on the degree of wear of the vehicle, the value of the action variable appropriate for the state of the vehicle may differ depending on the degree of wear of the vehicle. Therefore, in the above configuration, by classifying the vehicles according to the degree of wear of the vehicle, it is possible to update the relevant regulation data according to the degree of wear of the vehicle.
3.前記車両情報取得処理は、前記車両に関する情報として、アクセル操作量の単位時間当たりの変化量の平均値に関する情報を取得する処理を含む上記1または2記載の車両用制御システムである。 3. 3. The vehicle information acquisition process is the vehicle control system according to 1 or 2 above, which includes a process of acquiring information on an average value of changes in the accelerator operation amount per unit time as information on the vehicle.
アクセル操作量の単位時間当たりの変化量の平均値に関する情報には、ユーザの運転嗜好に関する情報や、車両の消耗度合いに関する情報が含まれている可能性がある。そこで、上記構成では、アクセル操作量の単位時間当たりの変化量の平均値に関する情報に基づき車両を分類することにより、ユーザの運転嗜好や車両の消耗度合いに応じて適切な関係規定データを更新することが可能となる。 The information on the average value of the amount of change in the accelerator operation amount per unit time may include information on the user's driving preference and information on the degree of vehicle wear. Therefore, in the above configuration, by classifying the vehicles based on the information on the average value of the change amount of the accelerator operation amount per unit time, the appropriate relational regulation data is updated according to the driving preference of the user and the degree of wear of the vehicle. It becomes possible.
4.前記車両情報取得処理は、前記車両に関する情報として、前記車両の位置情報を取得する処理を含む上記1〜3のいずれか1つに記載の車両用制御システムである。
上記構成では、車両の位置情報に基づき車両を分類することにより、車両のおかれた環境の相違やユーザの運転嗜好の相違を考慮しつつ車両を分類することができる。
4. The vehicle information acquisition process is the vehicle control system according to any one of 1 to 3 above, which includes a process of acquiring the position information of the vehicle as information about the vehicle.
In the above configuration, by classifying the vehicle based on the position information of the vehicle, it is possible to classify the vehicle while considering the difference in the environment in which the vehicle is placed and the difference in the driving preference of the user.
5.上記1〜4のいずれか1つに記載の前記第1実行装置を備える車両用制御装置である。
6.上記1〜4のいずれか1項に記載の前記第2実行装置を備える車両用学習装置である。
5. A vehicle control device including the first execution device according to any one of the above 1 to 4.
6. A vehicle learning device including the second execution device according to any one of the above 1 to 4.
以下、車両用制御システムの一実施形態について、図面を参照しつつ説明する。
図1に、本実施形態にかかる車両VC1の駆動系および制御システムの構成を示す。
図1に示すように、内燃機関10の吸気通路12には、上流側から順にスロットルバルブ14および燃料噴射弁16が設けられており、吸気通路12に吸入された空気や燃料噴射弁16から噴射された燃料は、吸気バルブ18の開弁に伴って、シリンダ20およびピストン22によって区画される燃焼室24に流入する。燃焼室24内において、燃料と空気との混合気は、点火装置26の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン22を介してクランク軸28の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ30の開弁に伴って、排気として排気通路32に排出される。排気通路32には、排気を浄化する後処理装置としての触媒34が設けられている。
Hereinafter, an embodiment of the vehicle control system will be described with reference to the drawings.
FIG. 1 shows the configuration of the drive system and the control system of the vehicle VC1 according to the present embodiment.
As shown in FIG. 1, the intake passage 12 of the
クランク軸28には、ロックアップクラッチ42を備えたトルクコンバータ40を介して、変速装置50の入力軸52が機械的に連結可能とされている。変速装置50は、入力軸52の回転速度と出力軸54の回転速度との比である変速比を可変とする装置である。出力軸54には、駆動輪60が機械的に連結されている。
The
制御装置70は、内燃機関10を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ14、燃料噴射弁16および点火装置26等の内燃機関10の操作部を操作する。また、制御装置70は、トルクコンバータ40を制御対象とし、ロックアップクラッチ42の係合状態を制御すべくロックアップクラッチ42を操作する。また、制御装置70は、変速装置50を制御対象とし、その制御量としての変速比を制御すべく変速装置50を操作する。なお、図1には、スロットルバルブ14、燃料噴射弁16、点火装置26、ロックアップクラッチ42、および変速装置50のそれぞれの操作信号MS1〜MS5を記載している。
The
制御装置70は、制御量の制御のために、エアフローメータ80によって検出される吸入空気量Gaや、スロットルセンサ82によって検出されるスロットルバルブ14の開口度(スロットル開口度TA)、クランク角センサ84の出力信号Scrを参照する。また、制御装置70は、アクセルセンサ88によって検出されるアクセルペダル86の踏み込み量(アクセル操作量PA)や、加速度センサ90によって検出される車両VC1の前後方向の加速度Gx、水温センサ92によって検出される内燃機関10の冷却水の温度(水温THW)、外気温センサ94によって検出される外気温Tatを参照する。また、制御装置70は、全地球測位システム(GPS96)による位置データPgpsを参照する。また、制御装置70は、モード選択スイッチ98の操作によって定まるモード変数MVの値を参照する。ここで、モード選択スイッチ98は、車両VC1のユーザが、車両VC1の走行制御モードに関する2つの選択肢のうちの1つを選択するためのヒューマンマシンインターフェースである。ここで、2つの走行制御モードは、スポーツモードおよびノーマルモードであり、ユーザの運転操作に対する車両VC1の応答性能が互いに異なったモードである。すなわち、スポーツモードの応答性能は、ノーマルモードの応答性能よりも高く設定される。
The
制御装置70は、CPU72、ROM74、電気的に書き換え可能な不揮発性メモリ(記憶装置76)、通信機77および周辺回路78を備え、それらがローカルネットワーク79を介して通信可能とされている。ここで、周辺回路78は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。
The
ROM74には、制御プログラム74aおよび学習用サブプログラム74bが記憶されている。一方、記憶装置76には、アクセル操作量PAと、スロットル開口度TAの指令値(スロットル開口度指令値TA*)および点火装置26の遅角量aopとの関係を規定する関係規定データDRが記憶されている。ここで、遅角量aopは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、MBT点火時期とノック限界点とのうちの遅角側の時期である。MBT点火時期は、最大トルクの得られる点火時期(最大トルク点火時期)である。またノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。詳しくは、関係規定データDRは、スポーツモード用データDR1およびノーマルモード用データDR2を含む。また、記憶装置76には、トルク出力写像データDTが記憶されている。トルク出力写像データDTによって規定されるトルク出力写像は、クランク軸28の回転速度NE、充填効率η、および点火時期を入力とし、内燃機関10のトルクTrqを出力する写像である。
The
上記通信機77は車両VC1の外部のネットワーク100を介してデータ解析センター110と通信するための機器である。
データ解析センター110は、複数の車両VC1,VC2,…から送信されるデータを解析する。データ解析センター110は、CPU112、ROM114、および電気的に書き換え可能な不揮発性メモリ(記憶装置116)、周辺回路118および通信機117を備えており、それらがローカルネットワーク119によって通信可能とされるものである。ROM114には、関係規定データDRを強化学習によって更新するための学習用メインプログラム114aが記憶されている。また、記憶装置116には、関係規定データDRが記憶されている。
The
The
図2に、本実施形態にかかる制御システムが実行する処理の手順を示す。図2(a)に示す処理は、図1に示すROM74に記憶されている学習用サブプログラム74bをCPU72が実行することにより実現される。また、図2(b)に示す処理は、ROM114に記憶されている学習用メインプログラム114aをCPU112が実行することにより実現される。以下、先頭に「S」が付与された数字によって各処理のステップ番号を表現する。なお、以下では、時系列に沿って、図2に示す処理を説明する。
FIG. 2 shows a procedure of processing executed by the control system according to the present embodiment. The process shown in FIG. 2A is realized by the
図2(a)に示すように、CPU72は、まず、走行距離Lt、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値の所定期間における平均値ave(|ΔPA|)、同絶対値の所定期間における分散var(|ΔPA|)、位置データPgps、外気温Tat、水温THWおよびモード変数MVを取得する(S10)。次にCPU72は、通信機77を操作することによって、取得したデータを車両VC1の識別情報IDとともにデータ解析センター110に送信する(S12)。なお、CPU72は、S12の処理が完了する場合、図2(a)に示す一連の処理を一旦終了する。
As shown in FIG. 2A, first, the
一方、図2(b)に示すように、CPU112は、S12の処理によって送信されたデータを受信し、記憶装置116に記憶させる(S20)。次にCPU112は、複数の車両VC1,VC2,…から送信され記憶装置116に記憶されたデータの総数が所定数以上となったか否かを判定する(S22)。そして、CPU112は、所定数以上となったと判定する場合、記憶装置116に記憶されたデータに基づき、送信元の車両を、教師なし学習であるクランスタリングによって、いくつかのグループに分類する(S24)。本実施形態では、K−meansクラスタリングを用いる。
On the other hand, as shown in FIG. 2B, the
すなわち、CPU72は、まず、受信したデータを構成する各変数の値を、適宜、正規化する。ここでは、たとえば、走行距離Lt、平均値ave(|ΔPA|)、分散var(|ΔPA|)、位置データPgps、外気温Tat、水温THWおよびモード変数MVのそれぞれの最大値および最小値の差を互いに等しい大きさとするなどすればよい。
That is, the
次に、CPU112は、S20の処理において受信した、走行距離Lt、平均値ave(|ΔPA|)、分散var(|ΔPA|)、位置データPgps、外気温Tat、水温THWおよびモード変数MVの正規化された値を成分とする7次元ベクトルである所定数以上のデータベクトルのそれぞれを識別可能なように、ラベリングする。次にCPU72は、グループの数をK個とし、各グループに属するデータベクトルの平均値を示すK個の7次元ベクトルである平均ベクトルの初期値を適宜設定する。なお、「K」は、予め定められた2以上の整数である。
Next, the
次にCPU112は、「0」および「1」のみをとる2値の指示変数rnkと、データベクトルと平均ベクトルとの差の2乗との積についての、所定数以上の全データと全グループによる総和をひずみ尺度Jと定義する。ここで指示変数rnkの変数nは、データベクトルのラベル変数であり、変数kは、グループのラベル変数である。
Next, the
次にCPU112は、ひずみ尺度Jを最小化すべく、平均ベクトルを固定して指示変数rnkを更新するEステップと、指示変数rnkを固定して平均ベクトルを更新するMステップとを、ひずみ尺度Jの値が収束するまで繰り返す。
Next, the
そして、CPU112は、ひずみ尺度Jを最小化したときに「1」となる指示変数rijに基づき、変数iで指定されるデータベクトルが変数jで指定されるグループに属するとする。
Then, the
次にCPU112は、識別情報IDによって特定される車両が、第1グループから第Kグループのいずれに対応するかを特定する(S26)。ここで、1つの車両から送信された複数のデータによって構成される複数のデータベクトルが、互いに異なるグループに属する場合、CPU112は、1つの車両から送信されたデータに基づくデータベクトルが属する数が最も多いグループに、その車両を対応付ければよい。
Next, the
次にCPU112は、車両の識別情報IDとグループとを対応付けて記憶装置116に記憶する(S28)。
なお、CPU112は、S28の処理が完了する場合やS22の処理において否定判定する場合には、図2(b)に示す一連の処理を一旦終了する。
Next, the
The
図3に、本実施形態にかかる制御装置70が実行する処理の手順を示す。図3に示す処理は、ROM74に記憶された制御プログラム74aをCPU72がたとえば所定周期で繰り返し実行することにより実現される。
FIG. 3 shows a procedure of processing executed by the
図3に示す一連の処理において、CPU72は、まず、モード変数MVに基づき、後述のS34の処理において利用する関係規定データDRを選択する(S30)。すなわち、CPU72は、スポーツモードが選択されている場合、スポーツモード用データDR1を選択し、ノーマルモードが選択されている場合、ノーマルモード用データDR2を選択する。次にCPU72は、状態sとして、アクセル操作量PAの6個のサンプリング値「PA(1),PA(2),…PA(6)」からなる時系列データを取得する(S32)。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う6個のサンプリング値によって時系列データを構成する。
In the series of processes shown in FIG. 3, the
次にCPU72は、関係規定データDRが定める方策πに従い、S32の処理によって取得した状態sに応じたスロットル開口度指令値TA*および遅角量aopからなる行動aを設定する(S34)。
Next, the
本実施形態において、関係規定データDRは、行動価値関数Qおよび方策πを定めるデータである。本実施形態において、行動価値関数Qは、状態sおよび行動aの8次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態sが与えられたときに、独立変数が与えられた状態sとなる行動価値関数Qのうち最大となる行動a(グリーディ行動)を優先的に選択しつつも、所定の確率εで、それ以外の行動aを選択する規則を定める。 In the present embodiment, the relational regulation data DR is data that defines the action value function Q and the policy π. In the present embodiment, the action value function Q is a table-type function showing the value of the expected return according to the eight-dimensional independent variables of the state s and the action a. Further, the policy π is predetermined while preferentially selecting the action a (greedy action) that is the largest among the action value functions Q in which the independent variable is given the state s when the state s is given. With the probability ε of, the rule for selecting other actions a is determined.
次にCPU72は、設定されたスロットル開口度指令値TA*および遅角量aopに基づき、スロットルバルブ14に操作信号MS1を出力してスロットル開口度TAを操作するとともに、点火装置26に操作信号MS3を出力して点火時期を操作する(S36)。ここで、本実施形態では、スロットル開口度TAをスロットル開口度指令値TA*にフィードバック制御することを例示することから、スロットル開口度指令値TA*が同一の値であっても、操作信号MS1が互いに異なる信号となりうるものである。また、たとえば周知のノッキングコントロール(KCS)等がなされる場合、点火時期は、基準点火時期を遅角量aopにて遅角させた値がKCSにてフィードバック補正された値とされる。ここで、基準点火時期は、CPU72により、クランク軸28の回転速度NEおよび充填効率ηに応じて可変設定される。なお、回転速度NEは、クランク角センサ84の出力信号Scrに基づきCPU72によって算出される。また、充填効率ηは、回転速度NEおよび吸入空気量Gaに基づきCPU72によって算出される。
Next, the
次にCPU72は、内燃機関10のトルクTrq、内燃機関10に対するトルク指令値Trq*、および加速度Gxを取得する(S38)。ここで、CPU72は、トルクTrqを、回転速度NE、充填効率ηおよび点火時期をトルク出力写像に入力することによって算出する。また、CPU72は、トルク指令値Trq*を、アクセル操作量PAに応じて設定する。
Next, the
次にCPU72は、過渡フラグFが「1」であるか否かを判定する(S40)。過渡フラグFは、「1」である場合に過渡運転時であることを示し、「0」である場合に過渡運転時ではないことを示す。CPU72は、過渡フラグFが「0」であると判定する場合(S40:NO)、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値が所定量ΔPAth以上であるか否かを判定する(S42)。ここで、変化量ΔPAは、たとえば、S42の処理の実行タイミングにおける最新のアクセル操作量PAと、同タイミングに対して単位時間だけ前におけるアクセル操作量PAとの差とすればよい。
Next, the
CPU72は、所定量ΔPAth以上であると判定する場合(S42:YES)、過渡フラグFに「1」を代入する(S44)。
これに対し、CPU72は、過渡フラグFが「1」であると判定する場合(S40:YES)、S44の処理の実行タイミングから所定期間が経過したか否かを判定する(S46)。ここで、所定期間は、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値が所定量ΔPAthよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。CPU72は、所定期間が経過したと判定する場合(S46:YES)、過渡フラグFに「0」を代入する(S48)。
When the
On the other hand, when the
CPU72は、S44,S48の処理が完了する場合や、S42,S46の処理において否定判定する場合には、次のデータを記憶装置76に記憶させる(S50)。すなわち、CPU72は、S30の処理において用いたモード変数MVと、S32の処理において取得した状態sと、S34の処理において選択した行動aと、S38の処理において取得したトルクTrq、トルク指令値Trq*および加速度Gxと、過渡フラグFの値と、を記憶装置76に記憶させる。
When the processing of S44 and S48 is completed, or when a negative determination is made in the processing of S42 and S46, the
なお、CPU72は、S50の処理が完了する場合には、図3に示す一連の処理を一旦終了する。
図4に、本実施形態にかかる強化学習の処理手順を示す。図4(a)に示す処理は、図1に示すROM74に記憶されている学習用サブプログラム74bをCPU72が実行することにより実現される。また、図4(b)に示す処理は、ROM114に記憶されている学習用メインプログラム114aをCPU112が実行することにより実現される。以下では、時系列に沿って、図4に示す処理を説明する。
When the processing of S50 is completed, the
FIG. 4 shows a processing procedure of reinforcement learning according to the present embodiment. The process shown in FIG. 4A is realized by the
図4(a)に示す一連の処理において、CPU72は、まず、トリップの終了時であるか否かを判定する(S60)。ここで、トリップとは、車両の走行許可信号がオン状態である1回の期間のことである。本実施形態において、走行許可信号は、イグニッション信号に相当する。
In the series of processes shown in FIG. 4A, the
CPU72は、トリップの終了時であると判定する場合(S60:YES)、通信機77を操作して、車両VC1の識別情報IDと、S50の処理によって記憶したデータとを送信する(S62)。
When determining that it is the end of the trip (S60: YES), the
これに対し、図4(b)に示すように、CPU112は、S62の処理によって送信されたデータを受信する(S70)。そして、CPU112は、受信したデータのうちの過渡フラグFが一定である1つの期間、すなわち1つのエピソードを選択する(S72)。各エピソードは、S48の処理がなされてからS44の処理がなされるまでの期間や、S44の処理がなされてからS48の処理がなされるまでの期間のことである。
On the other hand, as shown in FIG. 4B, the
次にCPU112は、選択したエピソード中のトルク指令値Trq*、トルクTrqおよび加速度Gxの3つのサンプリング値の組からなる時系列データと、状態sおよび行動aの時系列データと、を取得する(S74)。図4には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、トルク指令値Trq*(1)とトルク指令値Trq*(2)とは、サンプリングタイミングが互いに異なるものである。また、選択したエピソードに属する行動aの時系列データを、行動集合Ajとし、同エピソードに属する状態sの時系列データを、状態集合Sjと定義する。
Next, the
次にCPU112は、選択されたエピソードに属する任意のトルクTrqとトルク指令値Trq*との差の絶対値が規定量ΔTrq以下である旨の条件(ア)と、加速度Gxが下限値GxL以上であって上限値GxH以下である旨の条件(イ)との論理積が真であるか否かを判定する(S76)。
Next, the
ここで、CPU112は、規定量ΔTrqを、エピソードの開始時におけるアクセル操作量PAの単位時間当たりの変化量ΔPAおよびモード変数MVの値によって可変設定する。すなわち、CPU112は、エピソードの開始時における変化量ΔPAに基づき過渡時に関するエピソードであると判定する場合、定常時と比較して、規定量ΔTrqを大きい値に設定する。また、CPU112は、スポーツモードの場合にノーマルモードの場合よりも規定量ΔTrqを小さい値に設定する。
Here, the
また、CPU112は、下限値GxLを、エピソードの開始時におけるアクセル操作量PAの単位時間当たりの変化量ΔPAおよびモード変数MVの値によって可変設定する。すなわち、CPU112は、過渡時に関するエピソードであって且つ変化量ΔPAが正である場合には、定常時に関するエピソードの場合と比較して、下限値GxLを大きい値に設定する。また、CPU112は、過渡時に関するエピソードであって且つ変化量ΔPAが負である場合には、定常時に関するエピソードの場合と比較して、下限値GxLを小さい値に設定する。また、CPU112は、変化量ΔPAが正であるなら、スポーツモードの場合にノーマルモードの場合よりも下限値GxLを大きい値に設定する。また、CPU112は、変化量ΔPAが負であるなら、スポーツモードの場合にノーマルモードの場合よりも下限値GxLを小さい値に設定する。
Further, the
また、CPU112は、上限値GxHを、エピソードの開始時におけるアクセル操作量PAの単位時間当たりの変化量ΔPAおよびモード変数MVの値によって可変設定する。すなわち、CPU112は、過渡時に関するエピソードであって且つ変化量ΔPAが正である場合には、定常時に関するエピソードの場合と比較して、上限値GxHを大きい値に設定する。また、CPU112は、過渡時に関するエピソードであって且つ変化量ΔPAが負である場合には、定常時に関するエピソードの場合と比較して、上限値GxHを小さい値に設定する。また、CPU112は、変化量ΔPAが正であるなら、スポーツモードの場合にノーマルモードの場合よりも上限値GxHを大きい値に設定する。また、CPU112は、変化量ΔPAが負であるなら、スポーツモードの場合にノーマルモードの場合よりも上限値GxHを小さい値に設定する。
Further, the
CPU112は、論理積が真であると判定する場合(S76:YES)、報酬rに「10」を代入する一方(S78)、偽であると判定する場合(S76:NO)、報酬rに「−10」を代入する(S80)。CPU112は、S78,S80の処理が完了する場合、S70の処理において取得した識別情報IDに基づき、車両VC1が、いずれのグループに属するかを検索する(S82)。
When the
そして、CPU112は、特定したグループに共通の関係規定データDRを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。
すなわち、CPU72は、上記S74の処理によって読み出した各状態と対応する行動との組によって定まる収益R(Sj,Aj)に、それぞれ、報酬rを加算する(S84)。ここで、「R(Sj,Aj)」は、状態集合Sjの要素の1つを状態とし行動集合Ajの要素の1つを行動とする収益Rを総括した記載である。次に、上記S84の処理によって読み出した各状態と対応する行動との組によって定まる収益R(Sj,Aj)のそれぞれについて、平均化して対応する行動価値関数Q(Sj,Aj)に代入する(S86)。ここで、平均化は、S84の処理がなされた回数に所定数を加えた数によって、S84の処理によって算出された収益Rを除算する処理とすればよい。なお、収益Rの初期値は、車両VC1の出荷時における対応する行動価値関数Qの初期値とすればよい。
Then, the
That is, the
次にCPU112は、上記S74の処理によって読み出した状態について、それぞれ、対応する行動価値関数Q(Sj,A)のうち、最大値となるときのスロットル開口度指令値TA*および遅角量aopの組である行動を、行動Aj*に代入する(S88)。ここで、「A」は、とりうる任意の行動を示す。なお、行動Aj*は、上記S74の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。
Next, the
次に、CPU112は、上記S84の処理によって読み出した状態のそれぞれについて、対応する方策π(Aj|Sj)を更新する(S90)。すなわち、行動の総数を、「|A|」とすると、S88によって選択された行動Aj*の選択確率を、「1−ε+ε/|A|」とする。また、行動Aj*以外の「|A|−1」個の行動の選択確率を、それぞれ「ε/|A|」とする。S90の処理は、S86の処理によって更新された行動価値関数Qに基づく処理であることから、これにより、状態sと行動aとの関係を規定する関係規定データDRが、収益Rを増加させるように更新されることとなる。
Next, the
次にCPU112は、S70の処理によって受信した1トリップ分のデータに属する全てのエピソードについて、S72〜S90の処理を完了したか否かを判定する(S92)。そしてCPU112は、未だ完了していないエピソードがあると判定する場合(S92:NO)、S72の処理に戻る。
Next, the
これに対しCPU112は、全てのエピソードについてS72〜S90の処理を完了したと判定する場合(S92:YES)、通信機117を操作して更新された関係規定データDRをS70の処理によって受信されたデータの送信元に送信する(S94)。なお、CPU112は、S94の処理を完了する場合、図4(b)に示す一連の処理を一旦終了する。
On the other hand, when the
これに対し、図4(a)に示すように、CPU72は、更新された関係規定データDRを受信し(S64)、受信した関係規定データDRによって、S34の処理に利用する関係規定データDRを書き換える(S66)。なお、CPU72は、S66の処理が完了する場合や、S60の処理において否定判定する場合には、図4(a)に示す一連の処理を一旦終了する。
On the other hand, as shown in FIG. 4A, the
なお、車両VC1の出荷時に記憶装置76に記憶される関係規定データDRは、たとえばテストベンチ等で車両の走行を模擬するなどしつつ、図3および図4に準じた処理によって強化学習がある程度なされた学習済みモデルとする。ただし、出荷前の学習においては、強化学習の対象とする行動価値関数Qの独立変数を、状態sおよび行動aのとりうる値の全組み合わせのうちの一部が人の知見等によって削減されたものとする。すなわち、たとえばアクセル操作量PAの時系列データのうち隣接する2つのサンプリング値の1つがアクセル操作量PAの最小値となりもう1つが最大値となるようなことは、人によるアクセルペダル86の操作からは生じえないとして、出荷前の学習に限っては行動価値関数Qが定義されていない。本実施形態では、人の知見等に基づく次元削減によって、出荷前の学習に限っては行動価値関数Qを定義する状態sの取りうる値を、10の4乗個以下、より望ましくは10の3乗個以下に制限する。
The relational regulation data DR stored in the
ここで、本実施形態の作用および効果について説明する。
CPU72は、ユーザによるアクセルペダル86の操作に伴って、状態sとしてのアクセル操作量PAの時系列データを取得し、方策πに従って、スロットル開口度指令値TA*および遅角量aopからなる行動aを設定する。ここでは、基本的には、関係規定データDRに規定されている行動価値関数Qに基づき期待収益を最大とする行動aを選択する。ただし、CPU72は、所定の確率εで、期待収益を最大化する行動a以外の行動を選択することによって、期待収益を最大化する行動aの探索を行う。そして、CPU72は、状態s、行動aおよびトルクTrq、トルク指令値Trq*および加速度Gxをデータ解析センター110に送信する。
Here, the operation and effect of this embodiment will be described.
The
これにより、データ解析センター110のCPU112は、ユーザによる車両VC1の運転に伴って、関係規定データDRを強化学習によって更新できる。したがって、アクセル操作量PAに応じたスロットル開口度指令値TA*および遅角量aopを、熟練者による工数を過度に大きくすることなく車両VC1の走行において適切な値に設定することができる。特に、CPU112により、複数の車両から送信されるデータに基づき1つの関係規定データDRを更新することから、1つの車両から送信されるデータに基づき1つの関係規定データDRを更新する場合と比較して、関係規定データDRの更新頻度を高めることができる。
As a result, the
ここで、CPU112は、複数の車両VC1,VC2,…から送信される全てのデータを用いて関係規定データDRを更新する代わりに、クランスタリングによって車両を分類したグループ毎に、各別の関係規定データDRを更新する。
Here, instead of updating the relationship regulation data DR using all the data transmitted from the plurality of vehicles VC1, VC2, ..., The
ここで、本実施形態における分類によれば、車両の消耗度合いに応じた分類がなされると期待される。すなわち、走行距離Ltが長い場合には短い場合と比較して、車両の消耗度合いが大きくなると考えられる。そして、車両の消耗度合いが大きい場合、たとえば内燃機関10の吸気通路12やスロットルバルブ14に堆積物が堆積し、スロットル開口度指令値TA*に対する吸気通路12の流路断面積が小さくなる。そのため、加速感が鈍ることから、ユーザは、アクセルペダル86の操作を加速感の鈍りを補償するように変えていくと考えられる。これは、平均値ave(|ΔPA|)や分散var(|ΔPA|)によって捉えることができる。
Here, according to the classification in the present embodiment, it is expected that the classification will be made according to the degree of wear of the vehicle. That is, it is considered that when the mileage Lt is long, the degree of wear of the vehicle is larger than when it is short. When the degree of wear of the vehicle is large, for example, deposits are accumulated on the intake passage 12 and the
したがって、上記分類によれば、アクセル操作量PAとスロットル開口度指令値TA*および遅角量aopとの関係を、車両の消耗度合いに応じたより適切なものに学習することができる。 Therefore, according to the above classification, the relationship between the accelerator operation amount PA, the throttle opening degree command value TA *, and the retard angle amount aop can be learned more appropriately according to the degree of wear of the vehicle.
以上説明した本実施形態によれば、さらに以下に記載する作用効果が得られる。
(1)クラスタリングのためのデータ集合の要素に、位置データPgpsを含めた。これにより、アクセルペダル86の操作が異なったものとなる要因として車両の消耗度合いとは別の要因である、地域に応じた燃料性状の相違や、ユーザの運転の仕方の相違を考慮しつつ分類をすることができる。
According to the present embodiment described above, the effects described below can be further obtained.
(1) Position data Pgps was included in the elements of the data set for clustering. As a result, as a factor that makes the operation of the
(2)クラスタリングのためのデータ集合の要素に、外気温Tatや水温THWを含めた。これにより、アクセルペダル86の操作が異なったものとなる要因として車両の消耗度合いとは別の要因である、空気密度による充填効率ηへの影響を考慮しつつ分類をすることができる。
(2) The outside air temperature Tat and the water temperature THW were included in the elements of the data set for clustering. As a result, it is possible to classify the
(3)クラスタリングのためのデータ集合の要素に、モード変数MVを含めた。これにより、アクセルペダル86の操作が異なったものとなる要因として車両の消耗度合いとは別の要因である、ユーザの運転嗜好の相違を考慮しつつ分類をすることができる。
(3) The mode variable MV was included in the elements of the data set for clustering. As a result, it is possible to classify the
(4)出荷前には行動価値関数Qの独立変数の値の一部についてのみ強化学習による学習がなされた状態で、出荷後の車両VC1の運転に伴って全ての独立変数の値について行動価値関数Qを学習可能とした。これにより、複数の車両VC1,VC2,…から送信される膨大なデータに基づき、製品出荷前には学習が困難なほどに大きい次元数の独立変数を有した行動価値関数Qを強化学習によって学習できる。 (4) Before shipping, only a part of the value of the independent variable of the action value function Q is learned by reinforcement learning, and the action value of all the values of the independent variable is changed with the operation of the vehicle VC1 after shipping. The function Q can be learned. As a result, based on the enormous amount of data transmitted from a plurality of vehicles VC1, VC2, ..., The behavioral value function Q having an independent variable with a large number of dimensions that is difficult to learn before shipping the product is learned by reinforcement learning. it can.
(5)行動価値関数Qの独立変数にアクセル操作量PAの時系列データを含めた。これにより、アクセル操作量PAに関して単一のサンプリング値のみを独立変数とする場合と比較して、アクセル操作量PAの様々な変化に対して行動aの値をきめ細かく調整できる。 (5) The time series data of the accelerator operation amount PA was included in the independent variable of the action value function Q. As a result, the value of the action a can be finely adjusted for various changes in the accelerator operation amount PA, as compared with the case where only a single sampling value is used as the independent variable for the accelerator operation amount PA.
(6)行動価値関数Qの独立変数に、スロットル開口度指令値TA*自体を含めた。これにより、たとえば、スロットル開口度指令値TA*の挙動をモデル化したモデル式のパラメータ等をスロットル開口度に関する独立変数とする場合と比較して、強化学習による探索の自由度を高めることが容易である。 (6) The throttle opening command value TA * itself is included in the independent variable of the action value function Q. This makes it easier to increase the degree of freedom of search by reinforcement learning, for example, as compared with the case where the parameters of the model formula that models the behavior of the throttle opening command value TA * are used as independent variables related to the throttle opening. Is.
<対応関係>
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。[1,4,5,6]電子機器は、スロットルバルブ14や点火装置26に対応する。第1実行装置は、CPU72およびROM74に対応し、第2実行装置は、CPU112およびROM114に対応する。記憶装置は、記憶装置76,116に対応する。状態取得処理は、S32,S38の処理に対応する。操作処理は、S36の処理に対応する。報酬算出処理は、S76〜S80の処理に対応する。更新処理は、S84〜S90の処理に対応する。更新写像は、学習用メインプログラム114aによって定められたS84〜S90の処理によって規定される写像に対応する。車両情報取得処理は、S10の処理に対応する。分類処理は、S24の処理に対応する。[2]消耗度合いは、走行距離Ltによって定量化されている。[3]アクセル操作量の単位時間当たりの変化量の平均値に関する情報は、平均値ave(|ΔPA|)に対応する。
<Correspondence>
The correspondence between the matters in the above-described embodiment and the matters described in the above-mentioned "means for solving the problem" column is as follows. In the following, the correspondence is shown for each number of the solution means described in the column of "Means for solving the problem". [1, 4, 5, 6] The electronic device corresponds to the
<その他の実施形態>
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
<Other Embodiments>
In addition, this embodiment can be implemented by changing as follows. The present embodiment and the following modified examples can be implemented in combination with each other within a technically consistent range.
・「車両情報取得処理について」
上記実施形態では、走行距離Lt、平均値ave(|ΔPA|)、分散var(|ΔPA|)、位置データPgps、外気温Tat、水温THWおよびモード変数MVの組データの集合を、クラスタリングの対象として取得する車両に関する情報としたが、これに限らない。たとえば、それら7個の変数については、そのうちの6個のみを用いて組データを生成してもよく、また、5個のみを用いて組データを生成したり、4個のみを用いて組データを生成したり、3個のみを用いて組データを生成したり、2個のみを用いて組データを生成したりしてもよい。また、たとえば1個のみクラスタリングの対象としてもよい。また、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値の所定期間における平均値や分散を用いる代わりに、アクセル操作量PAの単位時間当たりの変化量ΔPAが正である場合に限った平均値や分散を用いてもよい。
・ "Vehicle information acquisition process"
In the above embodiment, a set of set data of mileage Lt, average value ave (| ΔPA |), variance var (| ΔPA |), position data Pgps, outside air temperature Tat, water temperature THW, and mode variable MV is targeted for clustering. The information about the vehicle to be acquired is not limited to this. For example, for those 7 variables, only 6 of them may be used to generate the set data, only 5 of them may be used to generate the set data, or only 4 of them may be used to generate the set data. , The set data may be generated using only three pieces, or the set data may be generated using only two pieces. Further, for example, only one may be the target of clustering. Further, instead of using the average value or variance of the absolute value of the change amount ΔPA of the accelerator operation amount PA per unit time in a predetermined period, only when the change amount ΔPA of the accelerator operation amount PA per unit time is positive. You may use the mean value or the variance.
また、クラスタリングの対象となるデータ集合を構成する組データに、たとえばアクセル操作量PAの所定期間における平均値を含めてもよい。また、たとえばスロットル開口度TAの所定期間における平均値や、スロットル開口度指令値TA*の所定期間における平均値を含めてもよい。また、たとえば、スロットル開口度TAの単位時間当たりの変化量の絶対値の所定期間における平均値や分散を含めたり、スロットル開口度指令値TA*の単位時間当たりの変化量の絶対値の所定期間における平均値や分散を含めたりしてもよい。 Further, for example, the average value of the accelerator operation amount PA in a predetermined period may be included in the set data constituting the data set to be clustered. Further, for example, the average value of the throttle opening degree TA in a predetermined period and the average value of the throttle opening degree command value TA * in a predetermined period may be included. Further, for example, the average value and variance of the absolute value of the change amount of the throttle opening degree TA per unit time in a predetermined period may be included, or the absolute value of the change amount of the throttle opening degree command value TA * per unit time may be included in the predetermined period. May include the mean and variance in.
「分類処理について」
上記実施形態では、K−meansクラスタリングをバッチ処理にて実行したが、これに限らず、オンライン学習としてもよい。
"About classification processing"
In the above embodiment, K-means clustering is executed by batch processing, but the present invention is not limited to this, and online learning may be used.
上記実施形態では、予めグループの数を指定しておき、K−meansクラスタリングに基づき、クラスタリングを行ったがこれに限らない。たとえば、グループの数を複数の値のそれぞれに設定してK−meansクラスタリングを実行した後、どのクラスタリング結果を採用するかを選択してもよい。ここでの選択処理は、たとえば、状態毎に、グリーディ行動との差の絶対値が所定値以下となる全ての行動についての行動価値関数Qの値の和を算出し、その和を全ての状態について加算した値が大きいものを採用すればよい。 In the above embodiment, the number of groups is specified in advance, and clustering is performed based on K-means clustering, but the present invention is not limited to this. For example, after setting the number of groups to each of a plurality of values and performing K-means clustering, which clustering result may be adopted may be selected. In the selection process here, for example, for each state, the sum of the values of the action value function Q for all actions in which the absolute value of the difference from the greedy action is equal to or less than a predetermined value is calculated, and the sum is used as the sum of all states. It is sufficient to adopt the one having a large value added with respect to.
もっとも、K−meansクラスタリングを用いるものに限らない。たとえば上記平均ベクトルとデータベクトルとの差の2乗に代えて、平均ベクトルと共分散行列とによって定義されデータベクトルを独立変数とするガウス分布を用い、指示変数rnkに代えて混合係数πkを用いることによって、混合ガウス分布を生成し、これをデータベクトルの周辺分布としてもよい。その場合、最尤推定等によって、平均ベクトル、共分散行列および混合係数πkを学習し、混合係数π1〜πKのそれぞれに対応する負担率のうちの最も大きくなるものに対応するグループにデータベクトルが属するとすればよい。 However, it is not limited to the one using K-means clustering. For example, instead of the square of the difference between the mean vector and the data vector, a Gaussian distribution defined by the mean vector and the covariance matrix is used with the data vector as the independent variable, and the mixing coefficient πk is used instead of the indicator variable rnk. This may generate a mixed Gaussian distribution, which may be used as the marginal distribution of the data vector. In that case, the average vector, the covariance matrix, and the mixing coefficient πk are learned by maximum likelihood estimation, etc., and the data vector is assigned to the group corresponding to the largest load factor corresponding to each of the mixing coefficients π1 to πK. It may belong.
さらに、クラスタリングの対象となるデータ集合を構成する組データに、強化学習によって学習されたデータ自体を含めてクラスタリングを行ってもよい。具体的には、たとえば行動価値関数Q、状態sおよび行動aの組を含めてもよい。これは、たとえば次のようにして実現できる。 Further, clustering may be performed by including the data itself learned by reinforcement learning in the set data constituting the data set to be clustered. Specifically, for example, a set of the action value function Q, the state s, and the action a may be included. This can be achieved, for example, as follows.
(ア)データ解析センター110において、S10の処理によって取得される変数のそれぞれによって車両を分類し、各変数においてグループ毎に行動価値関数Qを更新する。
(イ)更新後のグリーディ行動がグループによって大きく変わる場合、その変数をグリーディ行動に大きく影響する変数とし、更新後のグリーディ行動がグループによってさほど変わらない場合、その変数をグリーディ行動への影響が小さい変数とする。
(A) In the
(B) If the updated greedy behavior changes significantly depending on the group, use that variable as a variable that greatly affects the greedy behavior, and if the updated greedy behavior does not change significantly depending on the group, the variable has a small effect on the greedy behavior. Let it be a variable.
(ウ)グリーディ行動に大きく影響する変数とグリーディ行動とを用いて、クラスタリングを行う。こうして生成されたグループは、グリーディ行動に大きく影響する1または複数の変数の値によっても定義されることから、それら1または複数の変数の値のみによって最終的なグループを定義すればよい。 (C) Clustering is performed using variables that greatly affect greedy behavior and greedy behavior. Since the group thus generated is also defined by the values of one or more variables that greatly affect the greedy behavior, it is sufficient to define the final group only by the values of those one or more variables.
・「行動変数について」
上記実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値TA*を例示したが、これに限らない。たとえば、アクセル操作量PAに対するスロットル開口度指令値TA*の応答性を、無駄時間および2次遅れフィルタにて表現し、無駄時間と、2次遅れフィルタを規定する2つの変数との合計3つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量PAの時系列データに代えて、アクセル操作量PAの単位時間当たりの変化量とすることが望ましい。
・ "About behavior variables"
In the above embodiment, the throttle opening command value TA * is exemplified as a variable related to the opening degree of the throttle valve as an action variable, but the present invention is not limited to this. For example, the responsiveness of the throttle opening command value TA * to the accelerator operation amount PA is expressed by the wasted time and the second-order lag filter, and the wasted time and the two variables that define the second-order lag filter are a total of three. The variable may be a variable related to the opening degree of the throttle valve. However, in that case, it is desirable that the state variable is a change amount per unit time of the accelerator operation amount PA instead of the time series data of the accelerator operation amount PA.
上記実施形態では、行動変数としての点火時期に関する変数として、遅角量aopを例示したが、これに限らない。たとえば、KCSによる補正対象とされる点火時期自体であってもよい。 In the above embodiment, the retard angle amount aop is exemplified as a variable related to the ignition timing as an action variable, but the present invention is not limited to this. For example, it may be the ignition timing itself to be corrected by KCS.
上記実施形態では、行動変数として、スロットルバルブの開口度に関する変数および点火時期に関する変数を例示したが、これに限らない。たとえば、スロットルバルブの開口度に関する変数および点火時期に関する変数に加えて、燃料噴射量を用いてもよい。また、それら3つに関しては、行動変数としてスロットルバルブの開口度に関する変数および燃料噴射量のみを採用したり、点火時期に関する変数および燃料噴射量のみを採用したりしてもよい。さらに、それら3つに関しては、行動変数としてそれらのうちの1つのみを採用してもよい。 In the above embodiment, variables related to the opening degree of the throttle valve and variables related to the ignition timing are exemplified as behavioral variables, but the present invention is not limited to this. For example, the fuel injection amount may be used in addition to the variables related to the opening degree of the throttle valve and the variables related to the ignition timing. Further, regarding these three, only the variable related to the opening degree of the throttle valve and the fuel injection amount may be adopted as the action variables, or only the variable related to the ignition timing and the fuel injection amount may be adopted. Furthermore, for those three, only one of them may be adopted as the behavioral variable.
また、「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用い、点火時期に関する変数に代えて噴射時期に関する変数を用いればよい。なお、噴射時期に関する変数に加えて、1燃焼サイクルにおける噴射回数に関する変数や、1燃焼サイクルにおける1つの気筒のための時系列的に隣接する2つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を加えることが望ましい。 Further, as described in the column of "About the internal combustion engine", in the case of a compression ignition type internal combustion engine, a variable related to the injection amount is used instead of the variable related to the opening degree of the throttle valve, and a variable related to the ignition timing is used instead of the variable related to the ignition timing. You can use the variables related to. In addition to the variables related to the injection timing, the variables related to the number of injections in one combustion cycle and the end timing of one of the two fuel injections adjacent in time series for one cylinder in one combustion cycle and the other It is desirable to add a variable for the time interval between the start timing.
また、たとえば変速装置50が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値等を行動変数としてもよい。
また、たとえば、下記「車両について」の欄に記載したように車両としてハイブリッド車や、電気自動車、燃料電池車を採用する場合、回転電機のトルクや出力を行動変数に加えてもよい。またたとえば、内燃機関のクランク軸の回転動力によって回転するコンプレッサを備えた車載空調装置を備える場合、コンプレッサの負荷トルクを行動変数に含めてもよい。また、電動式の車載空調装置を備える場合、空調装置の消費電力を行動変数に含めてもよい。
Further, for example, when the
Further, for example, when a hybrid vehicle, an electric vehicle, or a fuel cell vehicle is adopted as the vehicle as described in the column of "About the vehicle" below, the torque and output of the rotary electric machine may be added to the action variables. Further, for example, when an in-vehicle air conditioner including a compressor that is rotated by the rotational power of the crankshaft of the internal combustion engine is provided, the load torque of the compressor may be included in the action variable. Further, when an electric in-vehicle air conditioner is provided, the power consumption of the air conditioner may be included in the action variable.
・「テーブル形式のデータの次元削減について」
テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量PAが最大値となることはまれであることから、アクセル操作量PAが規定量以上となる状態については行動価値関数Qを定義せず、アクセル操作量PAが規定量以上となる場合のスロットル開口度指令値TA*等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値TA*が規定値以上となるものを除くなどして、次元削減をしてもよい。
・ "About dimensionality reduction of table format data"
The method for reducing the dimension of the table format data is not limited to the one illustrated in the above embodiment. For example, since it is rare that the accelerator operation amount PA becomes the maximum value, the action value function Q is not defined for the state where the accelerator operation amount PA becomes the specified amount or more, and the accelerator operation amount PA becomes the specified amount or more. In this case, the throttle opening command value TA * and the like may be adapted separately. Further, for example, the dimension may be reduced by excluding the value at which the throttle opening degree command value TA * is equal to or more than the specified value from the values that can be taken.
なお、車両の出荷後において、出荷前よりも強化学習の対象とする行動価値関数Qの独立変数の取りうる値の範囲を拡大することも必須ではない。また、出荷前に強化学習をすること自体必須ではない。たとえば、同一の排気量の内燃機関であって、すでに状態に対する行動変数の適合がなされている車両の適合データを流用して行動価値関数Qの初期値を設定した後、車両を出荷し、出荷後に初めて強化学習を実行してもよい。 It is not essential to expand the range of possible values of the independent variable of the action value function Q, which is the target of reinforcement learning, after the vehicle is shipped, as compared with before the shipment. In addition, it is not essential to carry out reinforcement learning before shipping. For example, after setting the initial value of the action value function Q by diverting the conformity data of a vehicle having the same displacement of an internal combustion engine and having already adapted the behavior variable to the state, the vehicle is shipped and shipped. Reinforcement learning may be performed for the first time later.
・「関係規定データについて」
上記実施形態では、行動価値関数Qを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。
・ "Regarding related regulation data"
In the above embodiment, the action value function Q is a table-type function, but the present invention is not limited to this. For example, a function approximator may be used.
たとえば、行動価値関数Qを用いる代わりに、方策πを、状態sおよび行動aを独立変数とし、行動aをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬rに応じて更新してもよい。 For example, instead of using the action value function Q, the policy π is expressed by a function approximation device in which the state s and the action a are independent variables and the probability of taking the action a is the dependent variable, and the parameter that determines the function approximation device is expressed. , May be updated according to the reward r.
・「操作処理について」
たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態sとともに行動価値関数Qに入力することによって、行動価値関数Qを最大化する行動aを選択すればよい。
・ "About operation processing"
For example, as described in the column of "Relationship regulation data", when the action value function is used as a function approximation device, all the discrete value sets for the action that are the independent variables of the function of the table type in the above embodiment. The action a that maximizes the action value function Q may be selected by inputting the action value function Q together with the state s.
また、たとえば「関係規定データについて」の欄に記載したように、方策πを、状態sおよび行動aを独立変数とし、行動aをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動aを選択すればよい。 Further, for example, as described in the column of "Relationship regulation data", when the policy π is a function approximation device in which the state s and the action a are independent variables and the probability of taking the action a is the dependent variable, the policy π is used. Action a may be selected based on the probability indicated by.
・「更新写像について」
S84〜S90の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型TD法を用いたり、またたとえばSARSA法のように方策オン型TD法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。
・ "About updated mapping"
In the processing of S84 to S90, the method by the ε soft policy on-type Monte Carlo method was illustrated, but the present invention is not limited to this. For example, the policy-off type Monte Carlo method may be used. However, it is not limited to the Monte Carlo method, for example, the policy-off type TD method is used, the policy-on type TD method such as the SARSA method is used, and the eligibility tracing method is used as the policy-on type learning, for example. You may use it.
また、たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬rに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。 Further, for example, as described in the column of "Relationship regulation data", when the policy π is expressed by using a function approximation device and this is directly updated based on the reward r, the policy gradient method or the like is used to update the policy π. A map may be constructed.
また、行動価値関数Qと方策πとのうちのいずれか一方のみを、報酬rによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Qおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Qに代えて価値関数Vを更新対象としてもよい。 Further, only one of the action value function Q and the policy π is not limited to the one directly updated by the reward r. For example, the action value function Q and the policy π may be updated, respectively, as in the actor-critic method. Further, in the actor-critic method, the value function V may be updated instead of the action value function Q, for example.
・「報酬算出処理について」
図4の処理では、条件(ア)および条件(イ)の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件(ア)を満たすか否かに応じて報酬を与える処理と、条件(イ)を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件(ア)を満たすか否かに応じて報酬を与える処理と、条件(イ)を満たすか否かに応じて報酬を与える処理との2つの処理に関しては、それらのうちのいずれか1つの処理のみを実行してもよい。
・ "About reward calculation processing"
In the process of FIG. 4, the reward is given according to whether or not the logical product of the condition (a) and the condition (b) is true, but the reward is not limited to this. For example, a process of giving a reward depending on whether or not the condition (a) is satisfied and a process of giving a reward depending on whether or not the condition (b) is satisfied may be executed. Further, for example, with respect to two processes, that is, a process of giving a reward depending on whether or not the condition (a) is satisfied and a process of giving a reward depending on whether or not the condition (b) is satisfied, among them. Only one of the processes may be executed.
また、たとえば条件(ア)を満たす場合に一律同じ報酬を与える代わりに、トルクTrqとトルク指令値Trq*との差の絶対値が小さい場合に大きい場合よりもより大きい報酬を与える処理としてもよい。またたとえば、条件(ア)を満たさない場合に一律同じ報酬を与える代わりに、トルクTrqとトルク指令値Trq*との差の絶対値が大きい場合に小さい場合よりもより小さい報酬を与える処理としてもよい。 Further, for example, instead of giving the same reward uniformly when the condition (a) is satisfied, a process may be performed in which a larger reward is given when the absolute value of the difference between the torque Trq and the torque command value Trq * is smaller than when it is large. .. Further, for example, instead of giving the same reward uniformly when the condition (a) is not satisfied, it is also possible to give a smaller reward when the absolute value of the difference between the torque Trq and the torque command value Trq * is large than when it is small. Good.
また、たとえば条件(イ)を満たす場合に一律同じ報酬を与える代わりに、加速度Gxの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件(イ)を満たさない場合に一律同じ報酬を与える代わりに、加速度Gxの大きさに応じて報酬の大きさを可変とする処理としてもよい。 Further, for example, instead of giving the same reward uniformly when the condition (a) is satisfied, the process may be such that the magnitude of the reward is variable according to the magnitude of the acceleration Gx. Further, for example, instead of giving the same reward uniformly when the condition (a) is not satisfied, the process may be such that the magnitude of the reward is variable according to the magnitude of the acceleration Gx.
上記実施形態では、報酬rを、ドライバビリティに関する基準を満たすか否かに応じて与えたが、ドライバビリティに関する基準としては、上述したものに限らず、たとえば騒音や振動強度が基準を満たすか否かに応じて設定してもよい。もっともこれに限らず、たとえば上記加速度が基準を満たすか否かと、トルクTrqの追従性が基準を満たすか否かと、騒音が基準を満たすか否かと、振動強度が基準を満たすか否かとの4つのうちの任意の1つ以上であってよい。 In the above embodiment, the reward r is given according to whether or not the drivability standard is satisfied, but the drivability standard is not limited to the above-mentioned one, and for example, whether noise or vibration intensity satisfies the standard. It may be set according to the case. However, the present invention is not limited to this, for example, whether or not the above acceleration meets the standard, whether or not the followability of the torque Trq meets the standard, whether or not the noise meets the standard, and whether or not the vibration intensity meets the standard. It may be any one or more of the ones.
報酬算出処理としては、報酬rを、ドライバビリティに関する基準を満たすか否かに応じて与えるものにも限らない。たとえば、燃料消費率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理であってもよい。またたとえば、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理であってもよい。なお、ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、燃料消費率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理との3つの処理のうちの2つまたは3つを含んでもよい。 The reward calculation process is not limited to the one in which the reward r is given depending on whether or not the criteria for drivability are satisfied. For example, if the fuel consumption rate meets the criteria, it may be a process that rewards a larger amount than if it does not meet the criteria. Further, for example, it may be a process of giving a larger reward when the exhaust characteristic satisfies the standard than when it does not meet the standard. In addition, when the drivability standard is met, a larger reward is given than when it is not met, when the fuel consumption rate meets the standard, a larger reward is given than when it is not met, and when the exhaust characteristics meet the standard. It may include two or three of the three processes with the process that rewards more than the case where is not satisfied.
また、たとえば「行動変数について」の欄に記載したように、変速装置50のソレノイドバルブの電流値を行動変数とする場合、たとえば報酬算出処理に以下の(a)〜(c)の3つの処理のうちの少なくとも1つの処理を含めればよい。
Further, for example, when the current value of the solenoid valve of the
(a)変速装置による変速比の切り替えに要する時間が所定時間以内である場合に所定時間を超える場合よりも大きい報酬を与える処理である。
(b)変速装置の入力軸52の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。
(A) This is a process in which when the time required for switching the gear ratio by the transmission is within a predetermined time, a larger reward is given than when the predetermined time is exceeded.
(B) This is a process in which when the absolute value of the change speed of the rotation speed of the
(c)変速装置の出力軸54の回転速度の変化速度の絶対値が出力側所定値以下である場合に出力側所定値を超える場合よりも大きい報酬を与える処理である。
また、たとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、バッテリの充電率が所定範囲内にある場合にない場合よりも大きい報酬を与える処理や、バッテリの温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を含めてもよい。また、たとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動変数に含める場合、車室内の温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を加えてもよい。
(C) This is a process in which when the absolute value of the change speed of the rotation speed of the
In addition, for example, as described in the column of "About behavior variables", when the torque or output of a rotating electric machine is used as a behavior variable, a process of giving a larger reward than when the battery charge rate is within a predetermined range. Alternatively, it may include a process that rewards a greater amount than if the battery temperature is within a predetermined range. In addition, for example, as described in the column of "About behavior variables", when the load torque of the compressor and the power consumption of the air conditioner are included in the behavior variables, it is larger than when the temperature inside the vehicle is not within the predetermined range. A rewarding process may be added.
・「車両用制御システムについて」
車両用制御システムとしては、制御装置70およびデータ解析センター110によって構成されるものに限らない。たとえば、制御装置70、携帯端末、およびデータ解析センター110によって構成してもよい。これは、携帯端末がS34の処理を実行するなどして実現できる。
・ "About vehicle control system"
The vehicle control system is not limited to the one composed of the
・「実行装置について」
実行装置としては、CPU72(112)とROM74(114)とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の(a)〜(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するROM等のプログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
・ "About the execution device"
The execution device is not limited to the one provided with the CPU 72 (112) and the ROM 74 (114) to execute software processing. For example, a dedicated hardware circuit such as an ASIC that performs hardware processing on at least a part of what has been software-processed in the above embodiment may be provided. That is, the executing device may have any of the following configurations (a) to (c). (A) A processing device that executes all of the above processing according to a program and a program storage device such as a ROM that stores the program are provided. (B) A processing device and a program storage device that execute a part of the above processing according to a program, and a dedicated hardware circuit that executes the remaining processing are provided. (C) A dedicated hardware circuit for executing all of the above processes is provided. Here, there may be a plurality of software execution devices including a processing device and a program storage device, and a plurality of dedicated hardware circuits.
・「記憶装置について」
上記実施形態では、関係規定データDRが記憶される記憶装置と、学習用サブプログラム74bや制御プログラム74aが記憶される記憶装置(ROM74)とを別の記憶装置としたが、これに限らない。また、関係規定データDRが記憶される記憶装置と、学習用メインプログラム114aが記憶される記憶装置(ROM114)とを別の記憶装置としたが、これに限らない。
・ "About storage device"
In the above embodiment, the storage device for storing the related regulation data DR and the storage device (ROM74) for storing the
・「内燃機関について」
内燃機関としては、燃料噴射弁として吸気通路12に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室24に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。
・ "About internal combustion engine"
The internal combustion engine is not limited to one having a port injection valve for injecting fuel into the intake passage 12 as a fuel injection valve, and may be provided with an in-cylinder injection valve for directly injecting fuel into the
内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
・「車両について」
車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車あってもよい。
The internal combustion engine is not limited to the spark ignition type internal combustion engine, and may be, for example, a compression ignition type internal combustion engine that uses light oil or the like as fuel.
・ "About the vehicle"
The vehicle is not limited to a vehicle in which the thrust generator is only an internal combustion engine, and may be, for example, a so-called hybrid vehicle including an internal combustion engine and a rotary electric machine. Further, for example, as the thrust generator, there may be a so-called electric vehicle or a fuel cell vehicle equipped with a rotating electric machine without providing an internal combustion engine.
10…内燃機関、12…吸気通路、14…スロットルバルブ、16…燃料噴射弁、18…吸気バルブ、20…シリンダ、22…ピストン、24…燃焼室、26…点火装置、28…クランク軸、30…排気バルブ、32…排気通路、34…触媒、40…トルクコンバータ、42…ロックアップクラッチ、50…変速装置、52…入力軸、54…出力軸、60…駆動輪、70…制御装置、72…CPU、74…ROM、74a…制御プログラム、74b…学習用サブプログラム、76…記憶装置、77…通信機、78…周辺回路、79…ローカルネットワーク、80…エアフローメータ、82…スロットルセンサ、84…クランク角センサ、86…アクセルペダル、88…アクセルセンサ、90…加速度センサ、92…水温センサ、94…外気温センサ、96…GPS、98…モード選択スイッチ、100…ネットワーク、110…データ解析センター、112…CPU、114…ROM、114a…学習用メインプログラム、116…記憶装置、117…通信機、118…周辺回路、119…ローカルネットワーク。 10 ... Internal combustion engine, 12 ... Intake passage, 14 ... Throttle valve, 16 ... Fuel injection valve, 18 ... Intake valve, 20 ... Cylinder, 22 ... Piston, 24 ... Combustion chamber, 26 ... Ignition device, 28 ... Crankshaft, 30 ... exhaust valve, 32 ... exhaust passage, 34 ... catalyst, 40 ... torque converter, 42 ... lockup clutch, 50 ... transmission, 52 ... input shaft, 54 ... output shaft, 60 ... drive wheel, 70 ... control device, 72 ... CPU, 74 ... ROM, 74a ... Control program, 74b ... Learning subprogram, 76 ... Storage device, 77 ... Communication device, 78 ... Peripheral circuit, 79 ... Local network, 80 ... Airflow meter, 82 ... Throttle sensor, 84 ... Crank angle sensor, 86 ... Accelerator pedal, 88 ... Accelerator sensor, 90 ... Acceleration sensor, 92 ... Water temperature sensor, 94 ... Outside temperature sensor, 96 ... GPS, 98 ... Mode selection switch, 100 ... Network, 110 ... Data analysis center , 112 ... CPU, 114 ... ROM, 114a ... Main program for learning, 116 ... Storage device, 117 ... Communication device, 118 ... Peripheral circuit, 119 ... Local network.
Claims (6)
前記車両の状態を検出するセンサの検出値を取得する状態取得処理と、
前記電子機器を操作する操作処理と、
前記状態取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
前記状態取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
前記車両に関する情報を取得する車両情報取得処理と、
前記車両に関する情報に基づき、複数の前記車両を複数のグループに分類する分類処理と、
を前記第1実行装置および前記第2実行装置の協働で実行し、
前記第1実行装置は、少なくとも前記状態取得処理および前記操作処理を実行し、
前記第2実行装置は、前記更新処理、前記車両情報取得処理、および前記分類処理を少なくとも実行し、
前記操作処理は、前記更新処理によって更新された前記関係規定データと前記車両の状態とに応じて前記電子機器を操作する処理を含み、
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
前記更新処理は、分類された前記グループごとに前記関係規定データを更新すべく、同一のグループに属する複数の前記車両の状態、および該同一のグループに属する複数の前記車両の前記電子機器の操作に用いられた行動変数の値、および該操作に対応する前記報酬を前記更新写像への入力として前記第2実行装置によって実行される車両用制御システム。 A storage device that stores relationship regulation data that defines the relationship between the state of the vehicle and an action variable that is a variable related to the operation of electronic devices in the vehicle, a first execution device mounted on the vehicle, and an in-vehicle device. It is equipped with a second execution device, which is different from the above.
The state acquisition process for acquiring the detection value of the sensor that detects the state of the vehicle, and
The operation process for operating the electronic device and
Based on the detected value acquired by the state acquisition process, a reward calculation process that gives a larger reward than when the characteristics of the vehicle meet the criteria and does not meet the criteria.
The state of the vehicle based on the detected value acquired by the state acquisition process, the value of the action variable used for the operation of the electronic device, and the reward corresponding to the operation are transferred to a predetermined updated map. An update process that uses input to update the relevant regulation data,
Vehicle information acquisition process for acquiring information about the vehicle, and
Based on the information about the vehicle, the classification process for classifying the plurality of the vehicles into a plurality of groups, and
Is executed in collaboration with the first executing device and the second executing device.
The first execution device executes at least the state acquisition process and the operation process,
The second execution device executes at least the update process, the vehicle information acquisition process, and the classification process.
The operation process includes a process of operating the electronic device according to the relational regulation data updated by the update process and the state of the vehicle.
The updated map outputs the relevant regulation data updated so as to increase the expected profit for the reward when the electronic device is operated according to the relevant regulation data.
In the update process, the states of the plurality of vehicles belonging to the same group and the operation of the electronic devices of the plurality of vehicles belonging to the same group in order to update the related regulation data for each of the classified groups. A vehicle control system executed by the second execution device with the values of the action variables used in the above and the reward corresponding to the operation as inputs to the update map.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020057698A JP2021067255A (en) | 2020-03-27 | 2020-03-27 | Vehicle control system, vehicle control device, and vehicle learning device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020057698A JP2021067255A (en) | 2020-03-27 | 2020-03-27 | Vehicle control system, vehicle control device, and vehicle learning device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019191096A Division JP6809588B1 (en) | 2019-10-18 | 2019-10-18 | Vehicle control system, vehicle control device, and vehicle learning device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021067255A true JP2021067255A (en) | 2021-04-30 |
Family
ID=75638248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020057698A Pending JP2021067255A (en) | 2020-03-27 | 2020-03-27 | Vehicle control system, vehicle control device, and vehicle learning device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021067255A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210114596A1 (en) * | 2019-10-18 | 2021-04-22 | Toyota Jidosha Kabushiki Kaisha | Method of generating vehicle control data, vehicle control device, and vehicle control system |
-
2020
- 2020-03-27 JP JP2020057698A patent/JP2021067255A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210114596A1 (en) * | 2019-10-18 | 2021-04-22 | Toyota Jidosha Kabushiki Kaisha | Method of generating vehicle control data, vehicle control device, and vehicle control system |
US11654915B2 (en) * | 2019-10-18 | 2023-05-23 | Toyota Jidosha Kabushiki Kaisha | Method of generating vehicle control data, vehicle control device, and vehicle control system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6744598B1 (en) | Vehicle control system, vehicle control device, and vehicle learning device | |
JP6744597B1 (en) | Vehicle control data generation method, vehicle control device, vehicle control system, and vehicle learning device | |
JP6809587B1 (en) | Vehicle control device | |
JP7287287B2 (en) | VEHICLE CONTROL DATA GENERATION METHOD, VEHICLE CONTROL DEVICE, VEHICLE CONTROL SYSTEM, AND VEHICLE LEARNING DEVICE | |
JP7331704B2 (en) | VEHICLE CONTROL DATA GENERATION METHOD, VEHICLE CONTROL DEVICE, AND VEHICLE CONTROL SYSTEM | |
JP2021067201A (en) | Vehicle control device, vehicle control system, and vehicle learning device | |
JP7314831B2 (en) | VEHICLE CONTROL DATA GENERATION METHOD, VEHICLE CONTROL DEVICE, VEHICLE CONTROL SYSTEM, AND VEHICLE LEARNING DEVICE | |
JP2021066240A (en) | Vehicle control device, vehicle control system, and vehicle learning device | |
CN113006951B (en) | Method for generating vehicle control data, vehicle control device, vehicle control system, and vehicle learning device | |
JP2021067197A (en) | Vehicle control device, vehicle control system, and vehicle learning device | |
CN113266481A (en) | Vehicle control method, vehicle control device, and server | |
CN113217204B (en) | Vehicle control method, vehicle control device, and server | |
JP6809588B1 (en) | Vehicle control system, vehicle control device, and vehicle learning device | |
JP2021067255A (en) | Vehicle control system, vehicle control device, and vehicle learning device | |
JP2021067257A (en) | Vehicle control device, vehicle control system, and vehicle learning device | |
JP2021067258A (en) | Vehicle control device, vehicle control system, and vehicle learning device | |
JP2021067259A (en) | Vehicle control system, vehicle control device, and vehicle learning device | |
JP7205460B2 (en) | VEHICLE CONTROL DATA GENERATION METHOD, VEHICLE CONTROL DEVICE, VEHICLE CONTROL SYSTEM, AND VEHICLE LEARNING DEVICE | |
JP7314813B2 (en) | VEHICLE CONTROL METHOD, VEHICLE CONTROL DEVICE, AND SERVER | |
JP2021067262A (en) | Method of generating vehicle control data, vehicle control device, vehicle control system, and vehicle learning device | |
JP2021066417A (en) | Vehicle control device, vehicle control system, and vehicle learning device | |
JP2021067261A (en) | Vehicle control device, vehicle control system and vehicle learning device | |
JP2021099059A (en) | Vehicle control device, vehicle control system, vehicle learning device and vehicle learning method |