JP2021173208A - 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム - Google Patents

Abstract

【課題】車両の機器の制御に利用される学習モデルの学習が十分でない場合にも十分な制御精度を達成できる車両制御装置を提供する。【解決手段】車両制御装置は、機器１０の動作条件を表す動作条件パラメータを学習モデルに入力することで、その動作条件パラメータに対応する所望の動作を機器１０に実行させるための制御条件を表す制御パラメータを算出する制御パラメータ算出部３１と、制御条件を達成するように、動作評価値に応じたフィードバック値に基づいて制御パラメータを補正する補正部３２と、制御パラメータに従った機器１０の制御精度について所定の精度条件が満たされる場合、機器制御部３３に、制御パラメータに従って機器１０を制御させ、一方、所定の精度条件が満たされない場合、機器制御部３３に、補正された制御パラメータに従って機器１０を制御させる切替判定部３６とを有する。【選択図】図２

Description

本発明は、車両を制御するための車両制御装置、車両制御方法及び車両制御用コンピュータプログラムに関する。

車両を制御するために、機械学習システムを適用する技術が提案されている（例えば、特許文献１を参照）。

例えば、特許文献１に記載された車載電子制御ユニットは、機関回転数、機関の負荷率、機関の空燃比、機関の点火時期、排気浄化触媒に流入する排気ガス中のＨＣまたはＣＯ濃度および排気浄化触媒の温度の関係を示す学習データセットを取得する。この車載電子制御ユニットは、取得された機関回転数、機関の負荷率、機関の空燃比、機関の点火時期、排気浄化触媒に流入する排気ガス中のＨＣまたはＣＯ濃度をニューラルネットワークの入力パラメータとすると共に、取得された排気浄化装置の温度を教師データとしてニューラルネットワークの重みを学習する。そしてこの車載電子制御ユニットは、学習済みのニューラルネットワークを用いて排気浄化触媒の温度を推定する。

特開２０１９−１８３６９８号公報

適切にかつ十分に学習された機械学習システムを利用することで、車両制御装置は、車両の制御精度を向上することができる。しかし、利用する機械学習システムの学習が不十分あるいは適切でない場合、車両の制御精度が必ずしも向上しないことがある。

そこで、本発明は、車両の機器の制御に利用される学習モデルの学習が十分でない場合にも十分な制御精度を達成できる車両制御装置を提供することを目的とする。

本発明の一つの形態によれば、車両の所定の機器を制御する車両制御装置が提供される。この車両制御装置は、所定の機器の動作条件を表す少なくとも一つの動作条件パラメータを学習モデルに入力することで、少なくとも一つの動作条件パラメータに対応する所望の動作をその機器に実行させるための制御条件を表す制御パラメータを算出する制御パラメータ算出部と、制御条件を達成するように、所定の機器の実際の動作を表す動作評価値に応じたフィードバック値に基づいて制御パラメータを補正する補正部と、制御パラメータまたは補正された制御パラメータに従って所定の機器を制御する機器制御部と、動作評価値に応じてフィードバック値を算出するフィードバック値算出部と、制御パラメータに従った所定の機器の制御精度が所定の精度条件を満たすか否か判定し、所定の精度条件が満たされる場合、機器制御部に、制御パラメータに従ってその機器を制御させ、一方、所定の精度条件が満たされない場合、機器制御部に、補正された制御パラメータに従ってその機器を制御させる切替判定部とを有する。

この車両制御装置において、フィードバック値算出部は、動作評価値に基づいて、補正された制御パラメータに従って所定の機器が所望の動作を実行しているか否かを判定し、その機器が所望の動作を実行している場合、制御パラメータまたは補正された制御パラメータと制御パラメータの算出に利用された少なくとも一つの動作条件パラメータとの組を一つの教師データとして記憶部に記憶することが好ましい。そして車両制御装置は、記憶部に記憶されている教師データの数が所定数に達すると、記憶部に記憶されている所定数の教師データのそれぞれを用いて学習モデルに学習させることで学習モデルを更新し、学習モデルが更新された以降において、制御パラメータ算出部に、更新された学習モデルを用いて制御パラメータを算出させるモデル更新部をさらに有することが好ましい。

また、この車両制御装置において、機器は内燃機関であり、制御パラメータは、内燃機関から出力されるトルクの目標値であり、少なくとも一つの動作条件パラメータは、車両周囲の気温、車両周囲の湿度及び車両の位置の高度のうちの少なくとも一つを含むことが好ましい。

本発明の他の形態によれば、車両の所定の機器を制御する車両制御方法が提供される。この車両機器制御方法は、所定の機器の動作条件を表す少なくとも一つの動作条件パラメータを学習モデルに入力することで、少なくとも一つの動作条件パラメータに対応する所望の動作をその機器に実行させるための制御条件を表す制御パラメータを算出し、制御条件を達成するように、所定の機器の実際の動作を表す動作評価値に応じたフィードバック値に基づいて制御パラメータを補正し、制御パラメータまたは補正された制御パラメータに従って所定の機器を制御し、動作評価値に応じてフィードバック値を算出し、制御パラメータに従った所定の機器の制御精度が所定の精度条件を満たすか否か判定し、所定の精度条件が満たされる場合、制御パラメータに従ってその機器を制御し、一方、所定の精度条件が満たされない場合、補正された制御パラメータに従ってその機器を制御する、ことを含む。

本発明のさらに他の形態によれば、車両の所定の機器を制御する車両制御用コンピュータプログラムが提供される。この車両制御用コンピュータプログラムは、所定の機器の動作条件を表す少なくとも一つの動作条件パラメータを学習モデルに入力することで、少なくとも一つの動作条件パラメータに対応する所望の動作をその機器に実行させるための制御条件を表す制御パラメータを算出し、制御条件を達成するように、所定の機器の実際の動作を表す動作評価値に応じたフィードバック値に基づいて制御パラメータを補正し、制御パラメータまたは補正された制御パラメータに従って所定の機器を制御し、動作評価値に応じてフィードバック値を算出し、制御パラメータに従った所定の機器の制御精度が所定の精度条件を満たすか否か判定し、所定の精度条件が満たされる場合、制御パラメータに従ってその機器を制御し、一方、所定の精度条件が満たされない場合、補正された制御パラメータに従ってその機器を制御する、ことを車両に搭載されたプロセッサに実行させる命令を含む。

本発明に係る車両制御装置は、車両の機器の制御に利用される学習モデルの学習が十分でない場合にも十分な制御精度を達成できるという効果を奏する。

車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。 車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 車両制御処理のうちの学習モデルの更新処理の動作フローチャートである。 フィードバック制御が適用される場合とフィードバック制御が適用されない場合のそれぞれにおける、学習モデルにより算出される目標トルクの値と実際のトルクの出力値間のトルク偏差の時間変化を表す模式図である。 フィードバック制御切替判定処理の動作フローチャートである。

以下、図を参照しつつ、車両を制御する車両制御装置、及び、そのような車両制御装置において利用される車両制御方法及び車両制御用コンピュータプログラムについて説明する。この車両制御装置は、車両に搭載されたエンジンといった制御対象機器に所望の動作をさせるための制御条件を表す制御パラメータを、機械学習システムによる学習モデルに、１以上の動作条件パラメータを入力することで算出する。動作条件パラメータは、ドライバの操作、車両の状態または車両周囲の状況といった、制御対象機器の動作条件を表す。さらに、この車両制御装置は、学習モデルの学習が十分でない場合には、実際の制御対象機器の動作を表す動作評価値に従って、学習モデルを用いて算出された制御パラメータをフィードバック制御により補正し、補正された制御パラメータにより制御対象機器を制御する。さらにまた、この車両制御装置は、動作条件パラメータとその動作条件パラメータに対して算出されるべき制御パラメータの組を、学習モデルの学習に利用する教師データとして記憶する。そしてこの車両制御装置は、教師データが所定数以上蓄積されると、その教師データを用いて学習モデルを学習することで、学習モデルにより算出される制御パラメータの精度の向上を図る。そしてこの車両制御装置は、学習モデルにより算出される制御パラメータの精度が所定の精度条件を満たすと、フィードバック制御を適用せず、その制御パラメータを制御機器の制御に直接利用することで、応答特性を向上するとともに演算負荷を軽減する。

以下に示す実施形態では、車両制御装置による制御対象機器はエンジンであるとする。しかし、車両制御装置による制御対象機器は、エンジンといった内燃機関に限られない。例えば、車両制御装置は、例えば、電動機または変速機を制御対象機器としてもよい。

図１は、車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両に搭載される、内燃機関の一例であるエンジン１０を制御する電子制御装置（ＥＣＵ）１は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。

通信インターフェース２１は、通信部の一例であり、ＥＣＵ１を車内ネットワーク（図示せず）に接続するためのインターフェース回路を有する。そして通信インターフェース２１は、車両に搭載される１以上のセンサ１１から受信した、車両の周囲の環境または車両の状況を表すセンサ値をプロセッサ２３へわたす。なお、センサ１１には、例えば、車両周囲の気温を測定する温度計、車両周囲の湿度を測定する湿度計、車両が位置する地点の高度の測定値を求めるＧＰＳ受信機、車両の加速度を測定する加速度センサ、車両の速度を測定する車速センサなどが含まれる。また、通信インターフェース２１は、車両の操作機器１２から受信した操作信号をプロセッサ２３へわたす。なお、車両の操作機器は、例えば、アクセルであり、操作信号は、例えば、アクセル開度である。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、プロセッサ２３により実行される各種処理において使用される各種のデータを記憶する。メモリ２２は、そのようなデータとして、例えば、制御パラメータを算出するために利用される学習モデルを規定するパラメータセット、学習モデルの学習に用いられる教師データ、及び、制御パラメータとエンジン１０の各部の動作を指定する運転パラメータとの対応関係を表す参照テーブルを記憶する。さらに、メモリ２２は、車線区画線、一時停止線などの地物の位置を表す地図情報を記憶してもよい。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、エンジン１０を制御する。

図２は、車両制御処理に関連する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、制御パラメータ算出部３１と、補正部３２と、エンジン制御部３３と、フィードバック値算出部３４と、モデル更新部３５と、切替判定部３６とを有する。プロセッサ２３が有するこれらの各部は、プロセッサ２３上で動作するコンピュータプログラムにより実現される。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

制御パラメータ算出部３１は、所定の周期ごとに、学習モデルに１以上の動作条件パラメータを入力することで、エンジン１０の制御パラメータを算出する。本実施形態では、制御パラメータ算出部３１は、学習モデルに入力する動作条件パラメータとして、アクセル開度、アクセル開度変動速度、気温、湿度及び高度を用いる。変形例によれば、制御パラメータ算出部３１は、学習モデルに入力する動作条件パラメータとして、アクセル開度及びアクセル開度変動速度とともに、気温、湿度及び高度のうちの何れか一つまたは二つを用いてもよい。さらに、アクセル開度変動速度は、学習モデルに入力する動作条件パラメータに含まれなくてもよい。また、制御パラメータ算出部３１は、制御パラメータとして、エンジン１０のトルク出力の目標値（以下、目標トルク値と呼ぶ）を算出する。なお、制御パラメータ算出部３１は、気温、湿度及び高度を、通信インターフェース２１を介してセンサ１１から取得し、アクセル開度を、通信インターフェース２１を介して操作機器から取得すればよい。また、制御パラメータ算出部３１は、前回のアクセル開度と今回のアクセル開度の差を所定の周期で除することで、アクセル開度変動速度を算出すればよい。このように、制御パラメータの算出に利用する動作条件パラメータに気温、湿度及び高度といった、車両周囲の環境を表す情報が含まれることで、制御パラメータ算出部３１は、車両周囲の環境が変化しても、所望のトルク出力が得られるように目標トルク値を算出することができる。

本実施形態では、制御パラメータ算出部３１は、学習モデルとして、多層パーセプトロン型のニューラルネットワークを用いる。すなわち、学習モデルは、各動作条件パラメータが入力される入力層と、制御パラメータを出力する出力層と、入力層と出力層との間に設けられる１以上の中間層（隠れ層とも呼ばれる）を有する。各中間層は、複数のノードを有し、各ノードは、直前の層が有する各ノードからの出力値に対する全結合演算を実行する。また、出力層は、例えば、直前の層からの出力に対するシグモイド演算を実行することで制御パラメータを算出する。

制御パラメータ算出部３１は、制御パラメータ（本実施形態では、目標トルク値）を算出する度に、その制御パラメータを補正部３２（フィードバック制御適用時）またはエンジン制御部３３（フィードバック制御未適用時）へ出力する。また、制御パラメータ算出部３１は、算出した制御パラメータとともに、制御パラメータの算出に利用された動作条件パラメータをフィードバック値算出部３４へ出力する。

補正部３２は、フィードバック制御が適用されている間、制御パラメータ算出部３１から制御パラメータを受け取る度に、その制御パラメータで表される制御条件を達成するように、その制御パラメータをフィードバック値算出部３４から受け取ったフィードバック値を用いて補正する。本実施形態では、詳細は後述するように、フィードバック値は、目標トルク値(TP)に対する推定される実際のトルクの出力値(TR)の差(TP-TR)に所定の係数を乗じることで算出される。そこで、補正部３２は、制御パラメータにフィードバック値を加算することで制御パラメータを補正する。補正部３２は、補正した制御パラメータをエンジン制御部３３へ出力する。このように、補正部３２からエンジン制御部３３へ出力される補正された制御パラメータは、フィードバック値に応じて変更されたものとなるが、制御パラメータ算出部３１により算出された制御パラメータ（本実施形態では、目標トルク値）自体は、補正部３２により変更されることはない。したがって、エンジン１０の実際のトルクの出力値は、目標トルク値に近付くようにエンジン１０は制御される。

エンジン制御部３３は、機器制御部の一例であり、補正部３２から受け取った、補正された制御パラメータまたは制御パラメータ算出部３１から受け取った制御パラメータに従ってエンジン１０を制御する。本実施形態では、エンジン制御部３３は、メモリ２２に記憶されている参照テーブルを参照する。そしてエンジン制御部３３は、フィードバック制御が適用されている場合には、補正部３２から受け取った補正された制御パラメータに対応するエンジン１０の１以上の運転パラメータ（点火タイミング、燃料噴射量、空燃比、吸気及び排気バルブの開閉度及び開閉タイミングなど）を決定する。一方、フィードバック制御が適用されていない場合には、エンジン制御部３３は、制御パラメータ算出部３１から受け取った制御パラメータそのものに対応するエンジン１０の１以上の運転パラメータを決定する。エンジン制御部３３は、受け取った制御パラメータの値とともに、エンジン１０の状態などを表すパラメータ、例えば、エンジン１０の回転数、エンジン１０が有する各シリンダの筒内圧などを参照して、エンジン１０の運転パラメータを決定してもよい。また、エンジン制御部３３は、制御パラメータの値から運転パラメータを決定する他の手法に従って、エンジン１０の運転パラメータを決定してもよい。

エンジン制御部３３は、決定した運転パラメータに従ってエンジン１０を制御する制御信号を生成し、その制御信号をエンジン１０へ出力することで、エンジン１０を制御する。

フィードバック値算出部３４は、フィードバック制御の適用時において、動作評価値に応じて、制御パラメータを補正するためのフィードバック値を算出する。本実施形態では、フィードバック値算出部３４は、フィードバック値を、制御パラメータ算出部３１から受け取った、前回の制御パラメータの値（目標トルク値）に対する、実際のトルクの出力値の差（以下、トルク偏差と呼ぶ）に所定の係数（例えば、1未満の正の値を持つ係数）を乗じることで算出する。なお、実際のトルクの出力値は、動作評価値の一例である。フィードバック値算出部３４は、実際のトルクの出力値を、例えば、エンジン１０に取り付けられるトルクセンサから通信インターフェース２１を介して取得する。あるいは、フィードバック値算出部３４は、実際のトルクの出力値を、加速度センサから通信インターフェース２１を介して受け取った加速度及び車両の重量などに基づいて推定してもよい。

フィードバック値算出部３４は、算出したフィードバック値を補正部３２へ出力する。

さらに、フィードバック値算出部３４は、動作評価値に基づいて、補正された制御パラメータに従って制御対象機器が所望の動作を実行しているか否かを判定し、制御対象機器が所望の動作を実行している場合、補正された制御パラメータと補正前の制御パラメータの算出に利用された動作条件パラメータとの組を一つの教師データとしてメモリ２２に記憶する。

本実施形態では、トルク偏差の絶対値が所定の許容範囲に含まれている場合、補正された制御パラメータに従ってエンジン１０が目標とするトルクを出力していると判定される。そこで、フィードバック値算出部３４は、補正された制御パラメータと補正前の制御パラメータ（目標トルク値）の算出に利用された、動作条件パラメータとのセットを、学習モデルの学習に利用される教師データの一つとしてメモリ２２に記憶する。さらに、フィードバック値算出部３４は、メモリ２２に記憶されている教師データの数を表すカウント値を１インクリメントする。さらに、フィードバック値算出部３４は、フィードバック制御が適用されているか否かにかかわらず、トルク偏差を、切替判定部３６へ通知する。

モデル更新部３５は、カウント値を参照して、メモリ２２に記憶されている教師データの数が所定数に達したか否か判定する。メモリ２２に記憶されている教師データの数が所定数に達した場合、モデル更新部３５は、メモリ２２に記憶されている各教師データを用いて、所定の学習手法に従って学習モデルに学習させることで学習モデルを更新する。例えば、上記のように、学習モデルが多層パーセプトロン型のニューラルネットワークである場合、モデル更新部３５は、誤差逆伝搬法に従ってニューラルネットワークの各中間層の各ノードの重み係数などを更新することで、学習モデルを更新する。その際、モデル更新部３５は、全ての中間層の各ノードの重み係数を更新してもよく、あるいは、全てまたは一部の中間層の各ノードのうち、特定のノードの重み係数を更新してもよい。なお、２回目以降の学習モデルの更新に関して、モデル更新部３５は、前回の学習モデルの更新以降にメモリ２２に記憶された教師データの数が所定数に達する度に、学習モデルを更新すればよい。その際、モデル更新部３５は、メモリ２２に記憶されている全ての教師データを用いて学習モデルに学習させてもよく、あるいは、新しい方から順に所定数の教師データを用いて学習モデルに学習させてもよい。あるいは、モデル更新部３５は、学習モデルが一旦学習すると、その学習の際に使用された教師データの一部またはすべてをメモリ２２から消去してもよい。さらに、モデル更新部３５は、フィードバック制御が適用されていない場合には、学習モデルにより算出される制御パラメータの精度が十分であると考えられるので、メモリ２２に記憶されている教師データの数が所定数に達しても、学習モデルを更新しなくてもよい。

なお、モデル更新部３５は、エンジン１０の制御と並列に学習モデルの更新処理を実行してもよい。しかし、プロセッサ２３の演算負荷を軽減するために、モデル更新部３５は、メモリ２２に記憶されている教師データの数が所定数に達した後、最初にイグニッションスイッチがオフにされたタイミングにて、学習モデルの更新処理を実行してもよい。

モデル更新部３５は、学習モデルの更新が終了すると、更新された学習モデルを表すパラメータセットをメモリ２２に記憶する。さらに、モデル更新部３５は、更新された学習モデルが使用可能となったことを制御パラメータ算出部３１に通知して、学習モデルの更新以降において、制御パラメータ算出部３１にその更新された学習モデルを用いて制御パラメータを算出させる。

図３は、車両制御処理のうちの学習モデルの更新処理の動作フローチャートである。

プロセッサ２３のモデル更新部３５は、メモリ２２に記憶されている教師データの数が所定数に達したか否か判定する（ステップＳ１０１）。教師データの数が所定数に達していない場合（ステップＳ１０１−Ｎｏ）、モデル更新部３５は、学習モデルの更新処理を終了する。

一方、メモリ２２に記憶されている教師データの数が所定数に達している場合（ステップＳ１０１−Ｙｅｓ）、モデル更新部３５は、メモリ２２に記憶されている教師データを利用して、所定の学習手法に従って学習モデルに学習させることで、その学習モデルを更新する（ステップＳ１０２）。

そしてモデル更新部３５は、プロセッサ２３の制御パラメータ算出部３１に、更新された学習モデルの使用を開始させる（ステップＳ１０３）。そしてプロセッサ２３は、学習モデルの更新処理を終了する。

切替判定部３６は、制御パラメータ算出部３１が利用する学習モデルにより算出される制御パラメータ（本実施形態では、目標トルク値）に従った制御対象機器（本実施形態では、エンジン１０）の制御精度が所定の精度条件を満たすか否か判定する。そして所定の精度条件が満たされる場合、切替判定部３６は、フィードバック制御の適用を停止する。例えば、切替判定部３６は、アクセル開度変動速度の絶対値が所定の閾値以上となったとき（以下、説明の便宜上、アクセル開度変動時と呼ぶ）を特定する。そして切替判定部３６は、直近の複数回（例えば、10〜100回）のアクセル開度変動時のそれぞれについて、そのアクセル開度変動時に得られたトルク偏差の絶対値が所定の許容範囲内に含まれるか否か判定する。このように、アクセル開度変動時、すなわち、エンジン１０に要求されるトルクが変化する過渡状態におけるトルク偏差を、学習モデルによる制御パラメータの精度の判定に利用することで、切替判定部３６は、学習モデルによる制御パラメータの精度を適切に評価できる。なお、学習モデルが更新された場合には、切替判定部３６は、その更新後の直近複数回のアクセル開度変動時のそれぞれにおけるトルク偏差の絶対値が所定の許容範囲内に含まれるか否か判定すればよい。フィードバック制御が適用されている場合において、直近の複数回のアクセル開度変動時のうち、トルク偏差の絶対値が所定の許容範囲内に含まれる回数の割合がフィードバック停止閾値（例えば、8割〜9割）以上となると、フィードバック制御が不要となるほど、学習モデルにより算出される制御パラメータに基づくエンジン１０の制御精度は十分であると推定される。そこで切替判定部３６は、所定の精度条件が満たされると判定する。そして切替判定部３６は、制御パラメータ算出部３１から出力された、すなわち、学習モデルを用いて算出された制御パラメータがエンジン制御部３３に直接入力されるようにする。これにより、フィードバック制御が適用されなくなるので、エンジン制御の応答速度が向上するとともに、プロセッサ２３の演算負荷が軽減される。さらに、切替判定部３６は、モデル更新部３５に対して、学習モデルの更新を停止するよう通知してもよい。

逆に、フィードバック制御が適用されていない場合において、直近の複数回のアクセル開度変動時のうち、トルク偏差の絶対値が所定の許容範囲内に含まれる回数の割合がフィードバック再開閾値（例えば、4割〜6割）以下となる場合、エンジン１０に対して十分な制御精度を得るために、フィードバック制御が必要であると推定される。そこで切替判定部３６は、所定の精度条件が満たされないと判定する。そして切替判定部３６は、制御パラメータ算出部３１から出力された制御パラメータが補正部３２により補正された後にエンジン制御部３３に入力されるようにする。これにより、フィードバック制御が適用されるようになるので、学習モデルの学習が不十分である場合にも、ＥＣＵ１は、エンジン１０の制御精度を十分に保つことができる。さらに、切替判定部３６は、モデル更新部３５に対して、学習モデルの更新を再開するよう通知してもよい。なお、フィードバック再開閾値は、フィードバック停止閾値よりも小さい値に設定されることが好ましい。これにより、フィードバック制御が適用されるか否かが頻繁に切り替わることが防止される。

図４は、フィードバック制御が適用される場合とフィードバック制御が適用されない場合のそれぞれにおける、トルク偏差の時間変化を表す模式図である。図４において、横軸は時間を表し、縦軸はトルク偏差を表す。図４において、波形４０１は、学習モデルの学習が十分でなく、フィードバック制御が適用される場合のトルク偏差の時間変化を表す。一方、波形４０２は、学習モデルが十分に学習され、フィードバック制御が適用されなくなった場合のトルク偏差の時間変化を表す。

波形４０１に示されるように、学習モデルの学習が十分でない場合、最初の時点において相対的にトルク偏差の絶対値は大きくなるが、フィードバック制御が適用されるために、時間経過とともにトルク偏差の絶対値は徐々に小さくなる。そのため、学習モデルの学習が十分でなくても、ＥＣＵ１は、アクセル開度等の動作条件パラメータに応じた所望のトルク出力が得られるようにエンジン１０を制御できることが分かる。

一方、波形４０２に示されるように、学習モデルが十分に学習されると、フィードバック制御が適用されなくても、最初の時点からトルク偏差の絶対値は十分に小さくなる。したがって、ＥＣＵ１は、学習モデルが十分に学習されている場合には、アクセル開度等の動作条件パラメータに応じた所望のトルク出力が直ちに得られるようにエンジン１０を制御できることが分かる。

図５は、フィードバック制御切替判定処理の動作フローチャートである。プロセッサ２３の切替判定部３６は、学習モデルの更新後に所定数のアクセル開度変動時のトルク偏差が得られる度に、下記の動作フローチャートに従ってフィードバック制御切替判定処理を実行すればよい。

プロセッサ２３の切替判定部３６は、フィードバック制御が適用されているか否か判定する（ステップＳ２０１）。フィードバック制御が適用されている場合（ステップＳ２０１−Ｙｅｓ）、切替判定部３６は、直近の複数回のアクセル開度変動時のトルク偏差に基づいて、学習モデルにより算出される制御パラメータに従ったエンジン１０の制御精度が所定の精度条件を満たしているか否か判定する（ステップＳ２０２）。所定の精度条件が満たされない場合（ステップＳ２０２−Ｎｏ）、切替判定部３６は、次に学習モデルが更新されるまで、フィードバック制御の適用を継続すると判定する（ステップＳ２０３）。

一方、所定の精度条件が満たされる場合（ステップＳ２０２−Ｙｅｓ）、切替判定部３６は、フィードバック制御の適用を停止して、制御パラメータ算出部３１から出力された制御パラメータがエンジン制御部３３に直接入力されるようにする（ステップＳ２０４）。また、切替判定部３６は、モデル更新部３５に対して、学習モデルの更新を停止するよう通知する（ステップＳ２０５）。

ステップＳ２０３の後、あるいは、ステップＳ２０５の後、プロセッサ２３は、フィードバック制御切替判定処理を終了する。

また、ステップＳ２０１にて、フィードバック制御が適用されていない場合（ステップＳ２０１−Ｎｏ）、切替判定部３６は、直近の複数回のアクセル開度変動時のトルク偏差に基づいて、学習モデルにより算出される制御パラメータに従ったエンジン１０の制御精度が所定の精度条件を満たしているか否か判定する（ステップＳ２０６）。所定の精度条件が満たされる場合（ステップＳ２０６−Ｙｅｓ）、切替判定部３６は、フィードバック制御の停止を継続すると判定する（ステップＳ２０７）。

一方、所定の精度条件が満たされない場合（ステップＳ２０６−Ｎｏ）、切替判定部３６は、フィードバック制御の適用を再開して、制御パラメータ算出部３１から出力された制御パラメータが補正部３２により補正された後にエンジン制御部３３に入力されるようにする（ステップＳ２０８）。また、切替判定部３６は、モデル更新部３５に対して、学習モデルの更新を再開するよう通知する（ステップＳ２０９）。

ステップＳ２０７の後、あるいは、ステップＳ２０９の後、プロセッサ２３は、フィードバック制御切替判定処理を終了する。

以上に説明してきたように、この車両制御装置は、車両に搭載された制御対象機器の制御パラメータを、機械学習システムによる学習モデルを用いて算出する。この車両制御装置は、学習モデルの学習が十分でない間、学習モデルにより算出された制御パラメータに対してフィードバック制御を適用することで、学習モデルの学習が十分でない場合も、制御対象機器の制御精度を低下させずに維持することができる。一方、この車両制御装置は、学習モデルが十分に学習されると、フィードバック制御の適用を停止することで、制御対象機器の制御の応答速度を向上することができるとともに、演算負荷を軽減することができる。このように、この車両制御装置は、制御対象機器の制御精度と、演算負荷及び応答特性を両立させることができる。さらに、制御パラメータを算出する学習モデルに入力する動作条件パラメータに、車両の環境またはドライバの運転操作の特性などを表すパラメータを含めることで、車両の環境またはドライバの運転操作の特性を考慮した制御パラメータが算出されるので、この車両制御装置は、制御対象機器の制御精度をより向上することができる。

なお、車両を一定速度で走行させるために、アクセル開度はあまり変動させないことが好ましい。しかし、ドライバによっては、アクセル開度を過度に変化させてしまい、車速が一定に保たれないことがある。そこで、変形例によれば、制御パラメータ算出部３１が用いる学習モデルは、ドライバが車速を一定に保とうとしていると想定される場合に車速が一定に保たれるようなアクセル開度（以下、平滑化アクセル開度と呼ぶ）を出力するように学習されてもよい。この変形例では、平滑化アクセル開度が、制御パラメータの一例となる。

この場合、制御パラメータ算出部３１は、信号機情報、車両の前方を走行する他の車両の車速の変化量、及び、車両の周囲を走行する他の車両が実施した車線変更に関する情報（以下、車線変更情報と呼ぶ）に基づいて、ドライバが車速を一定に保とうとしていると想定される場合か否か判定する。そしてドライバが車速を一定に保とうとしていると想定される場合、制御パラメータ算出部３１は、学習モデルを用いて平滑化アクセル開度を算出する。一方、ドライバが車速を一定に保つ状況でない場合には、プロセッサ２３は、上記の実施形態に従ってエンジン１０を制御すればよい。

信号機情報は、例えば、車両の周囲、例えば、車両の前方領域を撮影するように車両に設けられたカメラにより得られた画像（以下、車外画像と呼ぶ）から信号機を検出し、検出された信号機の点灯状態（例えば、青信号あるいは赤信号等）を識別することで得られる。例えば、制御パラメータ算出部３１は、通信インターフェース２１を介して取得した車外画像を、信号機を検出し、その信号機の点灯状態を識別するように予め学習された識別器に入力することで、車両周囲の信号機、例えば、車両前方の信号機の点灯状態を、信号機情報として求めることができる。なお、制御パラメータ算出部３１は、そのような識別器として、例えば、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを有する、いわゆるディープニューラルネットワーク(DNN)を利用することができる。また、車外画像から信号機が検出されない場合には、信号機が検出されなかったことが信号機情報に含められてもよい。

さらに、車両の前方を走行する他の車両の車速の変化量は、例えば、直近の所定期間に得られた時系列の一連の車外画像のそれぞれから検出された他の車両を追跡することで求められる。この場合、例えば、制御パラメータ算出部３１は、通信インターフェース２１を介してカメラから車外画像を取得する度に、その車外画像を、他の車両を検出するように予め学習された識別器に入力することで車両周囲の他の車両を検出する。制御パラメータ算出部３１は、そのような識別器として、例えば、CNN型のアーキテクチャを有するDNNを利用することができる。なお、一つの識別器が、信号機と他の車両の両方を検出するように予め学習され、制御パラメータ算出部３１は、その一つの識別器を用いて、車外画像から信号機と他の車両のそれぞれを検出してもよい。

制御パラメータ算出部３１は、例えば、メモリ２２に記憶されている、カメラの設置位置、焦点距離及び撮影方向といった内部パラメータを参照して、各車外画像に対して視点変換処理を実行することで各車外画像を鳥瞰画像に変換して、各車外画像生成時における、車両に対する他の車両の相対的な位置を求める。なお、車両がLiDARセンサまたはレーダといった測距センサを有している場合には、制御パラメータ算出部３１は、その測距センサにより測定された、検出された他の車両までの距離を、他の車両の相対的な位置を求めるために利用してもよい。そして制御パラメータ算出部３１は、各車外画像生成時の車両の位置及び姿勢を表す情報を参照して、各鳥瞰画像における検出された他の車両の位置に対して所定の追跡処理を実行することで他の車両の軌跡を推定する。なお、各車外画像生成時の車両の位置及び姿勢は、例えば、地図情報に表される車両周囲の地物を、画像上に投影してその地物が画像に表された地物と一致するように、車両の位置及び姿勢を推定する自己位置推定処理を実行することで求められる。そして制御パラメータ算出部３１は、推定した軌跡に基づいて、所定時刻前の他の車両の車速及び現時刻の他の車両の車速を推定し、所定時刻前の他の車両の推定車速と現時刻の他の車両の推定車速の差を、車速の変化量として算出すればよい。なお、制御パラメータ算出部３１は、他の車両の車速の変化量を、自車両に対する相対速度の変化量として算出してもよい。

車線変更情報を求めるために、制御パラメータ算出部３１は、例えば、上記のように推定された他の車両の軌跡と地図情報に表された車線区画線の位置とを参照して、他の車両の軌跡が車線区画線を横切ったときに他の車両が車線変更を実施したと判定する。そして制御パラメータ算出部３１は、直近の所定期間における他の車両が車線変更を実施した回数を、車線変更情報として求めればよい。あるいは、制御パラメータ算出部３１は、直近の所定期間において、自車両が走行する車線（以下、自車線と呼ぶ）と隣接する車線（以下、単に隣接車線と呼ぶ）から自車線へ、他の車両が車線変更したこと、あるいは、他の車両が、自車線から隣接車線へ車線変更したことを、車線変更情報として求めてもよい。

なお、制御パラメータ算出部３１は、信号機情報、他の車両の車速の変化量及び車線変更情報の一部または全てを、通信インターフェース２１を介して、車両に搭載される他の機器、例えば、運転支援用のＥＣＵから取得してもよい。

制御パラメータ算出部３１は、例えば、信号機情報が車両前方の信号機の点灯状態が青信号状態であることを示しているか、車両の周囲に信号機が無いことを示しており、他の車両の車速の変化量が所定の閾値以下であり、かつ、車線変更情報が、他の車両が車線変更していないことを示している場合に、ドライバが車速を一定に保とうとしていると想定される状況であると判定する。そして制御パラメータ算出部３１は、学習モデルを用いて平滑化アクセル開度を算出する。一方、信号機情報が車両前方の信号機の点灯状態が青信号状態以外の状態であるか、他の車両の車速の変化量が所定の閾値より大きいか、あるいは、車線変更情報が、他の車両が車線変更することを示している場合、制御パラメータ算出部３１は、ドライバが車速を一定に保とうとしていると想定される状況ではないと判定する。

この変形例によれば、学習モデルに入力される動作条件パラメータとして、例えば、アクセル開度、アクセル開度変動速度、アクセル操作頻度、ブレーキ操作頻度のうちの一部または全てが利用される。このうち、アクセル開度及びアクセル開度変動速度は、上記の実施形態と同様に求められればよい。

アクセル操作頻度は、例えば、直近の所定期間における、アクセル開度変動速度の絶対値が所定値以上となった回数、あるいは、アクセル開度の時系列変化において、アクセル開度が増加から減少へ変化する極値となった回数として算出される。同様に、ブレーキ操作頻度は、例えば、直近の所定期間における、ブレーキペダルの踏み込み量が所定量以上変化した回数、あるいは、ブレーキペダルの踏み込み量の時系列変化において、踏み込み量が増加から減少へ変化する極値となった回数として算出される。

また、制御パラメータ算出部３１は、上記の実施形態と同様に、学習モデルとして、多層パーセプトロン型のニューラルネットワークを使用することができる。あるいは、制御パラメータ算出部３１は、学習モデルとして、内部状態を保持して再帰的に利用するリカレントニューラルネットワークを使用してもよい。そして制御パラメータ算出部３１は、学習モデルに動作条件パラメータを入力することで学習モデルが算出する平滑化アクセル開度を、補正部３２（フィードバック制御適用時）またはエンジン制御部３３（フィードバック制御未適用時）へ出力する。

この変形例では、補正部３２は、フィードバック制御が適用される場合、フィードバック値算出部３４により算出される、平滑化アクセル開度の補正量を表すフィードバック値を、平滑化アクセル開度に加算することで、平滑化アクセル開度を補正する。そして補正部３２は、補正された平滑化アクセル開度をエンジン制御部３３へ出力する。

この変形例では、エンジン制御部３３は、平滑化アクセル開度とエンジン１０の１以上の運転パラメータとの関係を表す参照テーブルを参照して、制御パラメータ算出部３１から受け取った平滑化アクセル開度（フィードバック制御未適用時）または補正部３２から受け取った補正された平滑化アクセル開度（フィードバック制御適用時）に対応する１以上の運転パラメータを決定する。そしてエンジン制御部３３は、決定した運転パラメータに従ってエンジン１０を制御する。

この変形例では、フィードバック値算出部３４は、車両に搭載された車速センサから通信インターフェース２１を介して取得した車両の車速の測定値と、制御パラメータ算出部３１から受け取った平滑化アクセル開度とに基づいて、フィードバック値を算出する。例えば、フィードバック値算出部３４は、現時刻の車速の測定値から所定時間前の車速の測定値を減じた差である車速変化量を算出する。この車速変化量は、動作評価値の一例である。そしてフィードバック値算出部３４は、車速変化量及び平滑化アクセル開度と、平滑化アクセル開度の補正量との関係を表す補正量テーブルを参照して、算出した車速変化量及び制御パラメータ算出部３１から受け取った前回の平滑化アクセル開度に対応する、平滑化アクセル開度の補正量を決定する。そしてフィードバック値算出部３４へ、決定した平滑化アクセル開度の補正量をフィードバック値として、補正部３２へ出力する。

また、フィードバック値算出部３４は、車速変化量の絶対値が所定値以下である場合に、補正された平滑化アクセル開度に従って、エンジン１０は車速を一定に保つように動作していると判定する。したがって、この場合、フィードバック値算出部３４は、平滑化アクセル開度とその平滑化アクセル開度の算出に利用された動作条件パラメータの組を教師データとしてメモリ２２に記憶する。また、学習モデルとしてリカレントニューラルネットワークが用いられる場合には、フィードバック値算出部３４は、車速変化量の絶対値が所定値以下となったとき及びその直前の一定期間における、平滑化アクセル開度とその平滑化アクセル開度の算出に利用された動作条件パラメータの組のそれぞれを、教師データとしてメモリ２２に記憶してもよい。

さらに、この変形例によれば、切替判定部３６は、直近の複数回のアクセル開度変動時に得られた、車速変化量の絶対値のそれぞれが所定の許容範囲内に含まれるか否か判定する。フィードバック制御が適用されている場合において、直近の複数回のアクセル開度変動時のうち、車速変化量の絶対値が所定の許容範囲内に含まれる回数の割合がフィードバック停止閾値以上となると、フィードバック制御が不要となるほど、学習モデルにより算出される平滑化アクセル開度に従って、車速を一定に保つようにエンジン１０が制御されていると推定される。そこで切替判定部３６は、所定の精度条件が満たされると判定する。そして切替判定部３６は、制御パラメータ算出部３１から出力された平滑化アクセル開度がエンジン制御部３３に直接入力されるようにする。さらに、切替判定部３６は、モデル更新部３５に対して、学習モデルの更新を停止するよう通知してもよい。

逆に、フィードバック制御が適用されていない場合において、直近の複数回のアクセル開度変動時のうち、車速変化量の絶対値が所定の許容範囲内に含まれる回数の割合がフィードバック再開閾値以下となる場合、一定の車速を保つようエンジン１０を制御するために、フィードバック制御が必要であると推定される。そこで切替判定部３６は、所定の精度条件が満たされないと判定する。そして切替判定部３６は、制御パラメータ算出部３１から出力された平滑化アクセル開度が補正部３２により補正された後にエンジン制御部３３に入力されるようにする。これにより、フィードバック制御が適用されるようになるので、学習モデルの学習が不十分である場合にも、プロセッサ２３は、車速を一定に保つようにエンジン１０を制御できる。さらに、切替判定部３６は、モデル更新部３５に対して、学習モデルの更新を再開するよう通知してもよい。

この変形例によれば、プロセッサ２３は、ドライバの運転特性にかかわらず、ドライバが車速を一定に保とうとしていると想定される場合に車速を一定に保つよう、エンジン１０を制御することができる。

また、上記の実施形態または変形例による、車両制御装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 電子制御装置（ＥＣＵ）
１０ エンジン
１１ センサ
１２ 操作機器
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 制御パラメータ算出部
３２ 補正部
３３ エンジン制御部
３４ フィードバック値算出部
３５ モデル更新部
３６ 切替判定部

Claims (5)

1. 車両の所定の機器を制御する車両制御装置であって、
   前記機器の動作条件を表す少なくとも一つの動作条件パラメータを学習モデルに入力することで、前記少なくとも一つの動作条件パラメータに対応する所望の動作を前記機器に実行させるための制御条件を表す制御パラメータを算出する制御パラメータ算出部と、
   前記制御条件を達成するように、前記機器の実際の動作を表す動作評価値に応じたフィードバック値に基づいて前記制御パラメータを補正する補正部と、
   前記制御パラメータまたは補正された前記制御パラメータに従って前記機器を制御する機器制御部と、
   前記動作評価値に応じて前記フィードバック値を算出するフィードバック値算出部と、
   前記制御パラメータに従った前記機器の制御精度が所定の精度条件を満たすか否か判定し、前記所定の精度条件が満たされる場合、前記機器制御部に、前記制御パラメータに従って前記機器を制御させ、一方、前記所定の精度条件が満たされない場合、前記機器制御部に、補正された前記制御パラメータに従って前記機器を制御させる切替判定部と、
   を有する車両制御装置。
2. 前記フィードバック値算出部は、前記動作評価値に基づいて、補正された前記制御パラメータに従って前記機器が前記所望の動作を実行しているか否かを判定し、前記機器が前記所望の動作を実行している場合、前記制御パラメータまたは補正された前記制御パラメータと前記制御パラメータの算出に利用された前記少なくとも一つの動作条件パラメータとの組を一つの教師データとして記憶部に記憶し、
   前記記憶部に記憶されている前記教師データの数が所定数に達すると、前記記憶部に記憶されている前記所定数の前記教師データのそれぞれを用いて前記学習モデルに学習させることで前記学習モデルを更新し、前記学習モデルが更新された以降において、前記制御パラメータ算出部に、更新された前記学習モデルを用いて前記制御パラメータを算出させるモデル更新部をさらに有する、請求項１に記載の車両制御装置。
3. 前記機器は内燃機関であり、
   前記制御パラメータは、前記内燃機関から出力されるトルクの目標値であり、
   前記少なくとも一つの動作条件パラメータは、前記車両周囲の気温、前記車両周囲の湿度及び前記車両の位置の高度のうちの少なくとも一つを含む、請求項１または２に記載の車両制御装置。
4. 車両の所定の機器を制御する車両制御方法であって、
   前記機器の動作条件を表す少なくとも一つの動作条件パラメータを学習モデルに入力することで、前記少なくとも一つの動作条件パラメータに対応する所望の動作を前記機器に実行させるための制御条件を表す制御パラメータを算出し、
   前記制御条件を達成するように、前記機器の実際の動作を表す動作評価値に応じたフィードバック値に基づいて前記制御パラメータを補正し、
   前記制御パラメータまたは補正された前記制御パラメータに従って前記機器を制御し、
   前記動作評価値に応じて前記フィードバック値を算出し、
   前記制御パラメータに従った前記機器の制御精度が所定の精度条件を満たすか否か判定し、前記所定の精度条件が満たされる場合、前記制御パラメータに従って前記機器を制御し、一方、前記所定の精度条件が満たされない場合、補正された前記制御パラメータに従って前記機器を制御する、
   ことを含む車両制御方法。
5. 車両の所定の機器を制御する車両制御用コンピュータプログラムであって、
   前記機器の動作条件を表す少なくとも一つの動作条件パラメータを学習モデルに入力することで、前記少なくとも一つの動作条件パラメータに対応する所望の動作を前記機器に実行させるための制御条件を表す制御パラメータを算出し、
   前記制御条件を達成するように、前記機器の実際の動作を表す動作評価値に応じたフィードバック値に基づいて前記制御パラメータを補正し、
   前記制御パラメータまたは補正された前記制御パラメータに従って前記機器を制御し、
   前記動作評価値に応じて前記フィードバック値を算出し、
   前記制御パラメータに従った前記機器の制御精度が所定の精度条件を満たすか否か判定し、前記所定の精度条件が満たされる場合、前記制御パラメータに従って前記機器を制御し、一方、前記所定の精度条件が満たされない場合、補正された前記制御パラメータに従って前記機器を制御する、
   ことを前記車両に搭載されたプロセッサに実行させる車両制御用コンピュータプログラム。

Images