JP2022007498A - 機械学習装置 - Google Patents

Abstract

【課題】電力不足を回避する。
【解決手段】車両（１）の運転 に関連するデータを入力すると車両（１）の運転制御に関連する出力値を出力するニューラルネットワーク（ＮＮ）を記憶したニューラルネットワーク記憶部と、ニューラルネットワーク（ＮＮ）の重みの学習用データを記憶する学習用データ記憶部と、車両（１）の運転状態に応じてニューラルネットワーク（ＮＮ）の重みの学習スピードを調整する学習スピード調整部とを具備する。ニューラルネットワーク（ＮＮ）の重みの学習制御以外の他の制御が実施されているときには、ニューラルネットワーク（ＮＮ）の重みの学習スピードが低下せしめられる。
【選択図】図８

Description

本発明は機械学習装置に関する。

車両の運転に関連するデータを入力すると車両の運転制御に関連する出力値を出力するニューラルネットワークを用いた車載電子制御ユニットにおいて、車両の運転に関連するデータをサーバに送信し、サーバ内においてニューラルネットワークの重みの学習用データセットを作成すると共に、サーバ内においてニューラルネットワークの重みの学習を行うようにした車載電子制御ユニットが公知である（例えば特許文献１を参照）。

特開２０１９－１８３６９８号公報

ところでニューラルネットワークの重みの学習を行うには多量の電力を必要とする。従って、車両上においてニューラルネットワークの重みの学習を行うと、即ち、オンボード学習を行うと、多量の電力を消費する他の制御に大きな影響を与える可能性がある。従って、オンボード学習を行う場合には、多量の電力を消費する他の制御に大きな影響を与えないように、オンボード学習を行う際の電力消費量について考慮を払う必要がある。

そこで、本発明によれば、車両の運転に関連するデータを入力すると車両の運転制御に関連する出力値を出力するニューラルネットワークを記憶したニューラルネットワーク記憶部と、ニューラルネットワークの重みの学習用データを記憶する学習用データ記憶部と、車両の運転状態に応じてニューラルネットワークの重みの学習スピードを調整する学習スピード調整部とを具備する機械学習装置が提供される。

車両の運転状態に応じてニューラルネットワークの重みの学習スピードを調整することによって、多量の電力を消費する他の制御に大きな影響を与えないようにすることが可能となる。

図１は、図解的に表した車両の全体図である。 図２は、ニューラルネットワークの一例を示す図である。 図３は、オンボード学習の第１の例の機能構成図である。 図４は、オンボード学習の第２の例の機能構成図である。 図５は、ニューラルネットワークの一例を示す図である。 図６は、訓練用データセットを示す図である。 図７は、本発明による機械学習装置の機能構成図を示す図である。 図８は、学習制御を行うためのフローチャートである。

図１を参照すると、１は車両、２は車両駆動用エンジン、３は車両駆動用電気モータ、４は運転者用の座席、５はエンジン１の排気通路に配置された排気浄化用触媒コンバータを夫々示す。車両１内には、暖冷房装置６等の種々の機器が配置されており、また、車両１内には、クルーズコントロール等の自動運転を行うための前方撮像カメラ７や車間距離計測用レーダ装置８等が設置されている。また、車両１内には、運転者が座席４に着座しているか否かを検知するための、即ち、車両１に人が乗っているか否かを検知するための室内カメラ９或いは圧力センサ１０が設置されている。

これら前方撮像カメラ７、車間距離計測用レーダ装置８、室内カメラ９或いは圧力センサ１０の出力信号は、車両１内に設置されている車両制御用電子制御ユニット２０に入力され、車両制御用電子制御ユニット２０からは、暖冷房装置６の制御信号、触媒コンバータ５の暖機用電気ヒータ５ａ、クルーズコントロール等の自動運転を行うための制御信号が出力される。また、図１に示される例では、車両制御用電子制御ユニット２０に加えて、車両制御用電子制御ユニット２０に接続された機械学習用電子制御ユニット２１が車両１内に設置されている。この機械学習用電子制御ユニット２１はデジタルコンピュータからなり、双方向性バス２２によって互いに接続されたＣＰＵ（マイクロプロセッサ）２３、ＲＯＭおよびＲＡＭからなるメモリ２４、クロック周波数を変更可能なクロック２５および入出力ポート２６を具備する。なお、この場合、機械学習用電子制御ユニット２１は、車両制御用電子制御ユニット２０の一部として形成することもできる。

本発明による実施例では、車両を運転制御するために、車両の運転に関連するデータを入力すると車両の運転制御に関連する出力値を出力するニューラルネットワークが用いられており、このニューラルネットワークの重みの学習が車両上で行われている。即ち、オンボード学習が行われている。そこで最初にニューラルネットワークについて簡単に説明する。
＜ニューラルネットワークの概要＞

図２は簡単なニューラルネットワークを示している。図２における丸印は人工ニューロンを表しており、ニューラルネットワークにおいては、この人工ニューロンは、通常、ノード又はユニットと称される（本願では、ノードと称す）。図２においてL＝１は入力層、L＝２および L＝３は隠れ層、L＝４は出力層を夫々示している。また、図２において、ｘ_１およびｘ_２ は入力層 ( L＝１) の各ノードへの入力値を示しており、ｙ_１ およびｙ_２ は出力層 ( L＝４) の各ノードからの出力値を示しており、ｚ^（２） _１、ｚ^（２） _２ およびｚ^（２） _３ は隠れ層 ( L＝２) の各ノードからの出力値を示しており、ｚ^（３） _１、ｚ^（３） _２ およびｚ^（３） _３は隠れ層 ( L＝３) の各ノードからの出力値を示している。なお、隠れ層の層数は、１個又は任意の個数とすることができ、入力層のノードの数および隠れ層のノードの数も任意の個数とすることができる。また、出力層のノードの数は１個とすることもできるし、複数個とすることもできる。

入力層 ( L＝１) の各ノードへ入力値ｘ_１およびｘ_２が入力されると、これら入力値ｘ_１およびｘ_２は隠れ層 ( L＝２) の各ノードへ入力され、隠れ層 ( L＝２) の各ノードでは、夫々対応する重みｗおよびバイアスｂを用いて総入力値u が算出される。例えば、図２において隠れ層 ( L＝２) のｚ^（２） _ｋ（ｋ＝１，２，３）で示されるノードにおいて算出される総入力値u_ｋは、次式のようになる。

次いで、この総入力値u_ｋは活性化関数ｆにより変換され、隠れ層 ( L＝２) のｚ^（２） _ｋで示されるノードから、出力値ｚ^（２） _ｋ(= f (ｕ_ｋ)) として出力される。一方、隠れ層 ( L＝３) の各ノード には、隠れ層 ( L＝２) の各ノードの出力値ｚ^（２） _１、ｚ^（２） _２ およびｚ^（２） _３が入力され、隠れ層 ( L＝3 ) の各ノードでは、夫々対応する重みｗおよびバイアスｂを用いて総入力値ｕ（Σｚ・ｗ＋ｂ）が算出される。この総入力値ｕは同様に活性化関数により変換され、隠れ層 ( L＝3 ) の各ノードから、出力値ｚ^（３） _１、ｚ^（３） _２ およびｚ^（３） _３として出力される。この活性化関数としては、例えば、シグモイド関数σが用いられる。

一方、出力層 ( L＝４) の各ノード には、隠れ層 ( L＝３) の各ノードの出力値ｚ^（３） _１、ｚ^（３） _２ およびｚ^（３） _３が入力され、出力層 の各ノードでは、夫々対応する重みｗおよびバイアスｂを用いて総入力値ｕ（Σｚ・ｗ＋ｂ）が算出されるか、又は、夫々対応する重みｗのみを用いて総入力値ｕ（Σｚ・ｗ）が算出される。本発明による実施例では、出力層のノードでは、活性化関数として恒等関数が用いられており、従って、出力層のノードからは、出力層のノードにおいて算出された総入力値ｕが、そのまま出力値ｙとして出力される。
＜ニューラルネットワークにおける学習＞

さて、ニューラルネットワークの出力値ｙの正解値を示す教師データをｙ_ｔとすると、ニューラルネットワークにおける各重みｗおよびバイアスｂは、出力値ｙと教師データをｙ_ｔとの差が小さくなるように、誤差逆伝播法を用いて学習される。この誤差逆伝播法は周知であり、従って、誤差逆伝播法についてはその概要を以下に簡単に説明する。なお、バイアスｂは重みｗの一種なので、以下、バイアスｂも含めて重みｗと称する。さて、図３に示すようなニューラルネットワークにおいて、Ｌ＝２，Ｌ＝３又は Ｌ＝４の各層のノードへの入力値ｕ^（Ｌ）における重みをｗ^（Ｌ）で表すと、誤差関数Ｅの重みｗ^（Ｌ）による微分、即ち、勾配∂Ｅ/∂ｗ^（Ｌ）は、書き換えると、次式で示されるようになる。

ここで、ｚ^{（Ｌ－１）}・∂ｗ^（Ｌ）＝ ∂ｕ^（Ｌ）であるので、（∂Ｅ/∂ｕ^（Ｌ））＝δ^（Ｌ）とすると、上記（１）式は、次式でもって表すことができる。

ここで、ｕ^（Ｌ）が変動すると、次の層の総入力値ｕ^{（Ｌ＋１）}の変化を通じて誤差関数Ｅの変動を引き起こすので、δ^（Ｌ）は、次式で表すことができる。

ここで、z^（Ｌ）＝ｆ(u^（Ｌ）) と表すと、上記（３）式の右辺に現れる入力値ｕ_k ^{（Ｌ＋１）}は、次式で表すことができる。

ここで、上記（３）式の右辺第１項（∂Ｅ/∂ｕ^{（Ｌ＋１）}）はδ^{（Ｌ＋１）}であり、上記（３）式の右辺第２項（∂u_ｋ ^{（Ｌ＋１）} /∂u^（Ｌ））は、次式で表すことができる。

従って、δ^（Ｌ）は、次式で示される。

即ち、δ^{（Ｌ＋１）}が求まると、δ^（Ｌ）を求めることができることになる。

さて、出力層 ( L＝４) のノードが一個であって、或る入力値に対して教師データｙ_ｔが求められており、この入力値に対する出力層からの出力値がｙであった場合において、誤差関数として二乗誤差が用いられている場合には、二乗誤差Ｅは、Ｅ＝１/２(ｙ－ｙ_ｔ)^２で求められる。この場合、出力層（Ｌ＝４）のノードでは、出力値ｙ＝ ｆ(u^（Ｌ）) となり、従って、この場合には、出力層（Ｌ＝４）のノードにおけるδ^（Ｌ）の値は、次式で示されるようになる。

この場合、本発明による実施例では、前述したように、ｆ(u^（Ｌ）) は恒等関数であり、ｆ’(u^（Ｌｌ）) ＝ １となる。従って、δ^（Ｌ）＝ｙ－ｙ_ｔ となり、δ^（Ｌ）が求まる。

δ^（Ｌ）が求まると、上式（６）を用いて前層のδ^{（Ｌ－１）}が求まる。このようにして順次、前層のδが求められ、これらδの値を用いて、上式（２）から、各重みｗについて誤差関数Ｅの微分、即ち、勾配∂Ｅ/∂ｗ^（Ｌ）か求められる。勾配∂Ｅ/∂ｗ^（Ｌ）か求められると、この勾配∂Ｅ/∂ｗ^（Ｌ）を用いて、誤差関数Ｅの値が減少するように、重みｗが更新される。即ち、重みｗの学習が行われることになる。なお、図２に示されるように、出力層 ( L＝４) が複数個のノードを有する場合には、各ノードからの出力値をｙ_１、ｙ_１・・・、対応する教師データｙ_ｔ１、ｙ_ｔ２・・・とすると、誤差関数Ｅとして、次の二乗和誤差Ｅが用いられる。

この場合も、出力層 ( L＝４) の各ノードにおけるδ^（Ｌ）の値は、δ^（Ｌ）＝ｙ－ｙ_tk （ｋ＝１，２・・・ｎ）となり、これらδ^（Ｌ）の値から上式（６）を用いて前層のδ^{（Ｌ－１）}が求まる。
＜本発明による実施例＞

次に、オンボード学習の二つの例について簡単に説明する。図３に、オンボード学習の第１の例の機能構成図を示す。図３を参照すると、この第１の例では、目標トルク算出部３０と、制御パラメータ算出部３１と、切換部３２と、エンジン制御部３３と、エンジン３４と、フィードバック補正部３５と、トルク偏差算出部３６と、切換制御部３７から構成されている。なお、エンジン３４には、エンジンの実際の出力トルクＴｒを検出するためのトルクセンサ３４ａが取り付けられている。図３に示されるように、目標トルク算出部３０は、例えば、図５に示されるようなニューラルネットワークＮＮにより構成されており、この目標トルク算出部３０は、目標トルク算出部３０に、各入力値ｘ_１（アクセル開度）、ｘ_２（機関回転数）、ｘ_３（気温）、ｘ_４（高度）が入力されると、エンジンの目標トルクＴｒを出力するように構成されている。

一方、エンジン制御部３３には、エンジンの目標トルク制御値ｙをエンジン制御部３３に入力したときにエンジンの実際の出力トルクＴｒが目標トルクＴｔとなるように、予め実験により求められているエンジンの目標トルク制御値ｙと、燃料噴射量、空燃比、点火時期、吸気バルブタイミング、排気バルブタイミングとの関係が予め記憶されており、従って、通常は、エンジンの目標トルク制御値ｙがエンジン制御部３３に入力されると、エンジン３４の実際の出力トルクＴｒは目標トルクＴｔとなる。一方、制御パラメータ算出部３１も、例えば、図５に示されるようなニューラルネットワークＮＮにより構成されており、この制御パラメータ算出部３１は、制御パラメータ算出部３１に、各入力値ｘ_１（アクセル開度）、ｘ_２（機関回転数）、ｘ_３（気温）、ｘ_４（高度）が入力されると、エンジン３４の目標トルク制御値ｙを出力するように構成されている。通常は、この目標トルク制御値ｙが、切換部３２により、エンジン制御部３３に直接送りこまれており、このとき、エンジンの実際の出力トルクＴｒは目標トルクＴｔとなる。

さて、車両が長時間に亘って使用されると、エンジン３４の経年変化により、エンジン３４の実際の出力トルクＴｒと目標トルクＴｔとの間でトルク偏差が生じるようになる。このエンジン３４の実際の出力トルクＴｒと目標トルクＴｔ間のトルク偏差ΔＴｔ（＝Ｔｔ－Ｔｒ）は、目標トルク算出部３０の出力およびトルクセンサ３４ａの検出値に基づいて、トルク偏差算出部３６において算出される。トルク偏差ΔＴｔが大きくなった場合には、切換制御部３７により、制御パラメータ算出部３１の出力値がフィードバック補正部３５に入力するように、切換部３２が切換えられる。このとき、フィードバック補正部３５では、トルク偏差ΔＴｔが小さくなるように、制御パラメータ算出部３１から出力された目標トルク制御値ｙにＣ・ΔＴｔ（Ｃは小さな定数）が加算され、加算結果ｙ（＝ｙ＋Ｃ・ΔＴｔ）がエンジン制御部３３に入力される。次いで、トルク偏差ΔＴｔが許容値以下になると、制御パラメータ算出部３１の出力値が、直接エンジン制御部３３に入力するように、切換部３２が切換えられる。

この第１の例では、トルク偏差ΔＴｔが許容値以下になったときの各入力値ｘ_１、ｘ_２、ｘ_３、ｘ_４と、フィードバック補正部３５から出力される目標トルク制御値ｙ（＝ｙ＋Ｃ・ΔＴｔ）とが、トルク偏差ΔＴｔが許容値以下になる毎に、順次、メモリ２４（図１）内に記憶され、それにより、メモリ２４内には、図６に示されるような、訓練用データセットが作成される。なお、この場合、フィードバック補正部３５から出力される目標トルク制御値ｙ（＝ｙ＋Ｃ・ΔＴｔ）は教師データｙｔとして記憶される。図６に示されるような訓練用データセットの作成が完了すると、機械学習用電子制御ユニット２１において、制御パラメータ算出部３１を構成しているニューラルネットワークＮＮの重みの学習が行われる。

この場合、最初に、図６に示される訓練用データセットにおけるＮｏ．１の各入力値ｘ_１、ｘ_２、ｘ_３、ｘ_４が、図５に示されるニューラルネットワークＮＮに入力され、そのときニューラルネットワークＮＮから出力される出力値ｙと、対応する教師データｙｔとの二乗誤差Ｅ（＝1/2 (ｙ-ｙｔ)²）が小さくなるように、誤差逆伝播法により、ニューラルネットワークＮＮの重みの学習が行われる。Ｎｏ．１のデータセットに基づくニューラルネットワークＮＮの重みの学習が終了すると、Ｎｏ．２の各入力値ｘ_１、ｘ_２、ｘ_３、ｘ_４がニューラルネットワークＮＮに入力され、そのときニューラルネットワークＮＮから出力される出力値ｙと、対応する教師データｙｔとの二乗誤差Ｅ（＝1/2 (ｙ-ｙｔ)²）が小さくなるように、誤差逆伝播法により、ニューラルネットワークＮＮの重みの学習が行われる。以下、同様な手法で、Ｎｏ．３からＮｏ．ｍまで、対応するデータセットに基づいてニューラルネットワークＮＮの重みの学習が順次行われる。Ｎｏ．１からＮｏ．ｍまでの全てのデータセットに基づくニューラルネットワークＮＮの重みの学習が完了すると、学習済みの重みを用いて、制御パラメータ算出部３１を構成しているニューラルネットワークＮＮの重みが更新される。

図４に、オンボード学習の第２の例の機能構成図を示す。図４を参照すると、この第２の例では、機関排気通路内に配置された触媒の温度を推定するための触媒温度推定部４０と、切換部４１と、エンジン制御部４２と、エンジン４３と、切換制御部４４から構成されている。なお、エンジン４３には、実際の触媒温度Ｔｄを検出するための温度センサ４３ａが取り付けられている。この温度センサ４３ａの検出信号は、通常、切換部４１により、エンジン制御部４２に入力され、温度センサ４３ａにより検出された実際の触媒温度Ｔｄに基づいて、例えば、暖機運転制御等のエンジン４３の制御が行われる。

一方、この第２の例では、温度センサ４３ａが故障したときのために触媒温度推定部４０が設けられている。この触媒温度推定部４０は、例えば、図５に示されるようなニューラルネットワークＮＮにより構成されており、この触媒温度推定部４０は、触媒温度推定部４０に、各入力値ｘ_１（機関負荷率）、ｘ_２（機関回転数）、ｘ_３（空燃比）、ｘ_４（点火時期）、ｘ_５（排気ガス中のＨＣ又はＣＯ濃度）が入力されると、触媒温度の推定値Ｔｅを出力するように構成されている。切換制御部４４では、温度センサ４３ａの検出値に基づいて、温度センサ４３ａが正常であるか否かが判別され、温度センサ４３ａが故障していると判別されたときには、触媒温度推定部４０の出力値がエンジン制御部４２に入力されるように切換部４１が切換えられる。このとき、触媒温度推定部４０において算出された触媒温度の推定値Ｔｅがエンジン制御部４２に入力され、この触媒温度の推定値Ｔｅに基づいて、エンジン４３の制御が行われる。

この第２の例では、切換制御部４４において、温度センサ４３ａの検出値に基づき、温度センサ４３ａが正常であると判別されているときに、例えば、周期的に各入力値ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５と、そのとき温度センサ４３ａにより検出された実際の触媒温度Ｔｄとが、順次、メモリ２４（図１）内に記憶され、それにより、メモリ２４内には、図６に示されるような、訓練用データセットが作成される。なお、この場合、温度センサ４３ａにより検出された実際の触媒温度Ｔｄは教師データｙｔとして記憶される。図６に示されるような訓練用データセットの作成が完了すると、機械学習用電子制御ユニット２１において、触媒温度推定部４０を構成しているニューラルネットワークＮＮの重みの学習が行われる。

この場合も、最初に、図６に示される訓練用データセットにおけるＮｏ．１の各入力値ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５が、図５に示されるニューラルネットワークＮＮに入力され、そのときニューラルネットワークＮＮから出力される出力値ｙと、対応する教師データｙｔとの二乗誤差Ｅ（＝1/2 (ｙ-ｙｔ)²）が小さくなるように、誤差逆伝播法により、ニューラルネットワークＮＮの重みの学習が行われる。Ｎｏ．１のデータセットに基づくニューラルネットワークＮＮの重みの学習が終了すると、Ｎｏ．２の各入力値ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５がニューラルネットワークＮＮに入力され、そのときニューラルネットワークＮＮから出力される出力値ｙと、対応する教師データｙｔとの二乗誤差Ｅ（＝1/2 (ｙ-ｙｔ)²）が小さくなるように、誤差逆伝播法により、ニューラルネットワークＮＮの重みの学習が行われる。以下、同様な手法で、Ｎｏ．３からＮｏ．ｍまで、対応するデータセットに基づいてニューラルネットワークＮＮの重みの学習が順次行われる。Ｎｏ．１からＮｏ．ｍまでの全てのデータセットに基づくニューラルネットワークＮＮの重みの学習が完了すると、学習済みの重みを用いて、触媒温度推定部４０を構成しているニューラルネットワークＮＮの重みが更新される。

このように本発明による実施例では、第１の例或いは第２の例に示されるようなオンボード学習が行われている。ところがオンボード学習、即ち、車両上でのニューラルネットワークＮＮの重みの学習は多量の電力を消費し、その結果、多量の電力を消費する他の制御に大きな影響を与えることになる。例えば、本発明による実施例では、前方撮像カメラ７および車間距離計測用レーダ装置８を用いたクルーズコントロールが行われており、このクルーズコントロールは多量の電力を消費する。また、暖冷房装置６を作動させると多量の電力を消費し、触媒コンバータ５の暖機用電気ヒータ５ａを作動させると多量の電力を消費する。更に、本発明による実施例では、運転者が座席４に着座すると、運転者の体調を検出する等の安全装置の制御が開始される。即ち、車両に人が乗ると安全装置の制御が開始される。このような安全装置の制御が開始されると多量の電力を消費する。

このように本発明による実施例では、オンボード学習が行われるとき以外に多量の電力を消費する種々の他の制御が行われており、従って、多量の電力を消費するこれらの種々の他の制御が行われているときにオンボード学習が行われると、多量の電力を消費する種々の他の制御に対して、電力が不足する等の影響が出てくる。そこで本発明による実施例では、多量の電力を消費する他の制御が行われているときに、オンボード学習を行う場合には、オンボード学習を行う際の電力消費量を低減するために、ニューラルネットワークＮＮの重みの学習スピードが調整される。この場合、本発明による実施例では、ニューラルネットワークＮＮの重みの学習スピードが低下される。具体的には、この場合、例えば、クロック２５のクロック周波数が低下せしめられる。

図７に、本発明による機械学習装置の機能構成図を示す。図７を参照すると、本発明による機械学習装置は、車両１の運転に関連するデータを入力すると車両１の運転制御に関連する出力値を出力するニューラルネットワークＮＮを記憶したニューラルネットワーク記憶部５０と、ニューラルネットワークＮＮの重みの学習用データを記憶する学習用データ記憶部５１と、車両１の運転状態に応じてニューラルネットワークＮＮの重みの学習スピードを調整する学習スピード調整部５２とを具備する。また、この場合、本発明による実施例では、機械学習装置が、ニューラルネットワークＮＮの重みの学習を行うための学習部５３を具備している。更に、本発明による実施例では、学習スピード調整部５２が、学習スピードを決定するための学習スピード決定部５２ａと、学習スピードを制御するための学習スピード制御部５２ｂとを有する。

図３に示される第１の例では、ニューラルネットワークＮＮの重みの学習を行う際には、制御パラメータ算出部３１を構成しているニューラルネットワークＮＮのノード数等が、図１に示される機械学習用電子制御ユニット２１のメモリ２４内に記憶され、図４に示される第２の例では、ニューラルネットワークＮＮの重みの学習を行う際には、触媒温度推定部４０を構成しているニューラルネットワークＮＮのノード数等が、図１に示される機械学習用電子制御ユニット２１のメモリ２４内に記憶される。また、第１の例および第２の例において作成される図６に示される訓練用データセットも、図１に示される機械学習用電子制御ユニット２１のメモリ２４内に記憶される。従って、図１に示される実施例においては、機械学習用電子制御ユニット２１のメモリ２４が、ニューラルネットワーク記憶部５０および学習用データ記憶部５１を形成している。

また、学習スピード決定部５２ａでは、車両の運転状態に応じてニューラルネットワークＮＮの重みの学習スピード、即ち、オンボード学習を行う際の学習スピードが決定される。この場合、本発明による実施例では、車両１の運転状態は、大きく分けると、ニューラルネットワークＮＮの重みの学習制御以外の他の制御の実施状態を指す場合と、車両１に人が乗っているか否かの状態を指す場合の二つの場合がある。前者の場合、即ち、オンボード学習以外の多量の電力を消費する他の制御の実施状態に応じて、オンボード学習を行う際の学習スピードが決定される場合には、例えば、オンボード学習以外の多量の電力を消費する他の制御が実施されているときには学習スピードが低下され、この場合、オンボード学習以外の多量の電力を消費する他の制御の実施数が多いほど学習スピードが低下される。一方、後者の場合、即ち、車両に人が乗っているか否かの状態に応じて、オンボード学習を行う際の学習スピードが決定される場合には、例えば、車両に人が乗っている場合には、車両に人が乗っていない場合に比べて、ニューラルネットワークの重みの学習スピードが低下せしめられる。

一方、学習スピード制御部５２ｂでは、オンボード学習を行う際の学習スピードを低下すべきときには、例えば、クロック２５のクロック周波数を低下させることによってオンボード学習を行う際の学習スピードを低下させる。図１に示される実施例においては、これらの学習スピードの決定および学習スピードの制御は、機械学習用電子制御ユニット２１のＣＰＵ２３内において行われ、従って、機械学習用電子制御ユニット２１のＣＰＵ２３が学習スピード調整部５２を形成していることになる。また、学習部５３では、オンボード学習、即ち、ニューラルネットワークＮＮの重みの学習が行われ、このオンボード学習、即ち、ニューラルネットワークＮＮの重みの学習は、機械学習用電子制御ユニット２１のＣＰＵ２３内において行われる。従って、機械学習用電子制御ユニット２１のＣＰＵ２３が学習部５３を形成している。

図８は、機械学習用電子制御ユニット２１において行われるニューラルネットワークＮＮの重みの学習制御ルーチンを示す。
図８を参照すると、まず初めに、ステップ６０において、図６に示されるような訓練用データセットの作成が完了したか否かが判別される。訓練用データセットの作成が完了していないときには処理サイクルを完了する。これに対し、訓練用データセットの作成が完了したと判別されたときには、ステップ６１に進んで、オンボード学習以外の多量の電力を消費する他の制御の実施状態等の確認が行われる。例えば、クルーズコントロールが行われているか否か、暖冷房装置６が作動せしめられているか否か、触媒コンバータ５の暖機用電気ヒータ５ａが作動せしめられているか否か、車両に人が乗っているか否かが判別される。

次いで、ステップ６２では、オンボード学習以外の多量の電力を消費する他の制御の実施状態等に応じて、オンボード学習、即ち、ニューラルネットワークＮＮの重みの学習のスピードが決定される。この場合、オンボード学習以外の多量の電力を消費する他の制御が実施されていないとき、および車両に人が乗っていないときには、学習スピードが予め定められている最大のスピードとされる。一方、オンボード学習以外の多量の電力を消費する他の制御が実施されているときには学習スピードが低下され、この場合、オンボード学習以外の多量の電力を消費する他の制御の実施数が多いほど学習スピードが低下せしめられる。また、車両に人が乗っている場合には、車両に人が乗っていない場合に比べて、ニューラルネットワークの重みの学習スピードが低下せしめられる。

次いで、ステップ６３では、ステップ６２において決定された学習スピードに従って、クロック２５のクロック周波数が制御される。次いで、ステップ６４では、ニューラルネットワークＮＮの入力層 ( L＝１) のノード数、隠れ層 ( L＝２)および隠れ層 ( L＝３)のノード数、出力層 ( L＝４) のノード数、および重みが読み込まれ、これらノード数に基づいて、図５に示されるようなニューラルネットワークＮＮが作成される。次いで、ステップ６５では、機械学習用電子制御ユニット２１のメモリ２４内に記憶されている図６に示されるような訓練データセットの各データが読み込まれる。

次いで、ステップ６６では、ステップ６３において制御されているクロック２５のクロック周波数でもって、ニューラルネットワークＮＮの重みの学習が行われる。最初は、図６の１番目（No. 1）の入力値ｘ_１、ｘ_２・・・ｘ_ｎ－１、ｘ_ｎがニューラルネットワークＮＮの入力層 ( L＝１) の各ノードに入力される。次いで、このときのニューラルネットワークＮＮの出力値ｙと１番目（No. 1）の教師データｙ_ｔ１との間の二乗誤差Ｅ＝１/２(ｙ－ｙ_ｔ１)^２が算出され、この二乗誤差Ｅが小さくなるように、誤差逆伝播法を用いて、ニューラルネットワークＮＮの重みの学習が行われる。図６の１番目（No. 1）のデータに基づくニューラルネットワークＮＮの重みの学習が完了すると、次に、図６の２番目（No. ２）のデータに基づくニューラルネットワークＮＮの重みの学習が、誤差逆伝播法を用いて行われる。同様にして、図６のｍ番目（No. ｍ）まで順次、ニューラルネットワークＮＮの重みの学習が行われる。図６の１番目（No. 1）からｍ番目（No. ｍ）までの全てについてニューラルネットワークＮＮの重みの学習が完了すると、ステップ６７に進む。

ステップ６７では、例えば、図６の１番目（No. 1）からｍ番目（No. ｍ）までの全てのニューラルネットワークＮＮの出力値ｙと教師データｙｔとの間の二乗和誤差Ｅが算出され、この二乗和誤差Ｅが、予め設定された設定誤差以下になったか否かが判別される。二乗和誤差Ｅが、予め設定された設定誤差以下になったと判別されたときには、ステップ６８に進んで、ニューラルネットワークＮＮの学習済み重みが、機械学習用電子制御ユニット２１のメモリ２４内に記憶される。次いで、学習ルーチンを終了する。これに対し、二乗和誤差Ｅが、予め設定された設定誤差以下になっていないと判別されたときには、ステップ６６に戻り、再度、図６に示される訓練データセットに基づいて、ニューラルネットワークＮＮの重み学習が行われる。次いで、二乗和誤差Ｅが、予め設定された設定誤差以下になるまで、ニューラルネットワークＮＮの重みの学習が続行される。

ニューラルネットワークＮＮの重みの学習が終了すると、第１の例では、制御パラメータ算出部３１を構成しているニューラルネットワークＮＮの重みが更新され、第２の例では、触媒温度推定部４０を構成しているニューラルネットワークＮＮの重みが更新される。

１ 車両
２ エンジン
３ 電気モータ
２０ 車両制御用電子制御ユニット
２１ 機械学習用電子制御ユニット

Claims (6)

1. 車両の運転に関連するデータを入力すると車両の運転制御に関連する出力値を出力するニューラルネットワークを記憶したニューラルネットワーク記憶部と、
   ニューラルネットワークの重みの学習用データを記憶する学習用データ記憶部と、
   車両の運転状態に応じてニューラルネットワークの重みの学習スピードを調整する学習スピード調整部とを具備する機械学習装置。
2. 該車両の運転状態が、ニューラルネットワークの重みの学習制御以外の他の制御の実施状態である請求項１に記載の機械学習装置。
3. ニューラルネットワークの重みの学習制御以外の他の制御が実施されているときには、ニューラルネットワークの重みの学習スピードが低下せしめられる請求項２に記載の機械学習装置。
4. ニューラルネットワークの重みの学習制御以外の他の制御の実施数が多くなるほど、ニューラルネットワークの重みの学習スピードが低下せしめられる請求項２に記載の機械学習装置。
5. 該車両の運転状態が、車両に人が乗っているか否かの状態である請求項１に記載の機械学習装置。
6. 車両に人が乗っている場合には、車両に人が乗っていない場合に比べて、ニューラルネットワークの重みの学習スピードが低下せしめられる請求項５に記載の機械学習装置。

Images