JP2022079938A - 機械学習システム - Google Patents

Abstract

【課題】車両における演算負荷の増大に伴う消費電力の増大を抑制しつつサーバの演算負荷の増大を抑制する。【解決手段】機械学習システム１は、機械学習モデルを有する車両２と、車両と通信可能なサーバ３とを備える。サーバは、事前学習用データセットに基づいて、モデルパラメータのうちの一部の値を事前学習する事前学習部３３１と、事前学習が完了した後に、事前学習されたモデルパラメータの値を車両に送信するサーバ側送信部３３２と、を備える。車両は、事前学習されたモデルパラメータの値と本学習用データセットとを用いて事前学習とは異なる手法で全てのモデルパラメータの値を本機械学習する本学習部１４５と、本機械学習されたモデルパラメータの値を使用した機械学習モデルを用いて機器を制御する制御部１４１とを備える。【選択図】図１０

Description

本開示は、機械学習モデルを構成するモデルパラメータの値を機械学習する機械学習システムに関する。

従来から、車両に関する状態パラメータの現在の値に基づいて車両に関する状態パラメータの将来の値を予測するニューラルネットワークモデルを用いることが検討されている（例えば、特許文献１）。特に、特許文献１では、内燃機関の運転に関する入力パラメータ（例えば、ドライバ要求トルク、機関回転数、車速など）の値が入力されると、これら入力パラメータとは別の内燃機関の運転に関する出力パラメータ（例えば、将来の機関トルク）の値を出力するニューラルネットワークモデルが用いられている。

特開２０１２－０２６３０２号公報

ところで、ニューラルネットワークモデルのような機械学習モデルでは、より適切な出力パラメータの値を出力するためには、その機械学習モデルを有する車両における実測値を用いて機械学習モデルを構成するモデルパラメータの値を機械学習することが必要である。斯かる機械学習を車両で行うと、車両のプロセッサの演算負荷が高くなり、これに伴って車両における消費電力が大きくなる。

一方、車両のプロセッサの演算負荷を低減するためには、車両と通信可能なサーバにてモデルパラメータの値の機械学習を行うことが考えられる。しかしながら、サーバは多数の車両と通信を行うため、通信する多くの車両のモデルパラメータの値を機械学習すると、サーバの演算負荷が膨大になってしまう。

上記課題に鑑みて、本開示の目的は、車両における演算負荷の増大に伴う消費電力の増大を抑制しつつサーバの演算負荷の増大を抑制することにある。

本開示の要旨は以下のとおりである。

（１）搭載された機器を制御するのに用いられる機械学習モデルを有する車両と、該車両と通信可能なサーバとを備え、前記車両にて前記機械学習モデルを構成するモデルパラメータの値を機械学習する、機械学習システムであって、
前記サーバは、
前記車両から送信された前記機械学習モデルの入力パラメータの実測値を含む事前学習用データセットに基づいて、前記モデルパラメータのうちの一部の値を事前学習する事前学習部と、
前記事前学習が完了した後に、前記事前学習されたモデルパラメータの値を前記車両に送信するサーバ側送信部と、を備え、
前記車両は、
前記サーバから受信した前記事前学習されたモデルパラメータの値と、前記機械学習モデルの入力パラメータ及び出力パラメータの実測値を含む本学習用データセットとを用いて、前記事前学習とは異なる手法で前記機械学習モデルを構成する全てのモデルパラメータの値を本機械学習する本学習部と、
前記本機械学習された前記モデルパラメータの値を使用した機械学習モデルを用いて前記機器を制御する制御部とを備える、機械学習システム。

本開示によれば、車両における演算負荷の増大に伴う消費電力の増大を抑制しつつサーバの演算負荷の増大を抑制することができる。

図１は、第一実施形態に係る機械学習システムの概略的な構成図である。 図２は、車両のハードウェア構成を概略的に示す図である。 図３は、車両のプロセッサの機能ブロック図である。 図４は、サーバのハードウェア構成を概略的に示す図である。 図５は、サーバのプロセッサの機能ブロック図である。 図６は、単純な構成を有するＮＮモデルの一例を示す。 図７は、事前学習に用いられるオートエンコーダモデルの一例を示す。 図８は、事前学習に用いられるオートエンコーダモデルの一例を示す。 図９は、機械学習システムによって行われる通常の機械学習における、学習処理の動作シーケンス図である。 図１０は、機械学習システムよって行われる異常時の機械学習における、学習処理の動作シーケンス図である。

以下、図面を参照して実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。

＜機械学習システムの構成＞
まず、図１～図５を参照して、一つの実施形態に係る機械学習システム１について説明する。図１は、一つの実施形態に係る機械学習システム１の概略的な構成図である。機械学習システム１は、各車両に特有の機械学習モデルを、各車両の状態を表す複数の状態パラメータの値を含む訓練データセットを用いて機械学習させる。機械学習モデルは、車両に搭載された機器を制御するのに用いられる。

図１に示したように、機械学習システム１は、通信可能な複数の車両２と、サーバ３とを備える。複数の車両２のそれぞれとサーバ３とは、光通信回線などで構成される通信ネットワーク４と、通信ネットワーク４にゲートウェイ（図示せず）を介して接続される無線基地局５とを介して、相互に通信可能に構成される。車両２と無線基地局５との通信は、任意の通信規格に準拠した通信である。

図２は、車両２のハードウェア構成を概略的に示す図である。図２に示したように、車両２は、電子制御ユニット（ＥＣＵ）１１を備える。ＥＣＵ１１は、車内通信インターフェース１２と、記憶装置１３と、プロセッサ１４とを有する。車内通信インターフェース１２及び記憶装置１３は信号線を介してプロセッサ１４に接続されている。なお、本実施形態では、車両２には、一つのＥＣＵ１１が設けられているが、機能毎に分かれた複数のＥＣＵが設けられてもよい。

車内通信インターフェース１２は、ＣＡＮ（Controller Area Network）等の規格に準拠した車内ネットワーク１５にＥＣＵ１１を接続するためのインターフェース回路を有する。ＥＣＵ１１は車内通信インターフェース１２を介して他の車載機器と通信する。

記憶装置１３は、データを記憶する記憶部の一例である。記憶装置１３は、例えば、揮発性の半導体メモリ（例えば、ＲＡＭ）、不揮発性の半導体メモリ（例えば、ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）又は光記録媒体を備える。記憶装置１３は、プロセッサ１４において各種処理を実行するためのコンピュータプログラムや、プロセッサ１４によって各種処理が実行されるときに使用される各種データ等を記憶する。したがって、記憶装置１３は、各車両特有の機械学習モデルを記憶する。

プロセッサ１４は、一つ又は複数のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１４は、更にＧＰＵ（Graphics Processing Unit）、又は論理演算ユニット若しくは数値演算ユニットのような演算回路を有していてもよい。プロセッサ１４は、ＥＣＵ１１の記憶装置１３に記憶されたコンピュータプログラムに基づいて、各種の演算処理を実行する。したがって、プロセッサ１４は、機械学習モデルの入力パラメータの値が入力されると、機械学習モデルに従った演算処理を行って、出力パラメータの値を出力する。また、本実施形態では、サーバ３のプロセッサ３３が、機械学習モデルを機械学習させる機械学習装置として機能する。

図３は、車両２のプロセッサ１４の機能ブロック図である。図３に示したように、プロセッサ１４は、機械学習モデルを用いて車両２の制御機器２２を制御する制御部１４１と、機械学習モデルの学習条件が成立しているか否かを判定する学習条件成否判定部１４２と、事前学習用データセット及び訓練データセットを生成するデータセット生成部１４３と、後述するサーバ３の事前学習部３３１において行われるべき機械学習の要求量を算出する要求量算出部１４４と、機械学習モデルを構成する全てのモデルパラメータの値を本機械学習する本学習部１４５と、制御部１４１において用いられる機械学習モデルを更新するモデル更新部１４６と、サーバ３に様々なデータを送信する車両側送信部１４７と、サーバ３から様々なデータを受信する車両側受信部１４８とを備える。プロセッサ１４が有するこれら機能ブロックは、例えば、プロセッサ１４上で動作するコンピュータプログラムにより実現される機能モジュールである。或いは、プロセッサ１４が有するこれら機能ブロックは、プロセッサ１４に設けられる専用の演算回路であってもよい。車両２のプロセッサ１４の各機能ブロックの詳細については後述する。

また、図２に示したように、車両２は、更に、車外通信モジュール２１、複数の制御機器２２及び複数のセンサ２３を備える。車外通信モジュール２１、制御機器２２及びセンサ２３は、車内ネットワーク１５を介してＥＣＵ１１に接続される。

車外通信モジュール２１は、車外の機器と通信を行う通信部の一例である。車外通信モジュール２１は、例えば、サーバ３と通信を行うための機器である。車外通信モジュール２１は、例えば、データ通信モジュール（ＤＣＭ：Data communication module）を含む。データ通信モジュールは無線基地局５及び通信ネットワーク４を介してサーバ３と通信する。

制御機器２２は、車両２に関する様々な制御を行う機器である。具体的には、制御機器２２は、例えば、内燃機関の吸気通路に設けられたスロットル弁の開度を調整するスロットル弁の駆動アクチュエータ、内燃機関の燃焼室に燃料を供給するインジェクタ、燃焼室内の燃料に点火する点火プラグ、内燃機関のＥＧＲ率を制御するＥＧＲ弁の駆動アクチュエータ、空調装置のブロワ、空調装置の空気の流れを制御するエアミックスドアの駆動アクチュエータなどを含む。これら制御機器２２は、車内ネットワーク１５を介してＥＣＵ１１に接続され、ＥＣＵ１１からの駆動信号に応じて作動せしめられる。

センサ２３は、車両２に関する様々な状態パラメータの値（状態量）を検出する検出器の一例である。センサ２３は、例えば、内燃機関に供給される吸入空気量を検出する空気量センサ、内燃機関のインジェクタからの燃料噴射圧を検出する噴射圧センサ、排気ガスの温度を検出する排気温度センサ、タッチパネルなどにおけるドライバの入力を検出する入力検出センサ、車両２の自己位置を検出する自己位置センサ（例えば、ＧＰＳ）などを含む。さらに、センサ２３は、例えば、車両２の周りの空気の温度（外気温度）を検出する外気温度センサ、車両２の周りの空気の湿度（外気湿度）を検出する外気湿度センサ、車両２の周りの大気圧を検出する大気圧センサ、車両２の室内の温度（車内温度）を検出する車内温度センサ、車両２の室内の湿度（車内湿度）を検出する車内湿度センサ、及び日射量を検出する日射センサなどを含む。これらセンサ２３は、車内ネットワーク１５を介してＥＣＵ１１に接続され、ＥＣＵ１１へ出力信号を送信する。

サーバ３は、車両２の外部に設けられ、通信ネットワーク４及び無線基地局５を介して、走行中の車両２と通信を行う。サーバ３は、走行中の車両２から各種情報を受信する。

図４は、サーバ３のハードウェア構成を概略的に示す図である。サーバ３は、図４に示したように、外部通信モジュール３１と、記憶装置３２と、プロセッサ３３とを備える。また、サーバ３は、キーボード及びマウスといった入力装置、及び、ディスプレイといった出力装置を有していてもよい。

外部通信モジュール３１は、サーバ３外の機器と通信を行う通信部の一例である。外部通信モジュール３１は、サーバ３を通信ネットワーク４に接続するためのインターフェース回路を備える。外部通信モジュール３１は、通信ネットワーク４及び無線基地局５を介して、複数の車両２それぞれと通信可能に構成される。

記憶装置３２は、データを記憶する記憶部の一例である。サーバ３の記憶装置３２も、揮発性の半導体メモリ（例えば、ＲＡＭ）、不揮発性の半導体メモリ（例えば、ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）又は光記録媒体を備える。記憶装置３２は、プロセッサ３３によって各種処理を実行するためのコンピュータプログラムや、プロセッサ３３によって各種処理が実行されるときに使用される各種データを記憶する。

プロセッサ３３は、一つ又は複数のＣＰＵ及びその周辺回路を有する。プロセッサ３３は、更にＧＰＵ、又は論理演算ユニット若しくは数値演算ユニットのような演算回路を有していてもよい。プロセッサ３３は、サーバ３の記憶装置３２に記憶されたコンピュータプログラムに基づいて、各種の演算処理を実行する。

図５は、サーバ３のプロセッサ３３の機能ブロック図である。図５に示したように、プロセッサ３３は、機械学習モデルを構成するモデルパラメータの一部の値を事前学習する事前学習部３３１と、車両２に様々なデータを送信するサーバ側送信部３３２と、車両２から様々なデータを受信するサーバ側受信部３３３とを備える。プロセッサ３３が有するこれら機能ブロックは、例えば、プロセッサ３３上で動作するコンピュータプログラムにより実現される機能モジュールである。或いは、プロセッサ３３が有するこれら機能ブロックは、プロセッサ３３に設けられる専用の演算回路であってもよい。サーバ３のプロセッサ３３の各機能ブロックの詳細については後述する。

＜機械学習モデル＞
本実施形態では、車両２の制御部１４１において、車両２に搭載された制御機器２２を制御するにあたり、機械学習された機械学習モデルが用いられる。本実施形態では、機械学習モデルとして、ニューラルネットワークモデル（以下、「ＮＮモデル」という）が用いられる。以下、図６を参照して、ＮＮモデルの概要について説明する。図６は、単純な構成を有するＮＮモデルの一例を示す。

図６における丸印は人工ニューロンを表す。人工ニューロンは、通常、ノード又はユニットと称される（本明細書では、「ノード」と称す）。図６において、Ｌ＝１は入力層を示し、Ｌ＝２及びＬ＝３は隠れ層（又は中間層）を示し、Ｌ＝４は出力層を示している。本実施形態では、隠れ層（Ｌ＝２及びＬ＝３）のノードの数は入力層（Ｌ＝１）のノードの数よりも少なく、下位の隠れ層のノード数は上位の隠れ層のノード数よりも少ない（例えば、隠れ層（Ｌ＝３）のノード数は隠れ層（Ｌ＝２）のノード数よりも少ない）。

図６において、ｘ_m（ｍ＝１、２、・・・、Ｍ。図６に示した例ではＭ＝４）は入力層（Ｌ＝１）の各ノード及びそのノードからの出力値を示しており、ｙは出力層（Ｌ＝４）のノード及びその出力値を示している。同様に、Ｌ＝２の隠れ層におけるｚ_k ^(L=2)（ｋ＝１、２、・・・、Ｋ^(L=2)。図６に示した例ではＫ^(L=2)＝３）は隠れ層（Ｌ＝２）の各ノード及びそのノードからの出力値を示しており、Ｌ＝３の隠れ層におけるｚ_k ^(L=3)（ｋ＝１、２、・・・、Ｋ^(L=3)。図６に示した例ではＫ^(L=3)＝２）は隠れ層（Ｌ＝３）の各ノード及びそのノードからの出力値を示している。

入力層の各ノードでは入力がそのまま出力される。一方、隠れ層（Ｌ＝２）の各ノードには、入力層の各ノードの出力値ｘ_m（ｍ＝１、２、３、４）が入力され、隠れ層（Ｌ＝２）の各ノードでは、それぞれ対応する重みｗ及びバイアスｂを用いて総入力値ｕが算出される。例えば、図６において隠れ層（Ｌ＝２）のｚ_k ^(L=2)（ｋ＝１、２、３）で示される各ノードにおいて算出される総入力値ｕ_k ^(L=2)は、次式（１）のようになる。

次いで、この総入力値ｕ_k ^(L=2)は活性化関数ｆにより変換され、隠れ層（Ｌ＝２）のｚ_k ^(L=2)で示されるノードから、出力値ｚ_k ^(L=2)（＝ｆ（ｕ_k ^(L=2)））として出力される。一方、隠れ層（Ｌ＝３）の各ノードには、隠れ層（Ｌ＝２）の各ノードの出力値ｚ_k ^(L=2) （ｋ＝１、２、３）が入力され、隠れ層（Ｌ＝３）の各ノードでは、それぞれ対応する重みｗ及びバイアスｂを用いて総入力値ｕ（＝Σｚ・ｗ＋ｂ）が算出される。この総入力値ｕは同様に活性化関数により変換され、隠れ層（Ｌ＝３）の各ノードから、出力値ｚ_k ^(L=3)（ｋ＝１、２）として出力される。活性化関数は例えばＲｅＬＵ関数σである。

また、出力層（Ｌ＝４）のノードには、隠れ層（Ｌ＝３）の各ノードの出力値ｚ_k ^(L=3)（ｋ＝１、２）が入力され、出力層のノードでは、それぞれ対応する重みｗ及びバイアスｂを用いて総入力値ｕ（Σｚ・ｗ＋ｂ）が算出され、又はそれぞれ対応する重みｗのみを用いて総入力値ｕ（Σｚ・ｗ）が算出される。例えば、出力層のノードでは活性化関数として恒等関数が用いられる。この場合、出力層のノードにおいて算出された総入力値ｕが、そのまま出力値ｙとして出力層のノードから出力される。

このようにＮＮモデルは、入力層と、隠れ層と、出力層とを備え、複数の入力パラメータの値が入力層から入力されると、入力パラメータに対応する一又は複数の出力パラメータの値を出力層から出力する。

本実施形態では、このような機械学習モデルとして、例えば外気温度、吸入空気量、燃料噴射量、燃料噴射時期、燃料噴射圧、ＥＧＲ率を、入力パラメータの値として入力すると、排気ガスの温度を出力パラメータの値として出力するモデルが用いられる。車両２の制御部１４１では、センサ２３によって検出された状態パラメータの値やＥＣＵ１１から制御機器２２への制御指令値を入力パラメータの値として斯かる機械学習モデルに入力することによって、出力パラメータである排気ガスの温度が出力される。制御部１４１は、出力された排気ガスの温度に基づいて、内燃機関に関する制御機器２２（例えば、スロットル弁の駆動アクチュエータ、インジェクタ、点火プラグなど）を制御する。ここで、排気ガスの温度を検出する排気温度センサには応答遅れがあるため、排気温度センサの出力に基づいて内燃機関の制御を行うと内燃機関を必ずしも適切に制御することができなかった。これに対して、機械学習モデルを用いた排気ガスの温度の算出には遅れが生じないため、機械学習モデルによって算出された排気ガスの温度を用いて内燃機関に関する制御機器２２を制御することにより、内燃機関をより適切に制御することができる。

或いは、このような機械学習モデルとして、例えば、外気温度、外気湿度、車内温度、車内湿度、日射量を入力パラメータの値として入力すると、空調装置の目標温度を出力パラメータの値として出力するモデルが用いられてもよい。この場合、車両２の制御部１４１では、センサ２３によって検出された状態パラメータの値やＥＣＵ１１から制御機器２２への制御指令値を入力パラメータの値として斯かる機械学習モデルに入力することによって、出力パラメータである空調装置の目標温度が出力される。ＥＣＵ１１は、車内温度が、機械学習モデルから出力された目標温度になるように、空調装置に関する制御機器２２（例えば、空調機器のブロワ、エアミックスドアの駆動アクチュエータなど）を制御する。

なお、機械学習モデルとしては様々なモデルを用いることができる。したがって、入力パラメータとして、外気温度、外気湿度、大気圧、車内温度、車内湿度、日照量、吸入空気量、吸気温度、燃料噴射圧、燃料噴射時期、燃料噴射量、空燃比、点火時期、機関冷却水温度、過給圧といった、車両の状態を表す様々な状態パラメータが用いられる。また、出力パラメータとして、排気浄化触媒の温度、排気ガス中のＮＯｘの濃度、機関出力トルク、車内湿度といった、車両の状態を表す様々な状態パラメータが用いられる。

＜機械学習モデルの基本的な学習＞
次に、上述したような機械学習モデル（ＮＮモデル）の機械学習について説明する。斯かる機械学習モデルの精度を向上させるためには、機械学習モデルを構成するモデルパラメータの値の機械学習（以下、「機械学習モデルの機械学習」ともいう）を行う必要がある。そこで、本実施形態では、車両２の本学習部１４５が機械学習モデルの機械学習を行う。具体的には、本学習部１４５の機械学習では、機械学習モデルに入力パラメータの値が入力されるとこれら入力パラメータの値に対応する適切な出力パラメータの値が機械学習モデルから出力されるように、機械学習モデルの全てのモデルパラメータ（ＮＮモデルであれば、重みｗ、バイアスｂ等）の値が算出される。以下、サーバ３の事前学習部３３１で行われる機械学習（事前学習）と区別するために、車両２の本学習部１４５で行われる機械学習を、本機械学習と称する。以下、本学習部１４５において行われる、機械学習モデルの本機械学習の学習手法を簡単に説明する。

機械学習モデルの本機械学習では、状態パラメータの実測値を含む訓練データセット（以下、「本学習用データセット」という）が用いられる。本学習用データセットは、複数の入力パラメータの複数の実測値と、これら実測値に対応する少なくとも一つの出力パラメータの複数の実測値（正解データ）との組合せから成る。本実施形態では、入力パラメータの実測値及び出力パラメータの実測値は、車両２のセンサ２３によって検出された値又はＥＣＵ１１から制御機器２２への制御指令値である。なお、本学習用データセットは、入力パラメータの実測値及び出力パラメータの実測値に前処理（正規化、標準化等）を行ったものでもよい。

車両２の本学習部１４５は、車両２で生成された本学習用データセットを用いて、機械学習モデルのモデルパラメータの値の機械学習を行う。機械学習モデルの機械学習にあたっては、本学習部１４５は、例えば、機械学習モデルの出力値と本学習用データセットに含まれる出力パラメータの実測値との差が小さくなるように、公知の誤差逆伝播法によって機械学習モデルにおけるモデルパラメータ（重みｗ及びバイアスｂ）の値を繰り返し更新する。この結果、機械学習モデルが学習され、学習済みの機械学習モデルが生成される。

＜サーバでの事前学習＞
ところで、上述したように、車両２において機械学習モデルの機械学習が行われると、車両２における演算負荷が高くなり、サーバ３における演算処理の遅れなどが生じる。また、斯かる演算負荷の増大に伴って車両２における消費電力が大きくなる。

一方、車両２における演算負荷を低減するためには、車両２の機械学習モデルの機械学習をサーバ３にて行うことが考えられる。しかしながら、サーバは、複数の車両２と通信を行うため、多くの多くの車両の機械学習モデルの機械学習を行うと、サーバ３の演算負荷が膨大になってしまう。

また、既に機械学習済みの機械学習モデルを、各車両２において取得された実測値を含む訓練データセットを用いて更新する場合、機械学習によってモデルパラメータの値は基本的にそれほど大きくは変化しない。したがって、斯かる場合には機械学習モデルを構成するモデルパラメータは比較的早期に収束する。しかしながら、例えば、機械学習モデルの一部の入力パラメータの値を検出するセンサ２３が故障したことや制御機器２２やセンサ２３を異なる種類のものに交換したことなどによって入力パラメータの値に異常が生じると、機械学習モデルを構成するモデルパラメータを異常の生じた値に合わせて再学習させる必要がある。この場合、機械学習によってモデルパラメータの値が大きく変化することになるため、機械学習モデルを構成するモデルパラメータは収束するのに時間がかる。この結果、斯かる場合には、サーバ３における演算負荷が高くなる。

そこで、本実施形態では、車両２における演算負荷を低減させつつサーバ３の演算負荷の増大を抑制するために、機械学習モデルの一部の入力パラメータの値に異常が生じているような場合、すなわち機械学習モデルを構成するモデルパラメータの値を大きく変更して機械学習モデルを実質的に再構築する必要がある場合には、サーバ３において事前学習を行い、車両２では事前学習によって得られたモデルパラメータの値を初期値としてモデルパラメータの値を本機械学習する。以下では、斯かる学習手法を具体的に説明する。

まず、サーバ３のプロセッサ３３の事前学習部３３１において行われる事前学習について説明する。本実施形態では、事前学習部３３１はオートエンコーダとして機能する。以下、図７を参照して、オートエンコーダとして用いられるＮＮモデル（オートエンコーダモデル）の概要について説明する。図７は、図６に示した機械学習モデルの入力層（Ｌ＝１）と隠れ層（Ｌ＝２）との間のモデルパラメータ（以下、「第１層のモデルパラメータ」ともいう）の値の事前学習に用いられるオートエンコーダモデルの一例を示す。

図７においても丸印はノードを表しており、Ｌ＝１は入力層、Ｌ＝２は中間層、Ｌ＝３は出力層を示している。オートエンコーダモデルにおける入力層（Ｌ＝１）のノード数は、制御部１４１で用いられる機械学習モデル（ＮＮモデル）における入力層（Ｌ＝１）のノード数に一致する。また、オートエンコーダモデルにおける中間層（Ｌ＝２）のノードの数は、機械学習モデルにおける隠れ層（Ｌ＝２）のノード数に一致する。加えて、第１層のモデルパラメータの値の事前学習（すなわち、入力層（Ｌ＝１）から中間層（Ｌ＝２）の各ノードの出力値を算出するための重み及びバイアスの事前学習）を行う場合には、オートエンコーダモデルにおける出力層のノードの数は、入力層のノードの数に一致する。したがって、図６に示した機械学習モデルの第１層の事前学習に用いられるオートエンコーダモデルの入力層（Ｌ＝１）は４つのノードを有し、中間層（Ｌ＝２）は３つのノードを有し、出力層（Ｌ＝３）は４つのノードを有する。なお、中間層（Ｌ＝２）のノードの数は、基本的に入力層（Ｌ＝１）のノードの数よりも少ない。

図７においても、図６と同様に、上記式（１）を用いて中間層（Ｌ＝２）の各ノードにおける総入力値ｕ_k ^(L=2)が算出され、この総入力値ｕ_k ^(L=2)を活性化関数ｆにより変換したものが、中間層（Ｌ＝２）のｚ_k ^(L=2)で示されるノードから出力値ｚ_k ^(L=2)（＝ｆ（ｕ_k ^(L=2)））として出力される。出力層（Ｌ＝３）の各ノードには、中間層（Ｌ＝２）の各ノードの出力値ｚ_k ^(L=2) （ｋ＝１、２、３）が入力され、出力層（Ｌ＝３）の各ノードでは、それぞれ対応する重みｗ及びバイアスｂを用いて総入力値ｕ（＝Σｚ・ｗ＋ｂ）が算出される。この総入力値ｕは同様に活性化関数により変換され、出力層（Ｌ＝３）の各ノードから、出力値ｙ_k ^(L=3)（ｋ＝１、２、・・・、Ｍ。図７に示した例ではＭ＝４）として出力される。

事前学習部３３１における事前学習では、オートエンコーダモデルの入力層の各ノードに入力パラメータの値が入力されると、出力層の各ノードから出力される出力値が対応する入力パラメータの値に近づくように、オートエンコーダモデルの全てのモデルパラメータ（オードエンコーダモデルにおける重みｗ、バイアスｂ等）の値が算出される。

事前学習では、本機械学習と同様に、状態パラメータの実測値を含む事前学習用データセットが用いられる。本実施形態では、事前学習用データセットは、複数の入力パラメータの複数の実測値の組み合わせから成る。本実施形態では、入力パラメータの実測値は、車両２のセンサ２３によって検出された値又はＥＣＵ１１から制御機器２２への制御指令値である。事前学習用データセットに用いられる複数の入力パラメータの複数の実測値の組み合わせは、本学習用データセットに用いられる複数の入力パラメータの複数の実測値の組み合わせと同一であってもよいし、異なっていてもよい。また、事前学習の態様によっては、事前学習用データセットは、入力パラメータの実測値に、出力パラメータの複数の実測値（正解データ）を組み合わせたものであってもよい。また、事前学習用データセットも、入力パラメータの実測値（及び出力パラメータの実測値）に前処理（正規化、標準化等）を行ったものでもよい。

サーバ３の事前学習部３３１は、車両２によって生成されて車両２から送信された事前学習用データセットを用いて、オートエンコーダモデルの機械学習を行う。オートエンコーダモデルの機械学習にあたっては、事前学習部３３１は、オードエンコーダモデルの出力値とオートエンコーダモデルの対応する入力値との差が小さくなるように、公知の誤差逆伝播法によってオートエンコーダモデルにおけるモデルパラメータ（重みｗ及びバイアスｂ）の値を繰り返し更新する。この結果、得られたモデルパラメータの値が、機械学習モデルでの学習を行う際のモデルパラメータの初期値として用いられる。図７に示したオートエンコーダモデルでは、入力層（Ｌ＝１）から中間層（Ｌ＝２）の各ノードの出力値を算出するための重み及びバイアスの値（第１層のモデルパラメータの値）が事前学習により算出され、算出された重み及びバイアスが、図６に示した機械学習モデルの入力層（Ｌ＝１）から隠れ層（Ｌ＝２）の各ノードの出力値を算出するための重み及びバイアスの初期値として用いられる。

図８は、図６に示した機械学習モデルの隠れ層（Ｌ＝２）と隠れ層（Ｌ＝３）との間のモデルパラメータ（以下、「第２層のモデルパラメータ」ともいう）の値の事前学習に用いられるオートエンコーダモデルの一例を示す。図８に示したオートエンコーダモデルは、図７に示したオートエンコーダモデルによって第１層のモデルパラメータの値が事前学習された後に用いられる。

図８に示したオートエンコーダモデルでは、出力層（Ｌ＝４）の各ノードから出力される出力値が、中間層（Ｌ＝２）の各ノードの出力値に近づくように、オートエンコーダモデルの中間層（Ｌ＝２）と中間層（Ｌ＝３）との間のモデルパラメータの値及び中間層（Ｌ＝３）と出力層（Ｌ＝４）との間のモデルパラメータの値が算出される。

サーバ３の事前学習部３３１は、図８に示したオートエンコーダモデルの機械学習を行う際には、車両２によって生成された事前学習用データセットと、図７に示したオートエンコーダモデルを用いた事前学習によって得られた第１層のモデルパラメータの値とを用いる。図８に示したオートエンコーダモデルの機械学習にあたっては、第１層のモデルパラメータの値として図７に示したオートエンコーダモデルを用いた事前学習によって得られた値が用いられ、事前学習用データセットに含まれる入力パラメータの値をオートエンコーダモデルの入力層に入力したときに、オートエンコーダモデルの出力値と中間層（Ｌ＝２）の対応する出力値との差が小さくなるように、公知の誤差逆伝播法によってオートエンコーダモデルにおける第２層のモデルパラメータ（重みｗ及びバイアスｂ）の値を繰り返し更新する。この結果、得られた第２層のモデルパラメータの値が、機械学習モデルでの学習を行う際の第２層のモデルパラメータの初期値として用いられる。サーバ３の事前学習部３３１は、同様な手法によって、第２層よりも下層の多数の層のモデルパラメータの値の事前学習を行うことができる。

以上をまとめると、本実施形態によれば、サーバ３の事前学習部３３１により、機械学習モデルの実測値を含む事前学習用データセットに基づいて、機械学習モデルのモデルパラメータのうちの一部の値が事前学習によって算出される。事前学習部３３１は、第１層のモデルパラメータの値のみを事前学習してもよいし、第１層に加えて第２層以下の層のモデルパラメータの値を事前学習してもよい。

なお、本実施形態では、事前学習部３３１は、オートエンコーダを用いて事前学習を行っているが、制約付きボルツマンマシン（Restricted Boltzmann Machine）など、他の手法によって事前学習を行ってもよい。しかしながら、事前学習部３３１における事前学習は、本学習部１４５によって行われる本機械学習とは異なる手法で行われることが必要である。

＜車両での事前学習を利用した学習＞
次に、図９及び図１０を参照して、サーバ３での事前学習及び車両２での本機械学習を含む、機械学習モデルの学習処理全体の流れについて説明する。本実施形態では、機械学習モデルを構成するモデルパラメータの値を定期的に学習する通常の機械学習と、上述したように入力パラメータの値に異常が生じているような場合に行われる異常時の機械学習との二つの機械学習が行われる。したがって、以下では、これら二つの機械学習それぞれの学習処理全体の流れについて説明する。

図９は、機械学習システム１によって行われる通常の機械学習における、学習処理の動作シーケンス図である。したがって、図９に示した学習処理は、車両２の機械学習モデルの入力パラメータの値の異常とは無関係に、定期的に行われる。

車両２の学習条件成否判定部１４２は、定期的に、車両２の機械学習モデルの学習条件が成立しているか否かを判定する（ステップＳ１１）。通常の機械学習は、例えば、一定期間毎、一定走行距離毎又は一定走行時間毎に行われる。したがって、学習条件成否判定部１４２は、前回の通常の機械学習から例えば一定期間が経過すると、通常の機械学習の学習条件が成立したと判定する。

通常の機械学習の学習条件が成立すると、車両２のデータセット生成部１４３は、本学習用データセットを作成する。データセット生成部１４３は、任意の期間中に車両２のセンサ２３によって検出された検出値及び同期間中にＥＣＵ１１から制御機器２２へ送信された制御指令値に基づいて、本学習用データセットを生成する。データセット生成部１４３は、機械学習の学習条件が成立した後に取得された検出値及び制御指令値に基づいて本学習用データセットを生成する。或いは、データセット生成部１４３は、機械学習の学習条件が成立する前から検出値及び制御指令値を記憶装置１３に格納しておいて、機械学習の学習条件が成立した後に格納されていた検出値及び制御指令値に基づいて本学習用データセットを生成してもよい。また、データセット生成部１４３は、検出値及び制御指令値に前処理（正規化、標準化等）を行って本学習用データセットを生成してもよい。生成された本学習用データセットは、ＥＣＵ１１の記憶装置１３に記憶される。

本学習用データセットが生成されると、プロセッサ３３の本学習部１４５は、図６を参照して説明した機械学習モデルの本機械学習を行う（ステップＳ１３）。本学習部１４５は、通常の機械学習においては、本機械学習を行うにあたって、モデルパラメータの初期値として、車両２の制御部１４１で用いられている機械学習モデルの現在のモデルパラメータの値を用いる。本学習部１４５は、データセット生成部１４３によって生成された本学習用データセットを用いて、機械学習モデルを構成する全てのモデルパラメータについて本機械学習を行う。

本学習部１４５によって機械学習モデルの本機械学習が完了すると、車両２のモデル更新部１４６は制御部１４１で用いられる機械学習モデルを構成するモデルパラメータの値を、本機械学習によって得られた値に更新する（ステップＳ１４）。その後、制御部１４１は、更新されたモデルパラメータの値を用いた機械学習モデルに基づいて制御機器２２の制御を行う。

図１０は、機械学習システム１よって行われる異常時の機械学習における、学習処理の動作シーケンス図である。したがって、図１０に示した学習処理は、車両２の機械学習モデルの一部の入力パラメータの値に異常が生じていて機械学習モデルを実質的に再構築することが必要な場合などに実行される。

車両２の学習条件成否判定部１４２は、定期的に、車両２の機械学習モデルの学習条件が成立しているか否かを判定する（ステップＳ２１）。異常時の機械学習は、例えば、機械学習モデルの入力パラメータとして指令値が用いられる制御機器２２や、機械学習モデルの入力パラメータの値を検出するセンサ２３に何らかの異常が生じているような場合に行われる。したがって、学習条件成否判定部１４２は、斯かる制御機器２２やセンサ２３に異常が生じている場合に、異常時の機械学習の学習条件が成立したと判定する。具体的には、例えば、自己診断機能（On-board diagnosis）により斯かる制御機器２２やセンサ２３に異常が生じていると判定された場合に、異常時の機械学習の学習条件が成立する。

学習条件成否判定部１４２によって異常時の機械学習の学習条件が成立したと判定されると、車両２のデータセット生成部１４３は、ステップＳ１２と同様に本学習用データセットを作成し、加えて事前学習用データセットを生成する（ステップＳ２２）。事前学習用データセットは、任意の期間中に車両２のセンサ２３によって検出された値又は同期間中にＥＣＵ１１から制御機器２２へ送信された制御指令値に基づいて、データセット生成部１４３によって生成される。生成された両データセットは、ＥＣＵ１１の記憶装置１３に記憶される。

事前学習用データセットが生成されると、車両２の要求量算出部１４４が、サーバ３の事前学習部３３１において行われるべき事前学習の要求量を算出する（ステップＳ２３）。事前学習用データセットの生成が開始された後であれば、事前学習用データセットの生成が完了していなくても、要求量算出部１４４は、事前学習の要求量を算出してもよい。

ここで、上述したように、サーバ３の事前学習部３３１は、第１層のモデルパラメータの値のみを事前学習することもできるし、第１層から第２層以降の任意の層のまでのモデルパラメータの値を事前学習することもできる。そして、事前学習される層の数が多くなるほどサーバ３における演算負荷が高くなる。その一方で、事前学習される層の数が多くなるほどモデルパラメータの初期値が適切な値になっていることから、本機械学習においてモデルパラメータの値が早期に収束し易くなる。したがって、車両２での本機械学習における演算負荷が低くなる。

車両２のＥＣＵ１１のプロセッサ１４は、機械学習モデルの機械学習のみならず、内燃機関や電動機の制御などの他の演算処理にも用いられる。したがって、機械学習モデルの本機械学習を行うにあたって、車両２のプロセッサ１４の演算負荷が高くなっているような場合がある。このような場合に、車両２のプロセッサ１４に、モデルパラメータの値の収束に時間のかかる本機械学習を行わせると、演算負荷が高い状態が続き、車両２のプロセッサ１４での演算処理の遅延や消費電力が大きくなる。

そこで、車両２の要求量算出部１４４は、車両２のプロセッサ１４における現在の演算負荷を公知の方法で算出すると共に、算出された演算負荷に応じて、サーバ３で行われる事前学習への要求量を決定する。算出されたプロセッサ１４の現在の演算負荷と事前学習の要求量との関係は予め決められており、算出された演算負荷が高いほど、事前学習の要求量が大きく設定される。

データセット生成部１４３によって事前学習用データセットが生成され且つ要求量算出部１４４によって要求量が算出されると、車両２の車両側送信部１４７は、車外通信モジュール２１を介して、事前学習用データセット及び事前学習の要求量をサーバ３へ送信する（ステップＳ２４）。

サーバ３のサーバ側受信部３３３が車両２から外部通信モジュール３１を介して事前学習用データセット及び事前学習の要求量を受信すると、サーバ３の事前学習部３３１は図７及び図８を参照して説明した機械学習モデルの事前学習を行う（ステップＳ２５）。事前学習部３３１は、車両２から送信された事前学習用データセットを用いて事前学習を行い、機械学習モデルを構成するモデルパラメータのうちの一部の値を出力する。

事前学習部３３１は、上述したようなオートエンコーダモデルを用いて、事前学習を行う。本実施形態では、事前学習部３３１は、事前学習の要求量に基づいて、オートエンコーダモデルを用いて事前学習される層の数を変更する。換言すると、事前学習部３３１は、事前学習の要求量に基づいて、事前学習されるモデルパラメータの数を変更する。具体的には、事前学習部３３１は、事前学習の要求量が多いほど、オートエンコーダモデルを用いて事前学習される層の数を多くし、したがって機械学習モデルのモデルパラメータのうち事前学習されるモデルパラメータの数を多くする。したがって、事前学習部３３１は、事前学習の要求量が小さいときには、例えば、第１層のモデルパラメータの値のみの事前学習を行う。一方、事前学習部３３１は、事前学習の要求量が大きいときには、例えば、多数の層のモデルパラメータの値の事前学習を行う。

なお、事前学習部３３１は、事前学習の要求量に基づいて、事前学習される層の数以外の学習条件を変更してもよい。例えば、事前学習部３３１は、事前学習の要求量に応じて、事前学習における更新回数（イテレーションの回数）を変更してもよい。基本的には事前学習における更新回数が増えるほど、モデルパラメータの値が適切な値に収束するものの、事前学習部３３１における演算負荷が増大する。この場合、事前学習部３３１は、事前学習の要求量が大きいほど事前学習における更新回数が増大される。

事前学習部３３１での事前学習が完了すると、サーバ３のサーバ側送信部３３２は、外部通信モジュール３１を介して、事前学習部３３１による事前学習によって得られたモデルパラメータの値を車両２に送信する（ステップＳ２６）。

車両２の車両側受信部１４８がサーバ３から事前学習によって得られたモデルパラメータの値を受信し且つデータセット生成部１４３による本学習用データセットの生成が完了うると、車両２の本学習部１４５は、図６を参照して説明した機械学習モデルの本機械学習を行う（ステップＳ２７）。本学習部１４５は、異常時の機械学習においては、機械学習モデルの本機械学習を行うにあたって、一部のモデルパラメータの初期値として、事前学習によって得られたモデルパラメータの値を用いる。また、本学習部１４５は、残りのモデルパラメータの初期値として、Ｘａｖｉｅｒの初期値やＨｅの初期値といった任意の公知の初期値を用いる。或いは、本学習部１４５は、残りのモデルパラメータの初期値として、車両２の機械学習モデルの対応するモデルパラメータの現在の値を用いてもよい。本学習部１４５は、本学習用データセットを用いて、機械学習モデルを構成する全てのモデルパラメータについて本機械学習を行う。

本学習部１４５によって機械学習モデルの本機械学習が完了すると、車両２のモデル更新部１４６は、ステップＳ１４と同様に、制御部１４１で用いられる機械学習モデルを構成するモデルパラメータの値を、本機械学習によって得られた値に更新する（ステップＳ２８）。その後、制御部１４１は、更新されたモデルパラメータの値を用いた機械学習モデルに基づいて制御機器２２の制御を行う。

＜効果及び変形例＞
上記実施形態に係る機械学習システムによれば、センサ２３の故障などによって入力パラメータの値に異常が生じて機械学習モデルを実質的に再構築することが必要な場合に、最初にサーバ３において事前学習が行われ、その後、事前学習されたモデルパラメータの値を初期値として車両２において本機械学習が行われる。サーバ３において事前学習をしておくことによって、本機械学習にてモデルパラメータの値が早期に収束し易くなり、よって車両２における演算負荷を低減することができる。

特に、上記実施形態では、車両２における現在の演算負荷が高いほど事前学習されるモデルパラメータの数が多くなり、よってその車両２の機械学習モデルのモデルパラメータの値を本機械学習するのに必要な演算負荷が低くなる。これにより、車両２における演算負荷が過剰の増大することが抑制される。

なお、上記実施形態では、事前学習部３３１は、車両２からの要求量に基づいて事前学習されるモデルパラメータの数を変更している。しかしながら、事前学習部３３１は、常に一定数のモデルパラメータの値を事前学習してもよい。この場合には、車両２はサーバ３に事前学習の要求量を送信する必要はなく、図１０のステップＳ２４では車両２からサーバ３へ事前学習用データセットのみが送付される。

また、上記実施形態では、異常時の機械学習を行う際には、サーバ３にて必ず事前学習が行われている。しかしながら、例えば車両２における現在の演算負荷が極めて低いような場合には、サーバ３にて事前学習を行わなくてもよい。この場合、車両２は、図９に示した通常時の機械学習と同様の手順で機械学習モデルのモデルパラメータの値の本機関学習を行う。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。

１ 機械学習システム
２ 車両
３ サーバ
１１ ＥＣＵ
１３ 記憶装置
１４ プロセッサ
２２ 制御機器
２３ センサ
３２ 記憶装置
３３ プロセッサ

Claims (1)

1. 搭載された機器を制御するのに用いられる機械学習モデルを有する車両と、該車両と通信可能なサーバとを備え、前記車両にて前記機械学習モデルを構成するモデルパラメータの値を機械学習する、機械学習システムであって、
   前記サーバは、
   前記車両から送信された前記機械学習モデルの入力パラメータの実測値を含む事前学習用データセットに基づいて、前記モデルパラメータのうちの一部の値を事前学習する事前学習部と、
   前記事前学習が完了した後に、前記事前学習されたモデルパラメータの値を前記車両に送信するサーバ側送信部と、を備え、
   前記車両は、
   前記サーバから受信した前記事前学習されたモデルパラメータの値と、前記機械学習モデルの入力パラメータ及び出力パラメータの実測値を含む本学習用データセットとを用いて、前記事前学習とは異なる手法で前記機械学習モデルを構成する全てのモデルパラメータの値を本機械学習する本学習部と、
   前記本機械学習された前記モデルパラメータの値を使用した機械学習モデルを用いて前記機器を制御する制御部とを備える、機械学習システム。

Images