JP2012014617A

JP2012014617A - ニューラルネットワーク学習装置

Info

Publication number: JP2012014617A
Application number: JP2010152898A
Authority: JP
Inventors: Koichi Nakajima; 幸一中島; Osamu Takizawa; 治滝沢
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-07-05
Filing date: 2010-07-05
Publication date: 2012-01-19
Anticipated expiration: 2030-07-05
Also published as: JP5467951B2

Abstract

【課題】入力状態の変化前及び変化後のいずれ状態であっても、出力を精度の高いものにするニューラルネットワーク学習装置を提供すること。
【解決手段】ニューラルネットワーク学習装置１は、第一状態下に関する入力パラメータベクトルｕに基づきＭ個の結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）の学習を行い、学習完了したニューラルネットワークに新たにＮ個のニューロンＮ_ｉ（ｉ＝ａ１〜ａＮ）を追加すると共に追加されたＮ個の結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を行う。この追加の学習を行う際には、学習完了したＭ個の結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）を固定すると共に、少なくとも第一状態と異なる第二状態下に関する入力パラメータベクトルｕに基づきＮ個の結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を行う。
【選択図】図３

Description

本発明は、ニューラルネットワーク学習装置に関する。特に、最初の学習後に新たにニューロンを追加して学習するニューラルネットワーク学習装置に関する。

内燃機関やその排気浄化システムなどを制御対象とした制御装置では、制御対象の状態に応じて変化する様々な物理量を検出するため、複数のセンサが用いられる。しかしながら物理量の中には、原理的にセンサで検出できないものや、検出精度、耐久性、コストなどの理由からセンサを用いて直に検出することが好ましくないものがある。

このような物理量に対しては、ニューラルネットワーク（例えば、特許文献１参照）に基づいて物理量を推定する技術が提案されている。ニューラルネットワークの一種である多層パーセプトロン型は、入力層、中間層、出力層の３層で構成される。このニューラルネットワークでは、取り出される出力が推定の対象となる物理量に一致するように入力と出力との関係を学習させておくことにより、入力パラメータに応じて物理量を推定することができる。

特許３５８４６６９号公報

しかしながら、特許文献１のニューラルネットワークでは、各層を結ぶシナプスの結合係数が最適化されるように更新されるが、全てのシナプスの結合係数が更新されていくため、入力状態が変化した場合に変化前の入力状態について物理量を推定させると精度が低くなるという課題がある。

本発明は、変化前の入力状態におけるニューラルネットワークの学習が完了した後に新たにニューロンを追加して学習することにより、入力状態の変化前及び変化後のいずれの状態であっても、出力を精度の高いものにするニューラルネットワーク学習装置を提供することを目的とする。

上記目的を達成するため本発明は、ニューラルネットワークによる学習モデルと、第一状態下に関する入力パラメータに基づき前記学習モデルにおける第一特性パラメータの学習を行う第一学習手段と、前記第一学習手段により学習完了した学習モデルに新たにニューロンを追加すると共に第二特性パラメータの学習を行う第二学習手段と、を備えることを特徴とするニューラルネットワーク学習装置を提供する。前記第二学習手段は、前記第一学習手段により学習完了した前記第一特性パラメータを固定すると共に、少なくとも前記第一状態と異なる第二状態下に関する入力パラメータに基づき前記第二特性パラメータの学習を行う。

この発明によれば、第二学習手段は、学習完了した第一特性パラメータを固定して、少なくとも第一状態と異なる第二状態下に関する入力パラメータに基づき第二特性パラメータの学習を行う。これにより、第一状態においての学習モデルの出力の精度を保ったまま第二状態における第二特性パラメータの学習を行うことができるので、第一状態及び第二状態のいずれの状態であっても、学習モデルの出力を精度の高いものにすることが可能となる。

この場合、前記学習モデルは、内燃機関に備えられており、前記第一状態は、内燃機関の第一運転状態であり、前記第二状態は、前記第一運転状態とは異なる第二運転状態であり、前記第一学習手段は、第一運転状態を示す入力パラメータに基づき学習を行い、前記第二学習手段は、前記第一運転状態及び前記第二運転状態の両方の入力パラメータに基づき学習を行うことが好ましい。

この発明によれば、第二学習手段は、第一学習手段で学習した第一特性パラメータを固定すると共に、第一運転状態及び第二運転状態の両方の入力パラメータに基づき第二特性パラメータの学習を行うので、第一運転状態の入力パラメータに対して精度の高い出力を保ちつつ、第二運転状態の入力パラメータに対しても精度の高い出力を得られるように追加された特性パラメータを学習することが可能となる。

この場合、前記学習モデルは、内燃機関に備えられており、前記第一状態は、内燃機関の経年変化における初期状態であり、前記第二状態は、前記初期状態からの経年変化後の状態であり、前記第一学習手段は、前記初期状態を示す入力パラメータに基づき学習を行うと共に、前記第二学習手段は、少なくとも前記経年変化後の状態の入力パラメータに基づき学習を行うことが好ましい。

この発明によれば、第二学習手段は、第一学習手段で学習した第一特性パラメータを固定すると共に、少なくとも経年変化後の状態の入力パラメータに基づき第二特性パラメータの学習を行うので、第一学習手段による学習モデルによる出力を利用しつつ追加された第二特性パラメータの学習を行うことととなり、第一学習手段による学習モデルによる出力を利用しない場合よりも追加された第二特性パラメータの学習を早くかつ高精度に行うことができる。
また、内燃機関の経年変化に応じて学習モデルが追加学習されるので、経年変化による学習モデルの出力の精度低下を抑制することが可能となる。

この場合、所定の通信手段を介して前記第二学習手段による学習に使用するデータを受信する受信手段を備え、前記第二学習手段は、前記受信手段が受信したデータを使用してオンボードにて学習を行うことが好ましい。

この発明によれば、オンボードでの学習に際して、第二学習手段による学習に使用するデータを所定の通信手段を介して受信することができるので、第二学習手段による学習に使用するデータがオンボード上で取得できない場合であっても追加された特性パラメータの学習を行うことができる。

本発明の一実施形態に係るニューラルネットワーク学習装置１の構成を示す模式図である。２次元平面上に配列されたＭ個のノードを示す図である。新たにニューロンを追加したニューラルネットワーク学習装置１の構成を示す模式図である。アイドル状態と加速状態の両状態についてフィードＮＯｘ量を推定するニューラルネットワークを構築するフローチャートである。エンジンの劣化後の状態についてＬＡＦセンサ値を推定するニューラルネットワークを構築するフローチャートである。

以下、本発明の一実施形態を、図面を参照して説明する。
図１は、本実施形態に係るニューラルネットワーク学習装置１の構成を示す図である。
ニューラルネットワーク学習装置１は、入力パラメータベクトルｕに対して、この入力パラメータベクトルｕに応じた出力ｙを出力するニューラルネットワーク２を備える。このニューラルネットワーク２の入力パラメータベクトルｕの成分は、図示しないエンジン、又は、エンジンの吸排気系あるいは燃焼室における各種センサの検出値に基づいて構成されている。そして、このニューラルネットワーク２は、入力パラメータベクトルｕに対する出力ｙが、上記エンジン及びその吸排気系や燃焼室における所定の物理量に一致するように学習されている。なお、ニューラルネットワーク学習装置１はエンジンに搭載されている。

ニューラルネットワーク２は、入力層、中間層、出力層の３つの層で構成される。入力パラメータベクトルｕは、下記式（１）に示すように、Ｎ個の成分（ｕ_１，…，ｕ_Ｎ）で構成されたＮ次元ベクトルである。各成分（ｕ_１，…，ｕ_Ｎ）には、例えば、エンジン回転数、燃料噴射量、燃料噴射時期、吸入空気量、空燃比、排気温度、過給圧などのエンジン及びその吸排気系の状態を示すパラメータが入力される。
入力層に入力された入力パラメータベクトルｕのＮ個の成分は、それぞれ、中間層を構成するＭ個のニューロンＮ１，…，ＮＭに入力される。

中間層を構成するニューロンＮｉ（ｉ＝１〜Ｍ）は、各々に設定された動径基底関数ｈ_ｉに従った値を出力層へ出力する。動径基底関数ｈ_ｉとは、入力パラメータベクトルｕの成分（ｕ_１，…，ｕ_Ｎ）を基底としたＮ次元の空間内に配置された関数であり、各々に設定された中心位置ベクトルｔ_ｉからのユークリッド距離に依存する。本実施形態では、各ニューロンＮｉの動径基底関数ｈ_ｉを、下記式（２）に示すような中心位置ベクトルｔ_ｉを中心としたＮ次元のガウス関数で定義する。ここで、下記式（２）において、σ_ｉは、動径基底関数ｈ_ｉの中心位置ベクトルｔ_ｉからの広がりを示すものであり、以下では基底関数設定パラメータという。

出力層は、下記式（３）に示すように、各ニューロンＮｉ（ｉ＝１〜Ｍ）の出力ｈ_ｉ（ｕ；ｔ_ｉ）の線形結合とオフセット値Ｗ_０との和を、出力ｙとして出力する。ここで、Ｗ_ｉ（ｉ＝１，…，Ｍ）は、中間層のｉ番目のニューロンと出力層との間の結合荷重を示す。

次に、ニューラルネットワーク２の学習は、Ｎ次元の入力ベクトル空間内におけるＭ個のニューロンの中心位置ベクトルｔ_ｉ（ｉ＝１〜Ｍ）を決定する工程と、結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）、オフセット値Ｗ_０、及び基底関数設定パラメータσ_ｉ（ｉ＝１〜Ｍ）を決定する工程との２つの工程で構成される。以下、これら工程について順に説明する。

先ず、学習を行うにあたり、下記式（４）に示すようなＰ個の学習データを準備する。ベクトルＸ_ｋは、入力ベクトルｕに対応した入力データベクトルである。Ｙ_ｋは、入力データベクトルＸ_ｋに対する出力として要求される出力データである。なお、この学習データ｛Ｘ_ｋ，Ｙ_ｋ｝は、内燃機関の過渡運転時に取得されたデータなどが用いられる。

＜中心位置決定工程＞
ニューロンＮｉの中心位置ベクトルｔ_ｉは、自己組織的なクラスタリング手法により決定することが好ましい。以下では、その一例として自己組織化マップ（ＳＯＭ（ＳｅｌｆＯｒｇａｎｉｚｉｎｇＭａｐｓ））を用いて決定する例について説明する。なお、この中心位置ベクトルｔ_ｉの決定では、上記式（４）の学習データのうち、入力データベクトルＸ_ｋ（ｋ＝１〜Ｐ）のみを使用する。

先ず、図２に示すように２次元平面上に配列されたＭ個のノードＮＤｉ（ｉ＝１〜Ｍ）のそれぞれに割り当てられたＮ次元の参照ベクトルｍ_ｉ（ｉ＝１〜Ｍ）に対し、適当な初期値を割り当てる（下記式（５）参照）。ここで、“ｔ”は、後述のＳＴＥＰ１からＳＴＥＰ４を繰り返した回数を示す離散時間である。すなわち、ここで準備したＭ個のＮ次元参照ベクトルの初期値ｍ_ｉ（ｔ＝０）に対し、以下のＳＴＥＰ１〜４を繰り返し施すことで最終的に得られた参照ベクトルｍ_ｉを、各ニューロンＮｉの中心位置ベクトルｔ_ｉとして決定する。なお、これら参照ベクトルｍ_ｉの初期値は、例えば乱数で決定してもよい。

ＳＴＥＰ１では、準備したＰ個の入力データベクトルのうちの１つＸ_ｋを選択する。
ＳＴＥＰ２では、下記式（６）に示すように、Ｍ個の参照ベクトルｍ_ｉ（ｉ＝１〜Ｍ）のうち、上記選択したＮ次元入力データベクトルＸ_ｋとのＮ次元ユークリッド距離が最小となる参照ベクトルｍ_Ｃ（以下、「勝者ベクトル」という）を有するノードＮＤＣを選択する。

ＳＴＥＰ３では、ＳＴＥＰ２で選択したノードＮＤＣに付随した勝者ベクトルｍ_Ｃと、このノードＮＤＣの近傍のノードＮＤｉに付随した参照ベクトルｍ_ｉとを、それぞれ、下記式（７）に従って更新する。下記式（７）において、ｈ_ｃｉ（ｔ）は、ノードが配列された２次元平面内のノードＮＤＣの近傍においてのみ有意な値を持つ近傍関数であり、例えば、下記式（８）に示すようなガウス関数が用いられる。
また、下記式（８）において、ベクトルｒ_Ｃは、ノードＮＤＣの２次元平面上での位置ベクトルを示し、ベクトルｒ_ｉは、ｉ番目のノードＮＤｉの２次元平面上での位置ベクトルを示す。

上記式（８）において、α（ｔ）は、学習率係数であり、０から１の間に設定される。また、この学習率係数α（ｔ）は、時間ｔの減少関数として設定される。また、上記式（８）において、σ（ｔ）は、近傍関数の広がりを示すパラメータであり、学習率係数α（ｔ）と同じように、時間ｔの減少関数として設定される。

上記式（７）により、ノードＮＤＣに付随した勝者ベクトルｍ_Ｃと、このノードＮＤＣの近傍のノードＮＤｉに付随した参照ベクトルｍ_ｉは、Ｎ次元の入力パラメータ空間内において、上記ＳＴＥＰ１で選択した入力データベクトルＸ_ｋ側に引き寄せられるように、その位置が更新される。

なお、ＳＴＥＰ３では、上記式（７）及び（８）のように、近傍関数ｈ_ｃｉ（ｔ）を乗算することで、ノードＮＤＣ近傍のノードＮＤｉに付随した参照ベクトルｍ_ｉを更新する代わりに、ノードＮＤＣの近傍の集合Ｎ_Ｃ（ｔ）を定義し、下記式（９）に示すように、この集合Ｎ_Ｃ（ｔ）に属するノードＮＤｉの参照ベクトルｍ_ｉのみ、その位置を更新するようにしてもよい（図２参照）。この場合、集合Ｎ_Ｃ（ｔ）は、図２に示すように時間ｔが進むにつれて小さくなるように設定される。

ＳＴＥＰ４では、準備したＰ個の入力データベクトルのうち、上記ＳＴＥＰ２，３を実行していないものを選択し、ＳＴＥＰ２に移る。そして、準備したＰ個の入力データベクトルの全てに対し、上記ＳＴＥＰ２，３を実行した場合には、時刻ｔを更新（ｔ→ｔ＋１）し、再びＳＴＥＰ１から実行する。

以上のＳＴＥＰ１〜４は、参照ベクトルｍ_ｉの位置が概ね収束する程度に繰り返すか、あるいは、所定の評価関数により完了が判定されるまで、繰り返し実行する。以上のようにして、ＳＴＥＰ１〜４を繰り返し実行することで最終的に得られた参照ベクトルｍ_ｉ（ｉ＝１〜Ｍ）を、各動径基底関数ｈ_ｉ（ｕ；ｔ_ｉ）の中心位置ベクトルｔ_ｉとして採用する。

＜パラメータ学習工程＞
以上のようにして中心位置ベクトルｔ_ｉを決定した後、各ニューロンの結合荷重Ｗ_ｉ、Ｗ_０は、準備した学習データ（上記式（４）参照）に基づいて、例えば、最小２乗法により決定することができる。すなわち、下記式（１０）に示すような学習データの出力データＹ_ｋと出力ｙ（Ｘ_ｋ）の誤差の二乗和Ｊが最小になるようなＷ_ｉ、Ｗ_０を探索する。

また、各ニューロンの基底関数設定パラメータσ_ｉは、例えば、ニューロンによらず全て同じ固定値σが用いられる。この場合、固定値σは、実験値との比較に基づいて、例えば手動で決定することができる。

図３は、新たにニューロンを追加したニューラルネットワーク学習装置１の構成を示す図である。

図３によれば、図１に示した各ニューロンの結合荷重Ｗ_ｉ、Ｗ_０（ｉ＝１〜Ｍ）が学習完了となった後、新たにＮ個のニューロンＮ_ｉ（ｉ＝ａ１〜ａＮ）が追加されている。本実施形態では、学習完了となった結合荷重Ｗ_ｉ、Ｗ_０（ｉ＝１〜Ｍ）の値を固定して、新たに追加されたＮ個のニューロンＮ_ｉ（ｉ＝ａ１〜ａＮ）に各々対応する結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）及びオフセット値Ｗ_ａ０の学習を行う。

＜実施例１＞
以下、上記実施形態のニューラルネットワーク学習装置を、エンジンから排出されるＮＯｘ（フィードＮＯｘ）の量の推定に適用した例を実施例１として説明する。

フィードＮＯｘ量を推定するニューラルネットワークを構築するには、すなわちニューラルネットワークの出力ｙ（ｕ）をエンジンのフィードＮＯｘ量に一致させるためには、入力パラメータベクトルｕの成分には、エンジン回転数（ｕ_１）、燃料噴射量（ｕ_２）、λ値（ｕ_３）、過給圧（ｕ_４）、排気温度（ｕ_５）、吸入空気量（ｕ_６）の６つのパラメータを含めることが好ましい。本実施形態では、フィードＮＯｘ量が計測可能なセンサであるＮＯｘセンサを用いてフィードＮＯｘ量を計測する。なお、ＮＯｘセンサはエンジンに搭載されている。

図４は、アイドル状態と加速状態の両状態についてフィードＮＯｘ量を推定するニューラルネットワークを構築するフローチャートである。

ステップＳ１では、ニューラルネットワーク学習装置１が備えるＣＰＵ（図示せず）（以下、「ＣＰＵ」とする）は、初期のニューロン数を決定する。ここで、決定されたニューロン数がＭ個の場合、ＣＰＵは、図１に示すようなＭ個のニューロンＮ_ｉ（ｉ＝１〜Ｍ）を有するニューラルネットワークを構築する。

ステップＳ２では、ＣＰＵは、アイドル状態の入力パラメータでニューラルネットワークを学習する。なお、アイドル状態とは、エンジンが回転中であるが車両が停止中である状態のことをいう。このステップＳ２では、アイドル状態の入力パラメータベクトルｕ、学習データのうちの出力データ（フィードＮＯｘ量）及びニューラルネットワークの出力ｙ（ｕ）に基づいて上記手順によりニューラルネットワークを構築して、結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）及びオフセット値Ｗ_０の学習を最適化できるまで行う。

ステップＳ３では、ＣＰＵは、追加するニューロン数を決定する。ここで、決定されたニューロン数がＮ個の場合、ＣＰＵは、Ｎ個のニューロンＮ_ｉ（ｉ＝ａ１〜ａＮ）を、図１に示すようなＭ個のニューロンＮ_ｉ（ｉ＝１〜Ｍ）を有するニューラルネットワークに追加して図３に示すようなニューラルネットワークを構築する。

ステップＳ４では、ＣＰＵは、アイドル状態及び加速状態の両方の入力パラメータでニューラルネットワークを学習する。このステップＳ４では、アイドル状態及び加速状態の入力パラメータベクトルｕ、学習データのうちの出力データ（フィードＮＯｘ量）及びニューラルネットワークの出力ｙ（ｕ）に基づいて上記手順によりニューラルネットワークを構築して、結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）及びオフセット値Ｗ_ａ０の学習を最適化できるまで行う。さらに、ステップＳ２で学習した結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）及びオフセット値Ｗ_０の値は固定したまま学習を行う。

＜実施例２＞
以下、上記実施形態のニューラルネットワーク学習装置を、エンジンの排気ガスの空燃比（λ）の実測値（ＬＡＦセンサ値）の推定をオンボード上で行うことに適用した例を実施例２として説明する。
本実施例２においてオンボード上でＬＡＦセンサ値を推定することにより、経年変化によるエンジンの劣化判定を行うことができると共に、劣化後の状態におけるＬＡＦセンサ値の推定精度が上がるように燃料噴射量を調整し、調整された燃料噴射量を補正後の燃料噴射量として燃料噴射量制御に用いることができる。

ＬＡＦセンサ値を推定するニューラルネットワークを構築するには、すなわちニューラルネットワークの出力ｙ（ｕ）をＬＡＦセンサ値に一致させるためには、入力パラメータベクトルｕの成分には、エンジン回転数（ｕ_１）、燃料噴射量（ｕ_２）、過給圧（ｕ_３）、排気温度（ｕ_４）、吸入空気量（ｕ_５）の５つのパラメータのいずれかを用いることが好ましい。本実施形態では、エンジンの排気ガスの空燃比が計測可能なセンサであるＬＡＦセンサを用いてＬＡＦセンサ値を計測する。なお、ＬＡＦセンサはエンジンに搭載されている。

図５は、エンジンの劣化後の状態についてＬＡＦセンサ値を推定するニューラルネットワークを構築するフローチャートである。

ステップＳ１１では、ＣＰＵは、初期のニューロン数を決定する。ここで、決定されたニューロン数がＭ個の場合、ＣＰＵは、図１に示すようなＭ個のニューロンＮ_ｉ（ｉ＝１〜Ｍ）を有するニューラルネットワークを構築する。

ステップＳ１２では、ＣＰＵは、経年変化の初期状態の入力パラメータでニューラルネットワークを学習する。なお、経年変化の初期状態とは、車両がユーザーに購入された時の状態のことである。このステップＳ１２では、初期状態の入力パラメータベクトルｕ、学習データのうちの出力データ（ＬＡＦセンサ値）及びニューラルネットワークの出力ｙ（ｕ）に基づいて上記手順によりニューラルネットワークを構築して、結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）及びオフセット値Ｗ_０の学習を最適化できるまで行う。

さらに、このステップＳ１２の処理によって学習された結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）及びオフセット値Ｗ_０を有するように構築されたニューラルネットワークをオンボード化する。

ステップＳ１３では、ＣＰＵは、ＬＡＦセンサ値の推定値と実測値との差分を算出する。具体的には、ステップＳ１２で学習されてオンボード化されたニューラルネットワークを用いて、経年変化後の入力パラメータベクトルｕに基づく出力であるＬＡＦセンサ値の推定値と、ＬＡＦセンサ値の実測値との差分を算出する。

ステップＳ１４では、ＣＰＵは、算出した差分が閾値を超えたか否かを判断する。この判断がＹＥＳの場合、エンジンが劣化したと判断してステップＳ１５の処理を行う。一方、ＮＯの場合、ステップＳ１３の処理を行う。

ステップＳ１５では、ＣＰＵは、劣化後の状態のＬＡＦセンサ値と入力パラメータを収集する。具体的には、ステップＳ１４で劣化したと判断された時点でのＬＡＦセンサ値と入力パラメータベクトルｕを収集する。この際、ＣＰＵは、後述するステップＳ１７における学習に十分なデータが揃ったか否かを判定し、揃ったと判定した場合には、ステップＳ１６に移り、揃ったと判定しない場合には、ステップＳ１５の処理を繰り返す。

ステップＳ１６では、ＣＰＵは、追加するニューロン数を決定する。ここで、決定されたニューロン数がＮ個の場合、ＣＰＵは、Ｎ個のニューロンＮ_ｉ（ｉ＝ａ１〜ａＮ）を、図１に示すようなＭ個のニューロンＮ_ｉ（ｉ＝１〜Ｍ）を有するニューラルネットワークに追加して図３に示すようなニューラルネットワークを構築する。

ステップＳ１７では、ＣＰＵは、劣化後の状態のＬＡＦセンサ値と入力パラメータでニューラルネットワークを学習する。このステップＳ１７では、劣化後の状態の入力パラメータベクトルｕ、学習データのうちの出力データ（劣化後の状態のＬＡＦセンサ値）及びニューラルネットワークの出力ｙ（ｕ）に基づいて上記手順によりニューラルネットワークを構築して、結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）及びオフセット値Ｗ_ａ０の学習を最適化できるまで行う。さらに、ステップＳ１２で学習した結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）及びオフセット値Ｗ_０の値は固定したまま学習を行う。

ステップＳ１８では、ＣＰＵは、ステップＳ１７で学習したニューラルネットワークによる出力（ＬＡＦセンサ値の推定値）は適切か否かを判定する。ステップＳ１８の判断がＹＥＳの場合、出力は適切であると判断して図５に示したフローチャートの処理を終了する。ＮＯの場合、出力は適切でないと判断してステップＳ１７の処理を行う。

出力が適切であるか否かの判断の一例としては、ＬＡＦセンサ値の実測値と推定値との差分の大きさの値が所定の閾値より小さいか否かを判断することが挙げられる。

なお、ステップＳ１８でＮＯと判断された場合に、ステップＳ１７の処理を行い、ニューラルネットワークの再学習を行うが、この際に、１個以上のニューロンをさらに追加して再学習を行うようにしてもよい。これにより、ニューロンの数が足りないために、精度の低いＬＡＦセンサ推定値を出力してしまうことを防止することができる。
また、ニューロンを追加しても十分な推定精度が得られない場合には、劣化後の状態のＬＡＦセンサ値と入力パラメータベクトルｕを再収集するようにしてもよい。

なお、劣化後の状態でのニューラルネットワークの学習は、経年変化に応じて複数回行うようにすることもできる。この場合、ステップＳ１８の処理の終了後に、ステップＳ１３〜ステップＳ１８の処理を所定の条件を満たすまで複数回繰り返す。
ここで、例えば、劣化後のニューラルネットワークの学習が２回目の場合、初期状態で学習した結合荷重及び１回目の劣化状態で学習した結合荷重の両方を固定して、２回目の劣化状態での学習のために追加された結合荷重の学習を行う。また、３回目以降も同様に行う。

以上詳述した本実施形態によれば、以下の効果を奏する。
（１）本実施形態によれば、ＣＰＵは、Ｍ個の結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）を固定して、少なくとも第一状態と異なる第二状態下に関する入力パラメータベクトルｕに基づきＮ個の結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を行う。これにより、第一状態においてのニューラルネットワークの出力の精度を保ったまま第二状態における結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を行うことができるので、第一状態及び第二状態のいずれの状態であっても、ニューラルネットワークの出力を精度の高いものにすることが可能となる。

（２）本実施形態の実施例１によれば、ＣＰＵは、学習したＭ個の結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）を固定すると共に、アイドル状態及び加速状態の両方の入力パラメータベクトルｕに基づき学習を行うので、アイドル状態の入力パラメータベクトルｕに対して精度の高い出力を保ちつつ、加速状態の入力パラメータベクトルｕに対しても精度の高い出力を得られるように追加された結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）を学習することが可能となる。

（３）本実施形態の実施例２によれば、ＣＰＵは、学習したＭ個の結合荷重Ｗ_ｉ（ｉ＝１〜Ｍ）を固定すると共に、少なくともエンジンの劣化後の状態の入力パラメータベクトルｕに基づき学習を行うので、Ｍ個のニューロンＮ_ｉ（ｉ＝１〜Ｍ）を有するニューラルネットワークによる出力を利用しつつ追加された結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を行うことととなり、Ｍ個のニューロンＮ_ｉ（ｉ＝１〜Ｍ）を有するニューラルネットワークによる出力を利用しない場合よりも追加された結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を早くかつ高精度に行うことができる。
また、エンジンの経年変化に応じてニューラルネットワークが追加学習されるので、経年変化によるニューラルネットワークの出力の精度低下を抑制することが可能となる。

なお、上記実施形態では、エンジンの排気ガスの空燃比が計測可能なセンサとしてＬＡＦセンサを用いているが、本発明はこれに限られるものではない。例えば、Ｏ_２センサであってもよい。

また、上記実施形態では、エンジンの経年変化におけるニューラルネットワークの学習をオンボード上でＬＡＦセンサ値を取得することにより行っているが、本発明はこれに限るものではない。例えば、ＬＡＦセンサやＯ_２センサのような排気ガスの空燃比が計測可能なセンサが搭載されていない場合には、空燃比の実測値をオンボード上で取得できないことになるが、外部からのセンサ出力データをＥＣＵに取り込むことによって、エンジンの経年変化におけるニューラルネットワークの学習をオンボード上で行うようにしてもよい。ＥＣＵに取り込む具体例としては、無線通信などの通信手段を利用して空燃比の実測値を受信することなどが挙げられる。

この場合、オンボードでの学習に際して、エンジンの排気ガスの空燃比の実測値を無線通信などを介して受信することができるので、空燃比が計測可能なセンサが搭載されていない場合であっても追加された結合荷重Ｗ_ｉ（ｉ＝ａ１〜ａＮ）の学習を行うことができる。

１…ニューラルネットワーク学習装置
２…ニューラルネットワーク

Claims

ニューラルネットワークによる学習モデルと、
第一状態下に関する入力パラメータに基づき前記学習モデルにおける第一特性パラメータの学習を行う第一学習手段と、
前記第一学習手段により学習完了した学習モデルに新たにニューロンを追加すると共に第二特性パラメータの学習を行う第二学習手段と、を備え、
前記第二学習手段は、前記第一学習手段により学習完了した前記第一特性パラメータを固定すると共に、少なくとも前記第一状態と異なる第二状態下に関する入力パラメータに基づき前記第二特性パラメータの学習を行うことを特徴とするニューラルネットワーク学習装置。
前記学習モデルは、内燃機関に備えられており、
前記第一状態は、内燃機関の第一運転状態であり、
前記第二状態は、前記第一運転状態とは異なる第二運転状態であり、
前記第一学習手段は、第一運転状態を示す入力パラメータに基づき学習を行い、
前記第二学習手段は、前記第一運転状態及び前記第二運転状態の両方の入力パラメータに基づき学習を行うことを特徴とする請求項１に記載のニューラルネットワーク学習装置。
前記学習モデルは、内燃機関に備えられており、
前記第一状態は、内燃機関の経年変化における初期状態であり、
前記第二状態は、前記初期状態からの経年変化後の状態であり、
前記第一学習手段は、前記初期状態を示す入力パラメータに基づき学習を行うと共に、
前記第二学習手段は、少なくとも前記経年変化後の状態の入力パラメータに基づき学習を行うことを特徴とする請求項１に記載のニューラルネットワーク学習装置。
所定の通信手段を介して前記第二学習手段による学習に使用するデータを受信する受信手段を備え、
前記第二学習手段は、前記受信手段が受信したデータを使用してオンボードにて学習を行うことを特徴とする請求項３に記載のニューラルネットワーク学習装置。