JP2021017815A - エンジン制御装置及びそれが有するニューラルネットワークプログラム - Google Patents

エンジン制御装置及びそれが有するニューラルネットワークプログラム Download PDF

Info

Publication number
JP2021017815A
JP2021017815A JP2019132053A JP2019132053A JP2021017815A JP 2021017815 A JP2021017815 A JP 2021017815A JP 2019132053 A JP2019132053 A JP 2019132053A JP 2019132053 A JP2019132053 A JP 2019132053A JP 2021017815 A JP2021017815 A JP 2021017815A
Authority
JP
Japan
Prior art keywords
layer
time
engine
data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019132053A
Other languages
English (en)
Other versions
JP7231144B2 (ja
Inventor
徳康 安曽
Noriyasu Aso
徳康 安曽
雅俊 小川
Masatoshi Ogawa
雅俊 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Transtron Inc
Original Assignee
Transtron Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Transtron Inc filed Critical Transtron Inc
Priority to JP2019132053A priority Critical patent/JP7231144B2/ja
Priority to US16/929,793 priority patent/US11199147B2/en
Priority to EP20185927.9A priority patent/EP3767546A1/en
Publication of JP2021017815A publication Critical patent/JP2021017815A/ja
Application granted granted Critical
Publication of JP7231144B2 publication Critical patent/JP7231144B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D41/1402—Adaptive control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0002—Controlling intake air
    • F02D41/0007—Controlling intake air for control of turbo-charged or super-charged engines
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D41/1405—Neural network control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/041—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a variable is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02B—INTERNAL-COMBUSTION PISTON ENGINES; COMBUSTION ENGINES IN GENERAL
    • F02B37/00—Engines characterised by provision of pumps driven at least for part of the time by exhaust
    • F02B37/12—Control of the pumps
    • F02B37/24—Control of the pumps by using pumps or turbines with adjustable guide vanes
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D2041/141—Introducing closed-loop corrections characterised by the control or regulation method using a feed-forward control element
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D2041/1433—Introducing closed-loop corrections characterised by the control or regulation method using a model or simulation of the system
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/02—Input parameters for engine control the parameters being related to the engine
    • F02D2200/04—Engine intake system parameters
    • F02D2200/0406—Intake manifold pressure
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0025—Controlling engines characterised by use of non-liquid fuels, pluralities of fuels, or non-fuel substances added to the combustible mixtures
    • F02D41/0047—Controlling exhaust gas recirculation [EGR]
    • F02D41/0065—Specific aspects of external EGR control
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/12—Improving ICE efficiencies

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Feedback Control In General (AREA)

Abstract

【課題】ニューラルネットワークのエンジンモデルの汎化性能を向上する。【解決手段】ニューラルネットワークは、入力データに第１の重みを乗算し更に加算して第１の乗加算値を求め、第１の乗加算値を第１の活性化関数に基づいて第１の出力値を出力する第１の全結合層と、第１の時刻における複数の第１の出力値にそれぞれの第２の重みパラメータを乗算し更に加算して第２の乗加算値を求め、第２の乗加算値を第２の活性化関数に基づいて第１の時刻における複数の第２の出力値を出力する第２の全結合層と、第１の時刻より前の第２の時刻における第２の出力値を第１の時刻における第１の出力値とともに第２の全結合層に入力する再帰経路とを有する層を有し、操作量は、タービンベーン開度と、EGRのバルブ開度と、スロットルバルブ開度のいずれかの時系列データであり、第２の出力値は、新気量と、吸気圧と、窒素酸化物量のいずれかの第２の時系列データである。【選択図】図４

Description

本発明は、エンジン制御装置及びそれが有するニューラルネットワークプログラムに関する。
エンジン制御装置は、エンジンの制御量と目標制御量との差分をゼロに近づけるような操作量を算出する制御ユニットと、エンジンの状態を推定するエンジン推定部とを有する。エンジンの制御量を測定する代わりに、エンジン推定部がエンジンの制御量を推定し、推定したエンジンの制御量を制御ユニットに入力する。
エンジン推定部は、例えば、ニューラルネットワークを用いたエンジンモデルを有し、エンジンモデルが、制御ユニットにより算出された操作量とエンジンの状態データ等を入力し、エンジンの制御量を推定する。ニューラルネットワークによるエンジンモデルに対して、実際のエンジンを動作させて取得した操作量に対する制御量を有する学習データを使用して、学習が行われる。学習工程では、エンジンモデルが実際のエンジンの状態を推定できるようにニューラルネットワークの内部パラメータが調整される。
ニューラルネットワークを用いたエンジンモデルは、エンジンの制御対象の現在時刻の状態が過去の状態の影響を受けるため、エンジンへの操作量及びエンジンの状態データとして時系列データを入力する。更に、ニューラルネットワークは、時系列データに適した再帰経路を持つリカレントニューラルネットワークである。
特開２００８−１５１１１８号公報 国際公開第２０１８／１７９３２５号 特開２０１８−１７８８１０号公報 特開２００９−１６２２３１号公報 特開２０１０−７６５３６号公報
ニューラルネットワークによるモデルの予測精度を向上するためには、一般に、ニューロン数や層数を増やすことが有効である。しかし、一方で、ニューロン数や層数を増やした場合、ニューラルネットワークの自由度が増すため、訓練データに特化した学習が行われ、訓練データに対する再現性が高い過学習状態となり、モデルの汎化性能が低下する。
そこで、本実施の形態の第１の側面の目的は、汎化性能が高いエンジン制御装置及びそれが有するニューラルネットワークプログラムを提供することにある。
本実施の形態の第１の側面は、エンジンに入力される操作量を入力し前記操作量に対応するエンジンの制御量を算出するニューラルネットワークを用いたエンジンモデルと、前記算出された制御量と目標制御量との偏差を少なくするように前記操作量を算出し前記エンジンに出力する制御部とを有し、
前記ニューラルネットワークは、
前記操作量を含む複数の入力データを入力する入力層と、
前記複数の入力データにそれぞれの第１の重みパラメータを乗算し更に加算して第１の乗加算値をそれぞれ求め、それぞれの前記第１の乗加算値を第１の活性化関数に基づいて複数の第１の出力値を出力する複数の第１のニューロンを有する第１の全結合層を含む第１の中間層と、
第１の時刻における前記複数の第１の出力値にそれぞれの第２の重みパラメータを乗算し更に加算して第２の乗加算値をそれぞれ求め、それぞれの前記第２の乗加算値を第２の活性化関数に基づいて前記第１の時刻における複数の第２の出力値を出力する複数の第２のニューロンを有する第２の全結合層と、前記第１の時刻より前の第２の時刻における前記複数の第２の出力値を前記第１の時刻における第１の出力値とともに前記第２の全結合層に入力する再帰経路とを有する、第２の中間層と、
前記複数の第２の出力値を前記制御量として出力する出力層とを有し、
前記操作量の入力データは、前記エンジンの過給器のタービンベーン開度と、排気ガス再循環装置のバルブ開度と、インテークマニホールドに供給する空気量を制御するスロットルバルブ開度のうち、いずれかの第１の時系列データであり、
前記第２の出力値は、前記エンジンのインテークマニホールドの新気量と、前記インテークマニホールドの吸気圧と、排ガスの窒素酸化物量のうち、いずれかの第２の時系列データである、エンジン制御装置である。
第１の側面によれば、ニューラルネットワークによるモデルの汎化性能の低下を抑制できる。
本実施の形態におけるエンジン制御装置の構成例を示す図である。 本実施の形態のエンジン制御装置のハードウエア構成例である。 一般的なリカレントニューラルネットワークの構成例を示す図である。 第１の実施の形態におけるニューラルネットワークの構成例を示す図である。 全結合層の構成例を示す図である。 第１の実施の形態のニューラルネットワークの構成を示す図である。 図６のニューラルネットワークの第１の中間層MID_LYR_1内の遅延層DL_LYRと全結合層F_CNCT_LYRの詳細構成を示す図である。 第１の実施の形態におけるニューラルネットワークプログラムのフローチャートを示す図である。 第２の実施の形態におけるニューラルネットワークの構成例を示す図である。 図９のニューラルネットワークの第１の中間層MID_LYR_1内の遅延層DL_LYRと全結合層F_CNCT_LYRの詳細構成を示す図である。 第３の実施の形態におけるニューラルネットワークの構成例を示す図である。 第４の実施の形態におけるニューラルネットワークの構成例を示す図である。 第５の実施の形態におけるニューラルネットワークの構成例を示す図である。 チャープ信号の一例を示す図である。 APRBS信号の一例を示す図である。 世界統一試験サイクルである World. Harmonized Transient Cycle（WHTC）の運転モードの信号波形の一例を示す図である。 第１の実施例と第１の比較例のRMSEとR2の評価結果を示す図である。 第２の実施例と第２の比較例のRMSEとR2の評価結果を示す図である。
図１は、本実施の形態におけるエンジン制御装置の構成例を示す図である。エンジン制御装置１０は、エンジン１５の目標制御量DVに対応する操作量MVを算出し、エンジン１５内のアクチュエータに操作量MVを入力し対応する動作を実行させる。エンジン１５は、アクチュエータの動作に基づいて動作し、制御対象の制御量CVを制御する。
エンジンの制御量CVを実測することができない又は困難なため、エンジン制御装置１０は、エンジン推定部１１を有する。エンジン推定部１１は、ニューラルネットワークのエンジンモデル１２を有する。ニューラルネットワークのエンジンモデル１２は、操作量MVを入力し、制御対象の制御量を算出し、推定制御量SP_CVを出力する。エンジンモデルには、操作量MVに加えて、エンジンの内部状態データENG_DATA及び温度や圧力などの外部環境データENV_DATA等を入力してもよい。
そして、制御部１４が、減算器SUBが出力する目標制御量DVと推定制御量SP_CVの差分errがゼロに近づくように、操作量MVを算出する。制御部１４は、例えば、PID制御により操作量MVを算出する。目標制御量DVは、例えば、目標制御量設定部１３が、アクセルペダル１６の操作に基づいてマップ関数などで算出する。
後述する実施の形態において、上記の制御量CVは、例えば、窒素酸化物（NOx）の濃度（NOx濃度）、インテークマニホールドの新気量、前記インテークマニホールドの吸気圧などのうち、いずれかである。また、操作量MVは、例えば、過給器のタービンベーン開度と、排気ガス再循環装置（EGR）のバルブ開度と、インテークマニホールドに供給する空気量を制御するスロットルバルブ開度のうち、いずれかである。EGRバルブ開度は、エンジンの構造に対応して高圧EGRバルブ開度と低圧EGRバルブ開度を含む場合もある。
ニューラルネットワークによるエンジンモデル１２には、制御部１４が出力する操作量MVの時系列データが入力される。更に、エンジンモデルには、エンジン内部状態データENG_DATAや外部環境データENV_DATAの時系列データが入力される。
エンジンは、現在時刻の状態が過去の状態の影響を受ける。したがって、エンジンモデル１２を構成するニューラルネットワークに入力される操作量MVやエンジン内部状態データENG_DATA及び外部環境データENV_DATAは、前述のとおり時系列データである。更に、ニューラルネットワークは、入力層と出力層の間の中間層に再帰経路を有するリカレントニューラルネットワークである。再帰経路を持つ中間層には、現在時刻の状態に加えて再帰経路を持つ中間層自身が生成した過去の状態が再帰経路経由で再帰還（リカレント）され入力される。再帰経路を有することで、時間変化する入力データの特徴量を捉えたエンジンモデルを構築することができる。
図２は、本実施の形態のエンジン制御装置のハードウエア構成例である。エンジン制御装置は、ECU（電子制御ユニット）であり、プロセッサ３０と、プロセッサがアクセスするメインメモリ３２と、ストレージ３４とを有し、これらは内部のバス３９を介して通信可能に構成される。ストレージ３４には、例えば、制御部１４の例えばPID制御の演算を実行するための制御プログラム３６と、ニューラルネットワーク１２の演算を実行するためのニューラルネットワーク（NN）プログラム３８とが記憶される。これらのプログラム３６，３８がメインメモリ３２内に展開され、プロセッサ３０により実行される。
また、エンジン制御装置は、入力データを入力し出力データを出力する入出力部２０と、ネットワークを介して接続される他のECUとの通信を制御するネットワークインターフェース２２を有する。
図３は、一般的なリカレントニューラルネットワークの構成例を示す図である。リカレントニューラルネットワークは、入力データx(t)を入力する入力層IN_LYRと、出力データy(t)を出力する出力層OUT_LYRと、入力層と出力層の間に設けられた再帰経路RCを含む中間層MID_LYRとを有する。中間層MID_LYRの各ニューロンは、入力層からの入力データx(t)に重みWを乗じて合計した乗加算値を演算する。更に、各ニューロンは、乗加算値を活性化関数（図示せず）で活性化した値h(t)を出力する。パラメータとして、重みWに加えてバイアスｂが設けられてもよい。
中間層MID_LYRに設けられた再帰経路RCは、中間層の出力h(t-1)を中間層の入力側に再帰する。そして、中間層の各ニューロンは、入力層からの入力x(t)と同様に、再帰入力h(t-1)に重みUを乗じて合計した乗加算値を演算する。更に、各ニューロンは、乗加算値を活性化関数で活性化した値h(t)を出力する。中間層の出力から再帰される再帰入力h(t-1)は、中間層が過去の時刻t-1での入力層からの入力x(t-1)と、更に過去の時刻t-2での再帰出力h(1-2)と、から生成した過去の出力h(t-1)である。中間層MID_LYR及び出力層OUT_LYRは、例えば、後述する全結合層である。
中間層MID_LYRの再帰経路を持つ層の各ニューロンでの演算は、次のとおりである。
q(t) = W * x(t) + U * h(t-1) + b （１）
h(t) = f(q(t)) （２）
ここで、x(t)、q(t)、h(t)は信号のベクトル、W、Uは重みのベクトル、ｂはバイアスのベクトル、ｆは中間層の活性化関数である。
さらに、出力層OUT_LYRの各ニューロンの演算は、次のとおりである。
q(t) = V * h(t) + c （３）
y(t) = g(q(t)) （４）
ここで、q(t)、y(t)は信号のベクトル、Vは重みのベクトル、ｃはバイアスのベクトル、ｇは出力層の活性化関数である。
前述したとおり、ニューラルネットワークが再帰経路を有することで、時間変化する入力データの特徴量を捉えたエンジンモデルを構築できる。再帰経路を持つ全結合層は、現在時刻ｔと過去の時刻t-1、t-2．．．の状態に基づく特徴量を抽出する。
ニューラルネットワークによるモデルは、一般に、ネットワーク内の中間層のニューロン数や層数を増やすことで、モデルの予測精度を向上できる。しかし、ニューロン数を増やした場合、ネットワークの自由度が増し、学習工程で過学習が生じ、学習データ以外の未知のデータに対して高精度で出力を算出できる汎化性能が低下する。以下の実施の形態は、汎化性能の低下を抑制する。
［第１の実施の形態］
本発明者の知見によれば、ニューラルネットワークの入力層と再帰経路を持つ層との間に全結合層を設けると、再帰経路を持つ層を含む中間層のニューロン数や層数を増やさなくても、モデルの予測精度を向上でき、更に、汎化性能の低下を抑制できる。
図４は、第１の実施の形態におけるニューラルネットワークの構成例を示す図である。図４のニューラルネットワークは、入力データx(t)を入力する入力層IN_LYRと、出力データy(t)を入力する出力層OUT_LYRと、入力層及び出力層の間の中間層MID_LYRとを有する。そして、中間層MID_LYRは、全結合層F_CNCT_LYRを含む第１の中間層MID_LYR_1と、再帰経路を持つ層RCRT_LYRを含む第２の中間層MID_LYR_2とを有する。つまり、ニューラルネットワークは、入力層IN_LYRと再帰経路を持つ層RCRT_LYRとの間に、全結合層F_CNCT_LYRを有する。
再帰経路を持つ層RCRT_LYRは、図３で説明したとおりである。一方、全結合層F_CNCT_LYRは、入力層からの入力x(t)に重みW1を乗じて乗加算値を求め、乗加算値を活性化関数（図示せず）で活性化した値h1(t)を出力する。重みW1に加えてバイアスｂを有しても良い。
第１の実施の形態のニューラルネットワークは、例えばガソリンまたはディーゼルのエンジンのモデルである。入力層に入力される入力データx(t)は、操作量MVである高圧EGR開度、低圧EGR開度、スロットル開度、タービンベーン開度のうち、少なくとも１つを有する。入力データx(t)は、エンジン回転数などのエンジン内部状態データENG_DATA及び外部温度や圧力などの外部環境データENV_DATAを含んでも良い。
出力層から出力される出力データy(t)は、制御量CVである新気量、吸気圧、排ガスのNOx濃度のうち、少なくとも１つを有する。入力データx(t)と出力データy(t)は、いずれも時系列データである。
図５は、全結合層の構成例を示す図である。図５の左側に示したネットワーク１００は、全結合層F_CNCT_LYRと、その前段層LYR_10及び後段層LYR_11を有する。前段層LYR_10は、例えば、４つのニューロンNRを有し、それぞれのニューロンNRがデータｄの要素d1〜d4を、全結合層F_CNCT_LYRのニューロンNRにそれぞれ出力する。
全結合層の演算は、以下のとおりである。
q = w * d + b （５）
h = f(q) （６）
但し、データｄ、ｑ、ｈは、各層のニューロン数に対応する要素を有する４行または３行のベクトルであり、重みｗは３行４列のベクトル、バイアスｂは３行のベクトルである。
各ベクトルは図示のとおりであり、次のとおりである。
Figure 2021017815
上記の式（５）では、全結合層F_CNCT_LYRの例えば一番上のニューロンNRが、前段層LYR_10の４つのニューロンNRのデータd1〜d4にそれぞれの重みw11〜w14を乗じて加算した乗加算値w*dに、バイアスb1を加算して、データq1を生成する。
更に、上記の式（６）では、全結合層の一番上のニューロンNRが、式（５）で算出したデータq1を活性化関数ｆにより非線形変換または線形変換して出力データh1を出力する。
全結合層F_CNCT_LYRの他の２つのニューロンも、同様に式（５）によりデータq2、q3を算出し、式（６）により活性化関数ｆにより変換して出力データh2、h3を出力する。つまり、全結合層内のニューロンNRと前段層LYR_10の４つのニューロンNRの間のリンクLK1に対応付けられた重みｗとバイアスｂに基づいて、上記の演算が行われる。
全結合層の出力データh1〜h3は、後段層LYR_11の全ニューロンNRにリンクLK2で対応つけられ、後段層の各ニューロンが、全結合層と同様の演算を行う。後段層の演算については省略する。
ニューラルネットワークに設けられる全結合層は、学習工程で、訓練データの入力データについて上述の演算を行う。そして、出力層に算出された出力データと訓練データの正解データとの誤差が最小になるように、重みとバイアス等のパラメータの調整が行われる。それにより、全結合層は、誤差を最小にするような入力データに対する特徴を抽出する機能を有する。
図５の右側に示したネットワーク２００には、全結合層F_CNCT_LYRの簡略された表記が示される。示された全結合層の表記は、上記の式（５）の演算に対応する第１の層L1と、式（６）の演算に対応する第２の層L2とを有する。本明細書では、以下、この表記で全結合層F_CNCT_LYRが示される。
図６は、第１の実施の形態のニューラルネットワークの構成を示す図である。図６に示したニューラルネットワークは、図４のニューラルネットワークの全結合層と再帰経路を持つ層と出力層を、図５の全結合層の表記で記載されている。
したがって、図６のニューラルネットワークは、図４のニューラルネットワークと同様に、入力データx(t)を入力する入力層IN_LYRと、出力データy(t)を入力する出力層OUT_LYRと、入力層及び出力層の間の中間層MID_LYRとを有する。そして、中間層MID_LYRは、全結合層F_CNCT_LYRを含む第１の中間層MID_LYR_1と、再帰経路を持つ層RCRT_LYRを含む第２の中間層MID_LYR_2とを有する。
但し、図４と異なり、第１の中間層MID_LYR_1は、入力層IN_LYRに入力された入力データx(t)の現在時刻ｔにおけるデータx(t)と、サンプリング周期dtの間隔のτ-1個の過去のデータx(t-dt)〜x(t-(τ-1)*dt)を有する時系列データを入力する遅延層DL_LYRを有する。
そして、全結合層F_CNCT_LYRは、図５で示した表記で記載され、その活性化関数ACT_Fは、正規化線形関数（Rectified Linear Unit: ReLU）のf2である。正規化線形関数f2は、図６中に関数の式が記載されるとおり、入力ｘがゼロ以下の場合は出力０となり、入力ｘが正の場合は出力ｘとなる。この正規化線形関数f2を活性化関数に採用することで、第１の中間層MID_LYR_1は、入力と重みの乗加算値（W * x + b）がゼロ以下の場合、その出力が０になるので、不要な特徴量を除去することができる。
このように、入力層と再帰経路を持つ層との間に、例えば活性化関数が正規化線形関数ReLUを有する全結合層を設けると、全結合層の複数のニューロンがそれぞれ算出する複数のデータq1〜qnの一部がデータ０となり、入力信号の高次（ｎ次）の情報から不要な情報（データ０）が除去され、低次の情報に圧縮される。これにより、全結合層は、入力信号の特徴を抽出し、圧縮されたデータを再帰経路を持つ層に出力できる。
その結果、ニューラルネットワークは、再帰経路を持つ層のニューロン数を増やさずに、または再帰経路を持つ層の層数を増やさずに、低次の情報を処理して誤差が小さい出力データを算出することができる。更に、再帰経路を持つ層のニューロン数や層数が少ないため、ネットワークの自由度が低くなり、過学習によるニューラルネットワークの汎化性能の低下が抑制できる。
別の言葉で表現すると、全結合層の出力データが一部０として除去されるので、全結合層の一部のニューロンが無効化された状態と類似することになり、アンサンブル学習の効果と同様の効果が期待できる。
全結合層の活性化関数は、上記の正規化線形関数ReLUに類似の特性を有する関数でもよい。類似の特性を有する関数であれば、全結合層の出力データの次数を低くでき、同様の効果が期待できる。
図６のニューラルネットワークに設けられた第２の中間層MID_LYR_2内の再帰経路を持つ層RCRT_LYRは、第１、第２の層L1とL2を有する全結合層に再帰経路RCを設けた構成を有する。そして、第２の層L2の活性化関数ACT_F＝f1は、例えば双曲線正接関数（ハイパーボリックタンジェント）tanhである。再帰経路を持つ層は、現在時刻ｔの入力データに加えて、過去の時刻ｔ−１の出力データも入力に再帰されるので、再帰経路を持つ全結合層のニューロン数が通常の全結合層よりも多くなり演算負荷が大きい。しかし、本実施の形態によれば、再帰経路を持つ層RCRT_LYRのニューロン数や層数が少ないので、演算負荷はそれほど増大しない。
図６のニューラルネットワークの出力層OUT_LYRは、第１、第２の層L1とL2を有する全結合層であり、出力信号y(x)の信号数ｌ（エル）と同じ数のニューロンを有する。各ニューロンの活性化関数ACT_Fは線形関数f3＝g(x)＝xである。そのため、出力層は、第１の層L1に算出された重みとバイアスによる乗加算値を、第２の層L2がそのまま出力する。
図７は、図６のニューラルネットワークの第１の中間層MID_LYR_1内の遅延層DL_LYRと全結合層F_CNCT_LYRの詳細構成を示す図である。図６にて既述したとおり、遅延層DL_LYRは、入力層IN_LYRからのｋ個の入力データx(t) = x1(t)〜xk(t)それぞれの時系列データを入力する。それぞれの時系列データは以下の行列式に示される。
Figure 2021017815
数２によれば、入力データx(t)の１番目の入力データx1(t)は、現在時刻ｔのデータx1(t)と、サンプリング周期dtで連続τ−１個の過去のデータx1(t-dt)〜x1(t-(τ-1)*dt)とを有する時系列データである。それ以外の入力データx2(t)〜xk(t)も同様である。
制御対象のエンジンでは、操作量MVの変更に対して、エンジンの制御量CVや状態データENG_DATAが遅れて変化する。入力信号に対する遅れに対応するために、現在時刻ｔにおける入力x(t)は、サンプリング周期dtの時系列データのうち、現在時刻tでの信号x(t)と、過去の時刻t-dt〜t-(τ-1)*dtでのτ-1個の信号x(t-dt)〜x(t-(τ-1)*dt)とを考慮できるようにしている。
そして、数２に示した入力データx(t) = x1(t)〜xk(t)が、順番に遅延層DL_LYRの各ニューロンに入力されて、以下のとおりデータxdl(t)となる。
Figure 2021017815
上記には、遅延層DL_LYRの出力データxdl(t)に対する、全結合層F_CNCT_LYRの重みWdlとバイアスbdlも示される。重みとバイアスのベクトルの要素数は、信号数ｋと各信号のτ個の時系列データから、Στk＝τ1 + τ2 + … + τkである。全τiが同じであれば、要素数はτ*k個となる。
全結合層F_CNCT_LYRの各ニューロンは、前述した式（５）（６）により、以下の演算を行う。
q(t) = Wdl * [xdl(t)]T+ bdl （５’ ）
h1(t) = f2(q(t)) （６’ ）
更に、第２の中間層MID_LYR_2内の再帰経路を持つ層RCRT_LYRの各ニューロンは、前述した式（１）（２）により、以下の演算を行う。
q(t) = W2 * h1(t) + U * h2(t-dt) + b3 （１’ ）
h2(t) = f1(q(t)) （２’ ）
また、出力層OUT_LYRの各ニューロンは、前述した式（３）（４）により、以下の演算を行う。
q(t) = V * h2(t) + b4 （３’ ）
y(t) = f3(q(t)) （４’ ）
図７に示した第１の中間層MID_LYR_1に設けた全結合層F_CNCT_LYRは、それぞれがサンプリング周期dtのτ個の時系列データであるｋ個の入力データx1(t)〜xk(t)から、特徴的な時系列データh1(t)を抽出する。そして、データ量が圧縮された時系列データh1(t)が再帰経路を持つ層RCRT_LYRに入力される。それにより、再帰経路を持つ層のニューロン数や層数を大きくせずにモデルの予測精度を向上できると共に、汎化性能の低下を抑制できる。
時系列の入力データx1(t)〜xk(t)は、それぞれ考慮すべき最適なステップ数τが異なる場合がある。したがって、時系列の入力データx1(t)〜xk(t)それぞれのステップ数τkを異なる数にしてもよい。その場合、遅延層DL_LYRのニューロン数は、Στiとなる。このΣτiはτ1〜τkの累積数である。また、第１の中間層MID_LYR_1の全結合層F_CNCT_LYRのニューロン数もΣτiにしてもよいし、それ以外の任意の数ｎであってもよい。
図８は、第１の実施の形態におけるニューラルネットワークプログラムのフローチャートを示す図である。図２に示したエンジン制御装置のプロセッサ３０は、ニューラルネットワークプログラム３８を実行して、図１に示したエンジンモデルであるニューラルネットワーク１２の演算を行う。この演算は以下に説明するとおりである。
プロセッサ３０が実行する演算は、学習工程の演算と推論工程の演算を有する。学習工程において、プロセッサは、全訓練データについて処理S1〜S6を実行する。即ち、プロセッサは、まず、訓練データの入力データx(t)を入力する（S1）。これにより、入力層IN_LYRから遅延層DL_LYRに複数の時系列入力データx1(t)〜xk(t)が入力される。
次に、プロセッサは、全結合層F_CNCT_LYRの各ニューロンでの演算を実行する（S2）。演算式は、前述の式（５’ ）（６’ ）である。さらに、プロセッサは、再帰経路を持つ層RCRT_LYRの各ニューロンでの演算を実行する（S3）。演算式は、前述の式（１’ ）（２’ ）である。さらに、プロセッサは、出力層OUT_LYRの各ニューロンの演算を実行する（S4）。演算式は、前述の式（３’ ）（４’）である。以上が順伝搬処理に対応する。
そして、プロセッサは、出力層の出力データと訓練データの正解値データから誤差関数を算出し（S5）、例えば勾配法により、誤差関数を小さくするよう各層のパラメータ、重みｗやバイアスｂ，ｃを調整する（S6）。時系列データを扱うリカレントニューラルネットワークのパラメータの調整は、通時的誤差逆伝搬法により行われる。前訓練データについて学習を終了したら、推論工程に移る。
パラメータの調整演算S6では、出力層の出力データと訓練データの正解値データとの誤差を、逆伝搬して、勾配法により新たなパラメータに更新する処理でもよい。以上の処理S1〜S6を全訓練データについて行われ、学習工程の演算が終了する。
推論工程では、プロセッサは、推論対象の入力データx(t)を入力し、遅延層DL_LYRに複数の時系列の入力データx1(t)〜xk(t)を入力する（S7）。そして、プロセッサは、各層の各ニューロンでの演算を実行し（S2s）、再帰経路を持つ層の各ニューロンでの演算を実行し（S3s)、出力層の各ニューロンでの演算を実行する（S4s）。これらの演算S2s、S3s、S4sは、学習工程での演算S2、S3、S4と同じである。上記の推論での演算が、推論が終了するまで繰り返される。
［第２の実施の形態］
図９は、第２の実施の形態におけるニューラルネットワークの構成例を示す図である。図９のニューラルネットワークは、図６の第１の実施の形態と同様に、入力データx(t)を入力する入力層IN_LYRと、出力データy(t)を入力する出力層OUT_LYRと、入力層及び出力層の間の中間層MID_LYRとを有する。そして、中間層MID_LYRは、遅延層DL_LYRと全結合層F_CNCT_LYRを含む第１の中間層MID_LYR_1と、再帰経路を持つ層RCRT_LYRを含む第２の中間層MID_LYR_2とを有する。
但し、第１の実施の形態と異なり、第１の中間層MID_LYR_1は、複数の全結合層F_CNCT_1〜F_CNCT_pを有する。そして、複数の全結合層のうち最終層を除く全結合層F_CNCT_1〜F_CNCT_p-1の活性化関数ACT_Fは双曲線正接関数f1であり、最終層の全結合層F_CNCT_pの活性化関数ACT_Fは正規化線形関数（ReLU）f2である。複数の全結合層のうち少なくとも最終層がReLU関数であればよい。最終層以外の全結合層の活性化関数がReLUであってもよい。
図９，１０中には、各層のニューロンの数が括弧内に示される。
上記の通り、第２の実施の形態のニューラルネットワークは、入力層IN_LYRと再帰経路を持つ層RCRT_LYRとの間に、複数の全結合層F_CNCT_1〜F_CNCT_pを有する。これにより、複数の全結合層が、時系列データである入力データの特徴量を適切に抽出し、複数の全結合層の最終層の活性化関数ReLUにより０以下のデータが全て０に変換される。その結果、より低次に圧縮された特徴量を有する有用な情報が再帰経路を持つ層に出力される。
図１０は、図９のニューラルネットワークの第１の中間層MID_LYR_1内の遅延層DL_LYRと全結合層F_CNCT_LYRの詳細構成を示す図である。図７の第１の実施の形態と異なり、第１の中間層MID_LYR_1は、複数の全結合層F_CNCT_1〜F_CNCT_pを有する。複数の全結合層F_CNCT_1〜F_CNCT_pを除いて、第１の中間層MID_LYR_1内の遅延層DL_LYRと、第２の中間層MID_LYR_2内の再帰経路を持つ層RCRT_LYRと、出力層OUT_LYRは、図７と同じである。
第２の実施の形態において、プロセッサは、図８に示した演算を実行する。
［第３の実施の形態］
図１１は、第３の実施の形態におけるニューラルネットワークの構成例を示す図である。このニューラルネットワークは、第１、第２の実施の形態のニューラルネットワークと同様に、入力データx(t)を入力する入力層IN_LYRと、出力データy(t)を入力する出力層OUT_LYRと、入力層及び出力層の間の中間層MID_LYRとを有する。そして、中間層MID_LYRは、遅延層DL_LYRと全結合層F_CNCT_LYRを含む第１の中間層MID_LYR_1と、再帰経路を持つ層RCRT_LYRを含む第２の中間層MID_LYR_2とを有する。
但し、第１、第２の実施の形態と異なり、第２の中間層MID_LYR_2は、複数の全結合層からなる再帰経路を持つ層RCRT_1〜RCRT_pを有する。そして、複数の再帰経路を持つ層RCRT_1〜RCRT_pの最終層RCRT_pの出力h2(t-1)が開始層RCRT_1の入力に再帰経路RCを介して入力される。複数の再帰経路を持つ層RCRT_1〜RCRT_pの活性化関数ACT_Fは例えば双曲線正接関数f1である。複数の再帰経路を持つ層RCRT_1〜RCRT_pは、最終層と開始層との間に再帰経路RCを有することを除き、図５の全結合層と同様に第１の層L1と第２の層L2を有する。第３の実施の形態において、プロセッサは、図８に示した演算を実行する。
［第４の実施の形態］
図１２は、第４の実施の形態におけるニューラルネットワークの構成例を示す図である。図１２に示したニューラルネットワークは、図９の第２の実施の形態と同様に、入力データx(t)を入力する入力層IN_LYRと、出力データy(t)を入力する出力層OUT_LYRと、入力層及び出力層の間の中間層MID_LYRとを有する。そして、中間層MID_LYRは、遅延層DL_LYRと全結合層F_CNCT_LYRを含む第１の中間層MID_LYR_1と、複数の再帰経路を持つ層RCRT_LYRを含む第２の中間層MID_LYR_2とを有する。
但し、図９と異なり、第１の中間層MID_LYR_1と第２の中間層MID_LYR_2との間に、ドロップアウト層DRP_LYRを有する。ドロップアウト層のドロップアウト率は、例えば0.01％〜50%、望ましくは1%〜50%である。
プロセッサは、学習工程で、ドロップアウト層内の複数のニューロンを予め決められた割合でランダムに選択し、選択されなかったニューロンを無効化し（図中の黒丸）、選択されたニューロン（図中の白丸）によるニューラルネットワークでパラメータ更新処理を行う。つまり、無効化されたニューロンは存在しないものとして演算が行われる。プロセッサは、更新処理毎にまたはミニバッチ毎に、上記の選択を行い、無効化するニューロンを変更する。ドロップアウト率は、無効化されるニューロンの比率である。
プロセッサは、推論工程では、ドロップアウト層内の全てのニューロンを有効にして演算する。
第４の実施の形態において、プロセッサは、図８に示した演算を実行する。但し、ドロップアウト層内のニューロンの演算については、前述の通り、ランダムに無効化される。
ドロップアウト層を設けることで、学習時にニューロンの数が制限され、ニューラルネットワークの自由度を強制的に小さくし、過学習を避けることができるため、汎化性能が向上する。また、ニューロンがランダムに無効化されることで、実質的に、複数のニューラルネットワークが、それぞれ学習を行うことになり、推論時に複数のニューラルネットワークの演算結果を平均するのと同じ効果が得られ、アンサンブル学習のような効果が得られると考えられる。そのため、推論時の精度が向上することが期待される。
［第５の実施の形態］
図１３は、第５の実施の形態におけるニューラルネットワークの構成例を示す図である。図１３に示したニューラルネットワークは、図９の第２の実施の形態と異なり、第２の中間層MID_LYR_2と出力層OUT_LYRとの間に、１層のまたは複数層の全結合層F_CNCT_LYR_3を含む第３の中間層MID_LYR_3を有する。それ以外は、図９と同じである。
追加した全結合層F_CNCT_LYR_3の活性化関数ACT_Fは、例えば双曲線正接関数f1である。再帰経路を持つ層を含む第２の中間層MID_LYR_2と出力層OUT_LYRとの間に全結合層F_CNCT_LYR_3を設けることで、再帰経路を持つ層の出力データの特徴量が抽出され、推論時の精度が向上することが期待される。第５の実施の形態において、プロセッサは、図８に示した演算を実行する。
［訓練データ］
ニューラルネットワークのエンジンモデルの学習では、訓練データとして、例えば連続的に周波数成分を変化させることができるチャープ（chirp）信号と、矩形波の振幅をランダムに組合せた振幅疑似ランダムビットシーケンス（APRBS：Amplitude Pseudo-random bit sequence）信号のうち、少なくとも１つまたは両方の信号を用いる。
入力信号の時系列データは、前述したとおり、高圧EGR開度、低圧EGR開度、スロットル回度、タービンベーン開度のいずれか１つの操作量であり、計測できる場合は実測値を、またはソフトセンサのセンサ値を、または設定値を使用する。入力信号の時系列データは、前述のエンジン内の状態データとエンジン外の環境データを有しても良い。これらの入力信号も、計測できる場合は実測値を、またはソフトセンサのセンサ値を、または設定値を使用する。
更に、制御量である出力信号の時系列データは、実エンジンの新気量センサ、吸気圧センサ、NOxセンサ、またはそれらのソフトセンサの出力を使用する。
図１４は、チャープ信号の一例を示す図である。図１４には、エンジン回転数、燃料噴射量、EGR開度、メイン噴射時期についてのチャープ信号の一例が示される。いずれも、その周波数成分が変化する信号である。
図１５は、APRBS信号の一例を示す図である。図１５には、チャープ信号と同様に、エンジン回転数、燃料噴射量、EGR開度、メイン噴射時期についてのAPRBS信号の一例が示される。APRBS信号は、図示されるとおり、その振幅が擬似ランダムに変化する矩形波形である。
ニューラルネットワークのエンジンモデルの学習では、例えば、チャープ信号の訓練データで学習を行う工程と、APRBS信号の訓練データで学習を行う工程とを、交互にまたは適宜切り替えながら行われる。
［実施例］
本発明者らは、具体的にニューラルネットワークのエンジンモデルのプログラムを作成し、プロセッサに実行させて、エンジンモデルの精度を評価した。
まず、ニューラルネットワークの学習で使用する訓練データと交差検証用データを、実エンジンを動作させるエンジンベンチにて取得した。エンジンは、３L水冷直列４気筒のディーゼルエンジンを用いた。訓練データ及び交差検証用データとなる信号は、チャープ信号で作成した運転条件とAPRBS信号に基づいて作成した運転条件を、回転数、燃料噴射量、EGR開度、タービンベーン開度、メイン噴射時期に適用し、エンジンベンチを動作させて取得した。これらの信号の例は、図１４、図１５に示したとおりである。
上記で取得した訓練データ及び交差検証用データから、操作量MVとして、エンジン回転数、燃料噴射量、EGR開度、タービンベーン開度、噴射時期を入力信号として使用し、エンジンの状態データENG_DATAとして、タービン入口圧力、タービン出口圧力、吸気温度、インマニフォールド温度、冷却水温度、空気過剰率（ラムダ）を入力信号として使用し、合計１１の変数の信号を入力信号として使用する。また、訓練データ及び交差検証用データから、NOx濃度、または新気量のいずれかの信号を出力信号として使用する。それにより、１１入力と１出力のニューラルネットワークのモデルを構築した。
評価したニューラルネットワークは２つの実施例を含み、第１の実施例は図６に示した構成を有し、第２の実施例は図１１に示した構成を有する。
具体的には、第１の実施例では、図６において、遅延層DL_LYRのニューロン数がΣτk=５５であり、全結合層F_CNCT_LYRの第１の層L1のニューロン数がｎ＝５０であり、再帰経路を持つ層RCRT_LYRの第１の層L1のニューロン数がｍ＝１０であり、出力層OUT_LYRの第１の層L1のニューロン数がｌ＝１である。そして、入力信号は、上記の１１の変数の信号であり、出力信号は新気量である。また、それぞれの活性化関数は、図６で説明したとおりである。このように、遅延層や全結合層のニューロン数（５５，５０）に比較して、再帰経路を持つ層のニューロン数が１０と少ない。
第１の実施例に対応する第１の比較例は、図６のニューラルネットワークの構成から全結合層F_CNCT_LYRを削除した構成である。
第２の実施例では、図１１において、遅延層DL_LYRのニューロン数がΣτk=５５であり、全結合層F_CNCT_LYRの第１の層L1のニューロン数がｎ＝５０であり、２つの層にわたる再帰経路を持つ層RCRT_LYRの第１の層L1のニューロン数がｍ1、ｍ2 ＝１０であり、出力層OUT_LYRの第１の層L1のニューロン数がｌ＝１である。そして、入力信号は、上記の１１の変数の信号であり、出力信号は、NOx濃度である。また、それぞれの活性化関数は、図１１で説明したとおりである。
そして、第１の実施例に対応する第２の比較例は、図１１のニューラルネットワークの構成から全結合層F_CNCT_LYRを削除した構成である。
両実施例と両比較例の入力信号は、共に１１の変数を含み、各変数は、５ステップ（５＊ｄｔ）の時系列データである。したがって、入力信号（１１×５のデータ）は遅延層DL_LYRの５５個のニューロンに入力される。
図１６は、世界統一試験サイクルである World. Harmonized Transient Cycle（WHTC）の運転モードの信号波形の一例を示す図である。図１６の運転モードの信号波形から、ニューラルネットワークの入力信号に利用するチャープ信号とAPRBS信号が生成される。本発明者らは、上記の第１の実施例と第１の比較例のニューラルネットワークについて、WHTCの運転モードで取得したデータを用いてクロスバリデーションを行い、精度評価指数のうち、決定係数R2と平均二乗誤差RMSEにより評価した。
クロスバリデーションでは、取得した訓練データを、例えば４等分し、３／４の訓練データでニューラルネットワークの学習を実行し、残った１／４の訓練データ（評価データ）でニューラルネットワークの推論値と訓練データの正解データとに基づいてR2とRMSEを取得する評価を行った。３／４の訓練データと１／４の訓練データ（評価データ）の組合せを変更して、同様の学習と評価を繰り返し、評価の平均値を求めた。
図１７は、第１の実施例と第１の比較例のRMSEとR2の評価結果を示す図である。表にはそれぞれの評価値が記載され、第１の実施例のほうが、RMSEが小さく、R2が大きいので、精度がより高いことが示される。また、図中に示したグラフは、横軸が訓練データの正解値（実測データ）であり、縦軸がニューラルネットワークが算出した推論値（予測データ）である。サンプル点がｙ＝ｘの一次直線上に集中しているほど、推論の精度が高いことを示す。したがって、図１７のグラフは、第１の実施例のほうが第１の比較例よりも精度が高いことを示す。
図１８は、第２の実施例と第２の比較例のRMSEとR2の評価結果を示す図である。表に示されるとおり、第２の実施例のほうが、RMSEが小さく、R2が大きいので、精度がより高い。また、図１８のグラフは、第２の実施例のほうが第２の比較例よりも精度が高いことを示す。
以上説明したとおり、本実施の形態によれば、ニューラルネットワークによるエンジンモデルは、入力層と再掲経路を持つ層との間に、入力データの特徴を抽出する全結合層を有する。この構成によれば、全結合層が入力データの特徴を抽出し、再帰経路を持つ層に出力するデータが圧縮される。そのため、再帰経路を持つ層のニューロン数や層数を増やさなくても、推論の精度が向上し、再帰経路を持つ層のニューロン数や層数が大きくないため、過学習が抑制され汎化性能が向上する。
１０：エンジン制御装置
１１：エンジン推定部
１２：ニューラルネットワーク（エンジンモデル）
１４：制御部
SUB：減算器
１５：エンジン
IN_LYR：入力層
MID_LYR：中間層
OUT_LYR：出力層
MID_LYR_1：第１の中間層
F_CNCT_LYR：全結合層
MID_LYR_2：第２の中間層
RCRT_LYR：再帰経路を持つ層
RC：再帰経路
ACT_F：活性化関数
x(t)：入力データ
y(t)：出力データ

Claims (11)

  1. エンジンに入力される操作量を入力し前記操作量に対応するエンジンの制御量を算出するニューラルネットワークを用いたエンジンモデルと、
    前記算出された制御量と目標制御量との偏差を少なくするように前記操作量を算出し前記エンジンに出力する制御部とを有し、
    前記ニューラルネットワークは、
    前記操作量を含む複数の入力データを入力する入力層と、
    前記複数の入力データにそれぞれの第１の重みパラメータを乗算し更に加算して第１の乗加算値をそれぞれ求め、それぞれの前記第１の乗加算値を第１の活性化関数に基づいて複数の第１の出力値を出力する複数の第１のニューロンを有する第１の全結合層を含む第１の中間層と、
    第１の時刻における前記複数の第１の出力値にそれぞれの第２の重みパラメータを乗算し更に加算して第２の乗加算値をそれぞれ求め、それぞれの前記第２の乗加算値を第２の活性化関数に基づいて前記第１の時刻における複数の第２の出力値を出力する複数の第２のニューロンを有する第２の全結合層と、前記第１の時刻より前の第２の時刻における前記複数の第２の出力値を前記第１の時刻における第１の出力値とともに前記第２の全結合層に入力する再帰経路とを有する、第２の中間層と、
    前記複数の第２の出力値を前記制御量として出力する出力層とを有し、
    前記操作量の入力データは、前記エンジンの過給器のタービンベーン開度と、排気ガス再循環装置のバルブ開度と、インテークマニホールドに供給する空気量を制御するスロットルバルブ開度のうち、いずれかの第１の時系列データであり、
    前記第２の出力値は、前記エンジンのインテークマニホールドの新気量と、前記インテークマニホールドの吸気圧と、排ガスの窒素酸化物量のうち、いずれかの第２の時系列データである、エンジン制御装置。
  2. 前記第１の中間層の前記第１の活性化関数は、正規化線形関数である、請求項１に記載のエンジン制御装置。
  3. 前記第１の中間層は、複数の第１の全結合層を含み、前記複数の第１の全結合層の最終層の第１の全結合層の第１の活性化関数は、正規化線形関数である、請求項１に記載のエンジン制御装置。
  4. 前記第２の中間層の前記第２の活性化関数は、双曲線正接関数である、請求項１に記載のエンジン制御装置。
  5. 前記第２の中間層は、複数の第２の全結合層を含み、前記再帰経路が、前記複数の第２の全結合層の最終層と前記複数の第２の全結合層の開始層との間に設けられる、請求項１に記載のエンジン制御装置。
  6. 前記第１の中間層と前記第２の中間層との間に、学習時にランダムに選択されたニューロンが無効化されるドロップアウト層を有する、請求項１に記載のエンジン制御装置。
  7. 前記第２の中間層と前記出力層との間に、少なくとも１層以上の第３の全結合層を有する、請求項１に記載のエンジン制御装置。
  8. 前記第１の時系列データは、前記操作量の信号をサンプリング周期で取得した時系列のデータのうち、現在の時刻から前記サンプリング周期に所定データ点数を乗じた過去の時刻までの前記時系列のデータである、請求項１に記載のエンジン制御装置。
  9. 前記第１の時系列データは、周波数が変化するチャープ信号と、振幅が疑似ランダムに変化する矩形波信号のうち、いずれかである、請求項８に記載のエンジン制御装置。
  10. 前記エンジンは、ディーゼルエンジンである、請求項１に記載のエンジン制御装置。
  11. エンジンに入力される操作量を入力し前記操作量に対応するエンジンの制御量を算出する処理をコンピュータに実行させるコンピュータ読み取り可能なニューラルネットワークプログラムであって、
    前記制御量を算出する処理は、
    前記操作量を含む複数の入力データを入力し、
    第１の中間層に含まれる第１の全結合層内の複数の第１のニューロンが、前記複数の入力データにそれぞれの第１の重みパラメータを乗算し更に加算して第１の乗加算値をそれぞれ求め、それぞれの前記第１の乗加算値を第１の活性化関数に基づいて複数の第１の出力値を算出する第１の処理と、
    第２の全結合層内の複数の第２のニューロンが、第１の時刻における前記複数の第１の出力値にそれぞれの第２の重みパラメータを乗算し更に加算して第２の乗加算値をそれぞれ求め、それぞれの前記第２の乗加算値を第２の活性化関数に基づいて前記第１の時刻における複数の第２の出力値を、前記制御量として算出する第２の処理とを有し、
    前記第２の処理は、前記第１の時刻より前の第２の時刻における前記複数の第２の出力値を前記第１の時刻における第１の出力値とともに入力し、前記複数の第２の出力値を算出し、
    前記操作量の入力データは、前記エンジンの過給器のタービンベーン開度と、排気ガス再循環装置のバルブ開度と、インテークマニホールドに設けられたスロットルバルブ開度のうち、いずれかの第１の時系列データであり、
    前記第２の出力値は、前記エンジンのインテークマニホールドの新気量と、前記インテークマニホールドの吸気圧と、排ガスの窒素酸化物量のうち、いずれかの第２の時系列データである、ニューラルネットワークプログラム。
JP2019132053A 2019-07-17 2019-07-17 エンジン制御装置及びそれが有するニューラルネットワークプログラム Active JP7231144B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019132053A JP7231144B2 (ja) 2019-07-17 2019-07-17 エンジン制御装置及びそれが有するニューラルネットワークプログラム
US16/929,793 US11199147B2 (en) 2019-07-17 2020-07-15 Engine control device and neural network program provided therein
EP20185927.9A EP3767546A1 (en) 2019-07-17 2020-07-15 Engine control device and neural network program provided therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019132053A JP7231144B2 (ja) 2019-07-17 2019-07-17 エンジン制御装置及びそれが有するニューラルネットワークプログラム

Publications (2)

Publication Number Publication Date
JP2021017815A true JP2021017815A (ja) 2021-02-15
JP7231144B2 JP7231144B2 (ja) 2023-03-01

Family

ID=71620284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019132053A Active JP7231144B2 (ja) 2019-07-17 2019-07-17 エンジン制御装置及びそれが有するニューラルネットワークプログラム

Country Status (3)

Country Link
US (1) US11199147B2 (ja)
EP (1) EP3767546A1 (ja)
JP (1) JP7231144B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114934848A (zh) * 2022-06-16 2022-08-23 哈尔滨工程大学 一种面向柴油机燃烧性能优化控制的模糊神经网络建模方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690743B1 (ja) * 2019-01-23 2020-04-28 トヨタ自動車株式会社 機械学習装置
JP7231144B2 (ja) * 2019-07-17 2023-03-01 株式会社トランストロン エンジン制御装置及びそれが有するニューラルネットワークプログラム
JP7132196B2 (ja) * 2019-09-17 2022-09-06 株式会社東芝 処理装置および推論システム
KR20210073882A (ko) * 2019-12-11 2021-06-21 현대자동차주식회사 빅데이터 기반 운행 정보 제공 시스템 및 방법
JP2023032108A (ja) * 2021-08-26 2023-03-09 株式会社トランストロン エンジン試験方法、エンジン試験プログラム、およびエンジン試験装置
JP2023066618A (ja) 2021-10-29 2023-05-16 株式会社トランストロン 制御装置、制御方法、および制御プログラム
CN116310599B (zh) * 2023-05-17 2023-08-15 湖北工业大学 基于改进cnn-pnn网络的电力变压器故障诊断方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009167968A (ja) * 2008-01-18 2009-07-30 Mitsubishi Motors Corp 空燃比制御装置及び空燃比制御方法
JP2011132915A (ja) * 2009-12-25 2011-07-07 Honda Motor Co Ltd 物理量推定装置
JP2012112277A (ja) * 2010-11-24 2012-06-14 Honda Motor Co Ltd 内燃機関の制御装置
JP2020125694A (ja) * 2019-02-01 2020-08-20 トヨタ自動車株式会社 内燃機関の制御装置、車載電子制御ユニット、機械学習システム、内燃機関の制御方法、電子制御ユニットの製造方法及び出力パラメータ算出装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0711256B2 (ja) * 1989-09-06 1995-02-08 本田技研工業株式会社 内燃エンジンの制御装置
JP2792633B2 (ja) * 1990-02-09 1998-09-03 株式会社日立製作所 制御装置
US5539638A (en) * 1993-08-05 1996-07-23 Pavilion Technologies, Inc. Virtual emissions monitor for automobile
US5745653A (en) * 1996-02-05 1998-04-28 Ford Global Technologies, Inc. Generic neural network training and processing system
US5752007A (en) * 1996-03-11 1998-05-12 Fisher-Rosemount Systems, Inc. System and method using separators for developing training records for use in creating an empirical model of a process
DE69729981T2 (de) * 1996-05-28 2004-12-16 Honda Giken Kogyo K.K. Gerät zur Steuerung des Luft/Kraftstoffverhältnisses, das ein neuronales Netzwerk benutzt
US5857321A (en) * 1996-06-11 1999-01-12 General Electric Company Controller with neural network for estimating gas turbine internal cycle parameters
US5806013A (en) * 1997-08-29 1998-09-08 Echlin, Inc. Control of engine fuel delivery using an artificial neural network in parallel with a feed-forward controller
JPH1185719A (ja) * 1997-09-03 1999-03-30 Matsushita Electric Ind Co Ltd パラメータ推定装置
US6405122B1 (en) * 1997-10-14 2002-06-11 Yamaha Hatsudoki Kabushiki Kaisha Method and apparatus for estimating data for engine control
US6216083B1 (en) * 1998-10-22 2001-04-10 Yamaha Motor Co., Ltd. System for intelligent control of an engine based on soft computing
ATE291223T1 (de) * 1999-12-15 2005-04-15 Kistler Holding Ag Verfahren zur bestimmung des oberen totpunktes einer brennkraftmaschine mit neuronalem lernen
US6687597B2 (en) * 2002-03-28 2004-02-03 Saskatchewan Research Council Neural control system and method for alternatively fueled engines
US8065022B2 (en) 2005-09-06 2011-11-22 General Electric Company Methods and systems for neural network modeling of turbine components
US7765795B2 (en) * 2006-04-28 2010-08-03 Caterpillar Inc NOx control using a neural network
US7593796B2 (en) 2006-11-27 2009-09-22 Toyota Motor Engineering & Manufacturing North America, Inc. Torque estimator for internal combustion engine
JP2010076536A (ja) 2008-09-25 2010-04-08 Toyota Motor Corp 電子制御ユニット、インテリジェントセンサ、車両用制御システム、信号サンプリング方法
US8301356B2 (en) * 2008-10-06 2012-10-30 GM Global Technology Operations LLC Engine out NOx virtual sensor using cylinder pressure sensor
JP5149988B2 (ja) * 2009-03-27 2013-02-20 本田技研工業株式会社 プラントの制御装置
JP6556405B2 (ja) 2017-03-31 2019-08-07 三菱電機株式会社 登録装置、認証装置、個人認証システム及び個人認証方法、並びにプログラム及び記録媒体
JP6914084B2 (ja) 2017-04-10 2021-08-04 株式会社デンソーテン ノック制御装置、ノック適合方法およびノック適合プログラム
JP6702390B2 (ja) * 2018-10-09 2020-06-03 トヨタ自動車株式会社 車両用駆動装置の制御装置、車載電子制御ユニット、学習済みモデル、機械学習システム、車両用駆動装置の制御方法、電子制御ユニットの製造方法及び出力パラメータ算出装置
JP7231144B2 (ja) * 2019-07-17 2023-03-01 株式会社トランストロン エンジン制御装置及びそれが有するニューラルネットワークプログラム
US10947919B1 (en) * 2019-08-26 2021-03-16 Caterpillar Inc. Fuel injection control using a neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009167968A (ja) * 2008-01-18 2009-07-30 Mitsubishi Motors Corp 空燃比制御装置及び空燃比制御方法
JP2011132915A (ja) * 2009-12-25 2011-07-07 Honda Motor Co Ltd 物理量推定装置
JP2012112277A (ja) * 2010-11-24 2012-06-14 Honda Motor Co Ltd 内燃機関の制御装置
JP2020125694A (ja) * 2019-02-01 2020-08-20 トヨタ自動車株式会社 内燃機関の制御装置、車載電子制御ユニット、機械学習システム、内燃機関の制御方法、電子制御ユニットの製造方法及び出力パラメータ算出装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114934848A (zh) * 2022-06-16 2022-08-23 哈尔滨工程大学 一种面向柴油机燃烧性能优化控制的模糊神经网络建模方法

Also Published As

Publication number Publication date
EP3767546A1 (en) 2021-01-20
US20210017923A1 (en) 2021-01-21
US11199147B2 (en) 2021-12-14
JP7231144B2 (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
JP2021017815A (ja) エンジン制御装置及びそれが有するニューラルネットワークプログラム
CN108621159B (zh) 一种基于深度学习的机器人动力学建模方法
US6405122B1 (en) Method and apparatus for estimating data for engine control
US6349293B1 (en) Method for optimization of a fuzzy neural network
JPH10122017A (ja) エンジン制御方式
JP5467951B2 (ja) ニューラルネットワーク学習装置
CN112682200A (zh) 车辆用控制数据的生成方法、车辆用控制装置和车辆用控制系统
Manzie et al. Gaussian networks for fuel injection control
US20210390412A1 (en) Method for generating neural network model and control device using neural network model
EP0962871B1 (en) Data estimation method in engine control
JP2008539360A (ja) ニューラルネットを使用した車両エンジンの制御方法
Nishio et al. Optimal calibration scheme for map-based control of diesel engines
Sequenz et al. Emission model structures for an implementation on engine control units
El Hadef et al. Neural model for real-time engine volumetric efficiency estimation
Taglialatela-Scafati et al. Artificial intelligence for modeling and control of nonlinear phenomena in internal combustion engines
Cranmer et al. Grey-box modeling architectures for rotational dynamic control in automotive engines
Lennox et al. Non-linear model-based predictive control of gasoline engine air-fuel ratio
Beham et al. Modelling a variable valve timing spark ignition engine using different neural networks
JP3301250B2 (ja) 空燃比制御装置
JP2021067256A (ja) 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
Arsie et al. Development and real-time implementation of recurrent neural networks for AFR prediction and control
JP2019143477A (ja) 内燃機関の制御装置
Alexandersson et al. Neural Networks for modelling of a virtual sensor in an engine
Javaherian et al. Automotive engine torque and air-fuel ratio control using dual heuristic dynamic programming
Ayeb et al. Robust identification of nonlinear dynamic systems using Design of Experiment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7231144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150