JP2020071611A

JP2020071611A - Machine learning device

Info

Publication number: JP2020071611A
Application number: JP2018204349A
Authority: JP
Inventors: 中村　文彦; Fumihiko Nakamura; 中村　　文彦; 大樹横山; Daiki Yokoyama; 栄来北川; Eiki Kitagawa; 翠栗橋; Midori Kurihashi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2018-10-30
Filing date: 2018-10-30
Publication date: 2020-05-07

Abstract

To provide a machine learning device capable of suppressing deterioration in accuracy of a learned model for vehicle control even when a geological change or an artificial change occurs.SOLUTION: A machine learning device generates a learned model by performing machine learning using an input-output dataset, which is data containing input and output parameters used for machine learning. The input parameters contain control information for controlling a state inside or outside a vehicle and map information. A learned model is set for each of a plurality of prescribed regions based on the map information. The machine learning device includes a control unit. When a geological change or an artificial change is recognized in the plurality of prescribed regions in the map information, the control unit identifies a prescribed region in which the geological change or the artificial change occurred from the plurality of prescribed regions, and deletes a learned model set in the identified prescribed region or generates and updates a learned model.SELECTED DRAWING: Figure 1

Description

本発明は、機械学習装置に関する。 The present invention relates to a machine learning device.

ニューラルネットワークに基づいた機械学習による学習済モデルを用いて内燃機関を制御する技術が知られている（例えば、特許文献１を参照）。この技術では、学習済モデルを用いて内燃機関の所定の通路におけるガスの流量を推定し、推定結果に基づいて内燃機関を制御する。 A technique of controlling an internal combustion engine using a learned model by machine learning based on a neural network is known (for example, see Patent Document 1). In this technique, the flow rate of gas in a predetermined passage of the internal combustion engine is estimated using a learned model, and the internal combustion engine is controlled based on the estimation result.

特開２０１２−１１２２７７号公報JP, 2012-112277, A

ところで、将来的に、車両の制御のための学習済モデルを、ルート、地域、または仮想的に碁盤の目のように分けた所定領域ごとに作成し、所定領域ごとの学習済モデルを管理するシステムが考えられている。この場合、所定領域において、自然環境による地質学上の変化や、新たな道路の建設などによる人為的な変化が生じると、所定領域内の変化が生じた部分に、既存の学習済モデルが使用できなくなったり、学習済モデルの精度が極端に悪化したりする可能性がある。そこで、地質学上の変化や人為的な変化に対応した学習済モデルを早期に生成することができるシステムの開発が望まれている。 By the way, in the future, a learned model for vehicle control will be created for each route, region, or for each predetermined region virtually divided like a grid, and the learned model for each predetermined region will be managed. The system is considered. In this case, if a geological change due to the natural environment or an artificial change due to the construction of a new road occurs in the specified area, the existing trained model is used for the changed part in the specified area. It may not be possible or the accuracy of the trained model may be extremely deteriorated. Therefore, there is a demand for the development of a system that can generate a learned model at an early stage in response to geological changes and artificial changes.

本発明は、上記に鑑みてなされたものであって、その目的は、地質学上の変化や人為的な変化があった場合でも、車両の制御のための学習済モデルの精度の悪化を抑制できる機械学習装置を提供することにある。 The present invention has been made in view of the above, and an object thereof is to suppress deterioration of accuracy of a learned model for controlling a vehicle even when there is a geological change or an artificial change. It is to provide a machine learning device that can perform.

上述した課題を解決し、上記目的を達成するために、本発明に係る機械学習装置は、機械学習に用いる入力パラメータおよび出力パラメータを含むデータである入出力データセットを用いて、前記機械学習を行うことによって学習済モデルを生成する機械学習装置であって、前記入力パラメータが、車両の内部または外部の状態を制御する制御情報と、地図情報とを含み、前記地図情報に基づく複数の所定領域ごとにそれぞれ学習済モデルが設定され、前記地図情報における前記複数の所定領域において、地質学上の変化、または人為的な変化を認識した場合に、前記複数の所定領域から前記地質学上の変化または人為的な変化が生じた所定領域を特定し、前記特定した所定領域に設定されている学習済モデルを削除、または前記学習済みモデルを生成して更新する制御部を備えることを特徴とする。 In order to solve the above problems and achieve the above object, a machine learning device according to the present invention uses the input / output data set that is data including input parameters and output parameters used for machine learning to perform the machine learning. A machine learning device that generates a learned model by performing the input parameter, the input parameter including control information for controlling an internal or external state of the vehicle, and map information, and a plurality of predetermined regions based on the map information. A learned model is set for each of the plurality of predetermined areas in the map information, and when a geological change or an artificial change is recognized, the plurality of predetermined areas change the geology. Alternatively, a predetermined area where an artificial change has occurred is specified and the learned model set in the specified predetermined area is deleted, or the learned model is deleted. Characterized in that it comprises a control unit for updating to generate Le.

本発明に係る機械学習装置によれば、地質学上の変化や人為的な変化があった場合でも、車両の制御のための学習済モデルの精度の悪化を抑制することが可能となる。 According to the machine learning device of the present invention, it is possible to suppress deterioration of accuracy of a learned model for controlling a vehicle even when there is a geological change or an artificial change.

図１は、本発明の一実施形態による機械学習装置を適用可能な機械学習システムを示す概略図である。FIG. 1 is a schematic diagram showing a machine learning system to which a machine learning device according to an embodiment of the present invention can be applied. 図２は、学習部が学習するニューラルネットワークの構成を模式的に示す図である。FIG. 2 is a diagram schematically showing the configuration of the neural network learned by the learning unit. 図３は、ニューラルネットワークが有するノードの入出力の概要を説明する図である。FIG. 3 is a diagram for explaining an outline of input / output of nodes included in the neural network. 図４は、本発明の一実施形態による機械学習装置が実行する機械学習および入出力データセットを説明するための図である。FIG. 4 is a diagram for explaining machine learning and an input / output data set executed by the machine learning device according to the embodiment of the present invention. 図５は、本発明の一実施形態による機械学習装置が実行する学習済モデルの更新方法を説明するためのフローチャートである。FIG. 5 is a flowchart for explaining a method of updating a learned model executed by the machine learning device according to the embodiment of the present invention. 図６は、本発明の一実施形態による機械学習装置が学習済モデルを更新する際の地図情報の一例を示す図である。FIG. 6 is a diagram showing an example of map information when the machine learning device according to the embodiment of the present invention updates a learned model.

以下、本発明の実施形態について図面を参照しつつ説明する。なお、以下の実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する実施形態によって限定されるものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In all the drawings of the following embodiments, the same or corresponding parts are designated by the same reference numerals. Moreover, the present invention is not limited to the embodiments described below.

まず、本発明の一実施形態による機械学習装置を適用可能な機械学習システムについて説明する。図１は、この一実施形態による機械学習システムを示す。図１に示すように、機械学習システム１は、ネットワーク１０を介して互いに通信可能な、機械学習サーバ２と、複数の車両３と、地図サーバ４とを有する。 First, a machine learning system to which a machine learning device according to an embodiment of the present invention can be applied will be described. FIG. 1 shows a machine learning system according to this embodiment. As shown in FIG. 1, the machine learning system 1 includes a machine learning server 2, a plurality of vehicles 3, and a map server 4, which can communicate with each other via a network 10.

本実施形態において、機械学習装置としての機械学習サーバ２は、車両の環境条件やエンジン状態における所定のデータを入力パラメータとし、車両から排出される窒素酸化物（ＮＯｘ）の排出量を出力パラメータとする機械学習を行うことによって学習済モデルを生成する。また、車両３においては、機械学習によって生成された学習済モデルを用いて、ＮＯｘの排出量を予測する。 In the present embodiment, the machine learning server 2 as a machine learning device uses predetermined data on the environmental conditions of the vehicle and the engine state as input parameters, and the emission amount of nitrogen oxides (NOx) emitted from the vehicle as output parameters. A trained model is generated by performing machine learning. Further, in the vehicle 3, the learned model generated by machine learning is used to predict the NOx emission amount.

ネットワーク１０は、インターネット回線網や携帯電話回線網などから構成される。ネットワーク１０は、例えば、インターネットなどの公衆通信網であって、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）、および専用線などの一または複数の組み合わせからなる。ネットワーク１０は、有線通信および無線通信が適宜組み合わされている。 The network 10 is composed of an internet network, a mobile phone network, or the like. The network 10 is, for example, a public communication network such as the Internet. For example, a LAN (Local Area Network), a WAN (Wide Area Network), a telephone communication network such as a mobile phone or a public line, a VPN (Virtual Private Network), and It consists of one or more combinations such as leased lines. Wired communication and wireless communication are appropriately combined in the network 10.

（機械学習サーバ）
機械学習サーバ２は、通信部３２を有する複数の車両３から送信された種々の情報を、ネットワーク１０を介して収集するデータ収集処理を実行する。機械学習サーバ２は、収集した種々の情報によって機械学習を実行可能である。機械学習サーバ２は、制御部２１、記憶部２２、および通信部２３を備える。 (Machine learning server)
The machine learning server 2 executes a data collection process of collecting various information transmitted from the plurality of vehicles 3 having the communication unit 32 via the network 10. The machine learning server 2 can execute machine learning based on the various information collected. The machine learning server 2 includes a control unit 21, a storage unit 22, and a communication unit 23.

制御部２１は、具体的に、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。 The control unit 21 is specifically a CPU (Central Processing Unit), a DSP (Digital Signal Processor), a processor such as an FPGA (Field-Programmable Gate Array), and a RAM (Random Access Memory) or a ROM (Read Only Memory). Of the main memory (not shown).

制御部２１は、記憶部２２に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することで、所定の目的に合致した機能を実現できる。 The control unit 21 loads the program stored in the storage unit 22 into the work area of the main storage unit, executes the program, and controls each component through execution of the program to realize a function that matches a predetermined purpose. it can.

記憶部２２は、物理的には、ＲＡＭ等の揮発性メモリ、ＲＯＭ等の不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、またはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部２２を構成してもよい。記憶部２２には、機械学習サーバ２の動作を実行するための、オペレーティングシステム（Operating System :ＯＳ）、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。各種プログラムには、本実施形態によるモデル更新処理プログラムも含まれる。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。 The storage unit 22 is physically selected from a volatile memory such as a RAM, a non-volatile memory such as a ROM, an EPROM (Erasable Programmable ROM), a hard disk drive (HDD, Hard Disk Drive), and a removable medium. Composed of medium. The removable medium is, for example, a USB (Universal Serial Bus) memory, or a disc recording medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), or a BD (Blu-ray (registered trademark) Disc). is there. Further, the storage unit 22 may be configured by using a computer-readable recording medium such as a memory card that can be mounted from the outside. The storage unit 22 can store an operating system (OS) for executing the operation of the machine learning server 2, various programs, various tables, various databases, and the like. The various programs also include the model update processing program according to the present embodiment. These various programs can be recorded in a computer-readable recording medium such as a hard disk, a flash memory, a CD-ROM, a DVD-ROM, and a flexible disk, and distributed widely.

本実施形態においては、制御部２１によるプログラムの実行によって、学習部２１ａの機能が実行される。学習部２１ａは、機械学習サーバ２が受信した入出力データセットをもとに機械学習を行う。学習部２１ａは、学習した結果を記憶部２２に書き込んで記憶させる。学習部２１ａは、学習を行っているニューラルネットワークとは別に、所定のタイミングで、当該タイミングにおける最新の学習済モデルを、記憶部２２に記憶させる。記憶部２２に記憶させる際には、古い学習済モデルを削除して最新の学習済モデルを記憶させる更新でもよいし、古い学習済モデルの一部または全部を保存したまま最新の学習済モデルを記憶させる蓄積でもよい。 In the present embodiment, the function of the learning unit 21a is executed by the execution of the program by the control unit 21. The learning unit 21a performs machine learning based on the input / output data set received by the machine learning server 2. The learning unit 21a writes and stores the learned result in the storage unit 22. The learning unit 21a stores the latest learned model at the timing in the storage unit 22 at a predetermined timing, separately from the learning neural network. When storing in the storage unit 22, the old trained model may be deleted and the latest trained model may be stored, or the latest trained model may be stored while a part or all of the old trained model is saved. It may be stored to be stored.

以下、具体的な機械学習の一例として、ニューラルネットワークを用いた深層学習について説明する。図２は、学習部２１ａが学習するニューラルネットワークの構成を模式的に示す図である。図２に示すニューラルネットワーク１００は、順伝播型ニューラルネットワークであり、入力層１０１と、中間層１０２と、出力層１０３とを有する。入力層１０１は複数のノードからなり、各ノードには互いに異なる入力パラメータが入力される。中間層１０２は入力層１０１からの出力が入力される。中間層１０２は、入力層１０１からの入力を受ける複数のノードからなる層を含む多層の構造を有する。出力層１０３は、中間層１０２からの出力が入力され、出力パラメータを出力する。中間層１０２が多層構造を有するニューラルネットワークを用いた機械学習は、深層学習と呼ばれる。 Deep learning using a neural network will be described below as a specific example of machine learning. FIG. 2 is a diagram schematically showing the configuration of the neural network learned by the learning unit 21a. The neural network 100 shown in FIG. 2 is a forward-propagation neural network and has an input layer 101, an intermediate layer 102, and an output layer 103. The input layer 101 includes a plurality of nodes, and input parameters different from each other are input to each node. The output from the input layer 101 is input to the intermediate layer 102. The intermediate layer 102 has a multi-layered structure including a layer composed of a plurality of nodes that receive inputs from the input layer 101. The output layer 103 receives the output from the intermediate layer 102 and outputs an output parameter. Machine learning using a neural network in which the intermediate layer 102 has a multilayer structure is called deep learning.

図３は、ニューラルネットワーク１００が有するノードにおける入出力の概要を説明する図である。図３においては、ニューラルネットワーク１００のうち、Ｉ個のノードを有する入力層１０１と、Ｊ個のノードを有する第１中間層１２１と、Ｋ個のノードを有する第２中間層１２２におけるデータの入出力の一部を模式的に示している（Ｉ、Ｊ、Ｋは正の整数）。入力層１０１の上からｉ番目のノードには、入力パラメータｘ_i（ｉ＝１，２，…，Ｉ）が入力される。以下、全ての入力パラメータの集合を「入力パラメータ｛ｘ_i｝」と記載する。 FIG. 3 is a diagram for explaining an outline of input / output in the node included in the neural network 100. In FIG. 3, in the neural network 100, the input layer 101 having I nodes, the first intermediate layer 121 having J nodes, and the second intermediate layer 122 having K nodes are input with data. A part of the output is schematically shown (I, J, and K are positive integers). Input parameters x _i (i = 1, 2, ..., I) are input to the i-th node from the top of the input layer 101. Hereinafter, the set of all input parameters will be referred to as “input parameter {x _i }”.

入力層１０１の各ノードは、隣接する第１中間層１２１の各ノードに対し、入力パラメータに所定の重みを乗じた値を有する信号を出力する。例えば、入力層１０１の上からｉ番目のノードは、第１中間層１２１の上からｊ番目（ｊ＝１，２，…，Ｊ）のノードに対して、入力パラメータｘ_iに重みα_ijを乗じた値α_ijｘ_iを有する信号を出力する。第１中間層１２１の上からｊ番目のノードには、合計で入力層１０１の各ノードからの出力に所定のバイアスｂ⁽¹⁾ _jを加えた値Σ_i=1〜Iα_ijｘ_i＋ｂ⁽¹⁾ _jが入力される。ここで第１項目のΣ_i=1〜Iは、ｉ＝１，２，…，Ｉの和を取ることを意味する。 Each node of the input layer 101 outputs a signal having a value obtained by multiplying an input parameter by a predetermined weight to each node of the adjacent first intermediate layer 121. For example, the i-th node from the top of the input layer 101 _{assigns the} weight α _ij to the input parameter x _i for the j-th (j = 1, 2, ..., J) node from the top of the first intermediate layer 121. The signal having the multiplied value α _ij x _i is output. At the j-th node from the top of the first intermediate layer 121, a value obtained by adding a predetermined bias b ⁽¹⁾ _j to the output from each node of the input layer 101 in total Σ _{i = 1 to I} α _ij x _i + b ⁽¹⁾ _j is input. Here, the first item Σ _{i = 1} to I means to take the sum of i = 1, 2, ..., I.

第１中間層１２１の上からｊ番目のノードの出力値ｙ_jは、そのノードへの入力層１０１からの入力値Σ_i=1〜Iα_ijｘ_i＋ｂ⁽¹⁾ _jの関数として、ｙ_j＝Ｓ（Σ_i=1〜Iα_ijｘ_i＋ｂ⁽¹⁾ _j）と表される。この関数Ｓは活性化関数と呼ばれる。具体的な活性化関数として、例えばシグモイド関数Ｓ（ｕ）＝１／｛１＋ｅｘｐ（−ｕ）｝や正規化線形関数（ＲｅＬＵ）Ｓ（ｕ）＝ｍａｘ（０，ｕ）などを挙げることができる。活性化関数は、非線形関数が用いられることが多い。 The output value y _j of the j-th node from the top of the first intermediate layer 121 is y as a function of the input values Σ _{i = 1 to I} α _ij x _i + b ⁽¹⁾ _j from the input layer 101 to the node. _It is expressed as _j = S (Σ _{i = 1 to I} α _ij x _i + b ⁽¹⁾ _j ). This function S is called an activation function. Specific activation functions include, for example, a sigmoid function S (u) = 1 / {1 + exp (-u)} and a normalized linear function (ReLU) S (u) = max (0, u). .. A non-linear function is often used as the activation function.

第１中間層１２１の各ノードは、隣接する第２中間層１２２の各ノードに対し、入力パラメータに所定の重みを乗じた値を有する信号を出力する。例えば、第１中間層１２１の上からｊ番目のノードは、第２中間層１２２の上からｋ番目（ｋ＝１，２，…，Ｋ）のノードに対して、入力値ｙ_jに重みβ_jkを乗じた値β_jkｙ_jを有する信号を出力する。第２中間層１２２の上からｋ番目のノードには、合計で第１中間層１２１の各ノードからの出力に所定のバイアスｂ⁽²⁾ _kを加えた値Σ_j=1〜Jβ_jkｙ_j＋ｂ⁽²⁾ _kが入力される。ここで第１項目のΣ_j=1〜Jは、ｊ＝１，２，…，Ｊの和を取ることを意味する。 Each node of the first intermediate layer 121 outputs a signal having a value obtained by multiplying an input parameter by a predetermined weight to each node of the adjacent second intermediate layer 122. For example, the j-th node from the top of the first intermediate layer 121 has a weight β for the input value y _j with respect to the k-th node (k = 1, 2, ..., K) from the top of the second intermediate layer 122. Output the signal with the value β _jk y _j multiplied by _jk . At the k-th node from the top of the second intermediate layer 122, a value _obtained by adding a predetermined bias b ⁽²⁾ _k to the output from each node of the first intermediate layer 121 in total Σ _{j = 1 to J} β _jk y. _j + b ⁽²⁾ _k is input. Here, Σ _{j =} 1 to J of the first item means to take the sum of j = 1, 2, ..., J.

第２中間層１２２の上からｋ番目のノードの出力値ｚ_kは、そのノードへの第１中間層１２１からの入力値Σ_j=1〜Jβ_jkｙ_j＋ｂ⁽²⁾ _kを変数とする活性化関数を用いて、ｚ_k＝Ｓ（Σ_j=1〜Jβ_jkｙ_j＋ｂ⁽²⁾ _k）と表される。 The output value z _k of the k-th node from the top of the second intermediate layer 122 is a variable with the input values Σ _{j = 1 to J} β _jk y _j + b ⁽²⁾ _k from the first intermediate layer 121 to the node. It is expressed as z _k = S (Σ _{j = 1 to J} β _jk y _j + b ⁽²⁾ _k ) by using the activation function.

上述したように、入力層１０１の側から出力層１０３の側へ向かう順方向に沿って順次繰り返すことにより、最終的に出力層１０３から一つの出力パラメータＹが出力される。以下、ニューラルネットワーク１００が含む重みおよびバイアスをまとめてネットワークパラメータｗという。このネットワークパラメータｗは、ニューラルネットワーク１００の全ての重みおよびバイアスを成分とするベクトルである。 As described above, the output layer 103 finally outputs one output parameter Y by sequentially repeating the process in the forward direction from the input layer 101 side to the output layer 103 side. Hereinafter, the weight and the bias included in the neural network 100 are collectively referred to as a network parameter w. The network parameter w is a vector whose components are all weights and biases of the neural network 100.

学習部２１ａは、入力パラメータ｛ｘ_i｝をニューラルネットワーク１００へ入力することによって算出した出力パラメータＹと、入力パラメータ｛ｘ_i｝とともに入出力データセットを構成する出力パラメータ（目標出力）Ｙ₀とに基づいて、ネットワークパラメータを更新する演算を行う。具体的には、２つの出力パラメータＹとＹ₀との誤差を最小化するための演算を行うことによってネットワークパラメータｗを更新する。この際には、確率的勾配降下法がよく用いられる。以下、入力パラメータ｛ｘ_i｝および出力パラメータＹの組（｛ｘ_i｝，Ｙ）を総称して「学習データ」という。 The learning unit 21a outputs an output parameter Y calculated by inputting the input parameter {x _i } to the neural network 100, and an output parameter (target output) Y ₀ that forms an input / output data set together with the input parameter {x _i }. Based on, the calculation for updating the network parameter is performed. Specifically, the network parameter w is updated by performing an operation for minimizing the error between the two output parameters Y and Y ₀ . In this case, the stochastic gradient descent method is often used. Hereinafter, the set ({x _i }, Y) of the input parameter {x _i } and the output parameter Y is collectively referred to as "learning data".

以下、確率的勾配降下法の概要を説明する。確率的勾配降下法は、２つの出力パラメータＹとＹ₀を用いて定義される誤差関数Ｅ（ｗ）のネットワークパラメータｗの各成分に対する微分から求まる勾配∇_wＥ（ｗ）を最小化するように、ネットワークパラメータｗを更新する方法である。誤差関数は、例えば学習データの出力パラメータＹと入出力データセットの出力パラメータＹ₀の２乗誤差｜Ｙ−Ｙ₀｜²により定義される。また、勾配∇_wＥ（ｗ）は、誤差関数Ｅ（ｗ）のネットワークパラメータｗの成分に関する微分である
∂Ｅ（ｗ）／∂α_ij、∂Ｅ（ｗ）／∂β_jk、∂Ｅ（ｗ）／∂ｂ⁽¹⁾ _j、∂Ｅ（ｗ）／∂ｂ⁽²⁾ _k（ここで、ｉ＝１〜Ｉ、ｊ＝１〜Ｊ、ｋ＝１〜Ｋ）などを成分に有するベクトルである。 The outline of the stochastic gradient descent method will be described below. The stochastic gradient descent method is designed to minimize the gradient ∇ _w E (w) obtained by differentiating each component of the network parameter w of the error function E (w) defined using the two output parameters Y and Y _0. The method is to update the network parameter w. The error function is defined by, for example, the squared error | Y−Y ₀ | ² of the output parameter Y of the learning data and the output parameter Y ₀ of the input / output data set. Further, the gradient ∇ _w E (w) is a derivative with respect to the component of the network parameter w of the error function E (w), ∂E (w) / ∂α _ij , ∂E (w) / ∂β _jk , ∂E ( w) / ∂b ⁽¹⁾ _j , ∂E (w) / ∂b ⁽²⁾ _k (where i = 1 to I, j = 1 to J, k = 1 to K) and the like as vectors Is.

確率的勾配降下法では、ネットワークパラメータｗを、自動または手動で定まる所定の学習率ηを用いて、ｗ’＝ｗ−η∇_wＥ（ｗ）、ｗ’’＝ｗ’−η∇_w’Ｅ（ｗ’）、…と順次更新する。なお、学習率ηは、学習の途中で変更してもよい。学習部２１ａは、制御部２１が学習データを取得するたびに、上述した更新処理を繰り返す。これにより、誤差関数Ｅ（ｗ）は徐々に極小点に近づいていく。なお、より一般的な確率的勾配降下法の場合、誤差関数Ｅ（ｗ）は、全学習データを含むサンプルの中からランダムに抽出することによって更新処理のたびに定義され、本実施形態においても適用可能である。この際に抽出する学習データの数は１つに限定されず、記憶部２２が記憶する学習データの一部でもよい。 The stochastic gradient descent, the network parameters w, using a predetermined learning rate η determined automatically or _{manually, w '= w-η∇ w} E (w), w''=w'-η∇w' E (w '), ... are sequentially updated. The learning rate η may be changed during learning. The learning unit 21a repeats the above-described update process every time the control unit 21 acquires the learning data. As a result, the error function E (w) gradually approaches the minimum point. Note that in the case of the more general stochastic gradient descent method, the error function E (w) is defined for each update process by randomly extracting from the sample including all learning data, and also in this embodiment. Applicable. The number of learning data extracted at this time is not limited to one, and may be a part of the learning data stored in the storage unit 22.

勾配∇_wＥ（ｗ）の計算を効率的に行うための方法として、誤差逆伝播法が知られている。誤差逆伝播法は、学習データ（｛ｘ_i｝、Ｙ）を算出後、出力層における目標出力Ｙ₀と出力パラメータＹの誤差に基づいて、出力層→中間層→入力層へと勾配∇_wＥ（ｗ）の成分を逆にたどって計算していく方法である。学習部２１ａは、誤差逆伝播法を用いて勾配∇_wＥ（ｗ）の全ての成分を算出した後、算出した勾配∇_wＥ（ｗ）を用いて上述した確率的勾配降下法を適用することにより、ネットワークパラメータｗを更新する。 An error backpropagation method is known as a method for efficiently calculating the gradient ∇ _w E (w). The error back-propagation method calculates the learning data ({x _i }, Y) and then, based on the error between the target output Y ₀ and the output parameter Y in the output layer, the gradient ∇ _{w from the} output layer → the intermediate layer → the input layer. In this method, the components of E (w) are traced in reverse. The learning unit 21a calculates all the components of the gradient ∇ _w E (w) using the error back propagation method, and then applies the above-described stochastic gradient descent method using the calculated gradient ∇ _w E (w). By doing so, the network parameter w is updated.

図４は、本実施形態による機械学習サーバ２が実行する機械学習および入出力データセットを説明するための図である。図４に示すように、本実施形態においては、入力パラメータが「点火時期、燃料の噴射量、噴射時期、スロットル開度、可変バルブタイミング（ＶＶＴ：Variable Valve Timing）、および排気再循環装置（ＥＧＲ）のガス流量を調整するＥＧＲバルブの制御量、地図情報、天候情報」であり、出力パラメータが「ＮＯｘの排出量」である。学習部２１ａによって、ニューラルネットワーク１００を用いた深層学習により生成された学習済モデルから、出力パラメータとして出力されるＮＯｘの排出量が最小になるように、入力パラメータが設定される。ここで、入力パラメータの内で、車両３の外部または内部において制御部３１による制御が可能な制御情報である、点火時期、燃料の噴射量、噴射時期、スロットル開度、ＶＶＴ、およびＥＧＲバルブの制御量に関して目標値が設定される。 FIG. 4 is a diagram for explaining machine learning and input / output data sets executed by the machine learning server 2 according to this embodiment. As shown in FIG. 4, in the present embodiment, the input parameters are “ignition timing, fuel injection amount, injection timing, throttle opening, variable valve timing (VVT), and exhaust gas recirculation device (EGR). ) "EGR valve control amount for adjusting gas flow rate, map information, weather information", and the output parameter is "NOx emission amount". The learning unit 21a sets the input parameters from the learned model generated by the deep learning using the neural network 100 so that the NOx emission amount output as the output parameter is minimized. Here, among the input parameters, the ignition timing, the fuel injection amount, the injection timing, the throttle opening, the VVT, and the EGR valve that are control information that can be controlled by the control unit 31 outside or inside the vehicle 3. A target value is set for the controlled variable.

地図情報としては、地図上の領域を、緯度および経度に基づいて分割してそれぞれを所定領域として設定したり、道路の路線（ルートＩＤ）ごとに分割してそれぞれを所定領域として設定したりする。その上で、それぞれの所定領域ごとに、個別に学習済モデルが生成されて設定される。すなわち、設定された所定領域ごとに個々に学習済モデルが設定される。これにより、機械学習によって地図情報が加味されて最適化された学習済モデルが得られるので、車両３において制御部３１により制御可能なアクチュエータ量を、地図情報および天候情報に応じてＮＯｘが最小となるように制御できる。ＮＯｘが最小になるようにアクチュエータ量を制御することにより、従来に比してエミッションを改善することが可能になる。 As the map information, an area on the map is divided based on latitude and longitude and set as each predetermined area, or each area of a road (route ID) is divided and set as each predetermined area. .. Then, a learned model is individually generated and set for each of the predetermined regions. That is, the learned model is individually set for each set predetermined area. As a result, a learned model that is optimized by adding the map information by machine learning is obtained, so that the actuator amount that can be controlled by the control unit 31 in the vehicle 3 has the minimum NOx according to the map information and the weather information. Can be controlled. By controlling the actuator amount so that NOx is minimized, it becomes possible to improve emissions as compared with the conventional case.

図１に示す記憶部２２には、上述のように生成された学習済モデルが検索可能に記憶される。記憶部２２は、制御部２１の学習部２１ａによって生成された学習済モデルを、蓄積したり更新したりして記憶する。学習済モデルは、ニューラルネットワークを用いた深層学習に基づいて生成される。学習済モデルを記憶するとは、学習済モデルにおけるネットワークパラメータｗや演算のアルゴリズムなどの情報を記憶することを意味する。また、記憶部２２は、上述した入力パラメータと出力パラメータとの組からなる入出力データセットを記憶する。記憶部２２は、学習部２１ａが入力パラメータをニューラルネットワーク１００に入力して算出した出力パラメータを当該入力パラメータとともに学習データとして記憶する。 The learned model generated as described above is stored in the storage unit 22 shown in FIG. 1 in a searchable manner. The storage unit 22 stores the learned model generated by the learning unit 21a of the control unit 21 by accumulating or updating it. The trained model is generated based on deep learning using a neural network. Storing the learned model means storing information such as the network parameter w in the learned model and the calculation algorithm. The storage unit 22 also stores an input / output data set including the above-described set of input parameters and output parameters. The storage unit 22 stores the output parameter calculated by inputting the input parameter to the neural network 100 by the learning unit 21a together with the input parameter as learning data.

通信部２３は、例えば、ＬＡＮ（Local Area Network）インターフェースボード、無線通信のための無線通信回路である。ＬＡＮインターフェースボードや無線通信回路は、公衆通信網であるインターネットなどのネットワーク１０に接続される。送信部および受信部としての通信部２３は、ネットワーク１０に接続して、複数の車両３との間で通信を行う。通信部２３は、それぞれの車両３との間で、車両識別情報、走行履歴情報、車両情報、地図情報、および学習済モデルなどの種々の情報を受信したり、車両３に対して地図情報、学習済モデル、および制御信号などの種々の情報を送信したりする。 The communication unit 23 is, for example, a LAN (Local Area Network) interface board or a wireless communication circuit for wireless communication. The LAN interface board and the wireless communication circuit are connected to the network 10 such as the Internet which is a public communication network. The communication unit 23 as a transmission unit and a reception unit is connected to the network 10 and communicates with the plurality of vehicles 3. The communication unit 23 receives various kinds of information such as vehicle identification information, traveling history information, vehicle information, map information, and a learned model with each vehicle 3, and transmits map information to the vehicle 3, It sends various information such as the learned model and control signals.

車両識別情報は、個々の車両３を互いに識別するための種々の情報を含む。走行履歴情報は、それぞれの車両３における走行経路ならびに走行地域、地図情報、および天候情報などの情報を含む。走行経路の情報は、特定の道路の上りか下りかの情報、または特定の道路の上りか下りかの情報などである。走行地域の情報は、走行路線の情報、市町村の情報、都道府県の情報、または関東や東海などの地域の情報などである。地図情報は、具体的な地図画像を出力可能な情報、および道路の状態の情報を含む。天候情報は、外気温や湿度の情報や、晴れ、曇り、雨、または雪などの天気の情報を含む。外気温や湿度の情報は、走行時における気温や湿度の情報のみならず、外気の実際の計測温度や計測湿度の情報を含んでもよい。また、天候情報は、風向き、風速、および車両３の進行方向が関連付けられた情報などを含んでもよい。車両情報は、車両３の特に内燃機関に関する情報として、点火時期、燃料の噴射量、噴射時期、スロットル開度、ＶＶＴ、およびＥＧＲバルブの制御量に関する情報を含む。車両情報はさらに、総走行距離、位置情報、速度情報、加速度情報、センサ群取得情報、および車種などの情報を含んでもよい。 The vehicle identification information includes various information for identifying the individual vehicles 3 from each other. The travel history information includes information such as a travel route and travel area of each vehicle 3, map information, and weather information. The information on the travel route is information on whether the particular road is going up or down, or information about whether a particular road is going up or down. The information on the traveling area is information on traveling routes, information on municipalities, information on prefectures, or information on areas such as Kanto and Tokai. The map information includes information that can output a specific map image and information on the state of the road. The weather information includes information on the outside temperature and humidity, and weather information such as fine weather, cloudy weather, rain, and snow. The information on the outside temperature and the humidity may include not only the information on the temperature and the humidity during traveling but also the information on the actual measured temperature and the measured humidity of the outside air. Further, the weather information may include information in which the wind direction, the wind speed, and the traveling direction of the vehicle 3 are associated with each other. The vehicle information includes information regarding the ignition timing, the fuel injection amount, the injection timing, the throttle opening, the VVT, and the EGR valve control amount as information regarding the internal combustion engine of the vehicle 3. The vehicle information may further include information such as total traveling distance, position information, speed information, acceleration information, sensor group acquisition information, and vehicle type.

（車両）
車両３は、運転者による運転によって走行する車両や、与えられた運行指令に従って自律走行可能に構成された自律走行車両である。車両３は、制御部３１、通信部３２、駆動部３３、および記憶部３４を備える。制御部３１および記憶部３４はそれぞれ、物理的には上述した制御部２１および記憶部２２と同様である。制御部３１は、記憶部３４に記憶されたプログラムの実行によって、車両３に搭載される各種構成要素の動作を統括的に制御する。 (vehicle)
The vehicle 3 is a vehicle that is driven by a driver, or an autonomous vehicle that is configured to be capable of autonomous traveling in accordance with a given operation command. The vehicle 3 includes a control unit 31, a communication unit 32, a drive unit 33, and a storage unit 34. The control unit 31 and the storage unit 34 are physically similar to the control unit 21 and the storage unit 22 described above, respectively. The control unit 31 centrally controls the operations of various components mounted on the vehicle 3 by executing the programs stored in the storage unit 34.

送信部および受信部としての通信部３２は、ネットワーク１０を介した無線通信によって、少なくとも機械学習サーバ２との間で通信を行う、例えば車載通信モジュール（ＤＣＭ：Data Communication Module）などからなる。 The communication unit 32 as a transmission unit and a reception unit includes, for example, an in-vehicle communication module (DCM: Data Communication Module) that performs communication with at least the machine learning server 2 by wireless communication via the network 10.

駆動部３３は、車両３の走行に必要な従来公知の駆動部である。具体的には、車両３は、駆動源となる内燃機関であるエンジン、エンジンの駆動力を伝達する駆動伝達機構、および走行するための駆動輪などを備える。車両３のエンジンは、燃料の燃焼による駆動によって電動機などを用いて発電可能に構成される。発電された電力は充電可能なバッテリに充電される。 The drive unit 33 is a conventionally known drive unit required for traveling of the vehicle 3. Specifically, the vehicle 3 includes an engine, which is an internal combustion engine serving as a drive source, a drive transmission mechanism that transmits the driving force of the engine, and drive wheels for traveling. The engine of the vehicle 3 is configured to be capable of generating power using a motor or the like by being driven by combustion of fuel. The generated electric power is charged into a rechargeable battery.

記憶部３４には、車両３における、上述した車両識別情報、地図情報、走行履歴情報、車両情報、学習済モデルを含む各種情報が、蓄積可能および更新可能に記憶されている。記憶部３４には、車両３における各種センサ（図示せず）によって検出された種々のデータが、センサ情報として蓄積可能および更新可能に記憶される。車両３はさらに、入出力部、センサ群、およびＧＰＳ部（いずれも図示せず）などを備える。 The storage unit 34 stores various information including the vehicle identification information, the map information, the traveling history information, the vehicle information, and the learned model of the vehicle 3, which can be accumulated and updated. Various data detected by various sensors (not shown) in the vehicle 3 are stored in the storage unit 34 as sensor information so that they can be accumulated and updated. The vehicle 3 further includes an input / output unit, a sensor group, a GPS unit (all not shown), and the like.

制御部３１は、車両３の走行時や停車時においてセンサ群（図示せず）から取得した情報に基づいて、地図情報、走行履歴情報、および車両情報などの情報を記憶部３４に逐次記憶させる。制御部３１は、記憶部３４に記憶させた地図情報、走行履歴情報、および車両情報などの情報を、所定のタイミングで通信部３２を通じて機械学習サーバ２に送信する。機械学習サーバ２においては、それぞれの車両３から受信した地図情報、走行履歴情報、および車両情報などの情報を、記憶部２２に記憶させる。これにより、機械学習サーバ２においては、記憶部２２に、地図情報、走行履歴情報、および車両情報などの情報が蓄積されたり、更新されたり、併合されたりする。 The control unit 31 sequentially stores information such as map information, traveling history information, and vehicle information in the storage unit 34 based on information obtained from a sensor group (not shown) when the vehicle 3 is running or stopped. .. The control unit 31 transmits information such as map information, travel history information, and vehicle information stored in the storage unit 34 to the machine learning server 2 through the communication unit 32 at a predetermined timing. In the machine learning server 2, information such as map information, travel history information, and vehicle information received from each vehicle 3 is stored in the storage unit 22. As a result, in the machine learning server 2, the storage unit 22 stores, updates, or merges information such as map information, traveling history information, and vehicle information.

（地図サーバ）
地図サーバ４は、機械学習サーバ２および複数の車両３から送信された地図に関する情報を、ネットワーク１０を介して収集するデータ収集処理を実行する。地図サーバ４は、制御部４１、記憶部４２、および通信部４３を備える。制御部４１、記憶部４２、および通信部４３はそれぞれ、物理的には機械学習サーバ２における、制御部２１、記憶部２２、および通信部２３と同様である。 (Map server)
The map server 4 executes a data collection process of collecting information about the map transmitted from the machine learning server 2 and the plurality of vehicles 3 via the network 10. The map server 4 includes a control unit 41, a storage unit 42, and a communication unit 43. The control unit 41, the storage unit 42, and the communication unit 43 are physically the same as the control unit 21, the storage unit 22, and the communication unit 23 in the machine learning server 2, respectively.

地図サーバ４の制御部４１は、記憶部４２に記憶されたプログラムの実行により、データ収集部４１ａの機能を実行する。データ収集部４１ａは、地図情報や、地図情報に関連する情報（以下、地図関連情報）を収集する。上述したように地図情報は、具体的な地図画像を出力可能な情報、および道路の状態の情報を含む。地図関連情報とは、自然環境に基づく地質学上の変化の情報や、道路の工事や橋梁の架設などの人為的な変化の情報などの情報である。データ収集部４１ａは、これらの地図情報および地図関連情報を、所定のタイミングで通信部４３を通じて、機械学習サーバ２、複数の車両３、および他の情報サーバ（図示せず）から収集して、記憶部４２に記憶させる。これにより、地図サーバ４においては、記憶部４２に、地図情報および地図関連情報などの情報が蓄積されたり、更新されたり、併合されたりする。地図サーバ４は、蓄積、更新、または併合された地図情報、および地図関連情報を機械学習サーバ２に送信し、機械学習サーバ２においては、地図サーバ４から受信した地図情報および地図関連情報を、記憶部２２に記憶させる。 The control unit 41 of the map server 4 executes the function of the data collection unit 41a by executing the program stored in the storage unit 42. The data collection unit 41a collects map information and information related to the map information (hereinafter referred to as map-related information). As described above, the map information includes information that can output a specific map image and road state information. The map-related information is information such as information on geological changes based on the natural environment and information on artificial changes such as road construction and bridge construction. The data collection unit 41a collects these map information and map-related information from the machine learning server 2, the plurality of vehicles 3, and other information servers (not shown) through the communication unit 43 at a predetermined timing, It is stored in the storage unit 42. As a result, in the map server 4, information such as map information and map-related information is stored, updated, or merged in the storage unit 42. The map server 4 transmits the accumulated, updated, or merged map information and the map-related information to the machine learning server 2, and the machine learning server 2 receives the map information and the map-related information received from the map server 4, It is stored in the storage unit 22.

記憶部４２には、具体的な地図画像を出力可能な情報および走行路の状態を含む地図情報が記憶されている。制御部４１は、データ収集部４１ａによって収集された地図情報に関連する情報に基づいて、記憶部４２に記憶された地図情報を適宜更新する。更新された地図情報は、機械学習サーバ２や車両３に送信される。機械学習サーバ２においては、更新された地図情報に基づいて、学習済モデルが更新される。 The storage unit 42 stores map information including information that can output a specific map image and the state of the road. The control unit 41 appropriately updates the map information stored in the storage unit 42 based on the information related to the map information collected by the data collection unit 41a. The updated map information is transmitted to the machine learning server 2 and the vehicle 3. In the machine learning server 2, the learned model is updated based on the updated map information.

以下に、本実施形態による学習済モデルの更新方法の具体的な一例について説明する。以下の説明において、情報の送受信はネットワーク１０を介して行われるが、この点についての都度の説明は省略する。図５は、本実施形態による機械学習サーバ２が実行する学習済モデルの更新方法を説明するためのフローチャートである。図６は、本実施形態による機械学習サーバ２が学習済モデルを更新する際の地図情報の一例を示す図である。図６に示すように、本実施形態においては、地図が碁盤状に分割されて設定され、それぞれの領域にそれぞれ学習済モデルが割り当てられた状態を例にする。図６においては、それぞれの領域にカウントｉ（ｉ＝１，２，…，２４，２５）が割り当てられ、所定領域として設定された領域ごとに学習済モデルｉが設定されている。また、地図情報は、地図サーバ４から機械学習サーバ２に適切なタイミングで送信される。 A specific example of the learned model updating method according to this embodiment will be described below. In the following description, information transmission / reception is performed via the network 10, but a description of this point will be omitted. FIG. 5 is a flowchart for explaining the method of updating the learned model executed by the machine learning server 2 according to this embodiment. FIG. 6 is a diagram showing an example of map information when the machine learning server 2 according to the present embodiment updates a learned model. As shown in FIG. 6, in this embodiment, the map is divided and set in a checkerboard pattern, and a learned model is assigned to each area. In FIG. 6, a count i (i = 1, 2, ..., 24, 25) is assigned to each area, and a learned model i is set for each area set as a predetermined area. The map information is transmitted from the map server 4 to the machine learning server 2 at an appropriate timing.

図５に示すように、まず、ステップＳＴ１において機械学習サーバ２の制御部２１は、カウントｉの初期化を行って、ｉ＝０とする。ステップＳＴ２に移行して制御部２１は、カウントアップを行ってカウントｉを１増加させる。次に，ステップＳＴ３において制御部２１は、図６に示す地図におけるカウントｉの現在の状態が、過去の地図情報と異なるか否かを判定する。具体的に例えば、車両３が地図上においてカウントｉの領域を走行した際の走行路の状況に関して車両３から受信した地図情報や、地図サーバ４から受信した地図情報および地図関連情報や、記憶部２２に記憶されている地図情報および地図関連情報に基づいて、制御部２１は、カウントｉの領域における現在の状態を認識する。その後、制御部２１は、過去の地図情報と現在の状態とを比較したり、地図サーバ４から受信した地図関連情報に含まれる変化の情報に基づいたりして、カウントｉの領域の現在の状態が、過去の地図情報と異なるか否かを判定する。 As shown in FIG. 5, first, in step ST1, the control unit 21 of the machine learning server 2 initializes the count i and sets i = 0. In step ST2, the control unit 21 increments the count i by 1 by counting up. Next, in step ST3, the control unit 21 determines whether or not the current state of the count i in the map shown in FIG. 6 is different from the past map information. Specifically, for example, the map information received from the vehicle 3 regarding the condition of the traveling path when the vehicle 3 travels in the region of count i on the map, the map information received from the map server 4 and the map-related information, and the storage unit. Based on the map information and the map-related information stored in 22, the control unit 21 recognizes the current state in the area of count i. After that, the control unit 21 compares the past map information with the current state, or based on the change information included in the map-related information received from the map server 4, the current state of the area of the count i. , It is determined whether or not it is different from the past map information.

制御部２１がカウントｉの現在の状態が過去の地図情報と同じであると判定した場合（ステップＳＴ３：Ｎｏ）、ステップＳＴ２に復帰する。一方、制御部２１がカウントｉの現在の状態が過去の地図情報と異なると判定した場合（ステップＳＴ３：Ｙｅｓ）、ステップＳＴ４に移行する。図６に示す例においては、変更領域は実線で囲まれた打点領域であり、地図情報においてカウントｉがｉ＝１１，１２，１６，１７の領域に跨がった領域である。 When the control unit 21 determines that the current state of the count i is the same as the past map information (step ST3: No), the process returns to step ST2. On the other hand, when the control unit 21 determines that the current state of the count i is different from the past map information (step ST3: Yes), the process proceeds to step ST4. In the example shown in FIG. 6, the changed area is a dot area surrounded by a solid line, and is an area where the count i in the map information extends over the area of i = 11, 12, 16, 17.

ステップＳＴ４において制御部２１の学習部２１ａは、図４に示すニューラルネットワーク１００に、入力パラメータとして更新された地図情報を入力する。これにより、カウントｉの地図情報の部分に適用される新しい学習済モデルｉが生成される。一方、記憶部２２においては、古い学習済モデルｉが削除され、生成された学習済モデルｉによって更新される。なお、必要に応じて、新たな学習済モデルｉを生成することなく、古い学習済モデルｉを削除することも可能である。 In step ST4, the learning unit 21a of the control unit 21 inputs the updated map information as an input parameter into the neural network 100 shown in FIG. This creates a new trained model i that is applied to the map information portion of count i. On the other hand, in the storage unit 22, the old learned model i is deleted and updated with the generated learned model i. If necessary, the old learned model i can be deleted without generating a new learned model i.

ステップＳＴ５に移行すると制御部２１は、カウントｉが、地図情報において地図を分割した数と一致するか否かを判定する。制御部２１が、カウントｉは分割した数（ここでは、２５）と一致しないと判定した場合（ステップＳＴ５：Ｎｏ）、ステップＳＴ２に復帰する。一方、制御部２１が、カウントｉは分割した数（ここでは、２５）と一致すると判定した場合（ステップＳＴ５：Ｙｅｓ）、学習済モデルの更新処理を終了する。以上により、地図情報の中で状態が変化した部分に対応する学習済モデルが更新される。 After shifting to step ST5, the control unit 21 determines whether or not the count i matches the number of divided maps in the map information. When the control unit 21 determines that the count i does not match the divided number (here, 25) (step ST5: No), the process returns to step ST2. On the other hand, when the control unit 21 determines that the count i matches the number of divisions (here, 25) (step ST5: Yes), the learning model update process ends. As described above, the learned model corresponding to the part of the map information whose state has changed is updated.

（第１変形例）
次に、上述した一実施形態の変形例について説明する。第１変形例においては、機械学習サーバ２における学習部２１ａが車両３に搭載されている。すなわち、車両３が機械学習装置を搭載している。この場合、車両３において機械学習を実行して、学習済モデルを生成できる。車両３において学習済モデルが生成された場合には、機械学習サーバ２に対して生成した学習済モデルを送信する。機械学習サーバ２は、複数の車両３から送信された学習済モデルに基づいて、新たに汎用的な学習済モデルを生成することが可能である。 (First modification)
Next, a modified example of the above-described embodiment will be described. In the first modification, the learning unit 21a in the machine learning server 2 is mounted on the vehicle 3. That is, the vehicle 3 is equipped with the machine learning device. In this case, machine learning can be executed in the vehicle 3 to generate a learned model. When the learned model is generated in the vehicle 3, the generated learned model is transmitted to the machine learning server 2. The machine learning server 2 can newly generate a general-purpose learned model based on the learned models transmitted from the plurality of vehicles 3.

（第２変形例）
第２変形例においては、車両３が機械学習装置を搭載し、かつ上述した学習済モデルの更新も車両３において実行する。この場合、車両３が、実際に走行した道路の状態が記憶部３４に記憶された地図情報と異なる状態であると検知した場合、制御部３１は、地図情報の当該道路の部分を車両３が実際に走行した道路の状態に変更して、地図情報を更新する。その後、車両３の学習部は、更新した地図情報に基づいて、図５に示すフローチャートに従って、更新された少なくとも１つの地図情報に対応する学習済モデルを更新する。一方、車両３は、更新した地図情報を地図サーバ４に送信する。地図サーバ４は、複数の車両３から更新された地図情報を受信し、これらの更新された地図情報に基づいて、記憶部４２に格納されている地図情報を更新する。なお、車両３は、更新した地図情報の代わりに、地図情報に関連する情報を地図サーバ４に送信するようにしてもよい。 (Second modified example)
In the second modification, the vehicle 3 is equipped with a machine learning device, and the vehicle 3 also updates the learned model described above. In this case, when the vehicle 3 detects that the state of the road on which the vehicle has actually traveled is different from the map information stored in the storage unit 34, the control unit 31 causes the vehicle 3 to detect the portion of the road in the map information. The map information is updated by changing the state of the road on which the vehicle actually traveled. After that, the learning unit of the vehicle 3 updates the learned model corresponding to the updated at least one map information based on the updated map information according to the flowchart shown in FIG. On the other hand, the vehicle 3 transmits the updated map information to the map server 4. The map server 4 receives the updated map information from the plurality of vehicles 3 and updates the map information stored in the storage unit 42 based on these updated map information. The vehicle 3 may transmit information related to the map information to the map server 4 instead of the updated map information.

以上説明した本発明の一実施形態によれば、地図情報の変化に対応して、学習済モデルを更新することができるので、車両３が走行する道路に、地質学上の変化や人為的な変化があった場合でも、車両３の制御のための学習済モデルの精度の悪化を抑制することが可能となる。 According to the embodiment of the present invention described above, the learned model can be updated in response to the change in the map information, so that the road on which the vehicle 3 runs changes in geology or is artificial. Even if there is a change, it is possible to suppress deterioration of the accuracy of the learned model for controlling the vehicle 3.

以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において、機械学習サーバ２と地図サーバ４とは同一のサーバから構成してもよい。 Although one embodiment of the present invention has been specifically described above, the present invention is not limited to the above-described one embodiment, and various modifications based on the technical idea of the present invention are possible. For example, in the above-described embodiment, the machine learning server 2 and the map server 4 may be configured by the same server.

１機械学習システム
２機械学習サーバ
３車両
４地図サーバ
１０ネットワーク
２１，３１，４１制御部
２１ａ学習部
２２，３４，４２記憶部
２３，３２，４３通信部
３３駆動部
４１ａデータ収集部
１００ニューラルネットワーク
１０１入力層
１０２中間層
１０３出力層
１２１第１中間層
１２２第２中間層 1 Machine Learning System 2 Machine Learning Server 3 Vehicle 4 Map Server 10 Network 21, 31, 41 Control Unit 21a Learning Unit 22, 34, 42 Storage Unit 23, 32, 43 Communication Unit 33 Drive Unit 41a Data Collection Unit 100 Neural Network 101 Input layer 102 Intermediate layer 103 Output layer 121 First intermediate layer 122 Second intermediate layer

Claims

A machine learning device for generating a trained model by performing the machine learning, using an input / output data set that is data including input parameters and output parameters used for machine learning,
The input parameter includes control information for controlling a state inside or outside the vehicle, and map information,
A learned model is set for each of a plurality of predetermined regions based on the map information,
In the plurality of predetermined regions in the map information, when a geological change or an artificial change is recognized, the predetermined region in which the geological change or the artificial change occurs from the plurality of predetermined regions The machine learning device is characterized by further comprising: a controller that deletes the learned model set in the specified predetermined area or that generates and updates the learned model.