JP2021066240A - 車両用制御装置、車両用制御システム、および車両用学習装置 - Google Patents
車両用制御装置、車両用制御システム、および車両用学習装置 Download PDFInfo
- Publication number
- JP2021066240A JP2021066240A JP2019191097A JP2019191097A JP2021066240A JP 2021066240 A JP2021066240 A JP 2021066240A JP 2019191097 A JP2019191097 A JP 2019191097A JP 2019191097 A JP2019191097 A JP 2019191097A JP 2021066240 A JP2021066240 A JP 2021066240A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- cpu
- reward
- value
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 86
- 230000001133 acceleration Effects 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims description 163
- 230000008569 process Effects 0.000 claims description 144
- 238000011156 evaluation Methods 0.000 claims description 36
- 238000002485 combustion reaction Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 27
- 230000006399 behavior Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 34
- 239000000446 fuel Substances 0.000 description 19
- 238000002347 injection Methods 0.000 description 18
- 239000007924 injection Substances 0.000 description 18
- 230000001052 transient effect Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 14
- 238000005070 sampling Methods 0.000 description 14
- 230000002787 reinforcement Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000004043 responsiveness Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000000342 Monte Carlo simulation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 239000003054 catalyst Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007562 laser obscuration time method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- TVMXDCGIABBOFY-UHFFFAOYSA-N octane Chemical compound CCCCCCCC TVMXDCGIABBOFY-UHFFFAOYSA-N 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2438—Active learning methods
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/0002—Controlling intake air
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/02—Circuit arrangements for generating control signals
- F02D41/021—Introducing corrections for particular conditions exterior to the engine
- F02D41/0215—Introducing corrections for particular conditions exterior to the engine in relation with elements of the transmission
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/02—Circuit arrangements for generating control signals
- F02D41/04—Introducing corrections for particular operating conditions
- F02D41/10—Introducing corrections for particular operating conditions for acceleration
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2441—Methods of calibrating or learning characterised by the learning conditions
- F02D41/2445—Methods of calibrating or learning characterised by the learning conditions characterised by a plurality of learning conditions or ranges
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2451—Methods of calibrating or learning characterised by what is learned or calibrated
- F02D41/2464—Characteristics of actuators
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
- F02D41/28—Interface circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
- F02D41/28—Interface circuits
- F02D2041/281—Interface circuits between sensors and control unit
- F02D2041/285—Interface circuits between sensors and control unit the sensor having a signal processing unit external to the engine control unit
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D2200/00—Input parameters for engine control
- F02D2200/02—Input parameters for engine control the parameters being related to the engine
- F02D2200/04—Engine intake system parameters
- F02D2200/0404—Throttle position
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D2200/00—Input parameters for engine control
- F02D2200/60—Input parameters for engine control said parameters being related to the driver demands or status
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D2200/00—Input parameters for engine control
- F02D2200/60—Input parameters for engine control said parameters being related to the driver demands or status
- F02D2200/602—Pedal position
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D2200/00—Input parameters for engine control
- F02D2200/60—Input parameters for engine control said parameters being related to the driver demands or status
- F02D2200/606—Driving style, e.g. sporty or economic driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
Description
1.実行装置および記憶装置を備え、前記記憶装置には、車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、前記実行装置は、前記車両の状態を検出するセンサの検出値、およびユーザの運転嗜好に関する情報である運転嗜好情報を取得する取得処理と、前記取得処理によって取得された前記検出値と前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する操作処理と、前記取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行し、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記報酬算出処理は、前記車両の挙動に関する特性が同一の基準を満たす場合であっても、前記運転嗜好情報が異なる場合に異なる報酬を与える処理を含む車両用制御装置である。
車両の前後方向の加速度の履歴がユーザによるアクセル操作の仕方によって異なったものとなることから、同加速度の履歴には、ユーザの運転嗜好が反映されている。この点に鑑み、上記構成では、加速度の履歴を運転嗜好情報として取得することにより、ユーザが運転嗜好情報を入力しなくても、同情報を取得することができる。
ユーザのアクセル操作がユーザの運転嗜好に応じて異なることから、アクセル操作量の履歴情報には、運転嗜好情報が含まれている。この点に鑑み、上記構成では、アクセル操作量の履歴を運転嗜好情報として取得することにより、ユーザが運転嗜好情報を入力しなくても、同情報を取得することができる。
上記構成では、ユーザの顔画像の解析結果を運転嗜好情報として取得することにより、ユーザが運転嗜好情報を入力しなくても、同情報を取得することができる。
なお、第2実行装置が車載装置とは別の装置であることは、第2実行装置が車載装置ではないことを意味する。
10.上記8記載の第2実行装置を備える車両用学習装置である。
以下、車両用制御装置の第1の実施形態について、図面を参照しつつ説明する。
図1に、本実施形態にかかる車両VC1の駆動系および制御装置の構成を示す。
これに対し、CPU72は、過渡フラグFが「1」であると判定する場合(S18:YES)、S22の処理の実行から所定期間が経過したか否かを判定する(S24)。ここで、所定期間は、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値が所定量ΔPAthよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。CPU72は、所定期間が経過したと判定する場合(S24:YES)、過渡フラグFに「0」を代入する(S26)。
図3に、S28の処理の詳細を示す。
図2に戻り、CPU72は、S28の処理が完了する場合や、S20,S24の処理において否定判定する場合には、図2に示す一連の処理を一旦終了する。なお、S10〜S26の処理は、CPU72が制御プログラム74aを実行することにより実現され、S28の処理は、CPU72が学習プログラム74bを実行することにより実現される。また、車両VC1の出荷時における関係規定データDRは、テストベンチで車両の走行を模擬するなどしつつ図2に示した処理と同様の処理を実行することによってあらかじめ学習がなされたデータとする。
ここで、本実施形態の作用および効果について説明する。
(1)行動価値関数Qの独立変数にアクセル操作量PAの時系列データを含めた。これにより、アクセル操作量PAに関して単一のサンプリング値のみを独立変数とする場合と比較して、アクセル操作量PAの様々な変化に対して行動aの値をきめ細かく調整できる。
以下、第2の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
CPU72は、条件(カ)〜条件(ク)の論理積が真であると判定する場合(S72:YES)、S54の処理を実行する。すなわち、条件(カ)および条件(キ)の論理積が真である場合、ユーザがアクセルペダル86を強く踏んで車両VC1を急加速させようとしている可能性があり、条件(ク)が成立するのであれば、車両VC1の応答性に不満を抱いているためにアクセルペダル86を一般的なユーザと比較して強く踏んでいる可能性がある。そこで、車両VC1の加速性能を向上させることができるように、報酬を与える条件を変更する。
このように、本実施形態では、ユーザが走行性能の評価を入力する操作をすることなく、ユーザによる車両VC1の運転中の情報から運転嗜好情報を取得し、これに応じて報酬を与える条件を変更できる。
以下、第3の実施形態について、第1の実施形態との相違点を中心に図面を参照しつつ説明する。
図6に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図6において、図1に示した部材に対応する部材については、便宜上、同一の符号を付している。
<対応関係>
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
上記実施形態では、評価スイッチ94の操作によって、ユーザによる車両の挙動の評価を取得したが、これに限らない。たとえば、車両VC1にマイクを備え、加速時等に、ユーザが「遅い」と言った場合に、加速感について低評価である旨の情報を取得してもよい。
上記実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値TA*を例示したが、これに限らない。たとえば、アクセル操作量PAに対するスロットル開口度指令値TA*の応答性を、無駄時間および2次遅れフィルタにて表現し、無駄時間と、2次遅れフィルタを規定する2つの変数との合計3つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量PAの時系列データに代えて、アクセル操作量PAの単位時間当たりの変化量とすることが望ましい。
たとえば、下記「車両について」の欄に記載したように車両としてハイブリッド車や、電気自動車、燃料電池車を採用する場合、回転電機のトルクや出力を行動変数としてもよい。またたとえば、内燃機関のクランク軸の回転動力によって回転するコンプレッサを備えた車載空調装置を備える場合、コンプレッサの負荷トルクを行動変数に含めてもよい。また、電動式の車載空調装置を備える場合、空調装置の消費電力を行動変数に含めてもよい。
上記実施形態では、アクセル操作量PAの時系列データを、等間隔でサンプリングされた6個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける2個以上のサンプリング値からなるデータであればよく、この際、3個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。
テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量PAが最大値となることはまれであることから、アクセル操作量PAが規定量以上となる状態については行動価値関数Qを定義せず、アクセル操作量PAが規定量以上となる場合のスロットル開口度指令値TA*等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値TA*が規定値以上となるものを除くなどして、次元削減をしてもよい。
上記実施形態では、行動価値関数Qを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。
たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態sとともに行動価値関数Qに入力することによって、行動価値関数Qを最大化する行動aを選択すればよい。
S38〜S44の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型TD法を用いたり、またたとえばSARSA法のように方策オン型TD法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。
・「報酬算出処理について」
図3の処理では、条件(ア)および条件(イ)の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件(ア)を満たすか否かに応じて報酬を与える処理と、条件(イ)を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件(ア)を満たすか否かに応じて報酬を与える処理と、条件(イ)を満たすか否かに応じて報酬を与える処理との2つの処理に関しては、それらのうちのいずれか1つの処理のみを実行してもよい。
(b)変速装置の入力軸52の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。
こうした場合において、たとえば評価スイッチ94の操作によって応答性が低すぎる旨の評価が入力される場合には、上記所定時間をより短く設定する一方、入力側所定値や出力側所定値についてはより大きい値に設定すればよい。
上記実施形態では、ユーザによる走行性能の評価結果を、評価スイッチ94の出力信号に基づく評価変数VVを取得することによって取得したがこれに限らない。たとえば、評価スイッチ94に代えて、音声指示を感知する装置を備え、その感知結果を評価変数VVとして取得してもよい。
図7に示した例では、方策πに基づく行動を決定する処理(S12の処理)を、車両側で実行したが、これに限らない。たとえば、車両VC1からS10の処理によって取得したデータを送信することとし、データ解析センター110にて送信されてデータを用いて行動aを決定し、決定した行動を車両VC1に送信してもよい。
実行装置としては、CPU72(112)とROM74(114)とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の(a)〜(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するROM等のプログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
上記実施形態では、関係規定データDRが記憶される記憶装置と、学習プログラム74bや制御プログラム74aが記憶される記憶装置(ROM74,114)とを別の記憶装置としたが、これに限らない。
内燃機関としては、燃料噴射弁として吸気通路12に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室24に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。
・「車両について」
車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車あってもよい。
Claims (10)
- 実行装置および記憶装置を備え、
前記記憶装置には、車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、
前記実行装置は、
前記車両の状態を検出するセンサの検出値、およびユーザの運転嗜好に関する情報である運転嗜好情報を取得する取得処理と、
前記取得処理によって取得された前記検出値と前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する操作処理と、
前記取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
前記取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
を実行し、
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
前記報酬算出処理は、前記車両の挙動に関する特性が同一の基準を満たす場合であっても、前記運転嗜好情報が異なる場合に異なる報酬を与える処理を含む車両用制御装置。 - 前記取得処理は、ユーザによる前記車両の挙動の評価を前記運転嗜好情報として取得する処理を含み、
前記報酬算出処理は、前記取得処理によって低い評価を示す前記運転嗜好情報を取得する場合、前記車両の挙動に関する特性が同一であっても、当該評価の取得前とは異なる報酬を与える処理を含む請求項1記載の車両用制御装置。 - 前記運転嗜好情報は、前記車両の前後方向の加速度の履歴情報を含む請求項1または2記載の車両用制御装置。
- 前記運転嗜好情報は、アクセル操作量の履歴情報を含む請求項1〜3のいずれか1項に記載の車両用制御装置。
- 前記取得処理は、前記ユーザの顔画像の解析結果を前記運転嗜好情報として取得する処理を含む請求項1〜4のいずれか1項に記載の車両用制御装置。
- 前記車両の状態には、アクセル操作量の変化が含まれ、
前記報酬算出処理は、前記アクセル操作量の変化に伴う前記車両の前後方向の加速度が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を含む請求項1〜5のいずれか1項に記載の車両用制御装置。 - 前記車両は、当該車両の推力生成装置として内燃機関を備えるものであり、
前記電子機器には、前記内燃機関のスロットルバルブが含まれ、
前記行動変数には、前記スロットルバルブの開口度に関する変数が含まれる請求項6記載の車両用制御装置。 - 請求項1〜7のいずれか1項に記載の前記実行装置および前記記憶装置を備え、
前記実行装置は、前記車両に搭載される第1実行装置と、車載装置とは別の第2実行装置と、を含み、
前記第1実行装置は、少なくとも前記取得処理および前記操作処理を実行し、
前記第2実行装置は、少なくとも前記更新処理を実行する車両用制御システム。 - 請求項8記載の第1実行装置を備える車両用制御装置。
- 請求項8記載の第2実行装置を備える車両用学習装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019191097A JP6705544B1 (ja) | 2019-10-18 | 2019-10-18 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
US17/066,862 US11313309B2 (en) | 2019-10-18 | 2020-10-09 | Vehicle control device, vehicle control system, and method for controlling vehicle |
CN202011108168.6A CN112682184B (zh) | 2019-10-18 | 2020-10-16 | 车辆用控制装置、车辆用控制系统以及车辆控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019191097A JP6705544B1 (ja) | 2019-10-18 | 2019-10-18 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020063967A Division JP2021067258A (ja) | 2020-03-31 | 2020-03-31 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6705544B1 JP6705544B1 (ja) | 2020-06-03 |
JP2021066240A true JP2021066240A (ja) | 2021-04-30 |
Family
ID=70858150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019191097A Active JP6705544B1 (ja) | 2019-10-18 | 2019-10-18 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11313309B2 (ja) |
JP (1) | JP6705544B1 (ja) |
CN (1) | CN112682184B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210114596A1 (en) * | 2019-10-18 | 2021-04-22 | Toyota Jidosha Kabushiki Kaisha | Method of generating vehicle control data, vehicle control device, and vehicle control system |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6705544B1 (ja) * | 2019-10-18 | 2020-06-03 | トヨタ自動車株式会社 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
JP6809587B1 (ja) * | 2019-10-18 | 2021-01-06 | トヨタ自動車株式会社 | 車両用制御装置 |
JP6705545B1 (ja) | 2019-10-18 | 2020-06-03 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
JP7243642B2 (ja) | 2020-01-09 | 2023-03-22 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
JP7211375B2 (ja) * | 2020-01-09 | 2023-01-24 | トヨタ自動車株式会社 | 車両用制御装置 |
JP7287287B2 (ja) | 2020-01-09 | 2023-06-06 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
JP7331704B2 (ja) | 2020-01-09 | 2023-08-23 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、および車両用制御システム |
CN113515580B (zh) * | 2021-06-22 | 2022-03-01 | 智己汽车科技有限公司 | 车辆数据处理方法和设备 |
CN115217660B (zh) * | 2022-07-12 | 2023-07-21 | 广州汽车集团股份有限公司 | 充气效率的修正方法及装置、设备、计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000250604A (ja) * | 1999-03-02 | 2000-09-14 | Yamaha Motor Co Ltd | 特性最適化方法における最適化の協調方法 |
JP2012102629A (ja) * | 2010-11-08 | 2012-05-31 | Honda Motor Co Ltd | プラントの制御装置 |
JP6547991B1 (ja) * | 2019-02-20 | 2019-07-24 | トヨタ自動車株式会社 | 触媒温度推定装置、触媒温度推定システム、データ解析装置、および内燃機関の制御装置 |
JP6590097B1 (ja) * | 2019-02-20 | 2019-10-16 | トヨタ自動車株式会社 | Pm量推定装置、pm量推定システム、データ解析装置、内燃機関の制御装置、および受信装置 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6116184U (ja) | 1984-07-02 | 1986-01-30 | 株式会社平和 | パチンコ機における球集合樋 |
JP2974440B2 (ja) | 1991-03-22 | 1999-11-10 | 株式会社日立製作所 | 自動車総合制御装置 |
JP3071333B2 (ja) * | 1993-02-26 | 2000-07-31 | トヨタ自動車株式会社 | 車両の駆動力制御装置 |
JPH10254505A (ja) | 1997-03-14 | 1998-09-25 | Toyota Motor Corp | 自動制御装置 |
US6549815B1 (en) | 1999-03-02 | 2003-04-15 | Yamaha Hatsudoki Kabushiki Kaisha | Method and apparatus for optimizing overall characteristics of device, using heuristic method |
JP4802168B2 (ja) * | 2007-10-05 | 2011-10-26 | 本田技研工業株式会社 | 車両用制御装置 |
JP6026612B2 (ja) | 2015-09-22 | 2016-11-16 | 本田技研工業株式会社 | 車両用内燃機関の制御装置 |
US9989964B2 (en) | 2016-11-03 | 2018-06-05 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling vehicle using neural network |
DE112017007596T5 (de) * | 2017-06-02 | 2020-02-20 | Honda Motor Co., Ltd. | Strategieerzeugungsvorrichtung und Fahrzeug |
JP6600878B2 (ja) * | 2017-12-21 | 2019-11-06 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
JP2019144748A (ja) | 2018-02-19 | 2019-08-29 | 株式会社デンソー | 情報処理システム、車載制御装置、及び情報処理装置 |
CN109733415B (zh) * | 2019-01-08 | 2020-08-14 | 同济大学 | 一种基于深度强化学习的拟人化自动驾驶跟驰模型 |
WO2020184747A1 (ko) * | 2019-03-11 | 2020-09-17 | 엘지전자 주식회사 | 오토 스탑 시스템을 제어하는 인공 지능 장치 및 그 방법 |
JP6665961B1 (ja) * | 2019-08-01 | 2020-03-13 | トヨタ自動車株式会社 | 内燃機関の状態検出システム、データ解析装置、及び車両 |
JP2021032114A (ja) * | 2019-08-22 | 2021-03-01 | トヨタ自動車株式会社 | 車両用学習制御システム、車両用制御装置、および車両用学習装置 |
JP6809587B1 (ja) | 2019-10-18 | 2021-01-06 | トヨタ自動車株式会社 | 車両用制御装置 |
JP6705546B1 (ja) * | 2019-10-18 | 2020-06-03 | トヨタ自動車株式会社 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
JP6744598B1 (ja) * | 2019-10-18 | 2020-08-19 | トヨタ自動車株式会社 | 車両用制御システム、車両用制御装置、および車両用学習装置 |
JP6705544B1 (ja) * | 2019-10-18 | 2020-06-03 | トヨタ自動車株式会社 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
JP6744597B1 (ja) * | 2019-10-18 | 2020-08-19 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
-
2019
- 2019-10-18 JP JP2019191097A patent/JP6705544B1/ja active Active
-
2020
- 2020-10-09 US US17/066,862 patent/US11313309B2/en active Active
- 2020-10-16 CN CN202011108168.6A patent/CN112682184B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000250604A (ja) * | 1999-03-02 | 2000-09-14 | Yamaha Motor Co Ltd | 特性最適化方法における最適化の協調方法 |
JP2012102629A (ja) * | 2010-11-08 | 2012-05-31 | Honda Motor Co Ltd | プラントの制御装置 |
JP6547991B1 (ja) * | 2019-02-20 | 2019-07-24 | トヨタ自動車株式会社 | 触媒温度推定装置、触媒温度推定システム、データ解析装置、および内燃機関の制御装置 |
JP6590097B1 (ja) * | 2019-02-20 | 2019-10-16 | トヨタ自動車株式会社 | Pm量推定装置、pm量推定システム、データ解析装置、内燃機関の制御装置、および受信装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210114596A1 (en) * | 2019-10-18 | 2021-04-22 | Toyota Jidosha Kabushiki Kaisha | Method of generating vehicle control data, vehicle control device, and vehicle control system |
US11654915B2 (en) * | 2019-10-18 | 2023-05-23 | Toyota Jidosha Kabushiki Kaisha | Method of generating vehicle control data, vehicle control device, and vehicle control system |
Also Published As
Publication number | Publication date |
---|---|
CN112682184A (zh) | 2021-04-20 |
US20210115871A1 (en) | 2021-04-22 |
US11313309B2 (en) | 2022-04-26 |
CN112682184B (zh) | 2023-06-16 |
JP6705544B1 (ja) | 2020-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021066240A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6809587B1 (ja) | 車両用制御装置 | |
JP6744597B1 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6705547B1 (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7287287B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6705546B1 (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6744598B1 (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
JP7314831B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7331704B2 (ja) | 車両用制御データの生成方法、車両用制御装置、および車両用制御システム | |
JP2021067258A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021127070A (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
CN113217204B (zh) | 车辆控制方法、车辆用控制装置以及服务器 | |
JP2021067257A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067262A (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067261A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7207289B2 (ja) | 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法 | |
JP7314813B2 (ja) | 車両制御方法、車両用制御装置及びサーバ | |
JP2021066417A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067259A (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
JP2021105343A (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191120 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191120 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200427 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6705544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |