JP2018202888A - 誤操作判定装置 - Google Patents

誤操作判定装置 Download PDF

Info

Publication number
JP2018202888A
JP2018202888A JP2017106667A JP2017106667A JP2018202888A JP 2018202888 A JP2018202888 A JP 2018202888A JP 2017106667 A JP2017106667 A JP 2017106667A JP 2017106667 A JP2017106667 A JP 2017106667A JP 2018202888 A JP2018202888 A JP 2018202888A
Authority
JP
Japan
Prior art keywords
pedal
erroneous
passenger
content
brake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017106667A
Other languages
English (en)
Other versions
JP6638699B2 (ja
Inventor
大輔 橋本
Daisuke Hashimoto
大輔 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017106667A priority Critical patent/JP6638699B2/ja
Priority to US15/979,890 priority patent/US11084499B2/en
Priority to CN201810488691.2A priority patent/CN108973674B/zh
Priority to DE102018112303.5A priority patent/DE102018112303A1/de
Publication of JP2018202888A publication Critical patent/JP2018202888A/ja
Application granted granted Critical
Publication of JP6638699B2 publication Critical patent/JP6638699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K26/00Arrangements or mounting of propulsion unit control devices in vehicles
    • B60K26/02Arrangements or mounting of propulsion unit control devices in vehicles of initiating means or elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60TVEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00Brake-action initiating means
    • B60T7/02Brake-action initiating means for personal initiation
    • B60T7/04Brake-action initiating means for personal initiation foot actuated
    • B60T7/06Disposition of pedal
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B60W10/184Conjoint control of vehicle sub-units of different type or different function including control of braking systems with wheel brakes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009Priority selection
    • B60W2050/0091Priority selection of control inputs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/06Direction of travel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/22Psychological state; Stress level or workload
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/06Combustion engines, Gas turbines
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Abstract

【課題】車両の操作ペダルを搭乗者が踏み間違えているか否かを相対的に高精度に判定する。
【解決手段】誤操作判定装置(17)は、搭乗者が第1操作ペダル(11)を第2操作ペダル(12)と踏み間違えるという誤操作を行っているか否かを判定するための誤操作判定装置であって、搭乗者による第1操作ペダルの操作内容に関する操作情報(Sp)を取得する取得手段(171)と、取得手段が取得した操作情報に基づいて、搭乗者が誤操作を行っているか否かを判定する判定手段(172)とを備え、判定手段は、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方を学習し、当該学習の結果に基づいて搭乗者が誤操作を行っているか否かを判定する。
【選択図】図2

Description

本発明は、例えば、搭乗者が車両の操作ペダルを踏み間違えているか否かを判定するための誤操作判定装置の技術分野に関する。
このような誤操作判定装置の一例として、特許文献1には、アクセルペダルの踏力が所定の閾値を超えた場合に、搭乗者がアクセルペダルをブレーキペダルと踏み間違えていると判定する誤操作判定装置が開示されている。更に、誤操作判定装置の他の一例として、特許文献2には、前後加速度の絶対値が閾値よりも大きい場合の方が小さい場合よりも同じアクセル開度に対して踏み間違いであるとするアクセル開度の変化量の範囲が広いテーブルを選択し、現在のアクセル開度を選択したテーブルに適用することで搭乗者がアクセルペダルをブレーキペダルと踏み間違えているか否かを判定する誤操作判定装置が開示されている。
その他、誤操作判定装置を開示する文献ではないものの、先行技術文献として、特許文献3があげられる。
特開2015−000625号公報 特開2012−144053号公報 国際公開第2016/170786号パンフレット
アクセルペダルやブレーキペダル等の操作ペダルの操作内容は、ばらつく可能性がある。例えば、操作ペダルの操作内容は、搭乗者毎にばらつく可能性がある。或いは、例えば、同じ搭乗者の操作ペダルの操作内容であっても、搭乗者の体調や気分等の違い(或いは、その他の要因)によってはばらつく可能性がある。しかしながら、上述した特許文献1及び2に記載された誤操作判定装置は、このような操作ペダルの操作内容のばらつきを何ら考慮していない。具体的には、上述した特許文献1に記載の誤操作判定装置では、搭乗者がアクセルペダルをブレーキペダルと踏み間違えているか否か判定するために用いる閾値は、操作ペダルの操作内容のばらつきを考慮することなく設定されている。上述した特許文献2に記載の誤操作判定装置では、搭乗者がアクセルペダルをブレーキペダルと踏み間違えているか否かを判定するために用いるテーブルは、操作ペダルの操作内容のばらつきを考慮することなく設定されている。このため、搭乗者がアクセルペダルをブレーキペダルと踏み間違えているか否かの判定精度が悪化する可能性があるという技術的問題が生ずる。
尚、このような技術的問題は、搭乗者がアクセルペダルをブレーキペダルと踏み間違えているか否かを判定する誤操作判定装置のみならず、搭乗者がある操作ペダルを他のペダルと踏み間違えているか否かを判定する誤操作判定装置においても同様に生ずる。
本発明が解決しようとする課題には上記のようなものが一例としてあげられる。本発明は、車両の操作ペダルを搭乗者が踏み間違えているか否かを相対的に高精度に判定可能な誤操作判定装置を提供することを課題とする。
<1>
本発明の誤操作判定装置の一の態様は、車両を運転するために搭乗者が夫々操作可能な第1操作ペダル及び第2操作ペダルを備える前記車両において、前記搭乗者が前記第1操作ペダルを前記第2操作ペダルと踏み間違えるという誤操作を行っているか否かを判定するための誤操作判定装置であって、前記搭乗者による前記第1操作ペダルの操作内容に関する操作情報を取得する取得手段と、前記取得手段が取得した前記操作情報に基づいて、前記搭乗者が前記誤操作を行っているか否かを判定する判定手段とを備え、前記判定手段は、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方を学習し、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果に基づいて前記搭乗者が前記誤操作を行っているか否かを判定する。
本発明の誤操作判定装置の一の態様によれば、搭乗者が誤操作を行っているか否かを判定する際に、操作情報に加えて、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方の学習の結果が用いられる。このため、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の学習の結果が用いられない比較例と比較して、誤操作判定装置は、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方のばらつきを考慮しながら、搭乗者が誤操作を行っているか否かを判定することができる。このため、搭乗者が誤操作を行っているか否かの判定精度の悪化が抑制される。その結果、誤操作判定装置は、搭乗者が誤操作を行っているか否かを相対的に高精度に判定することができる。
<2>
上述した誤操作判定装置の他の態様では、前記判定手段は、前記車両が走行している期間の少なくとも一部において前記搭乗者が前記第1操作ペダルを実際に操作した場合の前記第1操作ペダルの操作内容、及び前記搭乗者が前記第2操作ペダルを実際に操作した場合の前記第2操作ペダルの操作内容の少なくとも一方を学習する。
この態様によれば、車両が走行している間に搭乗者の実際の操作内容が学習されるため、搭乗者が誤操作を行っているか否かの判定精度の悪化がより適切に抑制される。
<3>
上述した誤操作判定装置の他の態様では、前記判定手段は、前記車両が前進する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方と、前記車両が後退する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方とを別々に学習する。
車両が前進している状況下での搭乗者による第1操作ペダルの操作内容は、車両が後退している状況下での搭乗者による第1操作ペダルの操作内容とは異なる可能性がある。同様に、車両が前進している状況下での搭乗者による第2操作ペダルの操作内容は、車両が後退している状況下での搭乗者による第2操作ペダルの操作内容とは異なる可能性がある。このような操作内容の違いを踏まえて、この態様では、車両が前進している状況下での操作内容と車両が後退している状況下での操作内容とが別々に学習される。このため、誤操作判定装置は、車両が前進している状況下で搭乗者が誤操作を行っているか否か及び車両が後退している状況下で搭乗者が誤操作を行っているか否かをより一層高精度に判定することができる。
<4>
上述したように車両が前進する状況下での操作内容と車両が後退する状況下での操作内容とを別々に学習する誤操作判定装置の他の態様では、前記判定手段は、前記車両が前進する状況下で前記取得手段が取得した前記操作情報と前記車両が前進する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果とに基づいて、前記車両が前進している状況下で前記搭乗者が前記誤操作を行っているか否かを判定し、前記判定手段は、前記車両が後退する状況下で前記取得手段が取得した前記操作情報と前記車両が後退する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果とに基づいて、前記車両が後退している状況下で前記搭乗者が前記誤操作を行っているか否かを判定する。
この態様によれば、誤操作判定装置は、車両が前進している状況下で搭乗者が誤操作を行っているか否か及び車両が後退している状況下で搭乗者が誤操作を行っているか否かをより一層高精度に判定することができる。
<5>
上述した誤操作判定装置の他の態様では、前記判定手段は、前記搭乗者が前記誤操作を行っているか否かを判定する際の判定基準を、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果に基づいて調整した上で、前記搭乗者が前記誤操作を行っているか否かを判定する。
この態様によれば、誤操作判定装置は、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果にも基づいて搭乗者が誤操作を行っているか否かを適切に判定することができる。
<6>
上述した誤操作判定装置の他の態様では、前記判定手段は、前記操作情報を入力とし且つ前記入力された操作情報が示す操作内容のパターンが前記第1操作ペダルの操作内容のパターンであるのか又は前記第2操作ペダルの操作内容のパターンであるのかに関する判定結果を出力とする学習モデルを用いて、前記搭乗者が前記誤操作を行っているか否かを判定し、前記判定手段は、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方を前記学習モデルに学習させることで、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方を学習する。
この態様によれば、判定手段は、学習モデルを用いて、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方を適切に学習することができる。更に、判定手段は、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方を学習させた学習モデルを用いて、搭乗者が誤操作を行っているか否かを適切に判定することができる。
<7>
上述したように学習モデルを用いる誤操作判定装置の他の態様では、前記学習モデルは、ニューラルネットワークに準拠したモデルである。
この態様によれば、判定手段は、ニューラルネットワークに準拠した学習モデルを用いて、第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方を適切に学習し且つ搭乗者が誤操作を行っているか否かを適切に判定することができる。
<8>
上述した誤操作判定装置の他の態様では、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習は、前記第1操作ペダルの操作内容と前記第2操作ペダルの操作内容との違いの学習を含む。
この態様によれば、判定手段は、第1操作ペダルの操作内容と第2操作ペダルの操作内容との違いの学習結果を用いて、搭乗者が誤操作を行っているか否かを適切に判定することができる。
尚、第1操作ペダルの操作内容及び第2操作ペダルの操作内容のいずれか一方の学習によっても、第1操作ペダルの操作内容と第2操作ペダルの操作内容との違いは学習可能である。なぜならば、第1操作ペダルの操作内容が学習されると、ある操作内容が、第1操作ペダルの操作内容であるのか又はそうでないのかが判定可能となるからである。同様に、第2操作ペダルの操作内容が学習されると、ある操作内容が、第2操作ペダルの操作内容であるのか又はそうでないのかが判定可能となるからである。
<9>
上述した誤操作判定装置の他の態様では、前記判定手段は、(i)前記取得手段が取得した前記操作情報が示す操作内容のパターンが、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果から導かれる前記第1操作ペダルの操作内容のパターンに相当する場合に、前記搭乗者が前記誤操作を行っていないと判定し、(ii)前記取得手段が取得した前記操作情報が示す操作内容のパターンが、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果から導かれる前記第2操作ペダルの操作内容のパターンに相当する場合に、前記搭乗者が前記誤操作を行っていると判定する。
この態様によれば、判定手段は、第1操作ペダルの操作内容と第2操作ペダルの操作内容との違いの学習の結果を用いて、搭乗者が誤操作を行っているか否かを適切に判定することができる。
<10>
上述した誤操作判定装置の他の態様では、前記第1操作ペダルは、アクセルペダルであり、前記第2操作ペダルは、ブレーキペダルである。
この態様によれば、判定手段は、搭乗者がアクセルペダルをブレーキペダルと踏み間違えているか否かを判定することができる。
<11>
上述した誤操作判定装置の他の態様では、前記取得手段は、前記搭乗者の状態に関する状態情報を更に取得し、前記判定手段は、前記取得手段が取得した前記操作情報及び前記状態情報の双方に基づいて、前記搭乗者が前記誤操作を行っているか否かを判定し、前記判定手段は、前記搭乗者の状態を学習し、前記搭乗者の状態の学習の結果に基づいて前記搭乗者が前記誤操作を行っているか否かを判定する
第1操作ペダルを操作している搭乗者の状態は、第2操作ペダルを操作している搭乗者の状態と異なる可能性がある。そうすると、この態様によれば、誤操作判定装置は、搭乗者の状態を学習した上で、操作情報及び状態情報並びに上述した第1操作ペダルの操作内容及び第2操作ペダルの操作内容の少なくとも一方の学習の結果及び搭乗者の状態の学習の結果に基づいて搭乗者が誤操作を行っているか否かを判定することができるがゆえに、搭乗者が誤操作を行っているか否かをより一層高精度に判定することができる。
<12>
上述したように搭乗者の状態を学習した上で状態情報に基づいて搭乗者が誤操作を行っているか否かを判定する誤操作判定装置の他の態様では、前記状態情報は、前記搭乗者が前記第1操作ペダルを操作している場合と前記搭乗者が前記第2操作ペダルを操作している場合とで区別可能な前記搭乗者の状態に関する情報を含む。
この態様によれば、状態情報に基づいて、搭乗者が誤操作を行っているか否かをより一層高精度に判定することができる。
図1は、本実施形態の車両の構成を示すブロック図である。 図2(a)は、アクセル操作パターンを示すグラフであり、図2(b)は、ブレーキ操作パターンを示すグラフである。 図3は、操作判定ECUの構成を示すブロック図である。 図4は、特徴抽出器の構成を示すブロック図である。 図5は、分類器の構成を示すブロック図である。 図6(a)及び図6(b)は、夫々、特徴抽出器が算出した特徴量ベクトルを、特徴量ベクトルに対する空間上で示すグラフである。 図7は、特徴抽出器が算出した特徴量ベクトルを2つのクラスに分類する超平面を、特徴量ベクトルに対する空間上で示すグラフである。 図8は、制御器の構成を示すブロック図である。 図9は、図8に示す制御器が備えるスイッチの出力を示すテーブルである。 図10(a)及び図10(b)の夫々は、搭乗者毎の又は搭乗者の体調等の違いに起因したアクセル操作パターン及びブレーキ操作パターンのばらつきを、特徴量ベクトルを用いて示すグラフであり、図10(c)は、アクセル操作パターン及びブレーキ操作パターンのばらつきを考慮した分類器の学習(つまり、超平面の学習)の様子を模式的に示すグラフである。 図11(a)は、車両が前進している状況下でのアクセル操作パターン及びブレーキ操作パターンを、特徴量ベクトルを用いて示すグラフであり、図11(b)は、車両が後退している状況下でのアクセル操作パターン及びブレーキ操作パターンを、特徴量ベクトルを用いて示すグラフである。 アクセルペダル及びブレーキペダルとして兼用可能な単一の兼用ペダルを備える車両の構成を示すブロック図である。
以下、誤操作判定装置の実施形態について説明する。以下では、本発明の誤操作判定装置の一実施形態が適用された車両1について説明する。
(1)車両1の構成
はじめに、図1を参照しながら、本実施形態の車両1の構成について説明する。図1は、本実施形態の車両1の構成を示すブロック図である。
図1に示すように、車両1は、「第1操作ペダル」の一具体例であるアクセルペダル11と、「第2操作ペダル」の一具体例であるブレーキペダル12と、エンジンECU(Electronic Control Unit)13と、ブレーキECU14と、エンジン15と、ブレーキ機構16と、「誤操作判定装置」の一具体例である操作判定ECU17とを備える。
アクセルペダル11は、車両1の駆動力を調整するために搭乗者が操作可能な(つまり、踏み込むことが可能な)操作ペダルである。ブレーキペダル12は、車両1の制動力を調整するために搭乗者が操作可能な(つまり、踏み込むことが可能な)操作ペダルである。エンジンECU13は、アクセルペダル11の操作内容を示すアクセル操作信号Spaに基づいて、車両1の駆動力を調整するようにエンジン15を制御する。ブレーキECU14は、ブレーキペダル12の操作内容を示すブレーキ操作信号Spbに基づいて、車両1の制動力を調整するようにブレーキ機構16を制御する。エンジン15は、車両1の駆動力を発生する駆動源である。ブレーキ機構16は、油圧等を用いて車両1の制動力を発生する制動装置である。
操作判定ECU17は、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えているか否か(つまり、誤操作を行っているか否か)を判定する。つまり、操作判定ECU17は、アクセルペダル11を実際に踏み込んでいる搭乗者が、アクセルペダル11をブレーキペダル12であると勘違いしているか否かを判定する。言い換えれば、操作判定ECU17は、ブレーキペダル12を操作する意図を有している搭乗者が誤ってアクセルペダル11を操作しているか否かを判定する。
本実施形態では、操作判定ECU17は、アクセル操作パターンとブレーキ操作パターンとの間に差があるという前提の下で、搭乗者が誤操作を行っているか否かを判定する。尚、アクセル操作パターンは、アクセルペダル11を操作する意図を有している搭乗者がアクセルペダル11を操作した場合に得られるアクセル操作信号Spaの時系列パターンである。ブレーキ操作パターンは、ブレーキペダル12を操作する意図を有している搭乗者がブレーキペダル12を操作した場合に得られるブレーキ操作信号Spbの時系列パターンである。
以下、図2(a)及び図2(b)を参照しながら、アクセル操作パターンとブレーキ操作パターンとの差について説明する。図2(a)は、アクセル操作パターンを示すグラフである。一方で、図2(b)は、ブレーキ操作パターンを示すグラフである。尚、図2(a)では、アクセル操作信号Spaは、アクセルペダル11の操作内容を示すパラメータの一例である「アクセルペダル11のストローク量(つまり、踏み込み量)」を示している。従って、アクセル操作パターンは、アクセルペダル11のストローク量の時間軸に沿った変化パターンに相当する。しかしながら、アクセル操作信号Spaは、アクセルペダル11の操作内容を示す任意のパラメータ(例えば、アクセルペダル11を踏み込む力の大きさや、アクセルペダル11を踏み込む速度等)を示していてもよい。同様に、図2(b)では、ブレーキ操作信号Spbは、ブレーキペダル12の操作内容を示すパラメータの一例である「ブレーキペダル12のストローク量(つまり、踏み込み量)」を示している。従って、ブレーキ操作パターンは、ブレーキペダル12のストローク量の時間軸に沿った変化パターンに相当する。しかしながら、ブレーキ操作信号Spbは、ブレーキペダル12の操作内容を示す任意のパラメータ(例えば、ブレーキペダル12を踏み込む力の大きさや、ブレーキペダル12を踏み込む速度等)を示していてもよい。
図2(a)及び図2(b)に示すように、例えば、アクセル操作パターンとブレーキ操作パターンとの間には、アクセルペダル11が相対的に緩やかに踏み込まれる一方で、ブレーキペダル12が相対的に急激に踏み込まれるという違いがある。つまり、アクセル操作パターンとブレーキ操作パターンとの間には、アクセル操作パターンではストローク量が相対的に緩やかに増加又は減少する一方で、ブレーキ操作パターンではストローク量が相対的に急激に増加又は減少するという違いがある。更に、例えば、アクセル操作パターンとブレーキ操作パターンとの間には、アクセルペダル11が相対的に深く踏み込まれにくい一方で、ブレーキペダル12が相対的に深く踏み込まれやすいという違いがある。つまり、アクセル操作パターンとブレーキ操作パターンとの間には、アクセル操作パターンではストローク量の最大値が相対的に小さい一方で、ブレーキ操作パターンではストローク量の最大値が相対的に大きいという違いがある。更に、例えば、アクセル操作パターンとブレーキ操作パターンとの間には、アクセルペダル11が相対的に長い期間に渡って踏み込まれ続ける一方で、ブレーキペダル12が相対的に短い期間だけ踏み込まれるという違いがある。つまり、アクセル操作パターンとブレーキ操作パターンとの間には、アクセル操作パターンではストローク量がゼロより大きくなる期間が相対的に長い一方で、ブレーキ操作パターンではストローク量がゼロより大きくなる期間が相対的に短いという違いがある。
操作判定ECU17は、操作判定ECU17に入力されるアクセル操作信号Spaが示す実操作パターン(つまり、アクセルペダル11の操作内容の時系列パターン)が、アクセル操作パターンである(つまり、アクセル操作パターンに相当する例えば、同一である又は類似する)のか又はブレーキ操作パターンであるのかを判定することで、搭乗者が誤操作を行っているか否かを判定する。つまり、操作判定ECU17は、実操作パターンが、アクセル操作パターンに相当する(例えば、同一である又は類似する)のか又はブレーキ操作パターンに相当するのかを判定することで、搭乗者が誤操作を行っているか否かを判定する。実操作パターンがアクセル操作パターンである(つまり、アクセル操作パターンに相当する)場合には、操作判定ECU17は、搭乗者が誤操作を行っていないと判定する。実操作パターンがブレーキ操作パターンである(つまり、ブレーキ操作パターンに相当する)場合には、操作判定ECU17は、搭乗者が誤操作を行っていると判定する。
本実施形態では特に、操作判定ECU17は、搭乗者が誤操作を行っているか否かの判定精度を向上させるように、アクセル操作信号Spa及びブレーキ操作信号Spbを学習する。以下、搭乗者が誤操作を行っているか否かを判定すると共にアクセル操作信号Spa及びブレーキ操作信号Spbを学習する操作判定ECU17の構成及び動作について順に説明する。
(2)操作判定ECU17
(2−1)操作判定ECU17の構成
まず、図3を参照しながら、操作判定ECU17の構成について説明する。図3は、操作判定ECU17の構成を示すブロック図である。
図3に示すように、操作判定ECU17は、操作判定ECU17内で論理的に実現される処理ブロック又は操作判定ECU17内に物理的に実現される処理回路として、「取得手段」の一具体例であるコントローラ171と、「判定手段」の一具体例であるニューラルネットワーク172と、メモリ173と、制御器174とを備える。コントローラ171と、ニューラルネットワーク172と、メモリ173と、制御器174とは、データバス175を介して通信可能である。
コントローラ171は、操作判定ECU17の動作全体を制御する。特に、コントローラ171は、アクセルペダル11からアクセル操作信号Spaを取得し、ブレーキペダル12からブレーキ操作信号Spbを取得する。コントローラ171は、取得したアクセル操作信号Spa及びブレーキ操作信号Spbを、ニューラルネットワーク172に出力する。コントローラ171は、取得したアクセル操作信号Spa及びブレーキ操作信号Spbをメモリ173に格納してもよい。
ニューラルネットワーク172は、入力されたアクセル操作信号Spaに基づいて、搭乗者が誤操作を行っているか否かを判定する。具体的には、ニューラルネットワーク172は、アクセル操作信号Spaが示す実操作パターンがブレーキ操作パターンである確率p(或いは、実操作パターンがアクセル操作パターンである確率)を算出する。言い換えれば、ニューラルネットワーク172は、実操作パターンのブレーキ操作パターンに対する類似度(或いは、アクセル操作パターンに対する類似度)を算出する。確率p(言い換えれば、類似度、以下同じ)を算出するために、ニューラルネットワーク172は、実操作パターンの特徴を示す特徴量ベクトルCを算出する特徴抽出器176と、特徴量ベクトルCに基づいて確率pを算出する分類器177とを備える。尚、特徴抽出器176及び分類器177の詳細については、操作判定ECU17の動作を説明する際に合わせて説明するため、ここでの説明を省略する。
更に、ニューラルネットワーク172は、入力されたアクセル操作信号Spa及びブレーキ操作信号Spbを学習する。特に、ニューラルネットワーク172は、分類器177の特性を規定する複数のパラメータを含むパラメータ群PGを調整して確率pの算出精度を向上させるように、入力されたアクセル操作信号Spa及びブレーキ操作信号Spbを学習する。調整されたパラメータ群PGは、メモリ173に格納される。
制御器174は、ニューラルネットワーク172が算出した確率pに基づいて、エンジンECU13及びブレーキECU14を制御する。尚、制御器174の動作の詳細については、操作判定ECU17の動作を説明する際に合わせて説明するため、ここでの説明を省略する。
(2−2)操作判定ECU17の動作
(2−2−1)ニューラルネットワーク172の初期学習
まず、操作判定ECU17を車両1に実装する際に(言い換えれば、車両1が市場に出荷される前に)、ニューラルネットワーク172の初期学習が行われる。具体的には、まず、コントローラ171によって複数のアクセル操作パターン及びブレーキ操作パターンが収集される。アクセル操作パターンは、テストドライバが実際にアクセルペダル11を操作することで収集されてもよい。アクセル操作パターンは、アクセルペダル11を踏み込む搭乗者の動きを模擬するシミュレーションモデルから収集されてもよい。ブレーキ操作パターンは、テストドライバが実際にブレーキペダル12を操作することで収集されてもよい。ブレーキ操作パターンは、ブレーキペダル12を踏み込む搭乗者の動きを模擬するシミュレーションモデルから収集されてもよい。
コントローラ171は、収集された複数のアクセル操作パターン及び複数のブレーキ操作パターンを、各操作パターンがアクセル操作パターンであるのか又はブレーキ操作パターンであるのかを示す正解データと関連付ける。具体的には、例えば、コントローラ171は、複数のアクセル操作パターン(xa1、xa2、・・・、xaN)の夫々に対して、これらがアクセル操作パターンであることを示す正解データ(ta1、ta2、・・・、taN)を関連付ける。尚、Nは、収集されたアクセル操作パターンの総数を示し、xan(但し、nは1≦n≦Nを満たす整数)は、n番目のアクセル操作パターン(つまり、ストローク量の時系列データ)を示し、tanは、アクセル操作パターンxanがアクセル操作パターンであることを示す正解データを示す。更に、コントローラ171は、例えば、複数のブレーキ操作パターン(xb1、xb2、・・・、xbM)の夫々に対して、これらがブレーキ操作パターンであることを示す正解データ(tb1、tb2、・・・、tbM)を関連付ける。尚、Mは、収集されたブレーキ操作パターンの総数を示し、xbm(但し、mは1≦m≦Mを満たす整数)は、m番目のブレーキ操作パターン(つまり、ストローク量の時系列データ)を示し、tbmは、ブレーキ操作パターンxbmがブレーキ操作パターンであることを示す正解データを示す。
その後、コントローラ171は、複数のアクセル操作パターン(xa1、xa2、・・・、xaN)、正解データ(ta1、ta2、・・・、taN)、複数のブレーキ操作パターン(xb1、xb2、・・・、xbM)及び正解データ(tb1、tb2、・・・、tbM)が連結された行列(x、t)を生成する。尚、xは、複数のアクセル操作パターン(xa1、xa2、・・・、xaN)と複数のブレーキ操作パターン(xb1、xb2、・・・、xbM)とを連結することで得られる行列であり、(xa1、xa2、・・・、xaN、xb1、xb2、・・・、xbM)という行列で表現される。同様に、tは、正解データ(ta1、ta2、・・・、taN)と正解データ(tb1、tb2、・・・、tbM)とが連結されることで得られる行列であり、(ta1、ta2、・・・、taN、tb1、tb2、・・・、tbM)という行列で表現される。従って、行列(x、t)は、行列xの各行列成分(つまり、操作パターン)がアクセル操作パターンであるのか又はブレーキ操作パターンであるのかを示す行列となる。
その後、コントローラ171の制御下で、行列(x、t)を用いて、ニューラルネットワーク172の学習が行われる。具体的には、行列xを構成する行列成分xa1が特徴抽出器176に入力される。特徴抽出器176は、行列成分xa1の特徴量を示す特徴量ベクトルCa1を算出する。特徴抽出器176は、特徴量を抽出するための既存のアルゴリズムを用いて、特徴量ベクトルCa1を算出する。但し、説明の便宜上、本実施形態では、特徴抽出器176は、行列成分xa1に畳み込み処理を行うことで特徴量ベクトルCa1を算出する。つまり、本実施形態では、ニューラルネットワーク172は、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)である。
この場合、特徴抽出器176は、図4に示すように、入力インタフェース1761と、畳み込み処理部1762と、プーリング処理部1763とを備える。尚、畳み込み処理部1762が行う畳み込み処理は既存の畳み込み処理と同一であってもよく、プーリング処理部1763が行うプーリング処理は既存のプーリング処理と同一であってもよい。このため、説明の簡略化のために、畳み込み処理及びプーリング処理の詳細な説明は省略するが、以下のその概要について簡単に説明する。行列成分xa1(つまり、アクセル操作信号Spa又はブレーキ操作信号Spb)は、入力インタフェース1761に入力される。入力インタフェース1761は、シリアルなデータ配列である行列成分xa1を、パラレルなデータ配列に変換する。入力インタフェース1761は、パラレルなデータ配列である行列成分xa1を、畳み込み処理部1762に入力する。畳み込み処理部1762は、行列成分xa1に対して、所望のフィルタ特性を有する畳み込みフィルタを用いた畳み込み処理を行う。このとき、畳み込み処理部1762は、行列成分xa1に対して、異なるフィルタ特性を有する複数の畳み込みフィルタを夫々用いた複数の畳み込み処理を行ってもよいし、単一の畳み込みフィルタを用いた畳み込み処理を行ってもよい。畳み込み処理の結果得られるデータ(いわゆる、特徴マップ)は、プーリング処理部1763に入力される。プーリング処理部1763は、特徴マップに対して、プーリング処理を行う。その結果、プーリング処理部1763は、行列成分xa1の特徴を示すD(但し、Dは1以上の整数)次元の特徴量ベクトルCa1を出力する。
図4に示す例では、特徴抽出器176は、畳み込み処理部1762及びプーリング処理部1763を含む処理ユニットを1つだけ備えている。しかしながら、特徴抽出器176は、畳み込み処理部1762及びプーリング処理部1763を含む処理ユニットを複数備えていてもよい。この場合、ある処理ユニットのプーリング処理部1763が出力する特徴量ベクトルCa1が、次の段の処理ユニットの畳み込み処理部1762に出力される。つまり、畳み込み処理及びプーリング処理が繰り返し行われる。
特徴抽出器176が算出した特徴量ベクトルCa1は、分類器177に入力される。分類器177は、特徴量ベクトルCa1に基づいて、行列成分xa1が示す操作パターンを2つのクラスのいずれかに分類する。つまり、分類器177は、行列成分xa1が示す操作パターンが2つのクラスのうちのいずれに属するかを決定する。従って、分類器177は、2クラス分類型の分類器である。ここで、上述したように、ニューラルネットワーク172は、入力されるアクセル操作信号Spaが示す実操作パターンがブレーキ操作パターンである確率pを算出する。このため、分類器177は、行列成分xa1が示す操作パターンがブレーキ操作パターンである確率pa1を算出するように構成されている。つまり、分類器177は、確率pa1を算出することで、行列成分xa1が示す操作パターンが、アクセル操作パターンに対応するクラス及びブレーキ操作パターンに対応するクラスのいずれかに分類する。
このような分類器177は、例えば、図5に示すように、D次元の特徴量ベクトルCを構成するD個の入力値(d1、d2、d3、・・・、dD)が入力される全結合層1771と、全結合層1771からの出力に基づいて確率pを出力する出力層1772とを備えている。
以上説明した確率pの算出動作が、行列xを構成するその他の行列成分xa2、・・・、xaN、xb1、xb2、・・・、及びxbMに対しても行われる。その結果、行列成分xa2が示す操作パターンがブレーキ操作パターンである確率pa2、・・・、行列成分xaNが示す操作パターンがブレーキ操作パターンである確率paN、行列成分xb1が示す操作パターンがブレーキ操作パターンである確率pb1、・・・、行列成分xbMが示す操作パターンがブレーキ操作パターンである確率pbMが算出される。
その後、コントローラ171は、分類器177が算出した確率p(=(pa1、pa2、・・・、paN、pb1、・・・、pbM))と正解データt(=(ta1、ta2、・・・、taN、tb1、・・・、tbM))の誤差を示す誤差関数E(p、t)を算出する。その後、コントローラ171は、誤差関数E(p、t)が最小になるように、特徴抽出器176及び分類器177を学習させる。つまり、コントローラ171は、教師あり学習のアルゴリズムを用いて、特徴抽出器176及び分類器177を学習させる。この場合、特徴抽出器176及び分類器177がニューラルネットワーク172を構成していることから、コントローラ171は、誤差逆伝搬法を用いて、特徴抽出器176及び分類器177に学習させてもよい。但し、コントローラ171は、その他のアルゴリズムを用いて、特徴抽出器176及び分類器177に学習させてもよい。尚、ある操作パターンがブレーキ操作パターンである確率が確率pであることから、正解データta1、ta2、・・・、taNの夫々が「0(=0%)」を示し、正解データtb1、tb2、・・・、tbMの夫々が「1(=100%)」を示す。また、誤差関数E(p、t)として、既存の誤差関数(言い換えれば、損失関数又は目的関数)が用いられてもよいため、誤差関数E(p、t)の詳細な説明を省略する。
特徴抽出器176の学習は、特徴抽出器176が用いる畳み込みフィルタのフィルタ特性の調整を含んでいてもよい。調整されたフィルタ特性を示す情報は、パラメータ群PGを構成するパラメータとしてメモリ173に格納される。但し、特徴抽出器176の学習は、特徴抽出器176の任意の特性(特に、特徴量ベクトルCの算出に関連する特性)の調整を含んでいてもよい。分類器177の学習は、全結合層1771を構成する複数のノードNの重みの調整を含んでいてもよい。分類器177の学習は、出力層1772が用いる活性化関数(いわゆる、ソフトマックス関数)の調整を含んでいてもよい。調整されたノードNの重み及び活性化関数を示す情報は、パラメータ群PGを構成するパラメータとしてメモリ173に格納される。但し、分類器177の学習は、分類器177の任意の特性(特に、確率pの算出に関連する特性)の調整を含んでいてもよい。
このような誤差関数E(p、t)が最小になるように特徴抽出器176の学習が行われた結果、特徴抽出器176は、図6(a)に示すように、特徴量ベクトルCに対応するD次元の空間内において、アクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとが明確に分離されるように、特徴量ベクトルCを算出可能となる。逆に言えば、アクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとが明確に分離可能な特徴量ベクトルCを算出できるように、特徴抽出器176の学習が行われる。その結果、学習前の特徴抽出器176によって算出された特徴量ベクトルCでは図6(b)に示すようにアクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとが少なくとも部分的に重複してしまう場合であっても、学習によって、特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとが明確に分離されるように特徴量ベクトルCが算出可能となる。
更に、このような誤差関数E(p、t)が最小になるように分類器177が学習した結果、分類器177は、図7に示すように、特徴量ベクトルCに対応するD次元の空間内において、アクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとを分離するための超平面(つまり、決定境界)を特定可能である。つまり、分類器177の学習(つまり、上述した全結合層1771を構成する複数のノードNの重みの調整や、出力層1772が用いる活性化関数の調整)は、実操作パターンがブレーキ操作パターンである確率pを算出する際の算出基準に相当する超平面の調整と等価である。従って、メモリ173に格納されているパラメータ群PGは、このような超平面を規定するパラメータを実質的に含んでいると言える。特に、特徴抽出器176の学習によってアクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとが明確に分離されるため、分類器177は、アクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCのいずれからも離れた位置に規定される超平面を特定可能である。このため、分類器177が出力する確率pは、0に近い値又は1に近い値になる可能性が高い(言い換えれば、0.5に近い値になる可能性が低い)。
(2−2−2)操作判定ECU17による誤操作判定動作
続いて、再び図3を参照しながら、車両1が実際に走行している期間(つまり、搭乗者がアクセルペダル11を実際に操作している期間)中に操作判定ECU17が行う誤操作判定動作について説明する。
この場合、アクセル操作信号Spaが特徴抽出器176に入力される。その後、特徴抽出器176は、アクセル操作信号Spaの特徴を示す特徴量ベクトルC(つまり、実操作パターンの特徴を示す特徴量ベクトルC)を算出する。誤操作判定動作における特徴量ベクトルCの算出動作は、初期学習における特徴量ベクトルCの算出動作と同じである。
その後、分類器177は、特徴量ベクトルCに基づいて、入力されたアクセル操作信号Spaが示す実操作パターンがブレーキ操作パターンである確率pを算出する。誤操作判定動作における確率pの算出動作は、初期学習における確率pの算出動作と同じである。
搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えていない場合には、実操作パターンは、アクセル操作パターンとなるはずである。なぜならば、搭乗者は、アクセルペダル11を操作する意図を有してアクセルペダル11を操作しているからである。このため、分類器177は、特徴抽出器176が算出した特徴量ベクトルCを、アクセル操作パターンに対応するクラスに分類する。つまり、分類器177は、0に近い確率pを算出する。従って、分類器177は、0に近い確率pを算出することで、実質的には、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えていないと判定している。一方で、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えている場合には、実操作パターンは、ブレーキ操作パターンとなるはずである。なぜならば、搭乗者は、ブレーキペダル12を操作する意図を有してアクセルペダル11を操作しているからである。このため、分類器177は、特徴抽出器176が算出した特徴量ベクトルCを、ブレーキ操作パターンに対応するクラスに分類する。つまり、分類器177は、1に近い確率pを算出する。従って、分類器177は、1に近い確率pを算出することで、実質的には、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えていると判定している。
分類器177が算出した確率p(つまり、実質的には、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えているか否かの判定結果)は、制御器174に入力される。
制御器174は、確率pが1に近い(例えば、第1所定閾値(例えば、0.5以上の値であり、0.7、0.8、0.9等)以上となる)場合には、エンジンECU13の動作を制限する。具体的には、制御器174は、アクセル操作信号Spaに基づいてエンジン15を制御しないように、エンジンECU13の動作を制限する。例えば、制御器174は、アクセル操作信号Spaに関わらず、エンジン15が駆動力を出力しないように、エンジンECU13の動作を制限する。更に、制御器174は、エンジンECU13の動作を制限することに加えて又は代えて、車両1を減速又は停止させるための制動力を発生するように、ブレーキECU14を制御してもよい。その結果、ブレーキ機構16は、車両1を減速又は停止させるための制動力を発生する。
一方で、制御器174は、確率pが0に近い(例えば、第2所定閾値(例えば、0.5以下の値であり、0.3、0.2、0.1等)よりも小さい)場合には、エンジンECU13の動作を制限しない。このため、エンジンECU13は、アクセル操作信号Spaに基づいてエンジン15を制御する。
このようにエンジンECU13の動作を制限可能な制御器174の一例について、図8を参照しながら説明する。図8に示すように、制御器174は、2値化処理部1741と、スイッチ1742と、ラッチ1743とを備える。2値化処理部1741は、確率pを2値化する。例えば、2値化処理部は、1に近い(例えば、上述した第1所定閾値以上となる)確率pを1に変換し、0に近い(例えば、上述した第2所定閾値以下となる)確率pを0に変換する。スイッチ1742は、アクセルペダル11が操作されている期間中に動作する一方で、ブレーキペダル12が操作されている期間中に停止する。このため、スイッチ1742には、搭乗者が操作している操作ペダルがアクセルペダル11であるのか又はブレーキペダルであるのかを示すペダル識別信号が入力される。スイッチ1742は、マルチプレクサ(MUX)である。スイッチ1742の一方の入力端子にはゼロが入力され(つまり、スイッチ1742の一方の入力端子は接地され)、スイッチ1742の一方の入力端子には、2値化処理部1741の出力が入力される。従って、スイッチ1742は、図9に示すように、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えている期間中に1を出力し、それ以外の期間中にゼロを出力する。ラッチ1743は、スイッチ1742の出力が1となる場合に1を出力し、スイッチ1742の出力が0となる場合に出力をゼロにリセットする。
ラッチ1743の出力は、エンジンECU13及びブレーキECU14に出力される。ラッチ1743の出力が1である場合には、エンジンECU13の動作が制限される及び/又は車両1を減速又は停止させるための制動力を発生するようにブレーキECU14がブレーキ機構16を制御する。ラッチ1743の出力がゼロである場合には、エンジンECU13の動作が制限されない。
尚、エンジン15が駆動力を出力しないようにエンジンECU13の動作が制限される場合には、ラッチ1743の出力がエンジンECU13に入力される(つまり、ラッチ1743の出力に基づいてエンジンECU13の動作が直接的に制限される)ことに加えて又は代えて、ラッチ1743の出力に基づいてアクセル操作信号SpaのエンジンECU13への伝達が遮断されてもよい。具体的には、例えば、アクセルペダル11とエンジンECU13との間に、アクセル操作信号Spaの伝達を遮断可能なスイッチを配置し、ラッチ1743の出力が1である場合に当該スイッチの状態をアクセル操作信号Spaの伝達を遮断可能な状態に遷移させ、ラッチ1743の出力がゼロである場合に当該スイッチの状態をアクセル操作信号Spaの伝達を遮断しない状態に遷移させてもよい。
(2−2−3)ニューラルネットワーク172のオンライン学習
本実施形態では更に、車両1が実際に走行している期間(つまり、搭乗者がアクセルペダル11を実際に操作している期間)中にコントローラ171に入力されたアクセル操作信号Spa及びブレーキ操作信号Spbの少なくとも一方を用いて、操作判定ECU17によるニューラルネットワーク172の学習が行われる。つまり、ニューラルネットワーク172のオンライン学習(言い換えれば、リアルタイム学習)が行なわれる。具体的には、アクセル操作信号Spa及びブレーキ操作信号Spbの少なくとも一方がニューラルネットワーク172に入力される都度、ニューラルネットワーク172の学習が行なわれる。但し、アクセル操作信号Spa及びブレーキ操作信号Spbの少なくとも一方が一定量メモリ173に格納される都度、ニューラルネットワーク172の学習が行なわれてもよい。
ニューラルネットワーク172のオンライン学習は、分類器177の学習を含む。この場合、コントローラ171は、教師あり学習のアルゴリズムを用いて、分類器177を学習させてもよい。つまり、コントローラ171は、初期学習と同様の学習態様で分類器177を学習させてもよい。この場合、正解データは、例えば搭乗者によって入力されてもよい。或いは、コントローラ171は、教師なし学習のアルゴリズムを用いて、分類器177を学習させてもよい。教師なし学習のアルゴリズムの一例として、EM(Expectation Maximazation)法等があげられる。ニューラルネットワーク172のオンライン学習は、分類器177の学習に加えて又は代えて、特徴抽出器176の学習を含んでいてもよい。この場合も、コントローラ171は、教師あり学習のアルゴリズム及び/又は教師なし学習のアルゴリズムを用いて、特徴抽出器176を学習させてもよい。但し、特徴抽出器176の学習に要する処理負荷は、分類器177の学習に要する処理負荷よりも大きくなる可能性があることから、学習に要する処理負荷を低減させることを目的に、特徴抽出器176の学習(つまり、オンライン学習)が行なわれなくてもよい。
ニューラルネットワーク172のオンライン学習は、操作判定ECU17内で行われてもよい。或いは、ニューラルネットワーク172のオンライン学習は、車両1の外部のデータセンタによって行われてもよい。この場合、アクセル操作信号Spa及びブレーキ操作信号Spbの少なくとも一方は、ネットワーク網を介して車両1からデータセンタに送信される。データセンタには、ニューラルネットワーク172と等価な計算モデルが構築されている。データセンタは、アクセル操作信号Spa及びブレーキ操作信号Spbの少なくとも一方と計算モデルとを用いて、ニューラルネットワーク172の学習をシミュレートする。データセンタによる学習結果は、ネットワーク網を介してデータセンタから操作判定ECU17に送信される。操作判定ECU17は、データセンタによる学習結果に基づいて、ニューラルネットワーク172の特性(つまり、パラメータ群PG)を調整する。
(3)技術的効果
以上説明した操作判定ECU17によれば、アクセル操作パターン及びブレーキ操作パターン(つまり、アクセル操作信号Spa及びブレーキ操作信号Spb)を用いたニューラルネットワーク172の学習が行われる。つまり、操作判定ECU17は、アクセル操作パターン及びブレーキ操作パターンの学習結果を用いて、実操作パターンがブレーキ操作パターンであるか否か(つまり、搭乗者が誤操作しているか否か)を判定することができる。このため、アクセル操作パターン及びブレーキ操作パターンを学習しない比較例の操作判定ECU17と比較して、搭乗者が誤操作しているか否かの判定精度が向上する。
特に、本実施形態では、車両1が走行している間もニューラルネットワーク172のオンライン学習が行われる。つまり、搭乗者によるアクセルペダル11及びブレーキペダル12の少なくとも一方の実際の操作内容に合わせてニューラルネットワーク172が最適化される。このため、アクセルペダル11及びブレーキペダル12の操作内容が運転の習熟度等に起因して搭乗者毎にばらつく場合であっても、操作判定ECU17は、搭乗者が誤操作しているか否かを適切に判定することができる。或いは、アクセルペダル11及びブレーキペダル12の操作内容が搭乗者の体調や気分等の違い(或いは、その他の要因)によってばらつく場合であっても、操作判定ECU17は、搭乗者が誤操作しているか否かを適切に判定することができる。
具体的には、例えば、図10(a)は、第1の搭乗者がアクセルペダル11及びブレーキペダル12を操作した場合に算出される特徴量ベクトルCを示すグラフである。一方で、図10(b)は、第1の搭乗者とは異なる第2の搭乗者がアクセルペダル11及びブレーキペダル12を操作した場合に算出される特徴量ベクトルCを示すグラフである。また、図10(a)及び図10(b)に示す超平面は、ニューラルネットワーク172の初期学習によって特定された超平面である。図10(a)及び図10(b)に示すように、アクセルペダル11及びブレーキペダル12の操作内容は、運転の習熟度等に起因して搭乗者毎にばらつく可能性がある。この場合、初期学習によって特定された超平面は、第1の搭乗者のアクセル操作パターンに対応する特徴量ベクトルCと第1の搭乗者のブレーキ操作パターンに対応する特徴量ベクトルCとは明確に分離可能である。一方で、初期学習によって特定された超平面は、第2の搭乗者のアクセル操作パターンに対応する特徴量ベクトルCと第2の搭乗者のブレーキ操作パターンに対応する特徴量ベクトルCとを明確に分離可能であるとは言えない。このような状況において第2の搭乗者が車両1を操作している間にニューラルネットワーク172のオンライン学習が行われると、図10(c)に示すように、第2の搭乗者のアクセル操作パターンに対応する特徴量ベクトルCと第2の搭乗者のブレーキ操作パターンに対応する特徴量ベクトルCとを明確に分離可能な、第2の搭乗者に最適化された超平面が規定される。その結果、アクセルペダル11及びブレーキペダル12の操作内容が運転の習熟度等に起因して搭乗者毎にばらつく場合であっても、操作判定ECU17は、搭乗者が誤操作しているか否かを適切に判定することができる。
或いは、例えば、図10(a)は、体調が良好なある搭乗者がアクセルペダル11及びブレーキペダル12を操作した場合に算出される特徴量ベクトルCを示すグラフであってもよい。一方で、図10(b)は、体調がよくない同じ搭乗者がアクセルペダル11及びブレーキペダル12を操作した場合に算出される特徴量ベクトルCを示すグラフであってもよい。つまり、図10(a)及び図10(b)は、アクセルペダル11及びブレーキペダル12の操作内容が搭乗者の体調等の違いによってばらつく可能性があることを示していてもよい。この場合、初期学習によって特定された超平面は、体調が良好な搭乗者のアクセル操作パターンに対応する特徴量ベクトルCと体調が良好な搭乗者のブレーキ操作パターンに対応する特徴量ベクトルCとは明確に分離可能である。一方で、初期学習によって特定された超平面は、体調がよくない搭乗者のアクセル操作パターンに対応する特徴量ベクトルCと体調がよくない搭乗者のブレーキ操作パターンに対応する特徴量ベクトルCとを明確に分離可能であるとは言えない。このような状況において体調がよくない搭乗者が車両1を操作している間にニューラルネットワーク172のオンライン学習が行われると、図10(c)に示すように、体調がよくない搭乗者のアクセル操作パターンに対応する特徴量ベクトルCと体調がよくない搭乗者のブレーキ操作パターンに対応する特徴量ベクトルCとを明確に分離可能な、体調がよくない搭乗者に最適化された超平面が規定される。その結果、アクセルペダル11及びブレーキペダル12の操作内容が搭乗者の体調等の違いによってばらつく場合であっても、操作判定ECU17は、搭乗者が誤操作しているか否かを適切に判定することができる。
(4)変形例
(4−1)第1変形例
車両1が前進している状況下でのアクセル操作パターンは、車両1が後退している状況下でのアクセル操作パターンとは異なる可能性がある。同様に、車両1が前進している状況下でのブレーキ操作パターンは、車両1が後退している状況下でのブレーキ操作パターンとは異なる可能性がある。この場合、車両1が前進しているか又は後退しているかを考慮することなくニューラルネットワーク172の学習及び誤操作判定動作が行われると、搭乗者が誤操作しているか否かの判定精度が悪化する可能性がある。
そこで、第1変形例では、初期学習及びオンライン学習において、ニューラルネットワーク172は、車両1が前進している状況下でのアクセル操作パターン(或いは、アクセル操作信号Spa)と、車両1が後退している状況下でのアクセル操作パターン(或いは、アクセル操作信号Spa)とを別々に学習する。更に、ニューラルネットワーク172は、車両1が前進している状況下でのブレーキ操作パターン(或いは、ブレーキ操作信号Spb)と、車両1が後退している状況下でのブレーキ操作パターン(或いは、ブレーキ操作信号Spb)とを別々に学習する。
具体的には、特徴抽出器176は、車両1が前進している状況下で取得されたアクセル操作信号Spaから特徴量ベクトルCを算出するために用いるフィルタ特性(以降、“前進用フィルタ特性”と称する)と、車両1が後退している状況下で取得されたアクセル操作信号Spaから特徴量ベクトルCを算出するために用いるフィルタ特性(以降、“後退用フィルタ特性”と称する)とを別個に調整する。つまり、特徴抽出器176は、前進用フィルタ特性を、車両1が前進している状況下でのアクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に基づいて調整する。同様に、特徴抽出器176は、後退用フィルタ特性を、車両1が後退している状況下でのアクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に基づいて調整する。
分類器177は、車両1が前進している状況下で取得された実操作パターンがブレーキ操作パターンである確率pを算出するために用いる超平面(以降、“前進用超平面”と称する)と、車両1が後退している状況下で取得された実操作パターンがブレーキ操作パターンである確率pを算出するために用いる超平面(以降、“後退用超平面”と称する)とを別個に調整する。つまり、分類器177は、前進用超平面を、車両1が前進している状況下でのアクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に基づいて調整する。同様に、分類器177は、後退用超平面を、車両1が後退している状況下でのアクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に基づいて調整する。
更に、誤操作判定動作において、車両1が前進している場合には、特徴抽出器176は、前進用フィルタ特性を有する畳み込みフィルタを用いて特徴量ベクトルCを算出する。一方で、車両1が後退している場合には、特徴抽出器176は、後退用フィルタ特性を有する畳み込みフィルタを用いて特徴量ベクトルCを算出する。その結果、図11(a)及び図11(b)に示すように、特徴抽出器176は、車両1が前進している場合及び車両1が後退している場合の双方において、アクセル操作パターンに対応する特徴量ベクトルCとブレーキ操作パターンに対応する特徴量ベクトルCとが明確に分離されるように、特徴量ベクトルCを算出することができる。つまり、特徴抽出器176は、車両1が前進している状況下でのアクセル操作パターン及びブレーキ操作パターンと車両1が後退している状況下でのアクセル操作パターン及びブレーキ操作パターンとの違いを考慮した上で、特徴量ベクトルCを算出することができる。
更に、誤操作判定動作において、車両1が前進している場合には、分類器177は、図11(a)に示すように、前進用超平面を用いて確率pを算出する。一方で、車両1が後退している場合には、分類器177は、図11(a)に示すように、後退用超平面を用いて確率pを算出する。つまり、分類器177は、車両1が前進している状況下でのアクセル操作パターン及びブレーキ操作パターンと車両1が後退している状況下でのアクセル操作パターン及びブレーキ操作パターンとの違いを考慮した上で、確率pを算出することができる。
このような第1変形例では、操作判定ECU17は、車両1が前進している状況下で搭乗者が誤操作を行っているか否か及び車両1が後退している状況下で搭乗者が誤操作を行っているか否かをより一層高精度に判定することができる。
(4−2)第2変形例
アクセルペダル11を操作している搭乗者の状態は、ブレーキペダル12を操作している搭乗者の状態と異なる可能性がある。例えば、搭乗者の状態の一具体例である「搭乗者がステアリングホイール(つまり、ハンドル)を握る力」は、アクセルペダル11を操作している搭乗者がステアリングホイールを握る力が相対的に小さい一方で、ブレーキペダル12を操作している搭乗者がステアリングホイールを握る力が相対的に大きくなるという特性を有している。なぜならば、上述したようにブレーキペダル12が相対的に急激に又は深く踏み込まれやすいことに起因して、ブレーキペダル12を相対的に急激に又は深く踏み込むために搭乗者がステアリングホイールをギュッと握る可能性が高いからである。
このため、このような搭乗者の状態(特に、アクセルペダル11を操作している時とブレーキペダル12を操作している時とで変わる(言い換えれば、区分可能な)状態)も、搭乗者が誤操作しているか否かを判定する動作にとって有益な情報であるといえる。そこで、第2変形例では、操作判定ECU17は、アクセル操作信号Spaに加えて、搭乗者の状態を示す状態情報にも基づいて、搭乗者が誤操作しているか否かを判定する。具体的には、車両1には、搭乗者の状態を検知するためのセンサが搭載される。センサの出力は、アクセル操作信号Spaと同様に、特徴抽出器176に入力される。特徴抽出器176は、アクセル操作信号Spa及び状態情報を包含した情報の特徴を示す特徴量ベクトルCを算出する。分類器177は、特徴量ベクトルCから、アクセル操作信号Spaが示す実操作パターンがブレーキ操作パターンである確率pを算出する。
更に、第2変形例では、ニューラルネットワーク172は、アクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に加えて、搭乗者の状態をも学習する。つまり、特徴抽出器176は、アクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に加えて、搭乗者の状態を用いて、フィルタ特性を調整する。分類器177は、アクセル操作パターン(或いは、アクセル操作信号Spa)及びブレーキ操作パターン(或いは、ブレーキ操作信号Spb)に加えて、搭乗者の状態を用いて、超平面を調整する。
このような第2変形例では、操作判定ECU17は、搭乗者が誤操作を行っているか否かをより一層高精度に判定することができる。
(4−3)第3変形例
上述した説明では、操作判定ECU17は、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えているか否かを判定している。ここで、操作判定ECU17は、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えているか否かを判定するために、アクセル操作信号Spaが示す実操作パターンがブレーキ操作パターンである確率pを算出している。この確率pを算出する動作は、実質的には、搭乗者がアクセルペダル11を操作しようとしているのか又はブレーキペダル12を操作しようとしているのかを特定する動作と等価であると言える。なぜならば、実操作パターンがブレーキ操作パターンである確率pが相対的に大きければ、搭乗者がブレーキペダル12を操作しようとしていると特定でき、実操作パターンがブレーキ操作パターンである確率pが相対的に小さければ、搭乗者がアクセルペダル11を操作しようとしていると特定できるからである。
そうすると、図12に示すようにアクセルペダル11及びブレーキペダル12に代えて、アクセルペダル11及びブレーキペダル12として兼用可能な単一の兼用ペダル21を備える車両2に操作判定ECU17が搭載された場合には、操作判定ECU17は、兼用ペダル21の操作内容を示す操作信号Spに基づいて、搭乗者が兼用ペダル21をアクセルペダル11として操作しているのか又はブレーキペダル21として操作しているのかを判定することができる。具体的には、操作判定ECU17は、算出した確率pが相対的に小さい場合には、搭乗者が兼用ペダル21をアクセルペダル11として操作していると特定する。一方で、操作判定ECU17は、算出した確率pが相対的に大きい場合には、搭乗者が兼用ペダル21をブレーキペダル12として操作していると特定する。搭乗者が兼用ペダル21をアクセルペダル11として操作していると特定される場合には、操作判定ECU17は、操作信号Spに基づいてエンジン15を制御するようにエンジンECU13を制御すると共に、操作信号Spに基づいてブレーキ機構16を制御しないようにブレーキECU14を制御する。一方で、搭乗者が兼用ペダル21をブレーキペダル12として操作していると特定される場合には、操作判定ECU17は、操作信号Spに基づいてエンジン15を制御しないようにエンジンECU13を制御すると共に、操作信号Spに基づいてブレーキ機構16を制御するようにブレーキECU14を制御する。
つまり、第3変形例では、操作判定ECU17は、車両を運転するために搭乗者が操作可能な操作ペダルを備える前記車両において、前記搭乗者が前記操作ペダルをアクセルペダルとして操作しているか又はブレーキペダルとして操作しているか判定するための操作内容判定装置であって、前記搭乗者による前記操作ペダルの操作内容に関する操作情報を取得する取得手段と、前記取得手段が取得した前記操作情報に基づいて、前記搭乗者が前記操作ペダルを第1の種類のペダルとして操作しているか又は第1の種類のペダルとは異なる第2の種類のペダルとして操作しているか判定する判定手段とを備え、前記判定手段は、前記操作ペダルが第1の種類のペダルとして操作される場合の操作内容及び前記操作ペダルが第2の種類のペダルとして操作される場合の操作内容の少なくとも一方を学習し、当該学習の結果も用いて前記搭乗者が前記操作ペダルを第1の種類のペダルとして操作しているか又は第2の種類のペダルとして操作しているかを判定することを特徴とする操作内容判定装置として機能してもよい。この場合、第1の種類のペダルは、アクセルペダルであってもよいし、第2の種類のペダルは、ブレーキペダルであってもよい。更に、第1の種類のペダルがアクセルペダルであり且つ第2の種類のペダルがブレーキペダルである場合には、操作判定ECU17は、前記搭乗者が前記操作ペダルを第1の種類のペダル(tまり、アクセルペダル)として操作していると判定される場合には、前記操作ペダルの操作内容に合わせて前記車両の駆動力を出力する駆動源を制御し、前記搭乗者が前記操作ペダルを第2の種類のペダル(つまり、ブレーキペダル)として操作していると判定される場合には、前記操作ペダルの操作内容に合わせて前記車両の制動力を出力する制動装置を制御する制御手段を更に備える操作内容判定装置として機能してもよい。
このような第3変形例では、操作判定ECU17は、アクセルペダル11及びブレーキペダル12として兼用可能な単一の兼用ペダル21を備える車両2を適切に走行させることができる。
(4−4)その他の変形例
上述した説明では、ニューラルネットワーク172は、畳み込みニューラルネットワークである。しかしながら、ニューラルネットワーク172は、その他の種類のニューラルネットワークであってもよい。例えば、ニューラルネットワーク172は、再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)であってもよい。例えば、ニューラルネットワーク172は、LSTM(Long Short Term Memory)であってもよい。
上述した説明では、操作判定ECU17は、特徴抽出器176及び分類器177の双方を備えるニューラルネットワーク172を備えている。しかしながら、操作判定ECU17は、アクセル操作信号Spa及びブレーキ操作信号Spbを学習し且つ搭乗者が誤操作を行っているか否かを判定することができる限りは、特徴抽出器176及び分類器177の少なくとも一方を備えていないニューラルネットワークを備えていてもよい。例えば、操作判定ECU17は、特徴抽出器176を備えるニューラルネットワークと、分類器177とを別個に備えていてもよい。この場合、分類器177は、ニューラルネットワークによる2値分類法を用いて、実操作パターンがブレーキ操作パターンである確率pを算出してもよい。或いは、分類器177は、任意の教師あり学習のアルゴリズムに準拠した2値分類法を用いて、実操作パターンがブレーキ操作パターンである確率pを算出してもよい。教師あり学習のアルゴリズムに準拠した2値分類法の一例として、ロジスティック回帰法、PA(Passive Aggressive)法、線形サポートベクターマシーン(SVM:Support Vector Machine)法等があげられる。或いは、分類器177は、任意の教師なし学習のアルゴリズムを用いた2値分類法を用いて、実操作パターンがブレーキ操作パターンである確率pを算出してもよい。教師なし学習のアルゴリズムに準拠した2値分類法の一例として、K平均(K means)法、混合モデル分離法、anomaly detection法(異常検知法または外れ値検知法)等があげられる。或いは、操作判定ECU17は、分類器177を備えるニューラルネットワークと、特徴抽出器176とを別個に備えていてもよい。
上述した説明では、操作判定ECU17は、ニューラルネットワーク172を備えている。しかしながら、操作判定ECU17は、アクセル操作信号Spa及びブレーキ操作信号Spbを学習し且つ搭乗者が誤操作を行っているか否かを判定することができる限りは、アクセル操作信号Spa及びブレーキ操作信号Spbを学習し且つ搭乗者が誤操作を行っているか否かを判定することが可能な任意の学習モデル(例えば、遺伝的アルゴリズムを用いた学習モデルや、任意の機械学習の方法を用いた学習モデル等)を備えていてもよい。
上述した説明では、ニューラルネットワーク172は、入力されたアクセル操作信号Spaに基づいて、搭乗者がアクセルペダル11をブレーキペダル12と踏み間違えているか否かを判定している。しかしながら、ニューラルネットワーク172は、入力されたブレーキ操作信号Spbに基づいて、搭乗者がブレーキペダル12をアクセルペダル11と踏み間違えているか否かを判定してもよい。つまり、ニューラルネットワーク172は、入力されたブレーキ操作信号Spbの特徴量ベクトルCを算出し、入力されたブレーキ操作信号Spbが示す実操作パターンがアクセル操作パターンである確率を算出することで、搭乗者がブレーキペダル12をアクセルペダル11と踏み間違えているか否かを判定してもよい。更に、車両1がアクセルペダル11及びブレーキペダル12とは異なる他の操作ペダル(例えば、クラッチペダル等)を備えている場合には、ニューラルネットワーク172は、他の操作ペダルの操作内容を示す操作信号に基づいて、搭乗者が他の操作ペダルをアクセルペダル11又はブレーキペダル12と踏み間違えているか否かを判定してもよい。つまり、車両1が2つの任意の操作ペダルを備えている場合には、ニューラルネットワーク172は、一方の操作ペダルの操作内容を示す操作信号に基づいて、搭乗者が一方の操作ペダルを他方の操作ペダルと踏み間違えているか否かを判定してもよい。
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う誤操作判定御装置もまた本発明の技術的範囲に含まれるものである。
1 車両
11 アクセルペダル
12 ブレーキペダル
13 エンジンECU
14 ブレーキECU
15 エンジン
16 ブレーキ機構
17 操作判定ECU
171 コントローラ
172 ニューラルネットワーク
173 メモリ
174 制御器
176 特徴抽出器
177 分類器

Claims (12)

  1. 車両を運転するために搭乗者が夫々操作可能な第1操作ペダル及び第2操作ペダルを備える前記車両において、前記搭乗者が前記第1操作ペダルを前記第2操作ペダルと踏み間違えるという誤操作を行っているか否かを判定するための誤操作判定装置であって、
    前記搭乗者による前記第1操作ペダルの操作内容に関する操作情報を取得する取得手段と、
    前記取得手段が取得した前記操作情報に基づいて、前記搭乗者が前記誤操作を行っているか否かを判定する判定手段と
    を備え、
    前記判定手段は、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方を学習し、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果に基づいて前記搭乗者が前記誤操作を行っているか否かを判定する
    ことを特徴とする誤操作判定装置。
  2. 前記判定手段は、前記車両が走行している期間の少なくとも一部において前記搭乗者が前記第1操作ペダルを実際に操作した場合の前記第1操作ペダルの操作内容、及び前記搭乗者が前記第2操作ペダルを実際に操作した場合の前記第2操作ペダルの操作内容の少なくとも一方を学習する
    ことを特徴とする請求項1に記載の誤操作判定装置。
  3. 前記判定手段は、前記車両が前進する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方と、前記車両が後退する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方とを別々に学習する
    ことを特徴とする請求項1又は2に記載の誤操作判定装置。
  4. 前記判定手段は、前記車両が前進する状況下で前記取得手段が取得した前記操作情報と前記車両が前進する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果とに基づいて、前記車両が前進している状況下で前記搭乗者が前記誤操作を行っているか否かを判定し、
    前記判定手段は、前記車両が後退する状況下で前記取得手段が取得した前記操作情報と前記車両が後退する状況下での前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果とに基づいて、前記車両が後退している状況下で前記搭乗者が前記誤操作を行っているか否かを判定する
    ことを特徴とする請求項3に記載の誤操作判定装置。
  5. 前記判定手段は、前記搭乗者が前記誤操作を行っているか否かを判定する際の判定基準を、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果に基づいて調整した上で、前記搭乗者が前記誤操作を行っているか否かを判定する
    ことを特徴とする請求項1から4のいずれか一項に記載の誤操作判定装置。
  6. 前記判定手段は、前記操作情報を入力とし且つ前記入力された操作情報が示す操作内容のパターンが前記第1操作ペダルの操作内容のパターンであるのか又は前記第2操作ペダルの操作内容のパターンであるのかに関する判定結果を出力とする学習モデルを用いて、前記搭乗者が前記誤操作を行っているか否かを判定し、
    前記判定手段は、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方を前記学習モデルに学習させることで、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方を学習する
    ことを特徴とする請求項1から5のいずれか一項に記載の誤操作判定装置。
  7. 前記学習モデルは、ニューラルネットワークに準拠したモデルである
    ことを特徴とする請求項6に記載の誤操作判定装置。
  8. 前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習は、前記第1操作ペダルの操作内容と前記第2操作ペダルの操作内容との違いの学習を含む
    ことを特徴とする請求項1から7のいずれか一項に記載の誤操作判定装置。
  9. 前記判定手段は、(i)前記取得手段が取得した前記操作情報が示す操作内容のパターンが、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果から導かれる前記第1操作ペダルの操作内容のパターンに相当する場合に、前記搭乗者が前記誤操作を行っていないと判定し、(ii)前記取得手段が取得した前記操作情報が示す操作内容のパターンが、前記第1操作ペダルの操作内容及び前記第2操作ペダルの操作内容の少なくとも一方の学習の結果から導かれる前記第2操作ペダルの操作内容のパターンに相当する場合に、前記搭乗者が前記誤操作を行っていると判定する
    ことを特徴とする請求項1から8のいずれか一項に記載の誤操作判定装置。
  10. 前記第1操作ペダルは、アクセルペダルであり、
    前記第2操作ペダルは、ブレーキペダルである
    ことを特徴とする請求項1から9のいずれか一項に記載の誤操作判定装置。
  11. 前記取得手段は、前記搭乗者の状態に関する状態情報を更に取得し、
    前記判定手段は、前記取得手段が取得した前記操作情報及び前記状態情報の双方に基づいて、前記搭乗者が前記誤操作を行っているか否かを判定し、
    前記判定手段は、前記搭乗者の状態を学習し、前記搭乗者の状態の学習の結果に基づいて前記搭乗者が前記誤操作を行っているか否かを判定する
    ことを特徴とする請求項1から10のいずれか一項に記載の誤操作判定装置。
  12. 前記状態情報は、前記搭乗者が前記第1操作ペダルを操作している場合と前記搭乗者が前記第2操作ペダルを操作している場合とで区別可能な前記搭乗者の状態に関する情報を含む
    ことを特徴とする請求項11に記載の誤操作判定装置。
JP2017106667A 2017-05-30 2017-05-30 誤操作判定装置 Active JP6638699B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017106667A JP6638699B2 (ja) 2017-05-30 2017-05-30 誤操作判定装置
US15/979,890 US11084499B2 (en) 2017-05-30 2018-05-15 Erroneous operation determination device
CN201810488691.2A CN108973674B (zh) 2017-05-30 2018-05-21 误操作判定装置
DE102018112303.5A DE102018112303A1 (de) 2017-05-30 2018-05-23 Vorrichtung zur Bestimmung einer falschen Bedienung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017106667A JP6638699B2 (ja) 2017-05-30 2017-05-30 誤操作判定装置

Publications (2)

Publication Number Publication Date
JP2018202888A true JP2018202888A (ja) 2018-12-27
JP6638699B2 JP6638699B2 (ja) 2020-01-29

Family

ID=64279358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017106667A Active JP6638699B2 (ja) 2017-05-30 2017-05-30 誤操作判定装置

Country Status (4)

Country Link
US (1) US11084499B2 (ja)
JP (1) JP6638699B2 (ja)
CN (1) CN108973674B (ja)
DE (1) DE102018112303A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7469890B2 (ja) 2020-01-29 2024-04-17 株式会社Subaru 制御装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580335B (zh) * 2018-06-07 2023-05-26 阿里巴巴集团控股有限公司 用户意图的确定方法及装置
CN110210169B (zh) * 2019-06-14 2023-08-18 中铁高新工业股份有限公司 一种基于lstm的盾构机故障预测方法
JP7343837B2 (ja) * 2019-10-03 2023-09-13 トヨタ自動車株式会社 運転支援装置
CN112339557B (zh) * 2020-10-28 2022-03-01 东风汽车集团有限公司 一种汽车油门踏板误踩识别、处理方法及其装置
DE102021109104A1 (de) 2021-04-13 2022-10-13 Lyjd Friendship International Pte. Limited Acceleratorsperre für Fehltritt auf das Gaspedal und deren Anwendungsverfahren

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06249007A (ja) * 1993-02-26 1994-09-06 Toyota Motor Corp 車両の駆動力制御装置
JP2011201396A (ja) * 2010-03-25 2011-10-13 Denso It Laboratory Inc 誤操作検出装置及び誤操作検出方法
JP2013155632A (ja) * 2012-01-27 2013-08-15 Honda Motor Co Ltd 運転支援装置
JP2015000625A (ja) * 2013-06-14 2015-01-05 本田技研工業株式会社 車両用制御装置
US20160298762A1 (en) * 2015-04-07 2016-10-13 Hyundai Motor Company System and method for artificially interlocking automatic transmission by operating transmission solenoid valve

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5477825A (en) 1993-02-26 1995-12-26 Toyota Jidosha Kabushiki Kaisha Driving power control apparatus for vehicle
JP5499413B2 (ja) * 2009-02-13 2014-05-21 株式会社 神崎高級工機製作所 乗用型作業車両
EP2316705B1 (en) * 2009-10-28 2012-06-20 Honda Research Institute Europe GmbH Behavior-based learning of visual characteristics from real-world traffic scenes for driver assistance systems
US8532868B2 (en) * 2010-02-10 2013-09-10 Toyota Jidosha Kabushiki Kaisha Acceleration/deceleration detecting system
JP2012144053A (ja) 2011-01-06 2012-08-02 Denso Corp アクセル・ブレーキ踏み間違い判定装置
JP5282799B2 (ja) * 2011-06-17 2013-09-04 トヨタ自動車株式会社 車両の制御装置
JP2013006510A (ja) * 2011-06-24 2013-01-10 Denso Corp 車両のシフト誤操作検出装置
TWI471241B (zh) * 2012-09-14 2015-02-01 Automotive Res & Testing Ct Brake back to charge control learning module, controller and controlled brake back to the car
JP5915771B2 (ja) * 2012-11-27 2016-05-11 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
US9493162B2 (en) * 2013-02-05 2016-11-15 Toyota Jidosha Kabushiki Kaisha Vehicle control device
KR101555444B1 (ko) * 2014-07-10 2015-10-06 현대모비스 주식회사 차량탑재 상황감지 장치 및 그 방법
JP6331975B2 (ja) * 2014-10-31 2018-05-30 株式会社デンソー 停車時車両制御装置
US10458382B2 (en) * 2015-04-15 2019-10-29 Ford Global Technologies, Llc Auto stop parameter threshold adjustment
WO2016170786A1 (ja) 2015-04-21 2016-10-27 パナソニックIpマネジメント株式会社 情報処理システム、情報処理方法、およびプログラム
CN205033947U (zh) * 2015-08-24 2016-02-17 广西大学行健文理学院 一种误踩油门提示及防止装置
US10241514B2 (en) * 2016-05-11 2019-03-26 Brain Corporation Systems and methods for initializing a robot to autonomously travel a trained route
US10192171B2 (en) * 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
US20200216079A1 (en) * 2019-01-04 2020-07-09 Byton North America Corporation Systems and methods for driver profile based warning and vehicle control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06249007A (ja) * 1993-02-26 1994-09-06 Toyota Motor Corp 車両の駆動力制御装置
JP2011201396A (ja) * 2010-03-25 2011-10-13 Denso It Laboratory Inc 誤操作検出装置及び誤操作検出方法
JP2013155632A (ja) * 2012-01-27 2013-08-15 Honda Motor Co Ltd 運転支援装置
JP2015000625A (ja) * 2013-06-14 2015-01-05 本田技研工業株式会社 車両用制御装置
US20160298762A1 (en) * 2015-04-07 2016-10-13 Hyundai Motor Company System and method for artificially interlocking automatic transmission by operating transmission solenoid valve

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7469890B2 (ja) 2020-01-29 2024-04-17 株式会社Subaru 制御装置

Also Published As

Publication number Publication date
DE102018112303A1 (de) 2018-12-06
US20180345989A1 (en) 2018-12-06
US11084499B2 (en) 2021-08-10
CN108973674B (zh) 2021-12-14
JP6638699B2 (ja) 2020-01-29
CN108973674A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
JP6638699B2 (ja) 誤操作判定装置
CN109308481B (zh) 识别装置
CN103201148B (zh) 基于驾驶员行为的车辆的制动控制
Tuba et al. Support vector machine optimized by elephant herding algorithm for erythemato-squamous diseases detection
CN115516464A (zh) 通过停放的车辆的处理能力进行的ann训练
WO2017023539A1 (en) Media classification
US11117328B2 (en) Systems, methods, and media for manufacturing processes
US11478926B2 (en) Operation control device for robot, robot control system, operation control method, control device, processing device and recording medium
CN116767204B (zh) 基于车辆载荷的车速控制方法及其系统
CN116985793B (zh) 基于深度学习算法的自动驾驶安全控制系统及方法
US20210138735A1 (en) Systems, Methods, and Media for Manufacturing Processes
Akita et al. Analysis and synthesis of driving behavior based on mode segmentation
JP6805977B2 (ja) 車両制御装置
CN111814836A (zh) 基于类不平衡算法的车辆行驶行为检测方法及装置
CN112766358A (zh) 用于粉尘抽吸强度控制的神经网络的训练方法
Akita et al. Hybrid system modeling of human driver in the vehicle following task
CN112541906B (zh) 一种数据处理的方法及装置、电子设备、存储介质
JP7485332B2 (ja) ソフトウェアプログラム、回路基板及びニューラルネットワークの生成方法
US20220327354A1 (en) Rapid, energy-saving, iterative operation of artificial neural networks
US20230401836A1 (en) Method and Device for Training a Neural Network
Yamana et al. Comparison of Pattern Classification Methods in System for Crossarm Reuse Judgement on the Basis of Rust Images.
EP4109342A1 (en) Novelty detection method for a neural network model
WO2022019193A1 (ja) 運転タイプ分類装置
US20220327390A1 (en) Method for training a neural network
US11720648B2 (en) Deep learning machine and operation method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R151 Written notification of patent or utility model registration

Ref document number: 6638699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151