JP2021024520A - 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム - Google Patents

運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム Download PDF

Info

Publication number
JP2021024520A
JP2021024520A JP2019146809A JP2019146809A JP2021024520A JP 2021024520 A JP2021024520 A JP 2021024520A JP 2019146809 A JP2019146809 A JP 2019146809A JP 2019146809 A JP2019146809 A JP 2019146809A JP 2021024520 A JP2021024520 A JP 2021024520A
Authority
JP
Japan
Prior art keywords
evaluation
driving
vehicle
driving behavior
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019146809A
Other languages
English (en)
Other versions
JP7207227B2 (ja
Inventor
源太郎 古賀野
Gentaro Kogano
源太郎 古賀野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019146809A priority Critical patent/JP7207227B2/ja
Priority to CN202010534116.9A priority patent/CN112349084A/zh
Priority to US16/912,274 priority patent/US11494674B2/en
Publication of JP2021024520A publication Critical patent/JP2021024520A/ja
Application granted granted Critical
Publication of JP7207227B2 publication Critical patent/JP7207227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】様々な運転シーンにおいて車両の運転行動の評価を効率的に行うことができる運転行動評価装置を得る。【解決手段】運転行動評価装置は、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する。【選択図】図１０

Description

本発明は、車両の運転行動を評価する運転行動評価装置、運転行動評価方法、及び運転行動評価プログラムに関する。
特許文献１には、自車両が交差点に接近してから通過するまでの自車両の走行状態から、車両の運転行動の評価を導出する技術が開示されている。
特開２０１５−１２５５６０号公報
しかしながら、特許文献１に記載の技術は、交差点に接近してから通過するまでという特定の運転シーンにおいて運転行動の評価を導出するものであるが、実際の走行環境においては様々な運転シーンが想定される。通常、高度運転支援システムや自動運転システムを備える車両では、運転者の運転行動の評価処理（運転支援を実行するか否かの判定処理を含む）を、様々な運転シーンに対して、常時、並列に実行しておく必要がある。このような場合には演算処理が高負荷となるため、運転行動の評価を効率的に行う点で改善の余地があった。
本発明は、以上の事実を考慮して成されたもので、様々な運転シーンにおいて車両の運転行動の評価（運転支援の実行を含む）を効率的に行うことを目的とする。
請求項１に記載の運転行動評価装置は、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定する特定部と、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、前記特定部により特定された運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する導出部と、を備える。
請求項１に記載の運転行動評価装置によれば、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンが特定される。そして、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定された運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価が導出される。従って、様々な運転シーンにおいて車両の運転行動の評価を効率的に行うことができる。
請求項２に記載の運転行動評価装置は、請求項１に記載の運転行動評価装置において、前記評価ロジックが、車両の挙動に関するデータを入力及び出力として予め学習された学習済みモデルに、自車両の挙動に関するデータを入力することによって得られた出力のデータと、前記自車両の挙動に関するデータとの差が小さいほど運転行動に対する評価が高くなるロジックである。
請求項２に記載の運転行動評価装置では、評価ロジックが学習済みモデルを用いたロジックであるため、様々な運転シーンにおいて車両の運転行動の評価をより効率的に行うことができる。
請求項３に記載の運転行動評価装置は、請求項２に記載の運転行動評価装置において、前記学習済みモデルの入力及び出力が、前記挙動に関するデータの時系列データである。
請求項３に記載の運転行動評価装置では、学習済みモデルの入力及び出力に時系列データを用いているため、様々な運転シーンにおいて車両の運転行動の評価を精度良く行うことができる。
請求項４に記載の運転行動評価装置は、請求項２又は請求項３に記載の運転行動評価装置において、前記挙動に関するデータが、車速、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、車両の角速度、車両の幅方向の加速度、及び車両の前後方向の加速度を含む。
請求項４に記載の運転行動評価装置では、車両の挙動に関するデータとして様々なデータが用いられるため、様々な運転シーンにおいて車両の運転行動の評価を精度良く行うことができる。
請求項５に記載の運転行動評価方法は、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する処理をコンピュータが実行するものである。
請求項５に記載の運転行動評価方法によれば、請求項１に記載の運転行動評価装置と同様に、様々な運転シーンにおいて車両の運転行動の評価を効率的に行うことができる。
請求項６に記載の運転行動評価プログラムは、車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する処理をコンピュータに実行させるためのものである。
請求項６に記載の運転行動評価プログラムによれば、請求項１に記載の運転行動評価装置と同様に、様々な運転シーンにおいて車両の運転行動の評価を効率的に行うことができる。
本発明によれば、様々な運転シーンにおいて車両の運転行動の評価を効率的に行うことができる、という効果が得られる。
運転行動評価システムの構成の一例を示すブロック図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 学習用データの一例を示す図である。 情報処理装置の機能的な構成の一例を示すブロック図である。 学習済みモデルを説明するための図である。 学習処理の一例を示すフローチャートである。 制御装置のハードウェア構成の一例を示すブロック図である。 特定テーブルの一例を示す図である。 制御装置の機能的な構成の一例を示すブロック図である。 運転シーン特定処理の一例を示すフローチャートである。 運転行動評価処理の一例を示すフローチャートである。
以下、図面を参照して、本発明を実施するための形態例を詳細に説明する。
まず、図１を参照して、本実施形態に係る運転行動評価システム１０の構成を説明する。図１に示すように、運転行動評価システム１０は、インターネット等のネットワークＮに接続された情報処理装置１２を含む。情報処理装置１２は、ネットワークＮを介して、複数の車両のそれぞれと情報の送受信が可能とされる。各車両は、例えば、無線通信によってネットワークＮに接続される。情報処理装置１２の例としては、サーバコンピュータが挙げられる。
次に、図２を参照して、本実施形態に係る情報処理装置１２のハードウェア構成を説明する。図２に示すように、情報処理装置１２は、ＣＰＵ（Central Processing Unit）２０、一時記憶領域としてのメモリ２１、及び不揮発性の記憶部２２を含む。また、情報処理装置１２は、液晶ディスプレイ等の表示部２３、キーボードとマウス等の入力部２４、及びネットワークＮに接続されるネットワークＩ／Ｆ（InterFace）２５を含む。ＣＰＵ２０、メモリ２１、記憶部２２、表示部２３、入力部２４、及びネットワークＩ／Ｆ２５は、バス２６に接続される。
記憶部２２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部２２には、学習プログラム３０が記憶される。ＣＰＵ２０は、記憶部２２から学習プログラム３０を読み出してからメモリ２１に展開し、展開した学習プログラム３０を実行する。また、記憶部２２には、学習用データ３２及び複数の学習済みモデル３４が記憶される。
図３を参照して、本実施形態に係る学習用データ３２について説明する。図３に示すように、学習用データ３２には、運転シーンに対応付けられて、所定の時間間隔で取得された車両の挙動に関するデータ（以下、「車両挙動関連データ」という）の時系列データが記憶される。本実施形態では、車両挙動関連データは、車速、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、車両の角速度、車両の幅方向の加速度、及び車両の前後方向の加速度を含む。また、学習用データ３２に含まれるデータは、運転行動の評価が比較的高い運転が行われている際に取得されたデータのみとなっている。ここでいう運転行動の評価が比較的高い運転とは、例えば、交通法規を満たし、かつ交通流を妨げない運転を意味する。
学習済みモデル３４の詳細については後述するが、学習済みモデル３４は、学習用データ３２を用いて学習されたモデルであり、複数の運転シーンそれぞれに対応付けられた複数のモデルである。
次に、図４を参照して、本実施形態に係る情報処理装置１２の機能的な構成を説明する。図４に示すように、情報処理装置１２は、取得部４０及び学習部４２を含む。情報処理装置１２のＣＰＵ２０が記憶部２２に記憶された学習プログラム３０を実行することにより、図４に示す取得部４０及び学習部４２として機能する。
取得部４０は、記憶部２２に記憶された学習用データ３２から、運転シーン毎に、車両挙動関連データを取得する。
学習部４２は、運転シーン毎に、取得部４０により取得された運転シーン毎の車両挙動関連データを教師データとしてモデルを機械学習させることによって、複数の運転シーンそれぞれに対応付けられた複数の学習済みモデル３４を生成する。そして、学習部４２は、生成した複数の学習済みモデル３４を記憶部２２に記憶する。学習済みモデル３４としては、例えば、ＬＳＴＭ（Long Short-Term Memory）オートエンコーダが適用される。
具体的には、学習部４２は、一例として図５に示すように、車両挙動関連データの時系列データを入力とし、入力と同数の車両挙動関連データの時系列データを出力とした学習済みモデル３４を、運転シーン毎に生成する。より具体的には、学習部４２は、車両挙動関連データの時系列データを入力した場合における出力の車両挙動関連データの時系列データが、入力の車両挙動関連データの時系列データに等しくなるようにモデルを学習させることによって学習済みモデル３４を生成する。
前述したように、本実施形態では、学習用データ３２に含まれるデータを、運転行動の評価が比較的高い運転が行われている際に取得されたデータとしている。従って、学習済みモデル３４の入力と出力との差は、評価が高い運転行動からかけ離れた運転行動であるほど、すなわち、運転行動の評価が低くなるほど大きくなる。なお、学習済みモデル３４の入力及び出力の車両挙動関連データの個数は、特に限定されず、例えば、３０個等に予め定めておく形態が例示される。また、例えば、個数ではなく、例えば、３０秒分の車両挙動関連データの時系列データとする等、期間を予め定めておいてもよい。
次に、図６を参照して、本実施形態に係る情報処理装置１２の作用について説明する。なお、図６は、本実施形態に係る情報処理装置１２のＣＰＵ２０により実行される学習処理の流れの一例を示すフローチャートである。図６に示す学習処理は、記憶部２２に記憶された学習プログラム３０をＣＰＵ２０が実行することにより実行される。
図６のステップＳ１０で、取得部４０は、前述したように、記憶部２２に記憶された学習用データ３２から、運転シーン毎に、車両挙動関連データを取得する。
ステップＳ１２で、学習部４２は、前述したように、運転シーン毎に、取得部４０により取得された運転シーン毎の車両挙動関連データを教師データとしてモデルを機械学習させることによって、複数の運転シーンそれぞれに対応付けられた複数の学習済みモデル３４を生成する。そして、学習部４２は、生成した複数の学習済みモデル３４を記憶部２２に記憶する。ステップＳ１２の処理が終了すると、学習処理が終了する。
次に、図７を参照して、本実施形態に係る車両に搭載される制御装置１４のハードウェア構成を説明する。図７に示すように、制御装置１４は、ＣＰＵ５０、一時記憶領域としてのメモリ５１、及び不揮発性の記憶部５２を含む。また、制御装置１４は、ネットワークＮに接続されるネットワークＩ／Ｆ５３、及び入出力Ｉ／Ｆ５４を含む。入出力Ｉ／Ｆ５４には、ＧＰＳ（Global Positioning System）装置５６、検出部５７、表示装置５８、及び車載カメラ５９が接続される。ＣＰＵ５０、メモリ５１、記憶部５２、ネットワークＩ／Ｆ５３、及び入出力Ｉ／Ｆ５４は、バス５５に接続される。制御装置１４が、開示の技術に係る運転行動評価装置の一例である。制御装置１４の例としては、ＥＣＵ（Electronic Control Unit）が挙げられる。
記憶部５２は、ＨＤＤ、ＳＳＤ、又はフラッシュメモリ等によって実現される。記憶媒体としての記憶部５２には、運転行動評価プログラム６０が記憶される。ＣＰＵ５０は、記憶部５２から運転行動評価プログラム６０を読み出してからメモリ５１に展開し、展開した運転行動評価プログラム６０を実行する。また、記憶部５２には、情報処理装置１２により生成された学習済みモデル３４が記憶される。制御装置１４は、例えば、ネットワークＮを介して情報処理装置１２から学習済みモデル３４を取得する。なお、制御装置１４は、例えば、メモリカード等の記憶媒体を介して情報処理装置１２から学習済みモデル３４を取得してもよい。また、記憶部５２には、後述する検出部５７により所定の時間間隔（例えば、１秒間隔）で検出された自車両の車両挙動関連データの時系列データが記憶される。
また、記憶部５２には、運転シーンの特定に用いられる特定テーブル６２が記憶される。図８を参照して、本実施形態に係る特定テーブル６２について説明する。図８に示すように、特定テーブル６２には、車載カメラ５９により撮影された画像に含まれる物体、及び自車両の位置の少なくとも一方に、運転シーンが対応付けられて記憶される。例えば、車載カメラ５９により撮影された画像に含まれる物体が信号機で、かつ自車両の位置が交差点の周囲１０ｍ以内という組み合わせには、「一時停止」という運転シーンが対応付けられる。また、例えば、車載カメラ５９により撮影された画像に含まれる物体が水たまり及び人である場合は、「歩行者に注意」という運転シーンが対応付けられる。また、例えば、自車両の位置がカーブしている道路上の場合は、「カーブ走行」という運転シーンが対応付けられる。なお、車載カメラ５９により撮影された画像に含まれる物体、及び自車両の位置の１つの組み合わせに、複数の運転シーンが対応付けられていてもよい。
ＧＰＳ装置５６は、複数のＧＰＳ衛星からＧＰＳ信号を受信して自車両の位置を測位し、測位した自車両の位置を表す位置情報を制御装置１４に出力する。検出部５７は、自車両の車両挙動関連データを検出し、検出した自車両の車両挙動関連データを制御装置１４に出力する。具体的には、検出部５７は、自車両の車速、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、角速度、車両の幅方向の加速度、及び車両の前後方向の加速度をそれぞれ検出するセンサ群を含む。
表示装置５８は、制御装置１４から入力された情報を表示する。表示装置５８の例としては、カーナビゲーションシステムのディスプレイが挙げられる。表示装置５８は、制御装置１４と無線通信により接続された携帯情報端末のディスプレイでもよい。車載カメラ５９は、自車両の車室内に搭載され、車両の前方の画像を撮影して得られた画像データを制御装置１４に出力する。
次に、図９を参照して、本実施形態に係る制御装置１４の機能的な構成を説明する。図９に示すように、制御装置１４は、取得部７０、特定部７２、導出部７４、及び出力部７６を含む。制御装置１４のＣＰＵ５０が記憶部５２に記憶された運転行動評価プログラム６０を実行することにより、図９に示す取得部７０、特定部７２、導出部７４、及び出力部７６として機能する。
取得部７０は、車載カメラ５９による撮影により得られた画像データを車載カメラ５９から取得する。また、取得部７０は、ＧＰＳ装置５６から自車両の位置を表す位置情報を取得する。
特定部７２は、取得部７０により取得された画像データが表す画像、及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定する。具体的には、特定部７２は、取得部７０により取得された画像データに対し、公知の物体検出処理を行うことによって、取得部７０により取得された画像データが表す画像に含まれる物体を検出する。この物体検出処理の例としては、Ｆａｓｔｅｒ Ｒ−ＣＮＮ（Regions with Convolutional Neural Networks）、ＹＯＬＯ（You Only Look Once）、及びＳＳＤ（Single Shot Multibox Detector）等が挙げられる。
また、特定部７２は、取得部７０により取得された位置情報が表す位置が、どのような道路上の位置であるかを特定する。この特定は、例えば、地図情報に、位置情報に対応して交差点及びカーブ等の道路に関する情報が含まれていて、自車両の位置と地図情報とを用いて行うことができる。
そして、特定部７２は、特定テーブル６２を参照し、特定した物体と位置との組み合わせに対応する運転シーン、特定した物体のみに対応する運転シーン、及び特定した位置のみに対応する運転シーンを、自車両の運転シーンとして特定する。本実施形態では、特定部７２は、以上の運転シーンの特定を予め定められた第１の期間（例えば、１０秒）毎に行う。なお、特定部７２は、画像データが表す画像及び車両の位置情報を入力とし、運転シーンを出力として予め教師データを用いた機械学習によって得られた学習済みモデルを用いて、自車両の運転シーンを特定してもよい。
導出部７４は、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定部７２により特定された運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する。具体的には、導出部７４は、記憶部５２に記憶された複数の学習済みモデル３４のうち、特定部７２により特定された運転シーンのみに対応付けられた学習済みモデル３４に、自車両の直近の車両挙動関連データの時系列データを入力する。この入力に対応して、学習済みモデル３４からは、入力と同数の車両挙動関連データの時系列データが出力される。
導出部７４は、学習済みモデル３４から出力された車両挙動関連データの時系列データと、学習済みモデル３４に入力した車両挙動関連データの時系列データとの差を、運転行動に対する評価として導出する。前述したように、本実施形態では、この差が小さいほど、運転行動に対する評価が高くなる。この差としては、例えば、マハラノビス距離を適用することができる。本実施形態では、導出部７４は、以上の運転行動に対する評価を第１の期間よりも短い第２の期間（例えば、１秒）毎に行う。すなわち、特定部７２が運転シーンを１回特定する毎に、導出部７４は運転行動に対する評価を複数回導出する。なお、導出部７４は、例えば、導出した評価を１０段階評価等の予め定められた段階数の評価値に換算してもよい。以上の導出部７４が実行する学習済みモデル３４を用いた運転行動を評価するロジックが開示の技術に係る評価ロジックに相当する。
出力部７６は、導出部７４により導出された評価を出力する。具体的には、出力部７６は、導出部７４により導出された評価を表示装置５８に出力することによって、自車両の運転者に報知する。例えば、出力部７６は、導出部７４により導出された評価が予め定められた基準を満たさない場合、すなわち、予め定められた閾値以上である場合、安全運転を促すメッセージを表示装置５８に出力することによって、自車両の運転者に警告してもよい。また、出力部７６は、導出部７４により導出された評価を、車両に搭載されたスピーカー等の音声出力装置に出力することによって、音声によって自車両の運転者に報知してもよい。
なお、出力部７６は、導出部７４により導出された評価を、ネットワークＮを介して情報処理装置１２に出力することによって送信してもよい。この場合、情報処理装置１２は、各車両から定期的に送信された運転行動に対する評価を蓄積する。また、この場合、情報処理装置１２は、例えば、１ヵ月に１回等の定期的なタイミングで、車両毎に蓄積した評価を集計し、集計結果を車両のオーナーに電子メール等によって通知する。また、各車両の運転行動に対する評価は、例えば、保険料の算出等に用いられてもよい。
次に、図１０及び図１１を参照して、本実施形態に係る制御装置１４の作用について説明する。なお、図１０は、本実施形態に係る制御装置１４のＣＰＵ５０により実行される運転シーン特定処理の流れの一例を示すフローチャートである。また、図１１は、本実施形態に係る制御装置１４のＣＰＵ５０により実行される運転行動評価処理の流れの一例を示すフローチャートである。図１０に示す運転シーン特定処理及び図１１に示す運転行動評価処理は、記憶部５２に記憶された運転行動評価プログラム６０をＣＰＵ５０が実行することにより実行される。図１０に示す運転シーン特定処理は、前述した第１の期間毎に実行され、図１１に示す運転行動評価処理は、前述した第２の期間毎に実行される。
図１０のステップＳ２０で、取得部７０は、車載カメラ５９による撮影により得られた画像データを車載カメラ５９から取得する。また、取得部７０は、ＧＰＳ装置５６から自車両の位置を表す位置情報を取得する。
ステップＳ２２で、特定部７２は、前述したように、ステップＳ２０で取得された画像データが表す画像、及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定する。ステップＳ２２の処理が終了すると、図１０に示す運転シーン特定処理が終了する。
図１１のステップＳ２４で、導出部７４は、前述したように、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、直前のステップＳ２２で特定された運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する。
ステップＳ２６で、出力部７６は、前述したように、ステップＳ２４で導出された評価を表示装置５８に出力することによって、自車両の運転者に報知する。ステップＳ２６の処理が終了すると、図１１に示す運転行動評価処理が終了する。
以上説明したように、本実施形態によれば、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定された運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出している。従って、様々なシーンに場合分けする必要がなく、また、特定の運転シーンに対応する評価ロジックのみを実行するため演算量を低減することができる。この結果、様々な運転シーンにおいて車両の運転行動の評価を効率的に行うことができる。
なお、上記実施形態において、制御装置１４が有する機能部の少なくとも一部を情報処理装置１２が有してもよい。この場合、情報処理装置１２が特定部７２及び導出部７４の機能を有する形態が例示される。この場合、情報処理装置１２の記憶部５２に学習済みモデル３４及び特定テーブル６２が記憶される。また、制御装置１４は、車載カメラ５９により撮影された画像を表す画像データ及びＧＰＳ装置５６により測位された自車両の位置を表す位置情報を情報処理装置１２に送信する。情報処理装置１２は、上記実施形態に係る制御装置１４と同様に、制御装置１４から送信された画像データが表す画像、及び車両の位置情報の少なくとも一方を用いて運転シーンを特定する。そして、情報処理装置１２は、複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する。
また、上記実施形態におけるＣＰＵ２０、５０により行われる処理は、プログラムを実行することにより行われるソフトウェア処理として説明したが、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウェアで行われる処理としてもよい。また、ＣＰＵ２０、５０により行われる処理は、ソフトウェア及びハードウェアの双方を組み合わせて行われる処理としてもよい。また、記憶部２２に記憶される学習プログラム３０及び記憶部５２に記憶される運転行動評価プログラム６０は、各種記憶媒体に記憶して流通させてもよい。
また、本発明は、上記の形態例に限定されるものではなく、上記の形態例以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
１０ 運転行動評価システム
１２ 情報処理装置
１４ 制御装置（運転行動評価装置）
５０ ＣＰＵ（特定部、導出部）
６０ 運転行動評価プログラム
７０ 取得部
７２ 特定部
７４ 導出部
７６ 出力部

Claims (6)

  1. 車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定する特定部と、
    複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、前記特定部により特定された運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する導出部と、
    を備えた運転行動評価装置。
  2. 前記評価ロジックは、車両の挙動に関するデータを入力及び出力として予め学習された学習済みモデルに、自車両の挙動に関するデータを入力することによって得られた出力のデータと、前記自車両の挙動に関するデータとの差が小さいほど運転行動に対する評価が高くなるロジックである
    請求項１に記載の運転行動評価装置。
  3. 前記学習済みモデルの入力及び出力は、前記挙動に関するデータの時系列データである
    請求項２に記載の運転行動評価装置。
  4. 前記挙動に関するデータは、車速、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、車両の角速度、車両の幅方向の加速度、及び車両の前後方向の加速度を含む
    請求項２又は請求項３に記載の運転行動評価装置。
  5. 車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、
    複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する
    処理をコンピュータが実行する運転行動評価方法。
  6. 車載カメラにより撮影された画像及び自車両の位置情報の少なくとも一方を用いて運転シーンを特定し、
    複数の運転シーンそれぞれに対応付けられた複数の評価ロジックのうち、特定した運転シーンのみに対応付けられた評価ロジックを実行することによって、運転行動に対する評価を導出する
    処理をコンピュータに実行させるための運転行動評価プログラム。
JP2019146809A 2019-08-08 2019-08-08 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム Active JP7207227B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019146809A JP7207227B2 (ja) 2019-08-08 2019-08-08 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
CN202010534116.9A CN112349084A (zh) 2019-08-08 2020-06-12 驾驶行为评价装置、方法以及记录介质
US16/912,274 US11494674B2 (en) 2019-08-08 2020-06-25 Driving action evaluating device, driving action evaluating method, and recording medium storing driving action evaluating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019146809A JP7207227B2 (ja) 2019-08-08 2019-08-08 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム

Publications (2)

Publication Number Publication Date
JP2021024520A true JP2021024520A (ja) 2021-02-22
JP7207227B2 JP7207227B2 (ja) 2023-01-18

Family

ID=74358205

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019146809A Active JP7207227B2 (ja) 2019-08-08 2019-08-08 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム

Country Status (3)

Country Link
US (1) US11494674B2 (ja)
JP (1) JP7207227B2 (ja)
CN (1) CN112349084A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782926B (zh) * 2022-06-17 2022-08-26 清华大学 驾驶场景识别方法、装置、设备、存储介质和程序产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007176396A (ja) * 2005-12-28 2007-07-12 Univ Nagoya 運転行動推定装置、運転支援装置、及び車両評価システム
JP2012150557A (ja) * 2011-01-17 2012-08-09 Toyota Central R&D Labs Inc 運転マナー啓発装置、システム、及びプログラム
JP2013149154A (ja) * 2012-01-20 2013-08-01 Toyota Motor Corp 運転モデルの作成装置及び運転モデルの作成方法、並びに運転評価装置及び運転評価方法、並びに運転支援システム
JP2014135061A (ja) * 2014-02-05 2014-07-24 Toyota Motor Corp 運転評価装置及び運転評価方法、並びに運転支援システム
JP2018135058A (ja) * 2017-02-23 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011081743A (ja) * 2009-10-09 2011-04-21 Toyota Motor Corp 車載装置、情報処理センター及び運転評価システム
JP6424427B2 (ja) 2013-12-26 2018-11-21 日産自動車株式会社 運転診断装置および運転診断方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007176396A (ja) * 2005-12-28 2007-07-12 Univ Nagoya 運転行動推定装置、運転支援装置、及び車両評価システム
JP2012150557A (ja) * 2011-01-17 2012-08-09 Toyota Central R&D Labs Inc 運転マナー啓発装置、システム、及びプログラム
JP2013149154A (ja) * 2012-01-20 2013-08-01 Toyota Motor Corp 運転モデルの作成装置及び運転モデルの作成方法、並びに運転評価装置及び運転評価方法、並びに運転支援システム
JP2014135061A (ja) * 2014-02-05 2014-07-24 Toyota Motor Corp 運転評価装置及び運転評価方法、並びに運転支援システム
JP2018135058A (ja) * 2017-02-23 2018-08-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理装置及びプログラム

Also Published As

Publication number Publication date
CN112349084A (zh) 2021-02-09
US11494674B2 (en) 2022-11-08
US20210042642A1 (en) 2021-02-11
JP7207227B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
US11565721B2 (en) Testing a neural network
US10235881B2 (en) Autonomous operation capability configuration for a vehicle
US10489222B2 (en) Distributed computing resource management
US10997729B2 (en) Real time object behavior prediction
US10896122B2 (en) Using divergence to conduct log-based simulations
US11465650B2 (en) Model-free reinforcement learning
GB2553036A (en) Autonomous police vehicle
CN108334081A (zh) 用于对象检测的循环深度卷积神经网络
US11704554B2 (en) Automated training data extraction method for dynamic models for autonomous driving vehicles
CN113228040B (zh) 多级对象行进方向估计的系统和方法
Kaur et al. Current challenges in modelling advanced driver assistance systems: Future trends and advancements
US20220204020A1 (en) Toward simulation of driver behavior in driving automation
US11270689B2 (en) Detection of anomalies in the interior of an autonomous vehicle
WO2023064693A1 (en) Verifying reproducibility for a vehicle controller
US20210323565A1 (en) Vehicle control device, automated driving vehicle development system, vehicle control method, and program
JP2010182148A (ja) 走行状態記録装置
JP2021024520A (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
US20220121213A1 (en) Hybrid planning method in autonomous vehicle and system thereof
JP6493154B2 (ja) 情報提供装置および情報提供方法
Pichler et al. Autonomous highway pilot using Bayesian networks and hidden Markov models
US20230339517A1 (en) Autonomous driving evaluation system
US11887386B1 (en) Utilizing an intelligent in-cabin media capture device in conjunction with a transportation matching system
Zhou et al. Driver Assistance Systems and Safety—Assessment and Challenges
JP2022187273A (ja) 情報処理装置および運転評価システム
KR20230157514A (ko) 차량의 제어 장치용 소프트웨어의 평가 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R151 Written notification of patent or utility model registration

Ref document number: 7207227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151