JP2023165314A - 運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法 - Google Patents

運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法 Download PDF

Info

Publication number
JP2023165314A
JP2023165314A JP2022076203A JP2022076203A JP2023165314A JP 2023165314 A JP2023165314 A JP 2023165314A JP 2022076203 A JP2022076203 A JP 2022076203A JP 2022076203 A JP2022076203 A JP 2022076203A JP 2023165314 A JP2023165314 A JP 2023165314A
Authority
JP
Japan
Prior art keywords
driver
data
estimation
vehicle
operation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022076203A
Other languages
English (en)
Inventor
雅人 遠藤
Masahito Endo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022076203A priority Critical patent/JP2023165314A/ja
Priority to CN202310268055.XA priority patent/CN116993190A/zh
Priority to US18/186,197 priority patent/US20230347904A1/en
Publication of JP2023165314A publication Critical patent/JP2023165314A/ja
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の運転前に運転者によって行われる操作に着目し、短時間、且つ高い精度で運転者を推定することができる運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法を得る。
【解決手段】運転者推定装置はデータ取得部を含んでおり、データ取得部は、予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得する。また、運転者推定装置は運転者推定部を含んでおり、運転者推定部は、データ取得部で取得された操作データに基づいて、運転者を推定する。
【選択図】図7

Description

本発明は、運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法に関する。
特許文献1には、車両のスイッチが操作された際に操作者の操作指から読み取られる生体情報に基づいて操作者を特定し、操作者の個人特定サービスを提供する個人特定サービス装置が開示されている。
特開2018-052430号公報
しかしながら、上記特許文献1に記載された技術では、生体情報取得手段が設けられた特定の操作部に対して操作が行われるまでは運転者を特定することができないため、短時間、且つ高い精度で運転者を特定することができない。
一方で、日常的に車両を運転するドライバーは、車両の運転前に行われる操作がルーティン化されており、個人を特定し得る規則性を有することが分かった。
本発明は上記事実を考慮し、車両の運転前に運転者によって行われる操作に着目し、短時間、且つ高い精度で運転者を推定することができる運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法を提供することを目的とする。
請求項1に係る運転者推定装置は、予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得するデータ取得部と、前記データ取得部で取得された操作データに基づいて、運転者を推定する運転者推定部と、を有する。
請求項1に係る運転者推定装置では、予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データに基づいて運転者を推定するため、短時間、且つ高い精度で運転者を推定することができる。
請求項2に係る運転者推定装置は、請求項1において、前記データ取得部は、複数の操作項目に関する操作が行われた手順、操作時間及び設定内容のうち少なくとも一つを含む操作データを取得する。
請求項2に係る運転者推定装置では、複数の操作項目に関する操作が行われた手順、操作時間及び設定内容のうち少なくとも一つ操作データに基づいて、運転者を推定することができる。
請求項3に係る運転者推定装置は、請求項1において、前記データ取得部で取得された操作データと前記運転者推定部の推定結果に基づいて、運転者が実行する可能性の高い操作を提案する操作提案部と、前記運転者推定部は、前記操作提案部で提案された操作を運転者が実行しなかった場合に、改めて運転者を推定する。
請求項3に係る運転者推定装置では、操作データと運転者の推定結果に基づいて運転者が実行する可能性の高い操作を提案し、提案された操作を運転者が実行しなかった場合に、改めて運転者を推定する。これにより、運転者の推定結果が誤りである可能性が高い場合は、改めて運転者を推定することで推定結果の精度を高めることができる。その一方で、推定結果が正しい場合は、運転前の操作について運転者が快適さを感じる提案をすることができる。
請求項4に係る運転者推定装置は、請求項1~請求項3の何れか1項において、前記運転者推定部は、車両の運転者を推定するための機械学習を行った学習済みモデルに対して前記データ取得部で取得された操作データを入力し、前記学習済みモデルの演算処理を実行することで、運転者を推定する。
請求項4に係る運転者推定装置では、運転者を推定するための機械学習を行った学習済みモデルを用いて運転者を推定することで、複雑な演算を必要とせずに、短時間且つ高い精度で運転者を推定することができる。
請求項5に係る運転者推定方法は、予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得し、取得された操作データに基づいて、運転者を推定する。
請求項5に係る運転者推定方法では、上述のように、車両の運転前に運転者によって行われる操作に着目し、短時間、且つ高い精度で運転者を推定することができる。
請求項6に係るプログラムは、予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得し、取得された操作データに基づいて、運転者を推定する処理をコンピュータに実行させる。
請求項6に係るプログラムでは、上述のように、車両の運転前に運転者によって行われる操作に着目し、短時間、且つ高い精度で運転者を推定する、処理をコンピュータに実行させることができる。
請求項7に係る学習済みモデルの生成方法は、予め設定された複数の操作項目について車両の運転前に運転者によって行われた操作に関する操作データと、当該操作データに基づいて運転者を推定した推定結果とを取得し、車両の運転後に、推定された運転者の通信端末に対して、推定結果の正誤を確認可能な確認情報を送信し、送信された確認情報に対する運転者の応答が、推定結果が正解であることを示す場合に、取得された操作データと運転者の個人情報とを対応付けた教師データを取得し、取得した教師データに基づいて、操作項目に関する操作データを入力した場合に、運転者を推定する学習済みモデルを生成する処理をコンピュータに実行させる。
請求項7に係る学習済みモデルの生成方法では、車両の運転後に運転者の通信端末に対して推定結果の正誤を確認可能な確認情報を送信する。送信された確認情報に対する運転者の応答が、推定結果が正解であることを示す場合に、取得された操作データと運転者の個人情報とを対応付けた教師データを取得する。そして、取得した教師データに基づいて、操作項目に関する操作データを入力した場合に、運転者を推定する学習済みモデルを生成する。これにより、運転者の推定精度を向上させるための学習済みモデルの学習用データを効率的に収集することができる。その結果、車両の運転前に運転者によって行われる操作に着目し、短時間、且つ高い精度で運転者を推定することができる。
以上説明したように、本発明に係る運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法によれば、車両の運転前に運転者によって行われる操作に着目し、短時間、且つ高い精度で運転者を推定することができるという優れた効果を有する。
実施形態に係る運転者推定システムの全体構成を示す概略図である。 実施形態に係る運転者推定装置のハードウェア構成を示すブロック図である。 実施形態に係る車載器のハードウェア構成を示すブロック図である。 実施形態に係る運転者推定装置の機能構成を示すブロック図である。 実施形態における学習フェーズを説明するためのブロック図である。 操作項目の一例を示す表である。 実施形態における運転者推定処理の流れの一例を示すシーケンス図である。
実施形態に係る運転者推定装置10を含むシステムSについて、図面を参照して説明する。
図1に示されるように、本実施形態のシステムSは、運転者推定装置10、サーバ12及び車両Vを含んで構成されている。そして、運転者推定装置10、サーバ12及び車両Vは、ネットワークNによって接続されている。なお、ネットワークNには複数の車両Vが接続されているが、図1では説明の便宜上、一台の車両Vのみが図示されている。
本実施形態の運転者推定装置10は一例として、車両Vの外部に設けられた制御装置とされている。また、車両Vには、車載器14が搭載されている。
サーバ12は、複数の車両Vの管理者が保有するサーバである。すなわち、複数の車両Vを管理する管理者がサーバ12を保有しており、本実施形態では一例として、車両Vは利用者を乗せて走行するタクシーとして用いられる車両である。また、サーバ12は、タクシー会社が保有している。
ここで、本実施形態の運転者推定装置10は、各車両Vを運転する運転者が車両Vの運転前に行う操作データに基づいて、運転者を推定する。
(運転者推定装置10のハードウェア構成)
図2は、運転者推定装置10のハードウェア構成を示すブロック図である。この図2に示されるように、運転者推定装置10は、CPU(Central Processing Unit:プロセッサ)20、ROM(Read Only Memory)22、RAM(Random Access Memory)24、ストレージ26、通信I/F(通信インタフェース)28及び入出力I/F(入出力インタフェース)30を含んで構成されている。各構成は、バス32を介して相互に通信可能に接続されている。
CPU20は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU20は、ROM22又はストレージ26からプログラムを読み出し、RAM24を作業領域としてプログラムを実行する。CPU20は、ROM22又はストレージ26に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ROM22は、各種プログラムおよび各種データを格納する。RAM24は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ26は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ROM22又はストレージ26には、運転者推定処理を行うためのプログラム及び各種データなどが格納されている。
通信I/F28は、運転者推定装置10がサーバ12及び他の機器と通信するためのインタフェースであり、たとえば、CAN(Controller Area Network)、イーサネット(登録商標)、LTE(Long Term Evolution)、FDDI(Fiber Distributed Data Interface)、Wi-Fi(登録商標)などの規格が用いられる。
入出力I/F30は、入力装置34及び表示装置36と電気的に接続されている。入力装置34は、運転者推定装置10に対して所定の指示を入力するための装置であり、例えば、マウス及びキーボードなどを含んで構成されている。表示装置36は、運手者推定装置10から出力された情報を表示するためのディスプレイなどの装置である。
(車載器14のハードウェア構成)
図3は、車載器14のハードウェア構成を示すブロック図である。この図3に示されるように、車載器14は、CPU(Central Processing Unit:プロセッサ)40、ROM(Read Only Memory)42、RAM(Random Access Memory)44、ストレージ46、通信I/F(通信インタフェース)48及び入出力I/F(入出力インタフェース)50を含んで構成されている。各構成は、バス52を介して相互に通信可能に接続されている。
CPU40は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU40は、ROM42又はストレージ46からプログラムを読み出し、RAM44を作業領域としてプログラムを実行する。CPU40は、ROM42又はストレージ46に記録されているプログラムに従って、上記各構成の制御および各種の演算処理を行う。
ROM42は、各種プログラムおよび各種データを格納する。RAM44は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ46は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。本実施形態では、ROM42又はストレージ46には、各種処理を行うためのプログラム及び各種データなどが格納されている。
通信I/F48は、車載器14がサーバ12及び他の機器と通信するためのインタフェースであり、たとえば、CAN、イーサネット(登録商標)、LTE、FDDI、Wi-Fi(登録商標)などの規格が用いられる。
入出力I/F50は、ドアセンサ54、シートセンサ56、シートベルトセンサ58、イグニッションスイッチセンサ60、パーキングブレーキセンサ62、シフトレバーセンサ64、空調装置66、カーナビゲーション装置68、オーディオ装置70、加速度センサ72と電気的に接続されている。
ドアセンサ54は、車両Vの運転席のドアに対して運転者が行った各種操作情報を検出する。ドアセンサ54から取得される情報は、例えば、運転者によって運転席のドアがロックされたタイミングを検出するために用いられる。
シートセンサ56は、車両Vの運転席の設定内容を検出する。シートセンサ56から取得される情報は、例えば、運転席のシート位置やシートバックの後傾角度等を検出するために用いられる。
シートベルトセンサ58は、運転席のシートベルト装置の設定内容を検出する。シートベルトセンサ58から取得される情報は、例えば、シートベルトの引き出し量を検出するために用いられる。
イグニッションスイッチセンサ60は、車両VのイグニッションスイッチのON/OFF状態を検出する。イグニッションスイッチセンサ60から取得される情報は、例えば、運転者によって車両Vのエンジンが始動されたタイミングを検出するために用いられる。
パーキングブレーキセンサ62は、車両Vのパーキングブレーキの解除状態を検出する。パーキングブレーキセンサ62から取得される情報は、例えば、運転者によってパーキングブレーキが解除されたタイミングを検出するために用いられる。
シフトレバーセンサ64は、車両Vのシフトレバーの位置を検出する。シフトレバーセンサ64から取得される情報は、例えば、シフトレバーが「D(ドライブ)」位置に設定されたタイミングを検出するために用いられる。
空調装置66は、車室内へ空調風を導入する装置であり、例えば、インストルメントパネルに設けられ、運転者へ向けて配置されている。空調装置66から取得される情報は、例えば、空調装置のON/OFF状態や、空調温度の設定値を検出するために用いられる。
カーナビゲーション装置68は、車両の位置情報に基づいて、車両周辺の地図情報を表示すると共に、設定された目的地までの走行ルートを表示する。カーナビゲーション装置68から取得される情報は、例えば、目的地の設定の有無や、設定された目的地情報を検出するために用いられる。
オーディオ装置70は、音響データの受信、再生、停止を制御する装置であり、例えば、インストルメントパネルに設けられ、運転者へ向けて配置されている。オーディオ装置から取得される情報は、音響データの再生の有無や、音量、再生された音響データの種類を検出するために用いられる。
加速度センサ72は、車両Vの加速度を検出する。加速度センサ72で検知された加速度のデータは、例えば、車両Vが発進されたタイミングを検出するために用いられる。なお、加速度センサ72に代えて、アクセルポジションセンサから直接アクセルの操作量などを検出し、車両Vが発進されたタイミングを検出してもよい。
(運転者推定装置10の機能構成)
運転者推定装置10は、上記のハードウェア資源を用いて、各種の機能を実現する。運転者推定装置10が実現する機能構成について図4を参照して説明する。
図4に示されるように、運転者推定装置10は、機能構成として、データ取得部74、学習部76、運転者推定部78及び操作提案部80を含んで構成されている。なお、各機能構成は、CPU20がROM22又はストレージ26に記憶されたプログラムを読み出し、実行することにより実現される。
データ取得部74は、予め設定された複数の操作項目について、車両Vの運転前に運転者によって行われた操作に関する操作データを取得する。なお、「車両Vの運転前」とは、例えば、車両VのイグニッションスイッチがONにされてから、車両が発進されるまでの間である。本実施形態の一例では、車両Vの操作データは車両Vからサーバ12へ送信されており、サーバ12に操作データが蓄積されている。このため、データ取得部74は、サーバ12から操作データを取得する。データ取得部74が取得する運転データは、例えば、複数の操作項目に関する操作が行われた手順に関する情報、操作時間に関する情報及び設定内容に関する情報である。
図6に示されるように、本実施形態では一例として、取得される操作データの種別は、操作手順、操作時間、設定内容に区分されている。
操作手順に区分される操作項目には、例えば、ドアロック操作、パーキングブレーキ操作、シフトレバー操作が含まれている。ドアロック操作については、運転席のドアがロックされたタイミングが取得される。パーキングブレーキ操作については、パーキングブレーキが解除されたタイミングが取得される。シフトレバー操作については、シフトレバーが「D(ドライブ)」位置に設定されたタイミングが取得される。
また、この操作手順の区分では、複数の操作項目(ドアロック操作、パーキングブレーキ操作、及びシフトレバー操作)について操作が行われた順番が操作データとして取得される。例えば、図6に示す一例では、ドアロック操作が行われた後に、シフトレバー操作が行われ、最後に、パーキングブレーキ操作が行われたことが操作データとして取得される。
操作時間に区分される操作項目には、例えば、イグニッションスイッチ操作と発進操作が含まれている。イグニッションスイッチ操作については、イグニッションスイッチがONにされたタイミングが取得される。また、発進操作については、加速度センサ72によって車両の発信が検出されたタイミングが取得される。また、この操作時間の区分では、イグニッションスイッチがONにされてから車両Vが発信されるまでに経過した時間が、操作データとして取得される。この経過時間は、車両Vの運転前に運転者が行った操作に要する操作時間として判断される。図6に示す一例では、操作時間が11秒であることが操作データとして取得される。
設定内容に区分される複数の操作項目には、例えば、シート高さ位置設定操作、シート前後位置設定操作、シートベルト操作、空調設定操作、カーナビゲーション設定操作、オーディオ設定操作が含まれている。設定内容に区分される複数の操作項目については、各操作項目の設定内容が操作データとして取得される。
例えば、シート高さ位置設定操作については、最も低いシート位置から設定後のシートの高さ位置に到達するまでのシート高さの変化量が操作データとして取得される。シート前後位置設定操作については、シートの前後位置が最も前方側に位置する前方位置から設定後のシート位置に到達するまでの後方移動量が操作データとして取得される。シートベルト操作については、シートベルトの引き出し量が操作データとして取得される。空調設定操作については、例えば、空調の設定温度が操作データとして取得される。カーナビゲーション設定操作については、例えば、設定された目的地が操作データとして取得される。オーディオ設定操作については、例えば、受信又は再生された音響データの種類が操作データとして取得される。
図4に示される学習部76は、機械学習によって学習済みモデルMを生成する機能を有する。具体的には、図5に示されるように、学習部76は、複数の操作項目に関する操作データと、運転者の個人情報とを対応付けた教師データを取得し、取得した教師データに基づいて、操作項目に関する操作データを入力した場合に、運転者を推定する学習済みモデルMを生成する。
本実施形態では、後述するように、運転者推定部78の機能による運転者の推定結果が正しかった場合には、サーバ12から複数の操作項目に関する操作データと、運転者の個人情報とを対応付けたデータを教師データとして取得し、学習済みモデルMを更新する。
なお、学習済みモデルMとしては、例えば、ディープニューラルネットワークが適用される。本実施形態の学習済みモデルMは一例として、RNN(Recursive Neural Network)の一種であるLSTM(Long Short Term Memory)が適用されている。また、学習済みモデルMの生成には、例えば、誤差逆伝播法が用いられる。学習済みモデルMは、運転データが入力された場合に、運転特性及び認知特性が出力されるように、ディープニューラルネットワークモデルを機械学習させることによって生成される。
運転者推定部78は、データ取得部74で取得された、操作データに基づいて、車両Vの運転者を推定する。具体的には、運転者推定部78は、学習部76で生成された学習済みモデルMに対してデータ取得部74で取得された操作データを入力し、学習済みモデルMの演算処理を実行することで、運転者を推定する。
また、運転者推定部78は、後述する操作提案部80の提案を乗員が実行しなかった場合に、改めて、運転者を推定する。具体的には、提案した操作が実行されなかったという操作データ又は提案した操作に替わって運転者が実行した操作データを取得して、改めて、学習済みモデルMの演算処理を実行することで、運転者を推定する。
操作提案部80は、データ取得部74で取得された操作データと運転者推定部78の推定結果に基づいて、車両Vの運転者が実行する可能性の高い操作を提案する。具体的には、操作提案部80は、運転者毎に対応付けて蓄積された過去の車両Vの操作データに基づいて、統計的、確率的に実行する可能性の高い操作を予測し、予測された操作について運転者に提案する。また、提案される操作は、運転前に行われる操作に限らず、運転中に行われる操作であってもよい。
なお、車両Vの運転者が実行する可能性の高い操作の予測は、複数の操作項目に関する情報としての操作データと、運転者の個人情報とを対応付けた教師データを取得し、取得した教師データに基づいて、操作項目に関する操作データを入力した場合に、運転者が実行する可能性の高い操作を推定する学習済みモデルを生成して行われてもよい。
即ち、操作提案部80は、運転者が実行する可能性の高い操作を推定するための機械学習を行った学習済みモデルに対して、データ取得部で取得された操作データと運転者推定部78で推定された運転者の個人情報とを入力し、前記学習済みモデルの演算処理を実行することで、運転者が実行する可能性の高い操作を推定する構成としてもよい。
なお、運転者に対する操作の提案は、車内のディスプレイに画像データを表示する方法や、スピーカに音声データを出力する等の方法で行うことができる。例えば、運転者が実行する可能性の高い操作として「シート前後位置設定操作」が予測された場合に、車内のスピーカから「シートの前後位置を”△△△さん”の前回の設定位置にしますか?」等、推定された運転者に対して「シートの前後位置設定操作」を提案する内容の音声データを出力する。これに対して、運転者の発した音声又は操作部への操作によって操作提案部80からの提案に同意する旨の応答を取得した場合は、提案した操作を実行することで乗員の操作を支援することができる。
その一方で、乗員から、提案に同意しない旨の応答を取得した場合、操作提案部80は、提案した操作が実行されなかったため、運転者の推定結果が誤りである可能性があると判断する。そして、運転者推定部78は、提案した操作が実行されなかったという操作データ又は提案した操作に替わって運転者が実行した操作データを取得して、学習済みモデルMに入力することで改めて運転者を推定する。
(作用)
次に、本実施形態の作用を説明する。
(運転者推定処理)
運転者推定処理の流れの一例について、図7に示されているシーケンス図を用いて説明する。なお、運転者推定装置10における処理は、CPU20がデータ取得部74及び運転者推定部78として機能することにより実現される。
ステップS102では、車両Vからサーバ12へ操作データが送信される。具体的には、車両Vに搭載されたドアセンサ54、シートセンサ56、シートベルトセンサ58、イグニッションスイッチセンサ60、パーキングブレーキセンサ62、シフトレバーセンサ64、空調装置66、カーナビゲーション装置68、オーディオ装置70及び加速度センサ72で検出された信号が操作データとしてサーバ12へ送信される。このとき、車両V側で予めデータを加工したものを操作データとしてサーバ12へ送信してもよい。
サーバ12では、車両Vから受信した操作データが車両Vごと、又は運転者ごとに蓄積される。
ステップS104では、運転者推定装置10がデータ取得部74の機能によってサーバ12へ操作データを要求する。ステップS106では、サーバ12から運転者推定装置10へ操作データが送信される。
ステップS108では、運転者推定装置10が運転者推定処理を行う。具体的には、運転者推定装置10は、運転者推定部78の機能により、学習済みモデルMに対してデータ取得部74で取得された操作データを入力し、学習済みモデルMの演算処理を実行することで、運転者を推定する。
ステップS110では、運転者推定処理により推定された運転者(推定結果)がサーバ12へ送信される。
ステップS112では、サーバ12から運転者推定装置10へ、推定された運転者について蓄積された過去の操作データが送信される。
ステップS114では、運転者推定装置10が推定された運転者が実行する可能性の高い操作を予測し、予測された操作の実行を提案する。具体的に、操作提案部80の機能により、サーバ12から取得した過去の操作データから得られる統計的な確率予測により、データ取得部で取得された操作データの次に、運転者が実行する可能性の高い操作予測する。
ステップS116では、予測した操作を車両Vの運転者に提案する。具体的には、運転者推定装置10から車両Vに提案要求を送信し、車両Vで操作を提案する画像データ又は音声データ等を運転者に対して出力する。
ステップS118では、車両Vにおいて、運転者推定装置10から提案された操作が実行されたか否かを判定する。車両Vにおいて、提案された操作が実行されたと判定した場合は、ステップS120で、車両Vからサーバ12に操作データを送信する。一方、車両Vで提案された操作が実行されなかったと判定した場合は、ステップS122で、車両Vから運転者推定装置10に操作データが送信される。なお、この判定処理は、運転者推定10装置からの提案に対する操作データを車両Vから運転者推定装置10に送信し、運転者推定装置10で判定処理を実行してもよい。又は、運転者推定10装置からの提案に対する操作データをサーバ12に送信し、サーバ12で判定処理を実行し、その結果を運転者推定装置10に送信してもよい。
ステップS124では、運転者推定装置10が運転者推定部78の機能に基づいて、改めて運転者を推定する。具体的に、運転者推定部78は、提案した操作が実行されなかったという操作データ又は提案した操作に替わって運転者が実行した操作データを取得して、学習済みモデルMに入力することで改めて運転者を推定する。
ステップS126では、運転者推定処理によって推定された運転者がサーバ12へ送信される。
ステップS128で車両Vの運転が終了すると、ステップS130では、運転者推定装置10から推定された運転者の通信端末に対して、推定結果の正誤を確認可能な確認情報を送信する。本実施形態の一例では、運転者の通信端末は、車載器14とされている。なお、通信端末は、推定された運転者が携行するスマートフォンやタブレット等の通信端末でもよい。
ステップS132では、通信端末としての車両Vから運転者推定装置10に、確認情報に対する運転者からの応答データが送信される。
ステップS134では、運転者推定装置10が、応答データに基づいて、運転者推定処理による推定結果が正しかったか否かについて判定する。推定結果が誤りであると判定された場合は、処理を終了する。一方で、推定結果が正しいと判定された場合は、ステップS136で、サーバ12に教師データを要求する。
ステップS138では、サーバ12から運転者推定装置10に取得された操作データと運転者の個人情報とを対応付けた教師データを送信する。これにより、運転者推定装置10では、学習部76の機能により、学習済みモデルMを更新することができる。
以上のように、本実施形態に係る運転者推定装置10では、予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データに基づいて運転者を推定するため、短時間、且つ高い精度で運転者を推定することができる。
また、この場合において、複数の操作項目に関する操作が行われた手順、操作時間及び設定内容のうち少なくとも一つ操作データに基づいて、運転者を推定することができる。
さらに、運転者推定処理では、操作データと運転者の推定結果に基づいて、運転者が実行する可能性の高い操作を提案し、提案された操作を運転者が実行しなかった場合に、改めて運転者を推定する。これにより、運転者の推定結果が誤りである可能性が高い場合は、改めて運転者を推定することで推定結果の精度を高めることができる。その一方で、推定結果が正しい場合は、運転前の操作について運転者が快適さを感じる提案をすることができる。
さらにまた、本実施形態では、運転者を推定するための機械学習を行った学習済みモデルMを用いて運転者を推定することで、複雑な演算を必要とせずに、短時間且つ高い精度で運転者を推定することができる。そして、この学習済みモデルMでは、車両の運転後に運転者の通信端末に対して推定結果の正誤を確認可能な確認情報を送信し、送信された確認情報に対する運転者の応答が、推定結果が正解であることを示す場合に、取得された操作データと運転者の個人情報とを対応付けた教師データを取得する。そして、取得した教師データに基づいて、操作項目に関する操作データを入力した場合に、運転者を推定する学習済みモデルMを生成(更新)する。これにより、運転者の推定精度を向上させるための学習済みモデルの学習用データを効率的に収集することができる。
[補足説明]
以上、実施形態に係る運転者推定装置10について説明したが、本発明の要旨を逸脱しない範囲において、種々なる態様で実施し得ることは勿論である。例えば、上記実施形態では、運転者推定装置10を車両Vの外部に設けたが、これに限定されず、車両Vに運転者推定装置10が搭載された構成としてもよい。この場合、車両Vの操作データをサーバ12へ送信せず、運転者推定装置10が車両Vから直接操作データを取得してもよい。
運転者推定部78による運転者推定処理は、運転者推定装置10の内部で実行してもよく、必要なデータをサーバ12へ送信してサーバ12側で実行してもよい。運転者推定処理をサーバ12側で実行する場合、学習済みモデルMがサーバ12に格納されていてもよい。
さらに、上記実施形態では、運転者推定部78は、学習済みモデルMに対して操作データなどを入力し、学習済みモデルMの演算処理を実行することで、運転者を推定したが、これに限定されない。例えば、学習済みモデルMを用いずに運転者を推定してもよい。この場合、予め操作データ及び運転者の個人情報とを関連付けたテーブルを保持しておき、このテーブルを参照して運転者を推定する方法を用いてもよい。
また、上記実施形態では、ドアロック操作、パーキングブレーキ操作、シフトレバー操作、イグニッションスイッチ操作、発信操作、シート高さ位置設定操作、シート前後位置設定操作、シートベルト操作、空調設定操作、カーナビゲーション設定操作及びオーディオ設定操作を操作データの操作項目として列挙したが、これに限らない。例えば、上記データの一部を操作データとして用いてもよい。また、上記データに加えて、窓の開閉操作や、バックルスイッチのロック操作、サイドミラー操作、ルームミラー操作などを含むデータを操作データとして用いてもよい。
さらに、上記実施形態でCPU20がプログラムを読み込んで実行した処理を、CPU20以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上記処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせで実行してもよく、例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
さらに、上記実施形態では、ストレージ26及びストレージ46に種々のデータを記憶させる構成としたが、これに限定されない。例えば、CD(Compact Disk)、DVD(Digital Versatile Disk)、及びUSB(Universal Serial Bus)メモリ等の非一時的記録媒体を記憶部としてもよい。この場合、これらの記録媒体に各種プログラム及びデータなどが格納されることとなる。
10 運転者推定装置
74 データ取得部
78 運転者推定部
80 操作提案部
M 学習済みモデル
V 車両

Claims (7)

  1. 予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得するデータ取得部と、
    前記データ取得部で取得された操作データに基づいて、運転者を推定する運転者推定部と、
    を有する運転者推定装置。
  2. 前記データ取得部は、複数の操作項目に関する操作が行われた手順、操作時間及び設定内容のうち少なくとも一つを含む操作データを取得する、請求項1に記載の運転者推定装置。
  3. 前記データ取得部で取得された操作データと前記運転者推定部の推定結果に基づいて、運転者が実行する可能性の高い操作を提案する操作提案部と、
    前記運転者推定部は、前記操作提案部で提案された操作を運転者が実行しなかった場合に、改めて運転者を推定する、請求項1に記載の運転者推定装置。
  4. 前記運転者推定部は、車両の運転者を推定するための機械学習を行った学習済みモデルに対して前記データ取得部で取得された操作データを入力し、前記学習済みモデルの演算処理を実行することで、運転者を推定する、請求項1~請求項3の何れか1項に記載の運転者推定装置。
  5. 予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得し、
    取得された操作データに基づいて、運転者を推定する、
    運転者推定方法。
  6. 予め設定された複数の操作項目について、車両の運転前に運転者によって行われた操作に関する操作データを取得し、
    取得された操作データに基づいて、運転者を推定する、
    処理をコンピュータに実行させるプログラム。
  7. 予め設定された複数の操作項目について車両の運転前に運転者によって行われた操作に関する操作データと、当該操作データに基づいて運転者を推定した推定結果とを取得し、
    車両の運転後に、推定された運転者の通信端末に対して、推定結果の正誤を確認可能な確認情報を送信し、
    送信された確認情報に対する運転者の応答が、推定結果が正解であることを示す場合に、取得された操作データと運転者の個人情報とを対応付けた教師データを取得し、
    取得した教師データに基づいて、操作項目に関する操作データを入力した場合に、運転者を推定する学習済みモデルを生成する処理をコンピュータに実行させる、
    学習済みモデルの生成方法。
JP2022076203A 2022-05-02 2022-05-02 運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法 Pending JP2023165314A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022076203A JP2023165314A (ja) 2022-05-02 2022-05-02 運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法
CN202310268055.XA CN116993190A (zh) 2022-05-02 2023-03-15 驾驶员评估设备和方法、程序以及学得模型的生成方法
US18/186,197 US20230347904A1 (en) 2022-05-02 2023-03-20 Driver estimation device, driver estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022076203A JP2023165314A (ja) 2022-05-02 2022-05-02 運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法

Publications (1)

Publication Number Publication Date
JP2023165314A true JP2023165314A (ja) 2023-11-15

Family

ID=88513463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022076203A Pending JP2023165314A (ja) 2022-05-02 2022-05-02 運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法

Country Status (3)

Country Link
US (1) US20230347904A1 (ja)
JP (1) JP2023165314A (ja)
CN (1) CN116993190A (ja)

Also Published As

Publication number Publication date
US20230347904A1 (en) 2023-11-02
CN116993190A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
EP3250417B1 (en) Controlling vehicle systems with mobile devices
US9327645B2 (en) Providing alerts for objects left in a vehicle
US20160140776A1 (en) Communications based on vehicle diagnostics and indications
US20190356552A1 (en) System and method for generating a global state information for a vehicle based on vehicle operator information and other contextuals
CN110895738A (zh) 驾驶评价装置、驾驶评价系统、驾驶评价方法及存储介质
CN108016383B (zh) 自主车辆进出的系统及方法
WO2022041670A1 (zh) 车舱内的乘员检测方法及装置、电子设备和存储介质
US10752172B2 (en) System and method to control a vehicle interface for human perception optimization
JP7371751B2 (ja) 集音放音方法
US20210229674A1 (en) Driver profiling and identification
JP2010100125A (ja) 制御装置及び制御方法
JP2009059229A (ja) 操作支援方法及び操作支援システム
JP2023165314A (ja) 運転者推定装置、運転者推定方法、プログラム及び学習済みモデルの生成方法
US11022476B2 (en) Sound emission analysis
US11167693B2 (en) Vehicle attention system and method
JP7227106B2 (ja) 操作制御装置、操作制御方法、およびプログラム
CN111267864B (zh) 信息处理系统、程序和控制方法
US20230186690A1 (en) Vehicle diagnosis method and information presentation method
US20230401979A1 (en) Driving diagnostic device, driving diagnostic system, machine learning device and generation method of learned model
JP7276165B2 (ja) エージェント装置、エージェントシステム、及びエージェントプログラム
US20230082791A1 (en) Vehicle and method of driver assistance function control for the same
US20150158434A1 (en) Remote system and method for controlling a vehicle device
US20240174201A1 (en) Vehicle cleaning system
US20230406330A1 (en) Vehicle diagnostic information communications
EP4020850A1 (en) Remote controller, communication-environment sending device, and communication-environment check method